기술 요약: G2G – 그룹 간 포즈 추정을 위한 그룹 내 기하학적 구조 활용

1. 문제 정의

본 논문은 두 개의 서로 다른 이미지 그룹 사이의 상대적인 6자유도(6-DoF) 강체 변환(rigid transformation)을 복구하는 로봇 인지 분야의 기초적인 작업인 그룹 간(Group-to-Group, G2G) 포즈 추정을 다룹니다. 이 작업은 두 가지 핵심 응용 분야를 뒷받침합니다:

1. 교차 시퀀스 시각적 재국지화(Cross-sequence visual relocalization): 동일한 환경을 서로 다른 시점에 주행하며 캡처한 단안 시퀀스 세그먼트(시간적 그룹)를 정렬합니다.
2. 멀티 카메라 리그 오도메트리(Multi-camera rig odometry): 멀티 카메라 리그로부터의 동시 관측값 사이의 상대적 포즈(공간적 그룹)를 결정합니다.

두 시나리오 모두 입력은 두 이미지 그룹($G_A$와 $G_B$)으로 구성되며, 여기서 그룹 내 기하학(intra-group geometry)(각 그룹 내의 상대적 포즈)는 알려져 있으나 노이즈가 포함될 수 있습니다(Visual Odometry, SLAM 또는 캘리브레이션에서 유도됨). 목표는 알려지지 않은 그룹 간 변환을 복구하는 것입니다. 기존 방법들은 모든 입력을 비구조적 집합으로 취급하여 알려진 그룹 내 기하학을 무시하거나, 동적 객체, 계절적 변화 및 장면 변화에 취약한 반복적인 쌍별 매칭(pairwise matching)에 의존하기 때문에 이 설정에서 실패하는 경우가 많습니다.

2. 방법론: G2G 아키텍처

저자들은 사전 학습된 멀티뷰 파운데이션 모델의 핵심 가중치를 재학습하지 않고 이를 활용하는 "동결 및 브릿지(freeze-and-bridge)" 아키텍처인 G2G를 제안합니다. 시스템은 동결된 백본과 세 개의 경량화된 학습 가능 모듈로 구성됩니다.

2.1 동결된 파운데이션 백본

이 방법은 그룹별 특징 추출기로서 MapAnything [10]을 채택합니다. 이 백본은 전체가 동결된 상태(약 5억 3,900만 개의 파라미터)로 유지됩니다.

• 입력: 각 프레임에 대해 RGB 이미지, 카메라 외부 파라미터(쿼터니언과 병진 이동으로 분해됨), 그리고 내부 파라미터로부터 유도된 픽셀당 광선 방향을 받습니다.
• 기능: 알려진 그룹 내 기하학을 시각적 특징에 융합하여, 각 그룹에 대해 독립적으로 기하학이 강화된 패치 특징($F_g$)을 생성합니다. 이를 통해 모델은 파운데이션 모델이 이미 학습한 '카메라 기하학에 시각적 토큰을 접지(grounding)하는 어려운 작업'을 활용할 수 있습니다.

2.2 학습 가능 모듈 (총 약 3,200만 개의 파라미터)

두 그룹을 연결하기 위해 동결된 백본 위에 세 가지 모듈을 추가합니다:

1. Perceiver Resampler: $P$개의 패치 토큰을 더 작은 $L$개의 잠재 토큰($Z_g$) 세트로 압축합니다. 이는 후속 브릿지의 계산 비용을 관리하기 위해 시퀀스 길이를 줄여줍니다.
2. Cross-Group Bridge: **병합된 셀프 어텐션(merged self-attention)**을 통해 두 그룹을 연결합니다.
   • 두 그룹의 잠재 토큰을 결합합니다.
   • 토큰을 세 가지 학습 가능한 임베딩으로 증강합니다:
     • 프레임 임베딩(Frame Embedding): 그룹 내에서의 프레임 위치를 인코딩합니다(시간적 및 공간적 그룹에 대한 공유된 의미론).
     • 그룹 임베딩(Group Embedding): 그룹 A와 그룹 B에 속한 토큰을 구분합니다.
     • 앵커 임베딩(Anchor Embedding): 앵커 프레임($A_0$)을 글로벌 참조점으로 표시합니다.
   • 두 개의 셀프 어텐션 레이어가 이 토큰들을 정교화하여, 통합된 방식으로 교차 그룹 교환 및 그룹 내 컨텍스트 공유를 가능하게 합니다.
3. Multi-Frame Pose Head: 단 한 번의 순방향 패스(forward pass)로 공유 앵커 $A_0$에 대한 모든 타겟 프레임의 포즈를 예측합니다.
   • 학습 가능한 포즈 쿼리(회전 및 병진 이동)를 사용하여 공유 크로스 어텐션 레이어를 사용합니다.
   • 특징을 6D 연속 회전 및 3D 병진 이동으로 디코딩하여 전체 포즈 세트 $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$를 출력합니다.

2.3 학습 전략

• 감독(Supervision): 모델은 오직 상대적 포즈만을 감독 신호로 사용하여 학습됩니다. 깊이 맵은 데이터셋 구축 단계에서 시각적 중첩도를 점수화하고 학습 쌍을 선택하는 데만 사용되며, 손실 함수(loss signal)로는 사용되지 않습니다.
• 커리큘럼 학습(Curriculum Learning): 세 단계의 스케줄을 통해 점진적으로 더 어려운 학습 쌍(낮은 시각적 중첩도)을 도입하여 수렴을 안정화합니다.
• 노이즈 증강(Noise Augmentation): 입력 외부 파라미터에 SE(3) 노이즈를 가하여 오도메트리 드리프트 및 캘리브레이션 오차에 대한 강건성을 높이며, 모델이 입력을 단순히 복사하는 것이 아니라 노이즈를 제거하도록 학습시킵니다.

3. 주요 기여

1. 통합된 문제 공식화: 본 논문은 교차 시퀀스 재국지화와 멀티 카메라 리그 오도메트리를 공유된 입력-출력 인터페이스를 가진 단일 G2G 작업으로 규정하여, 하나의 모델이 다양한 다운스트림 응용 분야를 수행할 수 있도록 합니다.
2. Freeze-and-Bridge 아키텍처: 파운데이션 모델을 동결하고 약 3,200만 개의 파라미터(전체 모델의 6% 미만)만 추가함으로써, 데이터 효율적인 학습을 달고 대규모 사전 학습의 일반화 능력을 보존합니다.
3. 최첨단 성능(State-of-the-Art): 이 방식은 실내/실외 시뮬레이션, 실제 세계의 계절 변화 캡처, 제로샷 sim-to-real 전이를 포함하는 네 가지 데이터셋(HM3D, TartanGround, NCLT, ZJH)에서 우수한 정확도를 달的是하며, 밀집한 깊이(dense depth)를 포함한 원래의 전체 감독 신호를 사용하여 재학습된 베이스라인들을 능가합니다.

4. 실험 결과

본 논문은 G2G를 고전적인 파이프라인(LoMa), 학습된 로컬 특징 매처(CoViS-Net), 그리고 피드포워드 멀티뷰 모델(VGGT, Reloc3R, Rig3R, MapAnything 변형)과 비교 평가합니다.

• 교차 시퀀스 국지화: G2G는 모든 데이터셋에서 가장 우수한 비-오라클(non-oracle) 병진 및 회전 오차를 달성했습니다. 특히 NCLT 데이터셋(계절 변화)에서, G2G는 회전 오차 $2.47^\circ$, 병진 방향 오차(RTA) $5.43^\circ$를 유지한 반면, VGGT 및 Reloc3R과 같은 베이스라인은 시각적 대응 관계에 의존하기 때문에 계절 변화 시 성능이 크게 저하(RTA > $40^\circ$)되었습니다.
• 멀티 카메라 리그 오도메트리: G2G는 리그 인식 베이스라인(Rig3R) 및 멀리뷰 모델보다 뛰어난 성능을 보였습니다. TartanGround 데이터셋에서 Rig3R은 완전히 학습 가능한 디코더가 사전 학습된 기하학적 사전 지식을 보존할 동결된 앵커를 갖추지 못해 과적합(홀드아웃 장면에서 회전 오차 $37.9^\circ$)이 발생한 반면, G2G는 $1.63^\circ$의 오차를 유지했습니다.
• Sim-to-Real 전이: ZJH 데이터셋에서, 시뮬레이션 데이터로만 학습된 모델이 미세 조정 없이도 높은 정확도(병진 $1.206$m, 회전$3.46^\circ$)를 유지하며 실제 휴머노이드 로봇 캡처에 대한 제로샷 전이를 달성했습니다.
• 효율성: G2G는 단일 순방향 패스(<50 ms) 내에 모든 타겟 포즈를 생성합니다. 반면 쌍별(pairwise) 방식은 $N_A \times N_B$ 번의 추론(예: 5프레임 그룹의 경우 25번의 패스)이 필요하여 훨씬 높은 지연 시간을 초래합니다.

5. 의의 및 주장

본 논문은 현재 멀티뷰 포즈 추정의 주요 병목 현상이 알려진 그룹 내 기하학을 존중하는 **교차 그룹 추론(cross-group reasoning)**의 부재라고 주장합니다.

• 사전 지식으로서의 기하학: 저자들은 파운데이션 모델이 이미 그룹 내의 내부 및 외부 파라미터를 융합하는 법을 배웠다고 주장합니다. 누락된 조각은 그룹 간을 추론하는 능력입니다. 백본을 동결함으로써 G2G는 이러한 기하학적 이해를 보존하는 동시에, 경량화된 브릿지 모듈을 통해 누락된 교차 그룹 로직을 제공합니다.
• 외관 변화에 대한 강건성: 시각적 대응 관계(visual correspondence)보다는 기하학 조건부 특징에 의 Rely하는 방식 덕분에, 계절 변화, 조명 변화, 동적 객체가 발생하는 상황에서도 강력한 성능을 발휘합니다(VGGT나 Reloc3R과 같이 시각적 대응에 의존하는 방법들이 실패하는 지점).
• 데이터 효율성: Freeze-and-bridge 설계는 모델이 새로운 도메인(sim-to-real)으로 일반화하고, Rig3R과 같은 완전 학습형 베이스라인에서 관찰되는 과적합 문제 없이 작은 학습 세트(TartanGround)를 다룰 수 있게 합니다.

결론적으로 G2G는 그룹 간 포즈 추정을 위한 통합적이고 효율적이며 강건한 솔루션을 제공하며, 파운데션 모델의 역량과 특정 로봇 인지 작업 사이의 간극을 효과적으로 메웁니다.