기술 요약: 어떻게 그리고 무엇을 상상할 것인가? 교차 뷰 공간 추론을 위한 통합 멀티모달 모델에서의 시각적 사고

문제 제기

교차 뷰 공간 추론—서로 다른 시점에서 촬영된 이미지로부터 장면 배치, 객체 위치 및 기하학적 구조를 추론하는 능력—은 비전-언어 모델 (VLM) 에서 여전히 큰 약점으로 남아 있습니다. VLM 은 단일 이미지 작업에서는 탁월한 성능을 발휘하지만, 교차 뷰 작업에서는 우연 수준을 약간 상회하는 성능만 보입니다. 저자들은 이 문제가 표현의 불일치에서 비롯된다고 주장합니다. 즉, 교차 뷰 추론은 본질적으로 시각적이지만, VLM 은 일반적으로 언어를 통해 추론하며 관찰 내용을 텍스트 중간체로 변환하는 과정에서 해당 작업에 필요한 세밀한 기하학적 정보를 잃어버리기 때문입니다.

최근의 "이미지로 사고하기 (think-with-image)" 접근법은 3D 재구성, 깊이 지도, 또는 예측된 카메라 궤적과 같은 중간 시각적 표현을 생성함으로써 이러한 격차를 해소하려 시도합니다. 그러나 이전 연구에 따르면, 이러한 생성된 흔적 (traces) 에 포함된 시각적 증거는 모델의 답변 경로에서 largely 무시되고 있습니다. 표준 지도 미세 조정 (SFT) 하에서 모델은 그럴듯한 사고 이미지 (thinking-images) 를 생성하지만, 원래 입력 뷰에 의존하여 답변을 내놓습니다. 이로 인해 시각적 사고는 추론의 기능적 구성 요소가 아닌 장식적인 부산물에 불과하게 됩니다.

방법론

1. 통합 멀티모달 모델 (UMMs)

이 연구는 교차 이미지 - 텍스트 생성을 네이티브로 지원하는 통합 멀티모달 모델 (특히 BAGEL) 을 활용합니다. 이 아키텍처는 모델이 텍스트 답변을 생성하기 전에 추론 체인의 일부로 중간 시각적 표현 (즉, "사고 이미지") 을 생성할 수 있게 하여, 외부 도구 없이 종단 간 학습을 가능하게 합니다.

2. 뷰 드롭아웃 (VDrop)

시각적 사고의 저사용 문제를 해결하기 위해 저자들은 생성된 사고 이미지에 의존하도록 모델을 강제하는 훈련 중 개입인 뷰 드롭아웃 (VDrop) 을 제안합니다.

• 메커니즘: 훈련 중 하나의 입력 뷰 ($V_1$ 또는 $V_2$) 의 연속된 영역이 답변 토큰의 어텐션 범위에서 마스킹됩니다. 그러나 사고 이미지 토큰은 마스킹되지 않은 입력 뷰에 대한 완전한 접근 권한을 유지합니다.
• 효과: 이는 "단축로"를 차단하는 효과를 만듭니다. 답변 토큰이 입력 뷰의 마스킹된 영역을 볼 수 없기 때문에, 누락된 배치 정보를 복구하기 위해 생성된 사고 이미지를 통해 공간 추론을 수행해야 합니다.
• 커리큘럼: 워밍업 단계를 통해 모델이 전체 입력 가시성으로 사고 이미지를 생성하고 사용하는 법을 학습하도록 합니다. 그 후 마스킹 확률을 선형적으로 100% 까지 감쇠시켜, 입력 뷰가 완전히 가려지기 전에 모델이 사고 이미지에 의존하도록 학습시킵니다.

3. 시각적 사고 전략

이 연구는 어떤 사고 이미지 유형이 가장 효과적인지 결정하기 위해 세 가지 유형의 사고 이미지를 비교하며, 이를 학습 가능성 - 정보성 (L–I) 트레이드오프로 프레임합니다.

• 파노라마 뷰: 관찰자의 포즈에서 촬영된 와이드 앵글 렌더링으로, 두 개의 뷰를 단일 시각 필드로 통합합니다.
• 탑다운 뷰: 전역 배치와 객체 측면을 드러내는 고각 렌더링입니다.
• 포인트 매칭: 대응하는 객체를 나타내는 색상 마커가 표시된 두 입력 뷰를 나란히 배치한 것입니다.

정보성은 변형이 얼마나 많은 공간 구조를 드러내는지, 학습 가능성은 UMM 이 데이터로부터 해당 변형의 충실한 인스턴스를 얼마나 신뢰성 있게 생성할 수 있는지를 의미합니다.

4. 훈련 및 평가

• 데이터: 훈련은 네 가지 교차 뷰 질문 유형 (앵커, 카운팅, 상대적 거리, 상대적 방향) 을 특징으로 하는 Infinigen Indoors의 8,000개 합성 샘플에서 수행되었습니다.
• 벤치마크: 평가에는 도메인 내 (ID) 벤치마크 하나 (COSMIC) 와 다섯 가지 실외 도메인 (OOD) 벤치마크 (MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView) 가 포함되었습니다.
• 인과적 검증: 추론 시 "생성 후 맹검 (generate-then-blind)" 프로브가 사용되었습니다. 모델은 사고 이미지를 생성하지만, 답변 범위의 사고 이미지에 대한 어텐션은 마스킹됩니다. 정확도 하락은 사고 이미지가 인과적으로 하중을 지고 있음을 나타냅니다.

주요 결과

1. VDrop 이 시각적 사고를 인과적으로 만듦

• 하중 지지 (Load-Bearing): VDrop 없이 추론 시 생성된 사고 이미지를 마스킹해도 정확도에 거의 영향을 미치지 않습니다. 반면, VDrop 을 적용하면 사고 이미지를 맹검할 때 정확도가 크게 하락합니다 (예: BLINK 에서 12.8% 하락). 이는 모델이 진정으로 시각적 중간체에 의존하고 있음을 확인시켜 줍니다.
• 어텐션 이동: 어텐션 분석에 따르면 VDrop 은 답변 토큰의 사고 이미지에 대한 어텐션 점유율을 약 55%(바닐라) 에서 약 65% 로 증가시킵니다. 특히 초기 및 중간 디코더 레이어에서 두드러집니다.

2. 학습 가능성 - 정보성 트레이드오프

• 파노라마: 가장 균형을 잘 이룹니다. 매우 정보성이 높습니다 (직접적으로 결합된 장면을 노출) 그리고 매우 학습 가능합니다 (모델이 충실한 렌더링을 생성함). 이는 가장 높은 OOD 일반화 성능을 달성합니다.
• 탑다운: 매우 정보성이 높지만 학습 가능성은 부분적입니다. 모델은 보이지 않는 시점을 완벽한 기하학적 충실도로 합성하는 데 어려움을 겪어 결과가 혼재됩니다.
• 포인트 매칭: 낮은 정보성 (새로운 시점을 생성하지 않음) 과 moderate 한 학습 가능성 (정확한 마커 배치가 어려움) 으로 제한됩니다. 이는 가장 작은 향상을 가져옵니다.

3. 성능 향상

• 효율성: 최적의 구성 (파노라마 + VDrop) 은 단 8K개의 샘플로 훈련되어 평균 **40.0%**의 OOD 정확도를 달성합니다.
• 비교: 이는 다음보다 우수한 성능을 보입니다:
  • 바닐라 BAGEL (33.3%).
  • Qwen3-VL-8B 와 같은 강력한 범용 VLM (37.0%).
  • 훨씬 더 많은 데이터로 훈련된 이전 시각적 사고 방법들: ThinkMorph (24K 샘플, 37.2%) 및 BAGEL-Zebra-CoT (182K 샘플, 26.8%).
• 비시각적 베이스라인: VDrop 을 사용한 시각적 사고는 비시각적 베이스라인 (No-Think 및 텍스트 체인 오브 씽킹) 보다 현저히 우월한 성능을 보이며, 텍스트 CoT 는 일관되지 않은 텍스트 지도로 인해 직접 답변보다 오히려 성능이 떨어집니다.

중요성과 주장

이 논문은 UMM 에서 시각적 사고의 주요 병목 현상은 데이터 규모가 아니라 훈련 신호라고 주장합니다.

• 저사용은 실패 모드입니다: 저자들은 표준 SFT 가 모델이 자신이 생성한 이미지를 무시하는 "장식적"인 시각적 사고로 이어진다고 규명합니다.
• VDrop 을 통한 해결책: 뷰 드롭아웃은 사고 이미지를 추론의 인과적 하중 지지 구성 요소로 강제하는 단순하고 아키텍처에 구애받지 않는 개입입니다.
• 표현이 중요합니다: 모델이 이미지를 사용하도록 강제되면, 표현의 선택이 결정적입니다. 이 연구는 파노라마 시각적 사고가 동시에 정보성이 높고 학습 가능하기 때문에 우월한 전략임을 입증하며, 다른 전략들은 L–I 트레이드오프의 한 축 또는 양쪽 모두에서 실패함을 보여줍니다.
• 데이터 효율성: 결과는 올바른 훈련 개입 (VDrop) 과 표현 (파노라마) 을 사용하면 이전 방법들이 필요로 했던 것보다 훨씬 적은 데이터 (8K 샘플) 로 고품질 교차 뷰 공간 추론을 달성할 수 있음을 시사합니다.

한계점

저자들은 그들의 발견이 단일 UMM 아키텍처 (BAGEL) 에서 검증되었으며, 추가 연구 없이는 다른 아키텍처로 전이되지 않을 수 있다고 지적합니다. 또한, VDrop 은 사고 이미지의 사용을 강제하지만 생성된 이미지의 품질을 본질적으로 향상시키지는 않습니다. 생성된 이미지의 충실도가 낮다면 모델이 그것에 의존하도록 강제하는 것은 제한된 이익만 가져옵니다. 향후 연구는 사고 이미지 생성 자체의 충실도를 향상시키는 지도와 VDrop 을 결합해야 합니다.