기술 요약: 상상적 지각 토큰(Imaginative Perception Tokens)이 멀티모달 언어 모델의 공간 추론을 향상시키는 방법

1. 문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 객체와 속성을 인식하는 데는 뛰어나지만, 필요한 정보가 입력값에 직접적으로 관찰되지 않는 **공간 추론(spatial reasoning)**에서는 상당한 어려움을 겪고 있습니다. 많은 공간 작업은 상상적 지각(imaginous perception), 즉 관찰되지 않은 관점을 시뮬레이션하거나, 가려진 공간을 통과하는 궤적을 추적하거나, 부분적인 뷰를 하나의 일관된 공간 지도로 통합하는 능력을 요구합니다.

기존의 접근 방식들은 중간 시각 표현(예: 시각적 사고, 깊이 지도 또는 바운딩 박스 토큰)을 사용하여 이 간극을 메우려 시도합니다. 그러나 이러한 방법들은 주로 입력에 이미 존재하는 구조를 정교화하거나 지각적 속성을 추출하는 데 그칩니다. 이들은 관찰되지 않은 공간 구조를 구축하는 것이라는 핵심 과제를 해결하지 못합니다. 이는 단순히 보이는 것을 묘사하는 것이 아니라, 증거로부터 암시된 누락된 공간 구조를 예측하는 과정이 필요하기 때문입니다. 더욱이, 공간적 계산을 텍스트 기반의 연쇄 사고(Chain-of-Thought, CoT)로 강제하는 것은 기하학적 제약과 관점 변환을 언어로 직렬화하는 과정에서 오류가 발생하기 쉽고 비효율적이어서 모달리티 불일치(modality mismatch)를 초래합니다.

2. 방법론

2.1. 핵심 개념: 상상적 지각 토큰 (Imaginative Perception Tokens, IPT)

저자들은 **상상적 지각 토큰(IPT)**을 제안합니다. 이는 관찰된 입력과 일관성을 유지하면서도, 대안적인 공간 구성 하에서 VLM이 지각하게 될 내용을 외재화하는 형태의 중간 시각 표현입니다. 일반적인 중간 표현이 보이는 구조를 설명하는 것과 달리, IPT는 추론되어야 하는 새로운 공간 뷰(예: 새로운 좌표에서의 뷰 또는 여러 뷰를 통합한 탑다운 맵)를 나타냅니다.

2.2. 태스크 및 데이터셋

이러한 능력을 연구하기 위해 저자들은 세 가지 상상적 지각 태스크를 공식화하고, 시뮬레이션(AI2-THOR, Habitat) 및 실제 환경을 아우르는 약 20,000개의 예시로 구성된 데이터셋을 구축했습니다:

1. 관점 취하기 (Perspective Taking, PET): 1인칭 뷰와 목표 위치가 주어졌을 때, 새로운 관점에서의 장면을 예측합니다 (예: "'X'로 이동하여 왼쪽으로 회전한 후, 물체가 당신의 왼쪽에 있습니까, 오른쪽에 있습니까?"). 정답(Ground Truth)은 새로운 관점의 이미지입니다.
2. 경로 추적 (Path Tracing, PT): 탑다운 맵과 웨이포인트(waypoint)에서의 전방 뷰가 주어졌을 때, 경로상의 중간 지점에서 보이는 객체를 식별합니다. 정답은 측면 뷰 이미지(중간 지점에서의 1인칭 렌더링)입니다.
3. 다중 뷰 카운팅 (Multiview Counting, MVC): 여러 1인칭 프레임이 주어졌을 때, 뷰를 통합하여 가려짐(occlusion)과 중복을 해결함으로써 특정 객체의 총 개수를 결정합니다. 정답은 탑다운 조감도(Bird's-Eye View, BEV) 맵입니다.

각 데이터셋은 정답이 되는 중간 상상 이미지와 최종 답변, 그리고 인간이 필터링한 평가 벤치마크를 포함합니다.

2.3. 모델 아키텍처 및 학습

저자들은 인터리브드(interleaved) 멀티모달 이해와 생성을 네이티브하게 지원하는 통합 디코더 전용 트랜스포머인 BAGEL을 활용합니다.

• 아키텍처: BAGEL은 이해를 위한 전문가(SigLIP2 ViT 토큰)와 생성을 위한 전문가(FLUX VAE 잠재 토큰)가 분리된 혼합 전문가 트랜스포머(Mixture-of-Transformer-Experts, MoT) 설계를 채택합니다.
• 학습 목표: 모델은 다음의 멀티태스크 손실($L_{total}$)로 학습됩니다:
  1. 플로우 매칭 손실 ($L_{fm}$): 모델은 가우시안 노이즈를 관찰되지 않은 뷰의 타겟 잠재 표현(IPT)으로 변환하기 위한 속도장(velocity field)을 예측하는 법을 배웁니다.
  2. 언어 모델링 손실 ($L_{lm}$): 모델은 관찰된 컨텍스트와 정답 상상 토큰에 조건화된 최종 답변 토큰의 음의 로그 가능도(negative log-likelihood)를 최소화합니다.
• 추론 모드:
  • 상상 모드 (Imagination Mode): 모델이 중간 이미지를 생성하고, 이를 다시 인코딩하여 답변을 예측하기 위한 컨텍스트로 사용합니다.
  • 답변 전용 모드 (Answer-Only Mode): 모델이 추론 시점에 이미지를 생성하지 않고, 학습 과정에서 습득한 내부 표현에 의존하여 직접 답변을 예측합니다.

3. 주요 결과

3.1. 공간 태스크 성능

BAGEL 백본을 사용했을 때, IPT 감독(supervision)은 모든 태스크에서 레이블 전용(label-only) 학습 대비 공간 추론 능력을 유의미하게 향상시켰습니다:

• 다중 뷰 카운팅 (MVC): IPT는 레이블 전용 학습(67.3%)보다 정확도를 3.4% 높였으며, 텍스트 CoT(62.3%)보다 우수한 성능을 보였습니다.
• 관점 취하기 (PET): IPT는 AI2-THOR 도메인 데이터에서 **96.8%**의 정확도를 달성하여 레이블 전용(최대 97.5%이나 IPT가 경쟁력 있음)과 대등하며, 텍스트 CoT(83.1%)를 크게 앞질렀습니다. 외부 도메인(Habitat) 데이터에서도 IPT는 **87.0%**에 도달하여 레이블 전용(82.0%)을 능가했습니다.
• 경로 추적 (PT): 혼합 학습(IPT + 레이블 전용)이 가장 좋은 결과를 보였으며, 합성 데이터에서 66.7%, 실제 벤치마크에서 **58.6%**를 달성하여 레이블 전용 및 텍스트 CoT를 모두 앞섰습니다.

3.2. 텍스트 연쇄 사고(Textual CoT)와의 비교

본 논문은 이러한 태스크에서 텍스트 CoT가 종종 해로울 수 있음을 발견했습니다. 예를 들어, PET에서 CoT는 성능을 83.1%로 떨어뜨린 반면, IPT는 96.8%를 기록했습니다. 저자들은 이를 모달리티 불일치 때문이라고 설명합니다. 공간적 계산(관점 변화, 가려짐 등)을 언어를 통해 강제하면 노이즈가 발생하고 답변 예측 능력을 저해하게 됩니다. 반면, IPT는 이러한 관계를 시각적 모달리티 내에서 직접 표현합니다.

3.3. 추론 및 일반화

• 내부 표현: 결정적으로, 모델이 추론 시점에 이미지를 생성하지 않을 때도 성능 향상이 지속되었습니다 (Answer-Only 모드). 이는 IPT 감독을 통한 학습이 모델이 더 강력한 내부 공간 표현을 발달시키도록 돕는다는 것을 시사합니다.
• 전이 학습: IPT로 학습된 모델은 외부 벤치마크(예: SAT, MessyTable) 및 기타 공간 태스크(ScanNet, MindCube)로의 전이 능력이 향려되었으며, 이는 학습된 공간 추론이 특정 토큰 타겟을 넘어 일반화됨을 보여줍니다.
• 해상도 절제 실험 (Resolution Ablation): 더 높은 해상도의 잠재 토큰(Latent-64, 1024x1020)은 더 선명하고 공간적으로 충실한 상상을 만들어내며, 이는 다운스트림 정확도와 상관관계가 있습니다.

4. 의의 및 주장

본 논문은 **상상적 지각 토큰(Imaginative Perception Tokens)**이 관찰되지 않은 구조를 추론하기 위한 원칙적인 감독 신호를 제공한다고 주장합니다. 주요 기여와 주장은 다음과 같습니다:

1. 새로운 중간 표현: IPT는 보이는 것을 정교화하는 기존의 시각적 중간 표현과 달리, 관찰되지 않은 공간 구성을 예측한다는 점에서 차별화됩니다.
2. 모달리티 정렬: 공간 태스크에서 모델을 중간 시각적 예측으로 감독하는 것이 텍sual CoT보다 효과적이며, 기하학적 제약을 언어로 직렬화할 때 발생하는 병목 현상을 피할 수 있습니다.
3. 일반화: 상상적 감독을 통한 학습은 모델이 명시적인 이미지 생성 없이도 더 강력한 공간 일반화 능력과 태스크의 기하학적 구조에 부합하는 해석 가능한 중간 표현을 갖도록 합니다.
4. 벤치마킹: 본 연구는 시각적으로 근거한 중간 공간 추론을 학습하고 평가하기 위해 설계된 최초의 데이터셋을 도입하여, "관점 격차(perspective gap)"와 VLM을 위한 구성적 공간 상상의 필요성을 강조합니다.

저자들은 현재의 통합 모델들이 흔히 이해의 견고함과 생성 능력 사이에서 트레이드오프를 겪고 있지만, 상상적 지각 감독을 통합함으로써 복잡한 공간 추론 태스크에서 강력한 폐쇄형 모델들과 경쟁할 수 있는 성능을 달성할 수 있다고 결론짓습니다.