기술 요약: 학습된 프록시 토큰을 통한 충실한 근거 기반 시각적 추론

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 질의응답(VQA)에서 상당한 성공을 거두었으나, 입력을 답변으로 직접 매핑할 뿐 의사 결정 과정을 노출하지 않는 "블랙박스" 패러다임 하에서 작동합니다. 이러한 투명성의 결여는 중요한 도메인에서의 배포를 저해합니다.

이를 해결하기 위해, 근거 기반 시각적 추론(Grounded Visual Reasoning, GVR) 접근 방식은 텍스트 추론과 일반적으로 텍스트 형태의 경계 상자 좌표 $(x, y, w, h)$로 표현되는 시각적 근거 정보를 결합하려고 시도합니다. 그러나 본 논문은 기존의 좌표 기반 방식이 근본적인 "의미-공간 간극(semantic-spatial gap)" 문제를 겪고 있다고 주장합니다. 공간적 위치를 임의의 텍스트 문자열로 취급함으로써, 이러한 방식은 기저의 시각적 특징과 학습 가능한 의미적 연결 고리가 부족합니다. 결과적으로, 모델은 실제 이미지 증거와 일치하지 않는 좌표를 "환각(hallucinate)"하는 경우가 많으며, 이는 추론 과정과 시각적 지각을 효과적으로 분리시킵니다. 또한, 기존의 평가 프로토콜은 주로 최종 답변 정확도에 의존하며, 이는 이러한 추론의 불일치를 은폐하고 모델이 시각적 증거가 아닌 언어적 편향에 기반하여 정답을 맞히도록 허용합니다.

2. 방법론: Composer 프레임워크

저자들은 의미-공간 간극을 메우기 위해 충실하고 단계적인 근거 기반 추론을 강제하도록 설계된 MLLM인 Composer를 소개합니다.

2.1. 학습된 프록시 토큰을 통한 시각적 근거 형성

텍스트 좌표를 회귀(regression)하는 전통적인 방식과 달리, Composer는 **학습된 프록시 토큰(learned proxy-tokens)**에 기반한 새로운 메커니즘을 채택합니다.

• 메커니즘: 이미지는 $N$개의 시각적 토큰 $V = \{v_1, v_2, \dots, v_N\}$으로 분해됩니다. 이에 대응하는 $N$개의 학습 가능한 프록시 토큰 세트 $R = \{<r_1>, \dots, <r_N>\}$이 LLM의 어휘 사전에 추가됩니다.
• 인덱싱: 입력 시퀀스는 이러한 토큰들을 교차 배치하여 ($S = [r_1, v_1, r_2, v_2, \dots, Q]$), 각 프록시 토큰과 그에 해당하는 시각적 특징 사이에 엄격한 1대1 대응 관계를 구축합니다.
• 집합 기반 연산: 시각적 영역은 프록시 토큰의 이산적이고 주소 지정 가능한 집합으로 취급됩니다. 이를 통해 모델은 시각적 잠재 공간(latent space)에서 직접 암시적인 집합 기반 연산(교집합, 합집합, 부분 집합 검증)을 수행할 수 있습니다. 예를 들어, 공간 추론(예: "물체 A가 물체 B의 왼쪽에 있는가?")은 각각의 프록시 토큰 집합의 교집합을 확인하는 것($S_A \cap S_{left} \neq \emptyset$)으로 축소됩니다.
• 재귀적 추론: 모델은 이전 추론 단계에서 생성된 프록시 토큰을 다시 참조할 수 있으며, 이를 통해 관련 인덱스로 시각적 탐색 공간을 효과적으로 "축소"할 수 있습니다.

2.2. 학습 전략

Composer는 두 단계의 데이터 전략을 사용하여 학습됩니다:

1. 정렬 사전 학습(Alignment Pretraining): 모델은 다양한 시각-언어 작업(캡셔닝, 참조 표현 이해, 시각적 공간 추론)을 사용하여 미세한 지역화 능력을 갖춥니다. COCO 및 RefCOCO와 같은 데이터셋의 경계 상자 주석은 프록시 토큰 어휘에 매핑됩니다.
2. 다단계 추론(ComposerGCoT): 표준 데이터셋의 중간 감독 부재를 해결하기 위해, 저자들은 ComposerGCoT를 합성했습니다. 이 데이터셋은 GQA로부터 장면 그래프(scene graphs)와 기능적 프로그램(functional programs)을 추출하여 이산적이고 시각적으로 근거가 있는 추론 체인으로 변환하여 도출되었습니다. 각 단계는 중간 답변과 시각적 근거가 함께 주석 처리되어 있으며, 55K 이미지에 대해 163K개의 추론 체인을 제공합니다.

2.3. 평가를 위한 구조화된 출력

엄격한 평가를 가능하게 하기 위해, Composer는 <thought> 블록 내에 캡슐화된 가벼운 XML 스타일 태그(예: <objectRecognition>, <spatialLocation>, <attributeColor>)를 사용하여 구조화된 추론 체인을 출력합니다. 이 형식은 최종 답변뿐만 아니라 각 추론 단계의 논리적 타당성과 공간적 정밀도를 독립적으로 검증할 수 있게 합니다.

3. 주요 기여

1. Composer 모델: 이미지 잠재 공간을 인덱싱하기 위해 학습된 프록시 토큰을 활용하여, 임의의 좌표 회귀를 이산적이고 의미적으로 조작 가능한 포인터로 대체한 MLLM입니다.
2. ComposerGCoT 데이터셋: 추론 체인의 모든 단계에 대해 미세한 감독을 제공하는 특화된 합성 데이터셋으로, 추론의 일관성과 근거의 충실도를 총체적으로 평가할 수 있게 합니다.
3. 평가 프로토콜: 답변 정확도, 추론 일관성(태스크 순서 정확도), 시각적 근거 정확도(IoU)라는 세 가지 축을 통해 모델을 평가하는 프레임워크입니다.

4. 실험 결과

저자들은 Composer를 좌표 기반 베이스라인(B-Composer) 및 프록시 토큰 변형 모델(P-Composer)과 함께 ComposerGCoT 검증 세트에서 비교 평가했습니다.

• 추론 일관성: 올바른 추론 경로와 올바른 최종 답변 사이에는 강한 상관관계가 존재합니다. P-Composer의 경우, 올바른 추론 경로의 76.08%가 정답으로 이어졌으며, 이는 추론 단계가 사후 정당화가 아닌 예측을 주도하고 있음을 시사합니다.
• 근거 정확도: P-Composer는 시각적 근거 정밀도에서 B-Composer를 크게 앞섭러습니다.
  • 전체 IoU: +2.7 포인트 향상 (57.9% vs. 55.2%).
  • 엄격한 IoU@0.95: +9.0 포인트 향상 (15.4% vs. 6.4%).
• 역량 세부 분석: P-Composer는 공간적 위치(84.8%)와 공간적 관계(79.2%)에서 가장 높은 정확도를 달로 달성했으나, 색상 속성(66.5%)에서는 성능이 낮았습니다. 이는 제약된 공간 선택에 비해 색상 속성 부여의 개방적인 특성 때문인 것으로 보입니다.
• 답변 정확도: Composer는 최종 답변 정확도에서 좌표 기반 대응 모델과 대등한 성능을 보여주었으며, 이는 새로운 근거 형성 메커니즘이 작업 성능을 저해하지 않음을 입증합니다.

5. 의의 및 주장

본 논문은 이산적으로 학습된 프록시 토큰이 일반적인 텍스트 좌표보다 공간적 의미를 더 효과적으로 포착한다고 주장합니다. 언어적 추론과 시각적 특징 사이에 명시적이고 학습 가능한 연결 고리를 구축함으로써, Composer는 **충실한 해석 가능성(faithful interpretability)**을 증진합니다.

저자들은 이 접근 방식이 신뢰할 수 있고 믿을 수 있는 MLLM을 향한 유망한 경로임을 단언합니다. 이 연구는 높은 답변 정확도를 유지하면서도 시각적 근거의 충실도를 크게 향상시킬 수 있음을 보여줌으로써, 현재 근거 기반 시각적 추론 시스템을 괴롭히고 있는 "의미-공간 간극"을 해결합니다. 또한, 모델이 "올바른 이유로 정답을 맞히고 있는지" 진단하기 위해서는 엄격한 평가가 최종 답변 정확도를 넘어서야 함을 강조합니다.