기술 요약: ReVisiT – 비전 토큰 내의 시각적 의미론을 드러내어 대형 시각 - 언어 모델 (LVLM) 디코딩을 안내

문제 정의

대형 시각 - 언어 모델 (LVLM) 은 시각적 지각과 언어 이해를 통합하지만, 입력 이미지에 존재하지 않는 객체를 설명하는 텍스트를 생성하는 객체 할루시네이션 (object hallucinations) 으로 인해 빈번히 고통받습니다. 시각 정보는 모델의 은닉 상태 내에 있는 "비전 토큰"으로 인코딩되지만, 이러한 토큰이 디코딩 과정에 영향을 미치는 메커니즘은 아직 충분히 탐구되지 않았습니다. 기존 접근법들은 종종 비전 토큰을 정적 보조 컨텍스트로 취급하거나, 할루시네이션을 완화하기 위해 복잡한 학습 파이프라인과 다중 패스 추론에 의존합니다. 본 연구가 다루는 핵심 문제는 아키텍처 수정이나 추가 학습 없이 디코딩 과정에서 비전 토큰 내의 고유한 의미론적 정보를 효과적으로 활용하는 방법입니다.

방법론: ReVisiT

저자들은 텍스트 생성을 가장 관련성이 높은 비전 토큰을 동적으로 참조함으로써 안내하기 위해 설계된 학습이 불필요하고 (training-free), 모델에 구애받지 않는 (model-agnostic) 디코딩 전략인 ReVisiT(Referencing Vision Tokens) 를 제안합니다. 이 방법은 각 디코딩 시간 단계 $t$에서 세 가지 주요 단계를 수행합니다:

1. 컨텍스트 인식 어휘 하위 집합 구성:
   전체 어휘를 대상으로 작동하는 대신, ReVisiT 는 어휘 공간을 하위 집합 $V_t^{cons}$로 동적으로 제한합니다. 이 하위 집합은 LVLM 의 원본 출력 분포 $p_\theta$를 기반으로 적응적으로 정의되며, 확률이 $\alpha \cdot \max(p_\theta)$ 임계값 이상인 토큰들을 유지합니다. 이 제한은 의미론적 산만함을 줄이고 디코딩을 타당한 후보들에 집중시킵니다.

2. 제약 발산을 통한 비전 토큰 선택:
   이 방법은 후보 디코더 레이어 $j$의 비전 토큰 은닉 상태 ($h_i^j$) 를 제약된 어휘 하위 집합 $V_t^{cons}$에 투영합니다. 그런 다음 원본 출력 분포와 각 투영된 비전 토큰 분포 간의 제이슨 - 샤논 발산 (Jensen-Shannon Divergence, JSD) 을 계산합니다. 최소 JSD 를 갖는 비전 토큰 $(i^*, j^*)$이 가장 문맥상 관련성이 높은 참조 신호로 선택됩니다.

   • 최적화: 효율성을 보장하기 위해 전체 어휘에 대한 비전 토큰 투영은 디코딩 전에 한 번 미리 계산됩니다. 디코딩 중에는 이러한 캐시된 투영이 동적 하위 집합 $V_t^{cons}$에 맞게 슬라이싱되고 마스킹되어 추가 순전파 (forward passes) 를 방지합니다.

3. 로그이트 (Logit) 정제:
   원본 출력 분포는 선택된 비전 토큰의 분포와 융합되어 정제됩니다. 이는 로그 공간 덧셈 (확률 공간에서의 Product-of-Experts 조합에 해당) 을 통해 달성됩니다:
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   최종 분포는 제약된 하위 집합에 대해 정규화되며, 다음 토큰은 이 정제된 분포에서 샘플링됩니다.

주요 기여

1. 비전 토큰에 대한 경험적 통찰:
   본 논문은 비전 토큰이 해석 가능한 객체 수준의 의미론을 고유하게 인코딩한다는 정량적 및 정성적 증거를 제공합니다. 저자들은 이러한 신호들이 제약 없는 디코딩 하에서는 종종 잠재적 상태에 머무르며 (지상 진실 객체가 높은 확률을 갖더라도 할루시네이션된 객체가 선택될 수 있음), 의미론적으로 일관된 어휘 하위 집합에 투영될 때 명시적이고 잘 정렬된다는 것을 입증합니다.

2. ReVisiT 알고리즘:
   문맥 인식 제약 발산을 활용하여 비전 토큰을 선택하고 참조하는 간단하고 학습이 불필요한 디코딩 방법의 도입입니다. 이 접근법은 외부 모듈, 아키텍처 변경, 또는 다중 패스 추론 없이 시각적 의미론을 더 잘 통합하기 위해 토큰 수준의 로그이트를 정제합니다.

3. 종합적 검증:
   이 방법은 세 가지 서로 다른 아키텍처 (LLaVA-1.5, Qwen2.5-VL, InternVL) 에 걸쳐 7B 에서 32B 파라미터까지 다양한 크기의 여섯 가지 모델에서 검증되었습니다. 평가에는 할루시네이션 전용 데이터셋 (HallusionBench, CHAIR, POPE) 과 범용 작업 (VQAv2, MMMU) 을 포함한 다섯 가지 벤치마크가 포함되었습니다.

실험 결과

• 할루시네이션 감소: ReVisiT 는 테스트된 모든 아키텍처에서 할루시네이션을 일관되게 감소시킵니다. CHAIR 벤치마크에서 DoLa, VCD, M3ID 와 같은 최첨단 베이스라인과 비교하여 경쟁력 있거나 우수한 F1 점수를 달성하면서도 객체 커버리지를 유지하거나 개선합니다. HallusionBench 에서는 여러 모델에서 다섯 가지 지표 중 네 가지에서 최상의 점수를 기록합니다.
• 일반화: 이 방법은 POPE, VQAv2 와 같은 판별 작업과 MMMU 와 같은 지식 집약적 추론에서 견고성을 보여주어, ReVisiT 가 표면화한 시각적 그라운딩 신호가 다양한 작업 유형에 걸쳐 일반화됨을 나타냅니다.
• 효율성: 추가 순전파 (예: VCD, CODE) 또는 중간 레이어 투영 (DoLa) 이 필요한 기존 방법들과 달리, ReVisiT 는 추론 지연 시간을 0.6% 에서 2.0% 만 증가시킵니다. 다중 패스 베이스라인에 비해 계산 비용을 최대 2 배까지 절감합니다.

중요성과 주장

본 논문은 ReVisiT 가 시각적 의미론을 해석 가능하게 인코딩하는 비전 토큰이 의미론적으로 일관된 제약을 통해 해제될 수 있음을 보여준다고 주장합니다. 이러한 의미론을 언어 공간에 명시적으로 노출시킴으로써, 이 방법은 생성에 대한 해석 가능한 안내 신호를 제공합니다.

저자들은 ReVisiT 를 기존 내부 정렬 (intra-alignment) 또는 사후 정렬 (post-alignment) 방법의 계산 오버헤드 없이 시각적 그라운딩을 개선하는 확장 가능하고 광범위하게 적용 가능한 솔루션으로 위치시킵니다. 그들은 제안된 문맥 인식 제약 발산이 벤치마크 특정 휴리스틱이 아닌 근본적인 디코딩 신호를 포착한다는 점이 다양한 모델 크기와 아키텍처에서의 방법의 효과성을 시사한다고 강조합니다.

인정된 한계:
저자들은 ReVisiT 가 모델 내부 비전 토큰에 인코딩된 의미론에 크게 의존하며, 이로 인해 암시적 상식 추론을 희생하면서 지각적으로 근거된 요소에 과도하게 초점을 맞출 수 있다고 지적합니다. 또한, 디코딩 시간 방법으로서 시각적 증거가 불충분한 경우 사전 학습 데이터에서 비롯된 사실적 오류를 수정할 수 없으며 외부 지식 검색을 통합하지는 않지만, 검색 증강 생성 (RAG) 파이프라인과는 호환 가능하다고 명시합니다. 현재 평가는 7~32B 파라미터 범위의 오픈 소스 모델로 제한되어 있습니다.