Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

다음은 "Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 시각적 증거가 누락되거나 시각적 증거의 위치가 정확히 파악되지 않아 차트, 고해상도 인식, 시각 수학 등 복잡한 시각 작업에서 종종 실패합니다. 외부 도구 (자르기, 검색, 생성) 는 이러한 증거를 제공할 수 있지만, 지연 시간, 복잡성, 일반화 문제를 야기합니다. 대안으로 **시각 잠재적 추론 (visual latent reasoning)**이 있으며, 이는 모델이 내부적으로 중간 시각적 증거를 나타내는 연속적인 잠재 토큰을 생성하는 방식입니다.

그러나 기존 잠재적 추론 방법은 불안정한 성능 향상을 겪으며, 사후 학습 (post-training) 후에도 미미한 개선만 보이는 경우가 많습니다. 저자들은 근본적인 **특성 공간 불일치 (feature-space mismatch)**를 주요 원인으로 지목합니다.

• Pre-norm 아키텍처 문제: 최신 MLLM(예: Qwen2.5-VL, Gemma 4) 은 pre-norm 트랜스포머를 사용합니다. 이러한 아키텍처에서는 은닉 상태의 노름 (norm) 이 레이어를 거치며 크게 누적되어, 최종 레이어의 상태가 모델이 소비하도록 훈련된 입력 임베딩보다 수배에서 수백 배 더 큰 크기 (예: 비전의 경우 약 8.7 배, 텍스트의 경우 약 546 배) 가 됩니다.
• 불일치: 현재 잠재적 방법들은 일반적으로 이러한 고노름 출력 은닉 상태를 다음 잠재 토큰의 입력으로 직접 재사용합니다 ("출력-as-입력"). 이는 모델이 처리하도록 훈련되지 않은 분포에서 입력을 받는 피드백 루프를 만들어 최적화를 불안정하게 하고 잠재 채널을 신뢰할 수 없게 만듭니다.

2. 방법론: GAP 프레임워크

저자들은 시각적 잠재적 추론을 안정화하고 개선하기 위한 3 단계 정렬 전략인 **GAP(Grainular Alignment Paradigm)**를 제안합니다.

A. 특성 수준 정렬: PCA 정렬 잠재 헤드

노름과 부분 공간 불일치를 해결하기 위해, GAP 은 원시 디코더 상태를 모델로 다시 피드백하지 않습니다. 대신:

• 프로젝션: 백본의 최종 은닉 상태 (네이티브 RMSNorm 이후) 는 경량 PCA 정렬 잠재 헤드를 통해 보조 이미지 비전 임베딩의 주성분 부분 공간에 매핑됩니다.
• 재구성: 모델은 전체 차원 벡터 대신 저차원 PCA 계수 ($c_t$) 를 예측합니다. 이를 학습 세트의 비전 임베딩에 대한 경험적 평균 ($\mu$) 과 상위-$k$ 고유벡터 ($P_k$) 를 사용하여 재구성합니다: $\hat{v}_t = P_k c_t + \mu$.
• 효과: 이는 생성된 잠재가 입력 비전 임베딩과 동일한 노름 영역과 경험적 부분 공간에 존재하도록 강제하여, 백본의 재학습 없이 특성 공간 불일치를 교정합니다.

B. 데이터 수준 정렬: 문맥 기반 감독

잠재 목표가 해석 가능하고 검사 가능하도록 하기 위해, 저자들은 49,309 개의 선별된 예제로 구성된 데이터셋을 구축합니다.

• 보조 이미지: 각 쿼리는 누락된 시각적 증거를 나타내는 생성된 "보조 이미지"와 짝을 이룹니다.
• 구조화된 출력: 학습 응답에는 보조 이미지의 고정된 ViT 특징에 의해 감독된 <latent> 구간과 의도된 시각적 신호에 대한 텍스트 설명인 <parser> 구간이 포함됩니다.
• 목표: 이는 연속적인 잠재 벡터를 특정하고 인간이 읽을 수 있는 시각적 의도와 연결하여 학습 과정을 투명하게 만듭니다.

C. 모델 수준 정렬: 난이도 인식 할당

기저 모델이 이미 해결하는 예제에 잠재 감독을 적용하여 노이즈가 발생하는 것을 방지하기 위해:

• 선택 전략: 시스템은 반복 샘플링을 통해 쿼리에 대한 기저 모델의 정확도를 추정합니다.
• 조건부 감독: 잠재 목표는 기저 모델이 실패할 때 (정확도 $\le \tau$) 만 할당됩니다. 쉬운 예제는 표준 텍스트 전용 감독을 받습니다.
• 이익: 이는 잠재 용량을 시각적 추론이 실제로 필요한 어려운 사례에 집중시켜, 쉬운 작업에서의 분포 변화를 방지합니다.

3. 주요 기여

1. 특성 공간 불일치 진단: 이 논문은 pre-norm MLLM 에서 출력 은닉 상태가 입력 임베딩과 다른 노름 영역을 차지하여 출력-as-입력 잠재 피드백에서 불안정성을 초래한다는 것을 경험적으로 증명합니다. 단순한 노름 재조정 (EMA) 이 성능을 개선하여 이 가설을 검증합니다.
2. GAP 패러다임: 다음을 결합한 경량 레시피:
   • 잠재력을 입력 비전 부분 공간으로 되돌리기 위한 PCA 정렬 프로젝션.
   • 검사 가능성을 위한 문맥 기반 감독.
   • 학습 안정성을 위한 난이도 인식 할당.
3. 오픈 데이터셋: 시각적 CoT, 차트, 기하학, 수학을 다루는 49K 고품질 멀티모달 잠재 감독 데이터셋 공개.
4. 경험적 검증: 정렬된 잠재력이 단순한 토큰 슬롯을 넘어 작업 관련 시각적 신호를 전달함을 입증.

4. 실험 결과

Qwen2.5-VL 7B에서 평가되었으며, 전체 GAP 모델 (LH+PCA+DA) 은 기저 모델, 밀집 캡션링 베이스라인, 이전 잠재적 방법 (Monet, LVR) 과 비교되었습니다.

• 성능: GAP 은 인식 (HRBench4K, MMStar, MME-RealWorld-Lite) 과 추론 (MathVista, WeMath) 벤치마크 전반에서 최고의 평균 집계 성능을 달성했습니다.
  • 추론 집계 (Avg-R) 는 Monet 대비 +5.98, LVR 대비 +6.31 향상되었습니다.
  • 인식 집계 (Avg-P) 는 Monet 대비 +1.74 향상되었습니다.
• Ablation 연구:
  • PCA 정렬: 순진한 잠재 헤드로 인해 손실된 추론 정확도를 회복하는 데 필수적입니다.
  • 난이도 인식 할당: 쉬운 예제에서 성능 저하를 방지하는 데 중요합니다.
  • 토큰 예산: 성능은 36 개의 잠재 토큰(6x6 그리드) 에서 정점을 찍으며, 이를 더 늘리면 체감되는 수익이 감소하거나 포화 상태에 도달합니다.
• 개입 프로빙:
  • Zero-Latent 체크포인트: 추론 시 잠재력을 생성하지 않더라도, 잠재 감독으로 훈련된 모델은 밀집 캡션링보다 우수하여, 학습 과정 자체가 더 나은 표현을 형성함을 시사합니다.
  • 노이즈 주입: 예측된 PCA 계수를 가우시안 노이즈로 대체하면 성능이 크게 저하되어, 생성된 잠재력이 단순한 포맷 아티팩트가 아닌 작업 관련 시각적 신호를 포함함을 확인했습니다.

5. 중요성과 주장

이 논문은 pre-norm 트랜스포머의 특정 아키텍처 비호환성을 해결함으로써 시각적 잠재적 추론을 MLLM 에서 견고하고 효과적으로 만들 수 있다고 주장합니다.

• 겸손한 주장: 저자들은 환각을 완전히 해결하거나 추가 검증 없이 모든 백본에 보편적으로 적용된다고 주장하지 않습니다. "난이도 임계값"은 휴리스틱이며, 이 접근법은 데이터 구축 중 의미 있는 보조 이미지를 생성할 수 있는 능력에 의존한다고 지적합니다.
• 핵심 통찰: 주요 기여는 노름/부분 공간 불일치를 실패 모드로 식별하고, 경량 PCA 기반 재구성 경로가 연속적인 시각적 피드백을 모델의 입력 분포와 정렬시켜 외부 도구 없이 안정적이고 해석 가능한 시각적 추론을 가능하게 한다는 것을 입증한 것입니다.