기술 요약: 자기 일관성 잠재 추론 (SCOLAR)

1. 문제 제기

언어 모델에서의 "성능 향상을 위한 계산량 확장 (compute-for-performance scaling)"은 더 긴 사고의 사슬 (Chains of Thought, CoT) 이 추론 능력을 지속적으로 향상시킨다는 것을 입증해 왔습니다. 그러나 이를 **잠재 시각 추론 (latent visual reasoning)**을 통해 비전 - 언어 모델 (VLM) 에 적용한 결과는 역설적이었습니다. 생성 과정에서 중간 잠재 시각 표현을 도입하는 기존 방법들은 잠재 시퀀스 길이가 길어질수록 체계적인 성능 저하를 겪습니다.

이 논문은 이러한 현상의 두 가지 근본 원인을 **정보 획득 붕괴 (Information Gain Collapse)**라고 명명하며 다음과 같이 지적합니다:

1. 자기회귀적 의존성: 전통적인 잠재 추론에서는 각 토큰이 이전 토큰을 기반으로 생성됩니다. 이로 인해 시각 정보가 전파됨에 따라 필연적으로 감쇠하는 의존성 사슬이 형성되어, 후속 토큰들이 새로운 의미론적 내용을 도입하기보다 기존 정보를 반복하게 됩니다.
2. 의미 없는 감독 목표: 많은 기존 방법들은 과도하게 풀링된 (예: $\ge 128\times$) 이미지 임베딩을 감독 목표로 사용합니다. 저자들은 이러한 풀링된 특징들이 "의미 없는 자리 표시자"로 작용하여 노이즈 이상의 신호를 제공하지 못하며 효과적인 시각 추론을 유도하지 못함을 입증했습니다.

결과적으로, 기존 방법들에서 더 긴 잠재 사슬은 이득이 아니라 부담이 되어 시각 추론의 확장성을 제한합니다.

2. 방법론: SCOLAR

정보 획득 붕괴를 해결하기 위해 저자들은 **SCOLAR(Self-COnsistent LAtent Reasoning)**을 제안합니다. 핵심 혁신은 자기회귀적 잠재 생성에서 단회성 자기 일관성 생성 (single-shot, self-consistent generation) 접근법으로의 패러다임 전환입니다.

아키텍처

표준 ViT–Projector–LLM 프레임워크를 기반으로 구축된 SCOLAR 은 경량 detransformer 브랜치를 도입합니다:

• 입력: detransformer 는 LLM 의 전체 시퀀스 은닉 상태($H$)(텍스트 추론 및 트리거 토큰 포함) 를 입력으로 받습니다.
• 메커니즘: 잠재 토큰을 하나씩 생성하는 대신, detransformer 는 **단일 순전파 (single forward pass)**를 통해 보조 시각 토큰 ($A_0$) 전체 시퀀스를 생성합니다.
• 자기 일관성: 생성된 각 보조 토큰은 원래 시각 의미 공간 (입력 해상도) 에 독립적으로 고정됩니다. 이는 자기회귀적 의존성 사슬을 끊어 모든 토큰이 진정한 중복되지 않는 시각 정보를 도입하도록 보장합니다.
• 융합: 보조 토큰은 게이트 잔여 덧셈 ($A = V + g(A_0)$) 을 통해 원래 시각 토큰과 융합되며, 여기서 게이트 메커니즘은 편집 강도를 제어합니다.

학습 파이프라인

SCOLAR 은 훈련 (실제 보조 이미지 사용) 과 추론 (자기 생성 잠재 사용) 간의 분포 불일치를 해결하기 위해 3 단계 지도 미세 조정 (SFT) 전략을 적용한 후 강화 학습 (RL) 을 수행합니다:

1. 1 단계: Detransformer 사전 학습: Detransformer 는 재구성 손실을 사용하여 입력 이미지와 실제 보조 이미지 간의 차이 ($\Delta_{aux}$) 를 재구성하도록 훈련됩니다. 이 단계에서는 의미론적 붕괴를 방지하기 위해 LLM 백본이 고정됩니다.
2. 2 단계: 트리거 토큰 학습: 모델이 언제 잠재 추론을 활성화할지 자율적으로 결정하도록 학습합니다. 이는 가중 Next-Token Prediction(NTP) 을 통해 달성되며, <auxiliary> 트리거 토큰에 더 높은 손실 가중치를 부과하여 모델이 필요할 때 메커니즘을 호출하도록 학습시킵니다.
3. 3 단계: 교사 강제 어닐링을 통한 공동 추론: 모델은 자체 생성된 보조 토큰을 사용하여 추론하는 법을 학습합니다. 분포 불일치를 완화하기 위해, 실제 보조 특징을 사용하는 것에서 자기 생성된 것으로 사용하는 훈련 과정이 점진적으로 전환됩니다 (확률 1.0 에서 0.0 으로 선형 감소).
4. ALPO(보조 잠재 정책 최적화): 보조 임베딩은 연속적이므로 표준 이산 토큰 정책 경사 (GRPO 등) 를 통해 직접 최적화할 수 없기 때문에, 저자들은 ALPO 를 제안합니다. 이 방법은 연속적인 시각 추론을 이산 텍스트 정책에서 분리합니다. 롤아웃 (rollout) 중에는 보조 임베딩이 생성되어 캐시되며, 액터 업데이트 중에는 고정된 컨텍스트로 주입되고, 정책 경사는 이산 텍스트 토큰에 대해서만 계산됩니다. 특정 보상 구성 요소 ($r_{aux}$) 가 <auxiliary> 트리거의 올바른 활성화를 장려합니다.

3. 주요 기여

1. 정보 획득 붕괴의 규명: 이 논문은 기존 잠재 시각 추론 방법들의 성능 저하 근본 원인을 체계적으로 진단하여, 자기회귀적 정보 감쇠와 과도하게 풀링된 감독 목표의 사용에 기인함을 밝혔습니다.
2. SCOLAR 프레임워크: 원래 시각 공간에 독립적으로 고정된 보조 시각 토큰을 생성하는 경량 detransformer 를 사용하는 새로운 단회성 패러다임으로, 진정한 확장 가능한 잠재 추론 길이를 가능하게 합니다.
3. 학습 전략: 이산 토큰 정책 프레임워크 내에서 연속 잠재 공간 최적화의 고유한 과제를 처리하기 위해 교사 강제 어닐링을 포함한 3 단계 SFT 와 새로운 ALPO 알고리즘을 개발했습니다.
4. 실증적 검증: SCOLAR 이 기존 방법들에 비해 허용 가능한 잠재 CoT 길이를 30 배 이상 확장하면서도 성능을 향상시켰음을 보여주는 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 Qwen2.5-VL-7B 백본을 기반으로 한 SCOLAR 을 여러 벤치마크에서 최첨단 오픈소스 모델 및 독점 시스템 (GPT-4o, GPT-5.2) 과 비교 평가했습니다:

• 실세계 추론: SCOLAR 은 오픈소스 모델 간 최첨단 성능을 달성했습니다.
  • MME-RealWorld-Lite: 백본 대비 14.12% 향상.
  • V*Bench: **83.77%**를 기록하여 GPT-4o(67.50%) 를 16% 포인트 이상 상회했습니다.
  • HRBench4K/8K: 세밀한 공간 지각 작업에서 상당한 향상을 보였습니다.
• 분포 외 (OOD) 일반화: 훈련 데이터에 전혀 포함되지 않은 VisualPuzzles 벤치마크에서 SCOLAR 은 공간 및 유추 추론 작업에서 특히 강력한 일반화 능력을 보여주며 다른 오픈소스 모델들을 능가했습니다.
• 잠재 길이 확장:
  • Monet 및 LVR: 잠재 길이가 3 에서 1000 토큰으로 증가함에 따라 성능이 체계적으로 저하되었습니다.
  • SCOLAR: 잠재 길이가 증가함에 따라 성능이 지속적으로 향상되었으며, 풀링이 없는 전체 해상도에서 정점을 찍었습니다.
• 정보 획득 분석: 직교 투영 잔차를 사용하여 저자들은 SCOLAR 이 1000 토큰에 걸쳐 높은 정보 획득 (약 10–30) 을 유지하는 반면, LVR 의 획득은 10 토큰 이후 거의 0 으로 붕괴되고 Monet 의 획득은 단조롭게 감쇠함을 보였습니다.
• 의미 없는 패딩 실험: SCOLAR 의 잠재 토큰을 의미 없는 패딩으로 대체한 결과, 시퀀스 길이가 길어질수록 치명적인 성능 저하가 발생하여 모델이 토큰의 구조적 존재가 아닌 토큰의 진정한 의미론적 내용에 의존함을 확인했습니다.

5. 중요성 및 주장

이 논문은 SCOLAR 이 시각적 잠재 추론의 확장성 병목 현상을 근본적으로 해결한다고 주장합니다. 보조 토큰 생성을 자기회귀적 의존성에서 분리함으로써, SCOLAR 은 토큰이 진정한 감쇠하지 않는 시각 의미론을 담고 있다면 시각 영역에서 "더 긴 사슬"이 실제로 "더 나은 추론"을 낳을 수 있음을 입증합니다.

저자들은 SCOLAR 이 작은 오픈소스 모델과 대규모 독점 시스템 간의 격차를 해소하며, 효과적인 잠재 확장을 가진 7B 모델이 복잡한 추론 벤치마크에서 훨씬 더 큰 독점 모델들을 능가할 수 있음을 보여준다고 주장합니다. 이 연구는 잠재 추론에서 과도하게 풀링된 특징과 자기회귀적 생성에 대한 지배적인 의존성에 도전하며, 확장 가능하고 자기 일관적인 멀티모달 추론을 위한 새로운 방향을 제시합니다.

인정된 한계: 현재 접근법은 감독을 위해 쌍을 이룬 입력 - 보조 이미지 데이터에 의존하며, RL 단계에서의 detransformer 최적화는 명시적이지 않고 암시적입니다. 향후 연구는 비지도 설정과 연속 시각 공간에 대한 명시적인 엔드 - 투 - 엔드 기울기 신호를 탐구하는 것이 제안됩니다.