기술 요약: UniVLR

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 들은 기하학적 문제 해결 및 고해상도 시각적 이해와 같은 지각 중심 시나리오에서 특히 "이미지로 사고하는" 능력이 점점 더 요구되고 있습니다. 현재 시각적 추론 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

1. 도구 기반 시각적 추론: 이러한 방법은 명시적인 텍스트 연쇄 사고 (Chain-of-Thought, CoT) 와 외부에서 생성된 보조 이미지 (예: 자르기, 스케치) 를 번갈아 삽입합니다. 효과적이기는 하나, 이 패러다임은 사전 정의된 도구의 경직성, 외부 호출로 인한 지연 시간, 그리고 생성된 이미지의 불안정성으로 고통받습니다.
2. 기존 시각적 잠재 추론: 외부 도구를 피하기 위해 최근 방법들은 자동회귀적으로 잠재 시각 토큰을 생성합니다. 그러나 대부분의 기존 방법들은 여전히 명시적 텍스트 CoT 와 잠재 시각 토큰을 번갈아 사용하는 **교차 설계 (interleaved design)**를 채택합니다. 저자들은 이 설계에서 두 가지 치명적인 결함을 확인했습니다:
   • 비효율성: 교차 패러다임은 시각적 잠재 단계 사이에 완전한 명시적 텍스트 세그먼트를 여전히 필요로 하므로, 표준 텍스트 기반 CoT 에 비해 생성 비용을 실질적으로 줄이지 못합니다.
   • 분산된 주의: 텍스트와 잠재 토큰이 이질적인 형태로 나타나기 때문에, 모델들은 종종 인근 텍스트 토큰에 의존하면서도 이전 보조 이미지에 일관되게 주의를 기울이지 못합니다. 분석에 따르면 후속 CoT 토큰들은 보조 이미지에 대해 희소하고 분산된 주의를 보이며, 이는 시각적 증거가 추론 과정에 완전히 통합되지 않음을 의미합니다.

제기된 핵심 질문은 명시적 텍스트 CoT 가 별도의 추론 채널로 남아야 하는지, 아니면 보조 이미지와 함께 공유된 지각 작업 공간 내에서 시각화되고 조직될 수 있는지입니다.

방법론: UniVLR

저자들은 텍스트 추론과 보조 시각적 증거를 공유된 시각적 작업 공간으로 취급하는 UniVLR(Unified Visual Latent Reasoning, 통합 시각적 잠재 추론) 프레임워크를 제안합니다. UniVLR 은 추론 시 텍스트 CoT 를 독립적인 추론 경로로 유지하는 대신, 추론 흔적과 보조 이미지를 통합된 시각적 캔버스로 렌더링하고, 이 표현을 압축된 시각적 잠재 토큰으로 변환한 후, 추론 시에는 오직 이러한 잠재 토큰을 통해서만 추론을 수행합니다.

1. 통합 시각적 캔버스 렌더링

UniVLR 은 렌더링 함수 $\Phi(\cdot)$를 사용하여 이질적인 추론 흔적을 단일 시각적 표현으로 변환합니다:

• 구성: 텍스트 추론 $R$과 보조 이미지 $U$를 가진 학습 인스턴스에 대해, 이 함수는 이를 통합된 캔버스 $c = \Phi(R, U)$로 구성합니다.
• 적응형 렌더링: 시스템은 컴팩트성과 가독성을 보장하기 위해 경량 전략을 적용합니다. 텍스트는 적응형 글꼴 크기와 줄바꿈으로 렌더링되며, 보조 이미지는 크기가 조정되고 시각적 단서 (예: 상자, 화살표) 로 강조됩니다.
• 목표 추출: 통합된 캔버스는 기본 MLLM 의 비전 인코더에 의해 처리되어 2D 특징 지도를 추출합니다. 그런 다음 이 지도는 종횡비 인식 2D 풀링을 사용하여 적응형 풀링되어 고정 길이의 잠재 목표 시퀀스 $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$로 변환됩니다.

2. 2 단계 잠재 정렬

모델은 이러한 통합된 시각적 표현과 내부 상태를 정렬하기 위해 2 단계 커리큘럼을 통해 훈련됩니다:

• 1 단계: 시각적 잠재 그라운딩: 모델은 보조 시각 이미지만을 정렬 목표로 사용하여 연속적인 잠재 토큰을 자동회귀적으로 생성하도록 훈련됩니다. 이는 MLLM 과 시각 임베딩 공간 사이의 기본 연속 추론 인터페이스를 확립합니다.
• 2 단계: 텍스트 - 비전 통합 정렬: 모델은 렌더링된 텍스트와 보조 이미지를 모두 포함하는 통합 캔버스 목표를 사용하여 미세 조정됩니다. 이 단계는 모델이 명시적 추론 흔적과 시각적 증거를 동일한 잠재 시각 채널을 통해 표현하도록 가르칩니다.
• 목적: 훈련 목적 함수는 최종 답변 및 제어 토큰에 대한 표준 언어 모델링과 예측된 잠재 토큰을 목표 시각 임베딩과 정렬시키는 정규화된 회귀 손실 ($L_{align}$) 을 결합합니다. 이 손실에는 MSE 와 코사인 유사도 구성 요소가 모두 포함됩니다.

3. 연속 자동회귀 추론

추론 시에는 렌더링 함수, 비전 인코더, 그리고 교사 목표가 폐기됩니다. 모델은 다음과 같이 작동합니다:

1. 원래 멀티모달 프롬프트 $(Q, I)$를 수신합니다.
2. <|univlr_start|> 토큰을 생성하면 잠재 추론 모드로 전환됩니다.
3. $K$개의 연속적인 시각적 잠재 토큰을 자동회귀적으로 생성하며, 각 예측된 토큰을 다음 단계의 입력으로 피드백합니다.
4. <|univlr_end|>를 생성하면 이산 어휘로 다시 전환하여 최종 자연어 답변을 디코딩합니다.
   중요하게도, 추론 단계 동안 명시적인 중간 텍스트 CoT 는 생성되지 않습니다.

주요 기여

1. 통합 패러다임: UniVLR 은 텍스트 추론과 보조 시각적 증거를 단일 시각적 잠재 채널로 통합하여 교차된 텍스트와 잠재 토큰의 필요성을 제거하는 패러다임을 도입합니다.
2. 효율성: 추론 중 명시적 텍스트 생성을 제거함으로써 UniVLR 은 생성된 토큰 수를 크게 줄이면서도 추론 정확도를 유지하거나 향상시킵니다.
3. 향상된 주의: 통합 설계는 모델이 모든 추론 증거를 동일한 시각적 경로를 통해 처리하므로, 교차 설계에 비해 보조 이미지에 대해 더 밀집되고 집중된 주의를 유도합니다.
4. 2 단계 훈련: 제안된 커리큘럼 (그라운딩 followed by 통합) 은 표현 붕괴를 방지하면서 연속적 잠재 추론의 학습을 안정화시킵니다.

실험 결과

Qwen2.5-VL-7B 를 기본 모델로 사용하여 실제 세계 지각 및 추론 벤치마크 (V*, HRBench4K/8K, MME-RealWorld-Lite) 에서 실험이 수행되었습니다.

• 성능: UniVLR 은 이전 시각적 잠재 추론 방법 (Monet, LVR, SkiLa, CoVT) 과 텍스트 추론 베이스라인을 능가합니다. 평균적으로 가장 좋은 베이스라인 대비 추론 정확도를 5.4% 향상시킵니다.
• 효율성: UniVLR 은 생성된 토큰을 훨씬 적게 사용하면서 이러한 향상을 달성합니다. 교차 방법 대비 생성된 추론 토큰 수를 15.2 배 줄입니다 (190~270 개의 텍스트 토큰 대신 12 개의 잠재 토큰만 사용).
• 잠재 표현 분석:
  • 시각적 그라운딩: UniVLR 의 잠재 토큰의 숨겨진 상태 분포는 텍스트 토큰 표현보다 이미지 토큰 표현과 더 밀접하게 정렬되어, 모델이 시각적으로 그라운딩된 채널을 사용함을 확인시켜 줍니다.
  • 정보 내용: 잠재 상태에 제로를 적용하거나 노이즈를 추가하는 교란 분석은 정확도가 크게 떨어지게 하여, 잠재 토큰이 작업 관련 추론 정보를 담고 있으며 단순한 자리 표시자가 아님을 증명합니다.
• 절대화 연구 (Ablation Studies):
  • 렌더링 전략: 수직 레이아웃 렌더링과 적응형 줄바꿈은 복잡한 논리를 처리하는 데 결정적인 것으로 밝혀졌습니다.
  • 데이터 필터링: 시각적 추론 없이 해결 가능한 샘플이나 노이즈가 있는 목표가 포함된 샘플을 제거하는 엄격한 학습 데이터 필터링은 2 단계 훈련의 안정성에 필수적이었습니다.
  • 교사 강제 (Teacher Forcing): 훈련 중 전체 잠재 교사 강제 적용은 계획된 샘플링보다 더 좋은 결과를 낳았으며, 이는 이 연속적 설정에서 노출 편향을 줄이는 것보다 잠재 다양성 (manifold) 을 안정화하는 것이 더 중요함을 시사합니다.
• 일반화: UniVLR 은 일반 멀티모달 작업 (TextVQA, POPE, MME-translation) 에서 치명적인 망각을 보이지 않으며, 실제로 객체 환각 (POPE) 과 텍스트가 풍부한 이미지 이해 (TextVQA) 에서 성능을 향상시킵니다.

중요성과 주장

이 논문은 UniVLR 이 멀티모달 사고를 위한 더 통합되고 효율적인 패러다임으로 시각적 잠재 추론을 추진한다고 주장합니다. 명시적 텍스트 CoT 가 통합된 시각적 잠재 채널로 흡수될 수 있음을 입증함으로써, 이 연구는 MLLM 이 번거로운 텍스트 생성이나 외부 도구 호출의 오버헤드 없이 복잡하고 다단계 추론을 수행할 수 있음을 시사합니다.

저자들은 이 방법이 효율성과 성능을 향상시키지만, 트레이드오프가 수반된다고 강조합니다. 즉, 잠재 추론 과정은 명시적 텍스트 CoT 보다 직접적으로 검사하기 어려워 디버깅 및 감사가 더 어려울 수 있습니다. 또한, 이 방법은 비전 인코더의 OCR 및 레이아웃 이해 능력에 의존합니다. 이 작업은 정확한 측정이나 포괄적 탐색이 필요한 작업에서 도구 기반 추론을 대체하는 것이 아니라, 컴팩트하고 통합된 잠재 공간 내에서 시각적 숙고를 내재화하는 중요한 단계로 UniVLR 을 위치시킵니다.