기술 요약: 어둠 속의 추론: 잠재 공간에서의 인터리브드 비전-텍스트 추론 (IVT-LR)

문제 정의

현재의 멀티모달 대규모 언어 모델(MLLM)을 위한 멀티모달 추론 방식은 주석 비용과 추론 효율성 측면에서 상당한 한계에 직면해 있습니다. 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉩니다:

1. 텍스트 전용 추론: MLLM이 정답을 생성하기 전에 텍스트 형태의 근거만을 사용하여 추론을 수행합니다. 이는 효과적이긴 하지만, 중간 사고 과정 중에 시각적 정보를 활용하는 데 실패하는 경우가 많습니다.
2. 비전-텍스트 결합형 추론: 이러한 방식은 시각적 정보(예: 이미지 패치 생성, 특정 영역 확대 또는 이미지 스케치 등)를 텍스트 근거와 인터리브(interleave)하여 결합합니다. 이는 복잡한 작업에서 성능을 향상시키지만, 노동 집약적인 비전-텍스트 주석(annotation)에 크게 의존하며, 긴 명시적 토큰 체인을 생성함에 따라 상당한 추론 지연(latency)을 유발합니다.

저자들은 명시적인 중간 생성을 배제하면서도 멀티모달 추론(시각적 및 텍스트 단서의 통합)의 이점을 유지할 수 있는 패러다임의 필요성을 식별했습니다.

방법론: 인터리브드 비전-텍스트 잠재 추론 (IVT-LR)

본 논문은 MLLM이 명시적인 중간 토큰을 생성하지 않고도 잠재 공간 내에서 시각 및 텍스트 양식을 인터리브하며 추론을 수행할 수 있게 하는 IVT-LR 프레임워크를 제안합니다.

핵심 메커니즘

IVT-LR에서 각 추론 단계는 두 가지 암시적 부분으로 구성된 멀티모달 잠재 벡터(multimodal latent vector)로 표현됩니다:

1. 잠재 텍스트 (Latent Text): 이전 단계에 대한 명시적인 텍스트 토큰을 생성하는 대신, 모델은 현재 단계를 위한 입력으로 이전 레이어의 은닉 상태(hidden state) ($h_{t-1}$)를 사용합니다. 이를 통해 연속적인 공간 내에서 풍부한 중간 추론 로직을 보존합니다.
2. 잠재 비전 (Latent Vision): 시각적 문맥을 동적으로 통합하기 위해, 모델은 **어텐션 점수(attention scores)**를 기반으로 고정된 개수($k$)의 이미지 임베딩을 선택합니다. 구체적으로, 모든 레이어에 걸친 어텐션 가중치의 합을 사용하여 가장 관련성이 높은 $k$개의 이미지 임베딩을 식별합니다. 선택된 임베딩은 잠재 텍스트 은닉 상태와 결합됩니다.

모델은 이 구성 요소들($[h_{t-1}, z_{selected}]$)을 융합하여 다음 토큰 분포를 계산하며, 이를 통해 중간 텍사트나 이미지를 출력하지 않고도 단계별 추론을 효과적으로 수행합니다.

학습 전략

MLLM이 이러한 잠재 추론 패러다임에 적응할 수 있도록, 저자들은 **점진적 다단계 학습 전략(progressive multi-stage training strategy)**을 도입했습니다:

• 단계 0: 모델은 모든 추론 단계가 명시적으로 생성되는 표준 Chain-of-Thought(CoT) 감독 학습을 통해 훈련됩니다.
• 점진적 대체 (Progressive Substitution): $N$번의 후속 단계에 걸쳐, 모델은 명시적인 추론 단계를 잠재 추론 단계(특수 토큰 <latent>로 표시)로 점진적으로 대체합니다. 각 단계에서 하나의 명시적 단계가 하나의 잠재 단계로 교체됩니다.
• 손실 함수 (Loss Function): 학습에는 음의 로그 가능도(NLL) 손실이 사용됩니다. 결정적으로, 감독은 남아 있는 명시적 추론 단계와 최종 정답에 대해서만 적용됩니다. 잠재 추론 단계와 질문 토큰은 마스킹 처리됩니다. 이는 모델이 명시적 근거와 엄격하게 선형적으로 정렬되도록 강요받는 것을 방지하여, 올바른 최종 예측을 향해 나아가면서도 잠재 공간 내에서 추론 궤적을 내면화할 수 있도록 합니다.

추론 과정

추론 시, 모델은 질문과 이미지 입력 뒤에 고정된 개수의 <latent> 토큰을 추가합니다. 추론 과정은 전적으로 잠재 공간 내에서 발생하며, 최종 정답이 생성되기 전까지 중간의 명시적 토큰은 생성되지 않습니다.

주요 기여

1. 최초의 통합 멀티모달 잠재 추론 프레임워크: IVT-LR는 명시적인 중간 텍스트나 이미지 생성 없이 텍스트와 시각적 표현을 완전히 잠재 공간 내에서 통합하는 최초의 접근 방식입니다.
2. 데이터 및 계산 효율성: 이 방법은 중간 시각 추론 단계에 대한 명시적인 주석을 요구하지 않는 학습 패러다임을 도입했습니다. 잠재 공간에서 추론함으로써, 추론에 필요한 자기회귀(autoregressive) 단계를 획기적으로 줄입니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이 접근 방식은 도전적인 벤치마크에서 새로운 최고 정확도를 달이는 동시에, 추론 효율성(적은 자기회로 단계 및 낮은 지연 시간으로 측정)을 크게 개선했습니다.

실험 결과

저자들은 M3CoT(멀티모달 chain-of-thought)와 ScienceQA라는 두 가지 벤치마크에서 IVT-LR를 평가했습니다. 실험은 Qwen2-VL-7B 및 Chameleon-7B 백본을 사용하여 수행되었습니다.

• 정확도: IVT-LR는 기존 접근 방식에 비해 평균 **5.45%**의 정확도 향상을 달성했습니다.
  • M3CoT (Qwen2-VL)에서 IVT-LR는 **71.8%**의 정확도에 도달하여, 이전 최고 성능인 Chain-of-Focus(64.3%)를 능가했습니다.
  • ScienceQA (Qwen2-VL)에서 **94.6%**의 정확도를 달성하여, Chain-of-Focus(91.2%)를 넘어섰습니다.
• 효율성: 이 방법은 기존 방식에 비해 5배 이상의 속도 향상을 입증했습니다.
  • 자기회귀 단계 (Autoregressive Steps): IVT-LR는 다른 방식들의 73.9~185.7 단계와 비교하여 평균 자기회귀 단계를 M3CoT에서는 10.0, ScienceQA에서는 11.0으로 줄였습니다.
  • 지연 시간 (Latency): 평균 생성 시간이 크게 감소했습니다 (예: Qwen2-VL 기반 M3CoT에서 2.63초에서 0.65초로 감소).

의의

본 논문은 IVT-LR가 복잡한 시각 및 텍스트 정보의 상호작용이 모델의 은닉 상태 내부에서 일어나는 "어둠 속의 추론(Reasoning in the Dark)"으로의 전환을 나타낸다고 주장합니다. 명시적이고 관찰 가능한 중간 출력의 필요성을 분리함으로써, 이 방법은 현재의 멀티모달 추론 시스템이 가진 주석 강도와 추론 지연의 병목 현상을 해결합니다. 저자들은 이 접근 방식이 전통적인 토큰 기반 생성보다 더 효율적으로 풍부한 멀티모달 정보를 처리할 수 있는 잠재 추론의 잠재력을 끌어올린다고 단언합니다.