Mull-Tokens: Modality-Agnostic Latent Thinking

다음은 논문 "Multimodal Tokens: Modality-Agnostic Latent Thinking"에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 복잡한 공간 및 시각 추론 작업 (예: 퍼즐 해결, IQ 테스트, 3 차원 공간 관계) 에서 어려움을 겪고 있습니다. 기존 접근 방식은 다음과 같은 여러 한계를 안고 있습니다:

• 텍스트 전용 연쇄 사고 (CoT): 언어적 논리에는 효과적이지만, 텍스트 기반 추론은 종종 시각적 입력에서 벗어나 공간적 인과관계나 기하학적 제약을 포착하지 못합니다.
• 명시적 이미지 생성: 중간 이미지나 스케치를 생성하는 방법은 계산 비용이 많이 들고 느리며, 종종 취약합니다.
• 교차된 이미지 - 텍스트 잠재 변수: 명시적 시각 토큰과 텍스트 추론을 교차시키려는 최근 시도 (예: MVoT, MIRAGE) 는 상충되는 결과를 보여 왔습니다. 이러한 방법들은 종종 모달리티 전환 편향으로 고통받는데, 이는 모델이 이미지 사용을 요청받았음에도 기본적으로 텍스트로 돌아가거나, 명시적으로 모달리티를 전환하도록 강요받을 때 성능이 저하되는 현상입니다.
• 데이터 부족: 많은 방법론은 정렬된 텍스트 - 이미지 추론 흔적이 포함된 맞춤형이고 비싼 데이터셋을 필요로 합니다.

핵심적인 과제는 명시적 이미지 생성의 오버헤드나 강제된 모달리티 전환의 취약성 없이, 시각 및 텍스트 정보를 모두 표현할 수 있는 통합된 공간에서 모델이 "생각"할 수 있도록 하는 것입니다.

2. 방법론: $\mu$-Tokens

저자들은 모델의 내부 "스크래치패드" 역할을 하는 모달리티 중립적 잠재 토큰인 $\mu$-Tokens(멀티모달 토큰) 세트를 제안합니다. 이러한 토큰은 추론 단계 동안 명시적 텍스트나 이미지로 해독되지 않은 채, 작업에 따라 시각적 개념 (예: 객체 배치, 깊이 지도) 이나 텍스트적 개념을 동적으로 인코딩할 수 있습니다.

학습 프레임워크

학습 과정은 잠재 추론과 강화 학습에서 영감을 받은 3 단계 프레임워크를 따릅니다:

1. 1 단계: 웜업 (지도 미세 조정)

   • 목표: $\mu$-Tokens 가 특정 멀티모달 추론 단계에 고정되도록 학습시킵니다.
   • 데이터: 교차된 텍스트 - 이미지 추론 흔적 (예: Zebra-CoT, Video-R1) 을 사용합니다.
   • 메커니즘: 모델은 추론 사슬의 다음 단계를 예측하도록 학습됩니다. 정답이 텍스트인 경우 토큰은 텍스트 토큰을 예측합니다. 정답이 시각적 하위 목표 (예: 잘라낸 이미지나 배치) 인 경우, 토큰은 인코딩된 시각적 특징에 대한 코사인 유사도를 통해 지도 학습됩니다.
   • 결과: 토큰은 의미 있는 멀티모달 표현을 보유하도록 학습됩니다.

2. 2 단계: 완화된 학습 (정답 전용 지도)

   • 목표: 모델이 최종 정답 정확도를 극대화하기 위해 잠재 궤적을 자유롭게 최적화할 수 있도록 합니다.
   • 메커니즘: 중간 단계에 대한 명시적 지도는 제거됩니다. 모델은 최종 정답만을 사용하여 미세 조정됩니다. $\mu$-Tokens 는 입력과 정답 사이에 고정된 길이 (예: 20 개 토큰) 의 시퀀스로 삽입됩니다.
   • 주요 설계: 병렬성을 깨고 오류를 누적하는 연속적 순환 잠재 변수와 달리, $\mu$-Tokens 는 이산적입니다. 표준 자기 주의 (self-attention) 를 통해 처리되므로 효율적인 병렬 계산이 가능하고 긴 사슬에 걸친 오류 누적을 방지합니다.

3. 3 단계: RL 정제 (GRPO)

   • 목표: 잠재 사슬이 단순히 정답과 공존하는 것이 아니라, 정답에 인과적으로 기여하도록 보장합니다.
   • 메커니즘: **그룹 상대 정책 최적화 (GRPO)**를 사용합니다. 모델은 여러 궤적을 생성하며, 올바른 정답으로 이어지는 궤적은 더 높은 보상을 받습니다. 그라디언트는 자기 주의 메커니즘을 통해 $\mu$-Tokens 로 역전파되어 "생각" 과정을 인과적으로 효과적으로 정제합니다.

3. 주요 기여

• 모달리티 중립적 추론: 추론 토큰이 특정 모달리티 (텍스트 또는 이미지) 에 구속되지 않고 통합된 잠재 공간에서 중간 상태를 표현할 수 있는 패러다임을 도입합니다.
• 효율성: $\mu$-Tokens 는 verbose 한 텍스트 CoT 나 명시적 이미지 생성에 필요한 수백 개의 토큰과 비교하여 10~40 개의 토큰만으로 상당한 성능 향상을 달성합니다. 이는 속도와 계산 측면에서 파레토 우월적인 개선을 제공합니다.
• 2 단계 학습 전략: 멀티모달 흔적로 토큰을 사전 학습하는 것 (1 단계) 이 중요하며, 잠재적으로 비최적인 인간 생성 추론 흔적에 모델이 구속되지 않도록 하기 위해 정답 전용 최적화 (2 단계) 를 뒤따라야 함을 입증합니다.
• 이산적 vs 연속적: 이산적 잠재 토큰이 안정성, 병렬성, 성능 측면에서 연속적 순환 임베딩보다 우수함을 증명합니다.

4. 실험 결과

이 방법은 Qwen2.5-VL (7B) 모델을 네 가지 도전적인 벤치마크 (BLINK(시각 퍼즐/IQ), SAT-Real(행동/운동 추론), VSI-Bench(비디오 공간 추론), MMSI-Bench(다중 이미지 추론)) 에서 평가했습니다.

• 성능 향상:
  • $\mu$-Tokens 는 가장 강력한 베이스라인 (Direct Answer Fine-tuning) 대비 +3% 의 평균 절대 정확도 향상을 달성했습니다.
  • 추론이 중요한 분할 (예: BLINK Jigsaw 및 IQ 테스트) 에서는 향상 폭이 **+16%**에 달했습니다.
  • 텍스트 전용 CoT 와 교차된 이미지 - 텍스트 접근 방식 모두를 능가했습니다.
• 애블레이션 연구:
  • 멀티모달 웜업이 필수적입니다: 텍스트 전용이나 웜업 없이 학습한 경우 성능이 저하되었습니다. 토큰이 효과적이려면 시각 및 텍스트 정보 모두를 보유하도록 사전 학습되어야 합니다.
  • 이산적 토큰: 이산적 토큰은 연속적 순환 임베딩보다 현저히 우수한 성능을 보였습니다.
  • 토큰 수: 성능은 일정 지점 (약 20 개) 까지 토큰 수에 비례하여 증가하지만, 그 이후에는 "과도한 사고 (overthinking)"로 인해 성능이 저하됩니다.
• 일반화: 모델은 도메인 외 작업 및 다중 이미지 벤치마크 (MMSI-Bench, SiteBench) 에 대해 강력한 일반화 능력을 보여주었습니다.
• 해석 가능성: 토큰 자체는 잠재적이지만, 저자들은 이를 명시적 텍스트 논리와 짝지어 모델이 먼저 잠재 공간에서 "생각"한 후 필요시 추론을 언어화할 수 있음을 보여주었으며, 이는 높은 정확도를 유지합니다.

5. 의의

이 연구는 비싼 중간 출력 생성 없이 공간, 시간, affordance(행동 가능성) 에 대해 추론하는 데 있어 멀티모달 AI 의 근본적인 병목 현상을 해결합니다.

• 간결성: 복잡한 "생각하고 스케치하기" 또는 도구 증강 파이프라인에 대한 더 간단한 대안을 제공합니다.
• 확장성: 소수의 이산적 토큰과 표준 트랜스포머 병렬성을 사용함으로써 이 접근법은 매우 확장 가능하고 계산적으로 효율적입니다.
• 미래 방향: 멀티모달 추론의 미래는 더 많은 명시적 콘텐츠 (이미지/텍스트) 를 생성하는 데 있는 것이 아니라, 지각과 의사결정을 연결하는 내부 잠재 표현을 최적화하는 데 있음을 시사합니다. 이 접근법은 명시적 생성의 오버헤드 없이 인간과 유사한 공간적 상상력과 기계적 추론 간의 간극을 메웁니다.