Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs

이 논문은 시각적 정보 손실 없이 복잡한 추론을 가능하게 하기 위해 질문을 분해하고 조건부 시각 잠재 공간을 탐색하여 답변을 도출하는 강화된 잠재 추론 프레임워크인 'Decompose, Look, and Reason (DLR)'을 제안합니다.

핵심

1. 기존 AI 의 문제: "눈을 감고 추측하는 탐정"

기존의 AI 는 그림을 보고 질문을 받으면, 그림의 디테일을 다 기억하지 못한 채 **텍스트 **(글)로만 추론을 하거나, 그림의 일부만 잘라내어 (패치) 보는 방식이었습니다.

• 비유: 마치 눈을 가리고 친구의 얼굴을 설명하는 사람처럼요.
  • "아, 저기 코가 있네?"라고 말하지만, 실제로는 코가 아니라 귀를 보고 있을 수도 있습니다.
  • 혹은 "전체적으로 파란색이 많네"라고 말하지만, 사실은 벽의 작은 그림만 파란색이고 나머지는 흰색인 것을 놓칩니다.
  • AI 는 그림의 중요한 정보를 글로 바꾸는 과정에서 세부 정보가 사라져버려 (Information Loss), 엉뚱한 결론을 내리는 경우가 많습니다.

2. DLR 의 해결책: "세 단계로 문제를 해결하는 똑똑한 탐정"

이 논문이 제안한 DLR은 AI 가 그림을 볼 때 인간의 뇌가 작동하는 방식을 모방합니다. "**분해 **(Decompose)의 3 단계 과정을 거칩니다.

① 분해 (Decompose): "무엇을 봐야 할지 질문을 던지다"

AI 는 거창하게 "이 그림이 뭐야?"라고 한 번에 생각하지 않습니다. 대신 문제를 작은 조각으로 나눕니다.

• 비유: "수술용 현미경"을 켜는 것과 같습니다.
  • "이 그림에서 가방이 책 위에 있는지, 아니면 고양이 아래에 있는지 확인해야 해."라고 스스로에게 질문을 던집니다.
  • 이렇게 **텍스트로 구체적인 질문 **(전제)을 먼저 만들어냅니다.

② 보기 (Look): "질문에 맞춰 그림을 집중해서 보다"

이제 AI 는 방금 만든 질문을 바탕으로 그림의 특정 부분을 **연속적인 '잠재적 이미지 **(Latent)로 추출합니다.

• 비유: 스마트폰 카메라의 '초점' 기능을 상상해 보세요.
  • 일반적인 AI 는 그림 전체를 흐릿하게 보거나, 잘라낸 조각만 봅니다.
  • 하지만 DLR 은 "가방과 책이 만나는 부분"에 초점을 맞춰, 그 부분의 색감, 위치, 질감 등을 **디지털 데이터 **(잠재 공간)로 정밀하게 추출합니다.
  • 이 데이터는 그림을 잘라낸 것이 아니라, AI 가 마음속으로 그림을 '느끼는' 방식으로 저장되어 있어, 그림의 전체적인 맥락 (예: 방 전체가 흰색인지) 도 놓치지 않습니다.

③ 추론 (Reason): "확인한 사실로 결론 내리기"

마지막으로, AI 는 추출한 정확한 시각적 데이터를 바탕으로 논리적인 설명을 하고 정답을 도출합니다.

• 비유: 수사 보고서를 작성하는 과정입니다.
  • "질문: 가방이 책 위에 있나? → 확인 결과: 가방이 책 위에 있음. → 결론: 정답은 A."
  • 이렇게 **증거 **(시각 데이터)를 바탕으로 결론을 내기 때문에, 엉뚱한 추측을 하지 않습니다.

3. 왜 이 방법이 더 잘할까? (강화 학습의 마법)

이 AI 를 가르치는 과정은 3 단계로 이루어지는데, 마지막 단계가 가장 중요합니다.

1. 예비 학습: AI 가 그림과 글의 관계를 기본적으로 익힙니다.
2. 지도 학습: 정답이 있는 데이터를 보고 "분해 - 보기 - 추론"이라는 형식을 배웁니다.
3. **강화 학습 **(RL) (이 부분이 핵심!)
   • 기존 방식은 정답을 알려주는 대로만 따라 했습니다 (스승이 시키는 대로만 하는 학생).
   • 하지만 DLR 은 스스로 실험을 허용합니다. "이렇게 시각 데이터를 추출하면 정답이 잘 나올까? 아니면 저렇게 추출해볼까?"라고 수천 번의 시뮬레이션을 통해 스스로 최적의 방법을 찾아냅니다.
   • 비유: 미로 찾기 게임에서, 지도를 보여주는 대신 "이 길을 가보면 벽에 부딪히네, 저 길은 출구가 보이네"라고 스스로 길을 찾아보게 훈련시키는 것입니다.

4. 실제 효과: "15,000 자의 망상 vs 100 자의 정확한 분석"

논문에서 소개된 사례를 보면 차이가 극명합니다.

• 기존 AI: 그림을 보며 "아, 녹색 조각이 2 개네? 아니면 3 개? 아니면 각도가 다르네?"라고 15,000 자가 넘는 긴 글을 쓰며 혼란스러워하다가 결국 틀린 답을 냅니다. (눈을 감고 추측하는 탐정)
• DLR: "녹색 조각의 상대적 위치가 중요해"라고 문제를 분해하고, 그 부분만 집중해서 확인한 뒤 "정답은 4 번"이라고 명확하게 답합니다. (눈을 뜨고 증거를 찾는 탐정)

요약

이 논문은 AI 가 그림을 볼 때, **단순히 그림을 텍스트로 바꾸는 것이 아니라, 문제를 작은 질문으로 쪼개고 **(분해)는 새로운 방식을 제시했습니다.

이는 마치 AI 에게 "눈을 감고 상상하지 말고, 문제를 하나씩 뜯어보고 증거를 찾아보라"고 가르친 것과 같아, 복잡한 수학 문제나 미묘한 시각적 차이를 구별하는 데서 기존 AI 들보다 훨씬 뛰어난 성능을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 은 복잡한 시각적 추론 작업에서 종종 실패합니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 텍스트 기반 CoT 의 정보 손실: 시각 정보를 텍스트 설명으로만 변환하는 기존 멀티모달 CoT(MCoT) 는 중요한 시각적 세부 정보를 손실합니다.
• 패치 기반 방법의 비효율성: 잘라낸 이미지 패치 (patch) 나 바운딩 박스를 사용하는 'Thinking with Images' 방식은 외부 도구 호출 비용이 발생하며, 국소적인 영역에 국한되어 전역적 맥락이나 추상적 관계를 포착하기 어렵습니다.
• 잠재 공간 (Latent Space) 추론의 한계: 기존 잠재 공간 추론 방법들은 대부분 단일 시각 임베딩을 사용하거나, 결정론적 (deterministic) 으로만 작동하여 능동적인 탐색 (exploration) 이 부족합니다. 이는 모델이 최적의 추론 경로를 찾지 못하게 하고, SFT(지도 미세조정) 단계의 국소 최적해에 갇히게 만듭니다.

2. 방법론 (Methodology)

저자들은 "Decompose, Look, and Reason (DLR)" 이라는 강화된 잠재 추론 프레임워크를 제안합니다. 이는 인간의 인지 과정을 모방하여 세 단계로 이루어집니다.

A. DLR 프레임워크의 3 단계 프로세스

1. Decompose (분해): VLM 이 현재 추론 경로를 분석하여 시각적 검증이 필요한 텍스트 전제 (premise) 나 하위 질문을 동적으로 생성합니다.
2. Look (관찰): 생성된 텍스트 전제에 조건부 (premise-conditioned) 로 '시각 그라운더 (Visual Grounder)'가 작동합니다. 이는 이미지에서 해당 전제와 관련된 연속적인 시각 잠재 임베딩 (continuous visual latents) 을 추출합니다. 이는 패치 기반이 아닌, 국소적 정보와 비국소적 (전역적) 의미론을 모두 포괄하는 효율적인 표현입니다.
3. Reason (추론): 추출된 시각 잠재 정보를 기반으로 VLM 이 상세한 텍스트 논거 (rationale) 를 생성하고 최종 답을 도출합니다.

B. 3 단계 훈련 파이프라인

DLR 의 잠재력을 극대화하기 위해 다음과 같은 점진적인 훈련 방식을 도입했습니다:

1. Stage I: Pretraining (사전 훈련):
   • VLM 백본을 고정하고 가벼운 시각 그라운더를 학습합니다.
   • InfoNCE 대비 손실 (Contrastive Loss) 을 사용하여 시각 잠재 임베딩이 정답의 의미론적 임베딩과 정확히 정렬되도록 합니다. 이는 교차 모달 정렬을 확립합니다.
2. Stage II: Supervised Fine-tuning (SFT, 지도 미세조정):
   • DLR 특수 토큰을 포함한 주석 데이터로 모델을 훈련하여 구조화된 DLR 형식을 내재화합니다.
   • VLM 과 시각 그라운더를 공동으로 최적화하지만, SFT 는 결정론적 특징 추출에 머무르며 능동적 탐색이 부족하다는 한계가 있습니다.
3. Stage III: Reinforcement Finetuning (강화 미세조정):
   • SGLP (Spherical Gaussian Latent Policy): 시각 - 언어 표현 공간은 초구면 (hyperspherical) 다양체 구조를 가지므로, 기존 가우시안 분포 대신 구면 가우시안 잠재 정책을 제안합니다. 이는 벡터의 크기 (magnitude) 와 의미 방향 (direction) 을 분리하여, 크기 붕괴 없이 의미 공간에서 직접적인 탐색을 가능하게 합니다.
   • GRPO (Group Relative Policy Optimization) 적용: 텍스트 생성뿐만 아니라 연속적인 시각 잠재 공간에서도 강화 학습을 수행하여 최적의 추론 경로를 탐색합니다.
   • 리워드 설계: 정답 정확도 (Outcome Reward) 와 시각적 주의를 오라클 (Oracle) 과 정렬시키는 집중 리워드 (Focus Reward) 를 결합하여, 잘못된 추론 시 환각된 주의를 강화하지 않도록 설계했습니다.

3. 주요 기여 (Key Contributions)

1. DLR 프레임워크 제안: 동적 텍스트 분해와 전제 조건부 시각 잠재 추출을 결합하여, 텍스트 정책과 시각 정책이 상호 강화되도록 하는 새로운 추론 패러다임을 제시했습니다.
2. SGLP 및 3 단계 훈련 파이프라인: 시각 - 언어 표현의 기하학적 특성 (초구면 다양체) 에 부합하는 SGLP 를 도입하여 SFT 의 결정론적 한계를 극복하고, 연속 공간에서의 효과적인 강화 학습 (RL) 을 가능하게 했습니다.
3. 성능 및 해석 가능성: 다양한 벤치마크에서 기존 방법론을 압도하는 성능을 달성했으며, 단계별 시각적 근거 (premise-conditioned latents) 를 통해 추론 과정의 해석 가능성 (interpretability) 을 크게 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 V* Bench, MathVista, MMMU-Pro, MMStar 등 4 가지 비전 중심 벤치마크에서 DLR 을 평가했습니다.

• 성능: DLR 은 텍스트 전용 베이스라인, 인터리브드 MCoT(ICoT), 'Thinking with Images'(PixelReasoner), 기존 잠재 추론 방법 (LVR) 을 모두 능가했습니다.
  • V Bench:* 83.8% 정확도 (베이스라인 대비 +4.2% 향상).
  • MathVista: 67.5% 정확도 (베이스라인 대비 +5.0% 향상). 복잡한 수학 시각 추론에서 특히 효과적이었습니다.
  • MMMU-Pro: 56.1% 정확도 (베이스라인 대비 +5.9% 향상).
• 비교: DLR 은 약 200B 파라미터 규모의 독점 모델 (GPT-4o) 과도 경쟁하거나 능가하는 성능을 보였습니다.
• Ablation Study:
  • 사전 훈련 (Pretraining) 제거 시 성능 저하 발생 (교차 모달 정렬 중요성 확인).
  • 강화 학습 (RL) 단계 제거 시 (SFT 만 사용) 성능이 낮아짐 (탐색 능력 부재 확인).
  • SGLP 제거 시: MathVista 에서 67.5% → 57.1% 로 급격히 하락하여, SGLP 가 연속 공간 탐색에 필수적임을 입증했습니다.
  • Focus Reward 제거 시: 시각적 정렬이 약화되어 성능이 다소 하락했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 정확성: 외부 도구 호출 없이 내부 잠재 공간에서 직접 시각 정보를 처리함으로써 계산 비용을 절감하면서도 높은 정확도를 달성했습니다.
• 해석 가능성: 기존 잠재 추론 방법들이 '블랙박스'처럼 작동했던 것과 달리, DLR 은 텍스트 전제에 기반한 시각적 근거를 단계별로 제공하여 모델이 왜 그 답을 도출했는지 명확하게 설명할 수 있습니다.
• 인지적 모방: "분해 → 관찰 → 추론"이라는 인간과 유사한 사고 과정을 모델링하여, 복잡한 시각적 문제 해결 능력을 획기적으로 개선했습니다.

이 논문은 VLM 의 추론 능력을 향상시키기 위해 연속적인 잠재 공간에서의 강화 학습과 동적 텍스트 분해를 결합한 새로운 방향성을 제시하며, 멀티모달 AI 의 발전에 중요한 기여를 하고 있습니다.