💻 computer science

Vision-aligned Latent Reasoning for Multi-modal Large Language Model

본 논문은 비주얼 정보 보존을 위해 동적으로 비주얼 정렬 잠재 토큰을 생성함으로써 멀티모달 대규모 언어 모델의 장기 컨텍스트 추론 능력을 향상시키는 비주얼 정렬 잠재 추론 (VaLR) 프레임워크를 소개하며, 이를 통해 VSI-Bench 와 같은 벤치마크에서 상당한 성능 향상과 테스트 시간 확장을 달성함을 보여줍니다.

원저자: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Vision-aligned Latent Reasoning for Multi-modal Large Language Model"(VaLR) 논문에 대한 설명을 간단한 개념과 일상적인 비유로 나누어 정리합니다.

큰 문제: AI 의 '기억 소실'

복잡한 도면 (예: 설계도나 지도) 을 보고 있는데, 누군가 그것에 대해 매우 길고 복잡한 질문을 한다고 상상해 보세요. 당신은 "먼저, 여기 문이 보입니다..."라고 대답하기 시작하고, 말을 이어가면서 설계도의 이미지를 머릿속에 간직해야 합니다.

현재의 AI 모델 (멀티모달 대규모 언어 모델, MLLM) 의 문제는 긴 답변을 작성할수록 머릿속의 '이미지'가 희미해진다는 점입니다. 긴 책을 읽는 동안 사진을 기억하려고 노력하는 것과 비슷합니다. 마지막 페이지에 도달할 때쯤이면 사진이 어떻게 생겼는지 잊어버리게 되는 것입니다.

이러한 '기억 소실' 때문에 이러한 AI 모델들은 이미지를 보며 여러 단계의 사고 (추론) 를 요구하는 작업에 어려움을 겪습니다. 종종 길을 잃거나, 사실과 다른 세부 사항을 만들어내거나 (할루시네이션), 질문의 시각적 부분을 포기해 버립니다.

해결책: VaLR(Vision-aligned Latent Reasoning)

저자들은 VaLR이라는 새로운 방법을 개발했습니다. VaLR 을 AI 에게 '시각적 체크포인트' 시스템을 제공하는 것이라고 생각하세요.

단순히 말로만 생각하는 대신, AI 는 추론의 각 단계마다 멈춰서 이미지에서 빠른 '정신적 스냅샷'을 찍도록 훈련받습니다. 이러한 스냅샷은 가시적인 텍스트가 아니라, AI 의 머릿속에 이미지를 생생하게 유지해주는 숨겨진 '잠재 토큰(latent tokens)' (보이지 않는 정신적 메모) 입니다.

작동 원리: '코치와 운동선수' 비유

AI 를 이렇게 훈련시키는 방식을 이해하기 위해 코치와 운동선수를 상상해 보세요:

운동선수 (AI): 질문을 답변하는 주요 AI 모델입니다.
코치 (Vision Encoder): 사진만 보고 모든 미세한 세부 사항을 이해하는 데 특화된 별도의 고도로 숙련된 전문가입니다 (슈퍼 사진작가와 같은 역할).

훈련 과정:

1 단계 (워밍업): 먼저 운동선수에게 단어로 단계별로 문제를 해결하는 법 (Chain-of-Thought) 을 가르칩니다.
2 단계 (정렬): 이제 '시각적 체크포인트'를 도입합니다. 운동선수가 생각하느라 멈출 때마다 코치가 개입합니다. 코치는 이미지를 보며 "이봐, 이미지의 이 특정 부분을 봐"라고 말합니다.
목표: 운동선수는 자신의 내부 '정신적 메모'(잠재 토큰) 를 코치의 설명과 일치시키려고 노력합니다. 운동선수는 임의로 추측할 수 없으며, 코치가 보는 것과 자신의 사고를 정렬해야 합니다.

이 과정은 AI 가 답변이 길어질수록 시각적 정보가 사라지지 않도록, '정신적 메모'를 실제 이미지와 완벽하게 정렬되게 만듭니다.

특별한 점: '테스트 시간 확장 (Test-Time Scaling)'

일반적으로 AI 모델이 더 길고 열심히 생각하려고 할 때, 이미지를 잊어버리기 때문에 시각적 작업 능력이 떨어집니다.

이 논문은 VaLR 이 처음으로 **'테스트 시간 확장'**을 보여준다고 주장합니다.

옛 방식: AI 가 더 오래 생각할수록 이미지를 더 많이 잊어버려 성능이 나빠집니다.
VaLR 방식: AI 가 더 오래 생각할수록 더 좋아집니다. 이미지와 정렬된 '시각적 체크포인트'(잠재 토큰) 를 계속 유지하기 때문에, 시각적 맥락을 잃지 않고 매우 오랫동안 추론할 수 있습니다. 이는 탐정이 노트에 새로운 단서를 쓸 때마다 범죄 현장 사진을 다시 읽으며 증거를 놓치지 않도록 하는 것과 같습니다.

결과: '공간 추론' 게임에서의 승리

저자들은 3 차원 공간 추론 (물체가 공간에 어떻게 배치되어 있는지 이해하는 것) 을 위한 까다로운 시험과 같은 벤치마크인 VSI-Bench에서 이를 테스트했습니다.

VaLR 이전: 기본 AI 모델은 정답의 약 **33%**만 맞췄습니다.
VaLR 적용 후: AI 는 정답의 **52.9%**를 맞췄습니다.

이는 엄청난 도약입니다. 논문은 이 '시각적 체크포인트' 시스템을 사용함으로써 AI 가 이전보다 훨씬 복잡한 다단계 시각적 질문을 잘 처리할 수 있음을 보여주며, 질문이 짧은 답변을 요구하든 매우 길고 상세한 설명을 요구하든 상관없다고 말합니다.

요약

간단히 말해, 이 논문은 AI 모델이 사고하는 동안 이미지를 '잊어버리는' 것을 막는 방법을 제시합니다. '코치'(비전 인코더) 를 사용하여 AI 가 숨겨진 사고를 실제 이미지와 지속적으로 정렬하도록 강제함으로써, AI 는 길을 잃지 않고 훨씬 더 어렵고 긴 시각적 퍼즐을 해결할 수 있습니다.

기술 요약: 다중 모달 대규모 언어 모델을 위한 비전 정렬 잠재 추론

1. 문제 제기

이미지 캡션링 및 시각적 질문 답변 (VQA) 과 같은 작업에서 다중 모달 대규모 언어 모델 (MLLM) 의 발전이 상당했으나, 이러한 모델들은 광범위한 다단계 추론이 필요한 문제에서는 어려움을 겪고 있습니다. 주요 병목 현상은 긴 컨텍스트 생성 과정에서 발생하는 시각 정보의 점진적 희석입니다. 생성된 텍스트 시퀀스의 길이가 길어질수록 모델이 시각적 신호를 유지하고 활용하는 능력이 감소하여, 순수 언어 모델에서 관찰되는 테스트 시간 스케일링 법칙의 적용이 방해받습니다.

추론을 강화하기 위한 기존 접근 방식은 종종 다음에 의존합니다:

텍스트 중심 방법: 언어적 사고 연쇄 (CoT) 에 초점을 맞춘 지도 미세 조정 (SFT) 또는 강화 학습이지만, 긴 시퀀스 전반에 걸쳐 시각적 신호가 감쇠되는 문제가 있습니다.
정적 시각 재도입: 시각 토큰을 교차 삽입하거나 이미지를 생성하는 방식입니다. 그러나 이러한 방법들은 일반적으로 시각적 특징을 고정된 초기 컨텍스트로 취급하거나 정적 단일 뷰 특징에 의존하여, 추론이 진행됨에 따라 시각적 컨텍스트가 점차 손실됩니다.

2. 방법론: 비전 정렬 잠재 추론 (VaLR)

저자들은 각 추론 단계 전에 동적으로 비전 정렬 잠재 토큰을 생성하도록 설계된 비전 정렬 잠재 추론 (VaLR) 프레임워크를 제안합니다. 이 접근법은 잠재 공간 내의 지각적 단서에 추론 과정을 기반을 두는 "시각적 체크포인트"를 생성하여 시각 정보의 감쇠를 방지합니다.

핵심 메커니즘

VaLR 는 추론 동안 두 가지 모드를 교대로 작동합니다:

언어 모드: 응답을 위한 표준 텍스트 토큰을 생성합니다.
잠재 모드: 직접 보이지 않지만 중간 추론 단계로 작용하는 비텍스트 "잠재 추론 토큰"을 생성합니다.

중요하게도, 잠재 모드 동안 모델은 외부 사전 훈련된 비전 인코더 (예: DINOv2/v3, CLIP, SigLIP, $\pi^3$ ) 에서 추출한 밀집 시각 표현과 중간 은닉 상태를 정렬하도록 훈련됩니다.

훈련 파이프라인

VaLR 은 두 단계 커리큘럼 학습 전략을 사용합니다:

1 단계 (표준 SFT): 모델은 기초 다중 모달 추론 능력을 확립하기 위해 일반적인 CoT VQA 데이터셋으로 미세 조정됩니다. 비전 인코더는 고정되고 언어 백본만 훈련됩니다.
2 단계 (REPA 를 통한 잠재 토큰 훈련): 모델은 각 언어 추론 단계 전에 $K$ $K$ 개의 잠재 토큰을 삽입하도록 훈련됩니다. MLLM 의 중간 특징을 외부 비전 인코더의 특징과 정렬하기 위해 표현 정렬 (REPA) 손실 함수가 도입됩니다.
- 정렬 목표: 손실 함수는 MLLM 의 투사된 중간 특징과 비전 인코더가 해당 이미지 프레임에서 추출한 패치 단위 시각 특징 간의 코사인 유사도를 최대화합니다.
- 다중 인코더 정렬: 이 프레임워크는 상호 보완적인 강점 (예: CLIP 의 의미적 이해, DINO 의 세밀한 외관, $\pi^3$ 의 3D 공간 구조) 을 포착하기 위해 여러 비전 인코더와 동시에 정렬할 수 있습니다.

특히, 외부 비전 인코더는 훈련 중에만 사용됩니다. 테스트 시간에는 모델이 외부 인코더 없이 잠재 토큰 내의 학습된 시각적 기반에 의존합니다.

3. 주요 기여

동적 시각 기반: 정적 시각 특징을 사용하는 방법과 달리, VaLR 은 각 추론 단계에서 시각적 세부 사항을 동적으로 할당하여 긴 컨텍스트 추론 전반에 걸쳐 정보 보존을 보장합니다.
테스트 시간 스케일링: 이 프레임워크는 MLLM 이 더 긴 추론 사슬과 함께 성능이 향상되는 테스트 시간 스케일링 행동을 보이도록 하여, 시각적 신호 감쇠로 인해 이전에는 MLLM 에서 관찰되지 않았던 현상을 가능하게 합니다.
모델 중립적 설계: VaLR 은 다양한 비전 인코더 (DINO, SigLIP, CLIP, $\pi^3$ ) 에 적응할 수 있으며, 원래 MLLM 의 독립형 비전 인코더와 함께도 효과적으로 작동합니다.
이중 단계 커리큘럼: 먼저 추론 능력을 확립한 다음 시각 정렬로 이를 정제하는 구조화된 훈련 파이프라인으로, 견고한 긴 컨텍스트 이해를 촉진합니다.

4. 실험 결과

VSI-Bench(3D 공간 추론), BLINK, MMVP, MMStar, MathVista 를 포함한 여러 벤치마크에서 광범위한 평가가 수행되었습니다.

긴 컨텍스트 추론 (VSI-Bench): VaLR 은 기존 베이스라인을 크게 능가했습니다. 구체적으로 VSI-Bench 에서 VaLR 은 베이스 모델인 Qwen2.5-VL 의 정확도를 33.0% 에서 52.9% 로 향상시켜 19.9% 포인트의 개선을 이루었습니다. 또한 R1-OneVision 및 Ocean-R1 과 같은 강력한 추론 모델을 능가했습니다.
지각 작업: VaLR 은 지각 벤치마크 (BLINK, MMVP, V*) 에서 우수한 성능을 보여주어 오픈 모델 간 최첨단 결과를 달성했으며, 특정 구성에서 GPT-4o 와 같은 API 모델을 능가했습니다.
추론 길이 분석: 중간 추론 길이에 정점을 찍은 후 저하되는 (할루시네이션 비율 증가) 베이스라인 모델과 달리, VaLR 은 추론 길이가 증가함에 따라 단조로운 성능 향상을 보여주어 확장된 사슬 전반에 걸쳐 시각적 기반을 유지하는 능력을 확인했습니다.
애블레이션 연구:
- 표현 정렬 (REPA) 구성 요소를 제거하면 성능이 크게 저하되어 시각 정렬의 필요성을 확인했습니다.
- 여러 인코더를 사용한 것 (VaLR-M) 은 단일 인코더 변형에 비해 특히 3D 공간 작업에서 시너지 효과를 나타냈습니다.
- 이 방법은 높은 데이터 확장성을 보여주어, 훨씬 적은 훈련 샘플로도 바닐라 SFT 모델과Comparable 한 성능을 달성했습니다 (더 빠른 수렴).

5. 중요성 및 주장

이 논문은 VaLR 이 현재 MLLM 의 중요한 한계인 복잡하고 다단계 추론 동안 시각적 컨텍스트를 유지하지 못하는 문제를 해결한다고 주장합니다. 비전 정렬 잠재 토큰을 주입함으로써 이 방법은 시각적 신호의 희석을 효과적으로 완화하여 견고한 장기 계획 및 추론을 가능하게 합니다.

저자들은 이 작업이 컴퓨터 사용 에이전트 (CUA) 및 비전 - 언어 - 행동 (VLA) 모델과 같은 긴 컨텍스트 이해가 필요한 복잡한 애플리케이션에서 MLLM 의 배포를 촉진한다고 강조합니다. 다중 모달 영역에서 진정한 테스트 시간 스케일링을 달성할 수 있다는 능력은 시각 환경을 잃지 않고 확장된 시퀀스에 대해 추론할 수 있는 더 신뢰할 수 있고 능력 있는 자율 에이전트로 가는 길을 시사합니다.