💻 computer science

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

이 논문은 정적인 임베딩 대신 잠재적 시각적 사고(latent visual thoughts)와 어텐션 궤적(attention trajectories)을 정렬함으로써 멀티모달 증류에서의 인식 격차를 해소하고, 소형 모델이 더 큰 규모의 독점 시스템에 필적하는 우수한 시각적 추론 성능을 달성할 수 있게 하는 프레임워크인 LaViT를 소개한다.

원저자: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미스터리를 해결하는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에는 '멀티모달 거대 언어 모델(MLLM)'이라는 특별한 종류의 로봇이 있습니다. 이들은 단서(텍스트)를 읽고 범죄 현장 사진(이미지)을 동시에 볼 수 있는 초스마트 탐정이라고 생각하면 됩니다. 오랫동안 이 로봇들은 자신이 본 것을 묘사하는 데는 뛰어났지만, '추론(reasoning)'—즉, 어떤 일이 왜 일스러났는지 파악하거나 까다로운 퍼즐을 푸는 것—에 있어서는 종종 막히곤 했습니다. 이들은 사진을 보다가도, 보는 것을 멈추고 자신이 책에서 읽은 지식에 기반해 답을 추측해 버리곤 했습니다. 이는 마치 탐정이 진흙 묻은 발자국을 보고도 그것을 무시한 채, 자신의 직감만으로 범인을 추측하는 것과 같습니다.

최근 과학자들은 "잠재적 추론(latent reasoning)"이라는 새로운 기술을 발견했습니다. 모든 사고 과정을 말(긴 일기 쓰기처럼)로 일일이 적는 대신, 이 로봇들은 자신의 생각을 뇌 속의 보이지 않는 연속적인 "속삭임"으로 압축하기 시작했습니다. 이는 더 빠르고 효율적입니다. 하지만 여기에는 함정이 있습니다. 과학자들이 더 작고 저렴한 로봇에게 더 크고 똑똑한 로봇으로부터 배우도록(이를 '증류(distillation)'라고 합니다) 시도했을 때, 이상한 일이 벌어졌습니다. 작은 로봇들이 정답을 말할 수는 있었지만, 실제로 이미지의 올바른 부분을 보고 있지는 않았던 것입니다. 그들은 시각적 단서를 이해하는 대신, 단순히 스승의 목소리를 흉내 내고 있었습니다. 이 논문인 LaViT는 "올바른 말을 하는 것"과 "올바른 곳을 보는 것" 사이의 끊어진 연결 고리를 바로잡기 위해 등장했습니다.

거대한 "보고도 못 본 척하는" 결함

LaViT의 연구진은 그들이 **인지 격차(Perception Gap)**라고 부르는 기이한 현상을 발견했습니다. 당신에게 숙련된 요리사(모델 "스승")와 어린 견습생(모델 "학생")이 있다고 상상해 보세요. 견습생은 요리사가 복잡한 요리를 만드는 과정을 지켜봅니다. 만약 당신이 견습생에게 레시피를 적으라고만 한다면, 그들은 "밀가루 두 컵을 넣고 3분 동안 휘저으세요"와 같이 완벽한 문장을 써낼 수도 있습니다. 하지만 만약 당신이 실제로 요리를 해보라고 한다면, 그들은 요리사의 손을 제대로 본 것이 아니라 텍스트만 암기했기 때문에 밀가루를 바닥에 쏟아버릴지도 모릅니다.

AI의 세계에서도 연구진은 작은 모델들이 큰 모델의 답변을 복제하도록 훈련할 때, 작은 모델들이 뛰어난 "텍스트 흉내 내기(text mimicry)" 능력을 갖게 된다는 것을 발견했습니다. 그들은 "A 지점이 더 가깝다"와 같은 정답을 만들어낼 수 있었지만, 그들의 내부 "눈"(시각적 주의력)은 이미지의 전혀 상관없는 엉뚱한 부분을 보고 있었습니다. 그들은 실제 시각적 증거를 관찰하는 대신, 흔한 문구에 기반해 추측하는 언어적 기술에 의존하고 있었던 것입니다. 이는 마치 학생이 수업 내용을 이해하지 못한 채 정답지를 통째로 외워 시험을 통과하는 것과 같습니다.

해결책: LaViT (잠재적 시각적 사고)

이를 해결하기 위해 팀은 학생 로봇이 말을 하기 전에 시각적으로 먼저 "생각"하도록 강제하는 새로운 훈련 프레임워크인 LaViT를 만들었습니다. 단순히 최종 답변을 복사하는 대신, LaViT는 학생이 먼저 일련의 보이지 않는 "사고 토큰(thought tokens)"을 생성하게 합니다. 이 토큰들을 로봇의 머릿속에 있는 스케치나 조용한 내적 독백이라고 생각해보세요. 로봇은 스스로에게 이렇게 말하는 것입니다. "좋아, 어떤 지점이 더 가까운지 결정하기 전에, 여기 그림자와 저 각도를 살펴봐야 해."

LaViT의 마법은 두 가지 주요 기술에 있습니다:

"내면의 눈" 정렬: 이 시스템은 단순히 학생의 최종 답변이 스승과 일치하는지만 확인하지 않습니다. 학생의 "시선"을 확인합니다. 학생이 스승의 시각적 주의력 지도(이미지 전체를 가로지르는 스승의 눈의 경로)를 재구성하도록 강제합니다. 만약 스승이 깊이감을 판단하기 위해 그림자를 보았다면, 학생이 아직 한 마디도 내뱉지 않았더라도 학생 역시 반드시 그 그림자를 보아야 합니다.
2."감각 게이팅(Sensory Gating)" 커리큘럼: 이것이 가장 흥미로운 부분입니다. 누군가에게 자전거 타기를 가르친다고 상상해 보세요. 만약 즉시 도로를 보여준다면, 그들은 균형 잡는 법을 배우지 못한 채 그냥 미끄러져 갈지도 모릅니다. 반대로 눈을 완전히 가려버린다면, 그들은 충돌할 것입니다. LaViT는 "커리큘럼 감각 게이팅" 메커니즘을 사용합니다. 훈련 초기에는 학생의 직접적인 이미지 시야를 부분적으로 차단합니다. 이를 통해 학생이 문제를 해결하기 위해 오직 그 보이지 않는 "사고 토큰"에만 전적으로 의존하도록 강제합니다. 학생이 숙련됨에 따라 "안대"를 천천히 벗겨주어 이미지를 다시 볼 수 있게 하지만, 이제 학생은 이미 내부적으로 시각적 단서를 처리하는 법을 배운 상태입니다. 이는 로봇이 텍스트에 기반해 추측하는 "쉬운 길"을 택하는 것을 방지합니다.

연구 결과

결과는 놀라울 정도로 강력했습니다. 연구진은 자신들의 새로운 30억 파라미터(3B) 모델(비교적 작고 컴팩트한 모델)을 훨씬 더 큰 모델 및 가장 진보된 독점 모델들과 비교 테스트했습니다.

"작은 거인": LaViT로 훈련된 이 작은 3B 모델은 더 큰 7B 모델들을 능가했으며, 심지어 유명한 GPT-4o조차 몇몇 복잡한 시각적 추론 작업에서 이겼습니다. 예를 들어, "상대적 깊이(Relative Depth)"(어떤 물체가 더 가까운지 파악하는 작업) 과제에서 LaViT는 **78.23%**를 기록한 반면, GPT-4o는 **64.52%**를 기록했습니다.
환각 현상 해결: 연구는 이 방법이 없었을 때 모델들이 충분히 자세히 보지 못하면 어떻게 "환각(hallucinate)"(내용을 지어내는 것)을 일으키는지 보여주었습니다. LaViT는 이를 크게 줄였으며, 미세한 지각 테스트 성능을 최대 **+16.94%**까지 향상시켰습니다.
안정성: 연구진은 또한 LaViT가 단순히 스승을 복제하는 것에 그치지 않고, 실제로 더 안정적이 되었다는 것을 발견했습니다. 거대한 스승 모델은 때때로 "흔들리는" 시선(유사한 이미지에 대해 약간씩 다른 지점을 보는 현상)을 가졌지만, LaViT 학생은 배경 소음을 무시하고 핵심적인 세부 사항에 집중하며 레이저와 같은 정밀도로 초점을 맞추는 법을 배웠습니다.

이것이 중요한 이유

이 논문은 AI를 더 똑똑하게 만드는 비결이 단순히 모델을 더 크게 만들거나 더 많은 데이터를 먹이는 것이 아니라는 점을 시사합니다. 그것은 AI에게 어떻게 보는지를 가르치는 것입니다. AI가 자신의 내부 "시각적 생각"을 최종적인 말과 일치시키도록 강제함으로써, LaViT는 단순히 무엇을 말해야 할지 추측하는 것이 아니라 자신이 보는 것을 진정으로 이해하는 모델을 만듭니다. 이것은 지도를 암기하는 로봇과 실제로 지형을 탐색하는 법을 배우는 로봇의 차이입니다. 저자들은 이 접근 방식이 강력한 AI를 구축하는 더 효율적인 방법이 될 수 있음을 제안하며, 잘 훈련된 작은 뇌가 때로는 더 크고 산만한 뇌보다 뛰어날 수 있음을 입증했습니다.

기술 요약: LaViT – 멀티모달 추론을 위한 잠재적 시각적 사고 정렬

1. 문제 정의: 인지 격차 (The Perception Gap)

현재의 멀티모달 거대 언어 모델(MLLM)은 명시적인 사고 사슬(Chain of Thought, CoT)이나 잠재적 추론 패러다임을 활용하여 추론 능력이 크게 발전했습니다. 그러나 대규모 교사(Teacher) 모델로부터 소형 학생(Student) 모델로 시각적 추론 능력을 증류(Distillation)하는 기존 방식들은 저자들이 **인지 격차(Perception Gap)**라고 정의한 결정적인 한계에 직면해 있습니다.

경험적 분석에 따르면, 주로 최종 텍스트 출력이나 정적 은닉 상태를 정렬하는 표준 지식 증류 방법은 교사 모델의 고유한 시각적 주의 역학(Visual Attention Dynamics)을 전이하는 데 실패합니다. 저자들은 다음을 관찰했습니다:

시각적 근거가 결여된 텍스트 모방: 학생 모델은 교사의 텍스트 답변을 성공적으로 재현할 수 있지만(무엇을 말해야 하는지는 학습함), 근본적으로 다르거나 종종 무관한 시각적 영역을 주시할 수 있습니다(어디를 보아야 하는지는 학습하지 못함).
언어적 사전 지식에 대한 의존: 시각적 주의가 잘못 정렬되었을 때, 모델은 언어적 사전 지식에 의존하여 "맹목적으로 추측"하게 되며, 이는 복잡한 시각적 작업에서 환각(Hallucination)이나 신뢰할 수 없는 응답으로 이어집니다.
정적 정렬의 비효기성: 정적 시각 임베딩이나 최종 분포를 정렬하는 것은 미세한 추론에 필요한 동적인 시각적 주의 궤적을 무시하기 때문에 불충분합니다.

핵-문제는 기존의 증류 프레임워크가 학생 모델로 하여 되어 응답을 생성하기 전에 교사의 내부적인 "시각적 사고"(의미론 및 시선 궤적)를 재구성하도록 강제하지 않는다는 점입니다.

2. 방법론: LaViT 프레임워크

이 인지 격차를 해소하기 위해, 저자들은 정적 임베딩이 아닌 잠재적 시각적 사고를 정렬하도록 설계된 증류 프레임워크인 LaViT(Latent Visual Thoughts)를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

A. 데이터 구축: LaViT-SFT-15K

저자들은 Visual-CoT 데이터셋에서 유도된 고품질 데이터셋인 14,567개의 샘플(LaViT-SFT-15K)을 구축했습니다. 이 데이터는 엄격한 3단계 필터링 파이프라인을 거칩니다:

정확성(Correctness): 교사의 추론이 정답으로 이어지는지 확인하기 위해 샘 samples를 검증합니다.
난이도(Difficulty): 텍스트 전용 모델로도 해결 가능한 샘플을 제거하여 진정한 멀티모달 추론이 필요하도록 보장합니다.
정렬(Alignment): 교사의 집계된 주의 질량(Attention Mass)이 정답 바운딩 박스 내에 20% 미만으로 떨어지는 샘플을 제외하여, 시각적 근거가 없는 환각을 배제합니다.

이 데이터셋에는 교사 모델(Qwen2.5-VL-32B)로부터 추출된 두 가지 화이트박스(White-box) 신호가 포함됩니다:

동적 시각적 시선 ( $A_{traj}$ ): 모델이 어디를 보는지 나타내는, 레이어와 헤드 전체에 걸쳐 집계된 주의 궤적.
시각적 의미론 ( $V_{sem}$ ): 쿼리에 반응하여 모델이 시각적 콘텐츠에 대해 무엇을 이해하는지를 나타내는, 교사의 마지막 트랜스포머 레이어에서 유도된 맥락화된 시각적 사고.

B. 화이트박스 궤적 증류

LaViT는 잠재적 교사 강제(Latent Teacher Forcing) 메커니즘을 도입합니다. 입력을 직접 텍스트로 매핑하는 대신, 학생 모델은 텍스트 응답을 생성하기 전에 $K$ 개의 연속적인 잠재 토큰( $V$ ) 시퀀스를 자기회귀적으로 생성하도록 훈련됩니다. 이 잠재 토큰들은 교사의 고차원 시각적 의미론과 시선 패턴을 압축해야 하는 "시각 정보 컨테이너" 역할을 합니다.

최적화는 이중 스트림 증류 체계를 포함합니다:

의미론적 재구성 ( $L_{concept}$ ): 코사인 유사도를 사용하여 학생의 잠재 은닉 상태를 교사의 전체적인 시각적 개념( $V_{sem}$ )과 정렬합니다.
궤적 정렬 ( $L_{traj}$ ): 쿨백-라이블러(KL) 발산을 사용하여 학생의 주의 맵을 교사의 주의 궤적( $A_{traj}$ )과 정렬합니다. 결정적으로, 이 감독은 이전 토큰들이 압축 병목 역할을 하도록 강제하기 위해 마지막 잠재 토큰에만 적용됩니다.

C. 커리큘럼 감각 게이팅 (Curriculum Sensory Gating)

모델이 이미지 패치에 직접 주의를 기울임으로써 잠재 병목을 우회하는 "지름길 학습(Shortcut Learning)"을 방지하기 위해, 저자들은 시간 의존적 스칼라 $\gamma(t)$ 를 통해 직접적인 시각적 인지 경로를 조절하는 커리큘럼 감각 게이팅을 도입합니다.

1단계 (감각 웜업): 직접적인 시각 경로가 엄격히 제한되어(주의 편향이 거의 0에 가까움), 엄격한 잠재 병목을 생성합니다. 이를 통해 모델은 수학적으로 필요한 시각 정보를 잠재 토큰 $V$ 로 압축하도록 강제됩니다.
2단계 (완전 관측 가능): 게이트가 점진적으로 열려, 모델이 잔차 연결(Residual Connection)로서 미세한 픽셀 디테일에 주의를 기울일 수 있게 함으로써 추론 시의 토폴로지와 일치시키고 훈련-추론 간의 분포 변화를 방지합니다.

3. 주요 기여

인지 격차의 규명: 본 논문은 텍스트 정렬이 시각적 이해를 보장하지 않으며, 교사와 학생 간의 주의 궤적이 상이함을 보여주는 경험적 증거를 제시하여 인지 격차를 밝혀냈습니다.
잠재적 시각적 사고 정렬: 정적 임베딩이 아닌, 시각적 의미론과 주의 궤적을 나타내는 연속적인 잠재 토큰을 정렬하는 새로운 프레임워크인 LaViT를 제안합니다.
커리큘럼 감각 게이팅: 훈련 초기 단계에서 잠재 병목을 강제하여 지름길 학습을 방지하고, 모델이 내재화된 시각적 추론에 의존하도록 보장하는 새로운 훈련 전략을 제시합니다.
데이터 효율성 및 품질: 고도의 시각적 근거를 보장하는 엄격하게 필터링된 데이터셋인 LaViT-SFT-15K를 구축하여, 잠재적 추론이 데이터 다양성에 따라 효율적으로 확장됨을 입증했습니다.

4. 실험 결과

MMVP, V*, BLINK(복잡한 추론), MMStar(강건성)를 포함한 다양한 벤치마크에서 광범위한 실험이 수행되었습니다.

성능 향상: LaViT-3B 모델은 Qwen2.5-VL-3B 베이스라인 대비 MMVP에서 +5.0%, 상대적 깊이(Relative Depth, BLINK)에서 **+16.9%**의 유의미한 성능 향상을 달로 성취했습니다.
규모 대비 경쟁력: 3B 규모의 콤팩트한 모델임에도 불구하고, LaViT는 7개 벤치마크 중 5개에서 더 큰 오픈 소스 변체(예: Qwen2.5-VL-7B)를 능가하며, 특정 작업(예: 상대적 깊이: 78.23% vs 64.52%)에서는 GPT-4o와 같은 독점 모델과 대등하거나 이를 능가합니다.
주의 역학: 분석 결과, LaViT는 주의 엔트로피를 유의미하게 감소시켜 모델을 "확산된" 관찰 모드에서 "집중된" 추론 모드로 전환시킵니다. 또한, Top-N 희소화(Sparsification)를 통해 낮은 신뢰도의 주의 노이즈를 필터링함으로써 교사 모델보다 더 높은 안정성(낮은 변동 계수)을 달성합니다.
절제 연구 (Ablation Studies): 핵심 구성 요소(궤적 정렬, 의미론적 재구성 또는 커리큘럼 게이팅) 중 하나라도 제거하면 성능이 크게 저하되어, 전체 프레임워크의 필요성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 잠재적 사고를 최적화하는 것이 단순히 모델 크기를 키우는 것보다 더 매개변수 효율적인 전략임을 주장합니다. 학생의 "시각적 사고"(의미론 및 시선)를 교사와 명시적으로 정렬함으로써, LaViT는 소형 모델이 훨씬 더 큰 모델 및 독점 시스템과 대등한 추론 능력을 갖출 수 있게 합니다.

저자들은 LaViT가 멀티모달 추론에서의 "맹목적 추측" 문제를 해결한다고 강조합니다. 텍스트를 생성하기 전에 시각적 증거를 재구성하도록 강제함으로써, LaViT는 성능 향상이 언어적 사전 지식이 아닌 진정한 시각적 이해에서 비롯되도록 보장합니다. 이 연구는 향히 MLLM의 발전이 단순히 출력 분포를 맞추는 것을 넘어, 내부 인지 상태와 주의 역학의 정렬에 집중해야 함을 시사합니다.