💬 NLP

GazeVLM: Active Vision via Internal Attention Control for Multimodal Reasoning

GazeVLM 은 4B 파라미터 규모의 다중 모달 모델로, 메타인지 제어를 내재화하여 동적으로 시선 토큰을 생성함으로써 고해상도 추론을 강화하고, 외부 컷팅 도구나 과도하게 확장된 컨텍스트 윈도우에 의존하지 않고도 모델이 능동적인 중심시 주의를 자율적으로 시뮬레이션하며 관련 없는 시각적 특징을 억제할 수 있게 합니다.

원저자: Brown Ebouky, Gabriele Carrino, Niccolo Avogaro, Christoph Studer, Andrea Bartezzaghi, Mattia Rigotti

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Brown Ebouky, Gabriele Carrino, Niccolo Avogaro, Christoph Studer, Andrea Bartezzaghi, Mattia Rigotti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 풀려고 한다고 상상해 보세요. 하지만 전체 그림을 한 번에 보는 대신, 거대한 그림을 잃지 않으면서도 특정 작은 조각에 초점을 맞출 수 있게 해주는 마법의 안경을 쓰고 있다고 가정해 봅시다. 이것이 바로 GazeVLM이 컴퓨터를 위해 수행하는 일입니다.

다음은 일상적인 비유를 사용하여 이 논문의 아이디어를 간단히 분해한 것입니다:

문제: "흐릿하게 읽는" 컴퓨터

이미지를 보는 현재 AI 모델들 (비전 - 언어 모델) 은 누군가 귀에 천 가지의 무작위 사실을 외치면서 책을 읽으려는 학생과 비슷합니다.

현재 작동 방식: 그들은 전체 이미지를 한 번에 처리하려고 시도하며, 모든 단일 픽셀을 거대한 단어 목록 (토큰) 으로 변환합니다. 그들이 생각하기 시작하고 답변을 작성할 때, 그 모든 추가 단어들의 "소음"이 중요한 세부 사항을 압도해 버립니다.
결과: 그들은 종종 혼란을 겪거나, 사실을 왜곡하여 만들어 내거나 (환각), 전체 세계를 한 번에 머릿속에 담으려다 보니 작지만 결정적인 세부 사항을 놓칩니다.

해결책: "능동적인 시선"

이 논문의 저자, GazeVLM 은 AI 가 인간처럼 이미지를 보도록 가르치고자 했습니다: 능동적으로.

범죄 현장을 해결하는 인간 형사를 생각해 보세요:

전체 시야: 그들은 먼저 방 전체를 바라보며 배치에 대한 감각을 얻습니다.
중앙 시야 집중: 그들은 무언가 흥미로운 것 (예: 진흙 발자국) 을 발견하고 나머지 방을 잠시 무시하면서 그 지점에 눈을 집중합니다.
전체 시야로 복귀: 발자국을 조사한 후, 다음 단서로 이동하기 전에 그것이 전체 장면에서 어떻게 들어맞는지 다시 보기 위해 물러섭니다.

현재 AI 는 2 단계와 3 단계를 자연스럽게 수행하지 못합니다. 그들은 전체 이미지를 멍하니 바라보거나, 사진의 일부를 물리적으로 잘라내어 다시 스캔하는 로봇 팔과 같은 어색한 외부 도구 (느리고 비쌈) 를 사용합니다.

GazeVLM 은 규칙을 바꿉니다: 외부 도구 없이 자신의 뇌 내부에서 이러한 "줌인"을 수행하도록 AI 를 가르칩니다.

작동 원리: 마법의 "시선" 토큰

연구자들은 AI 에게 비밀 언어와 같은 특별한 일련의 지시를 제공했습니다:

<LOOK>: AI 가 특정 세부 사항을 확인해야 한다고 깨닫는 순간, <LOOK>을 입력하고 이미지 해당 영역에 상자를 그립니다.
"침묵" 버튼: 이것이 마법 같은 부분입니다. AI 가 <LOOK>이라고 말하면 실제로 이미지를 자르는 것이 아닙니다. 대신 이미지 나머지 부분에 "음소거 버튼"을 누릅니다. 자신의 주의 시스템에게 이렇게 말합니다: "잠시 동안 이 상자 밖의 모든 것을 무시하세요. 여기에만 집중하세요."
</LOOK>: 해당 지점 확인이 끝나면 </LOOK>을 입력하고 "음소거"를 해제하여 다음 움직임을 계획하기 위해 다시 전체 이미지를 볼 수 있게 됩니다.

훈련: 행동하며 배우기 (그리고 보상 받기)

AI 에게 "더 열심히 보라"고 말만 해서는 안 됩니다. 어떻게 해야 하는지 배워야 합니다. 연구자들은 두 단계 훈련 과정을 사용했습니다:

보여주고 말하기 (SFT): 그들은 AI 에게 이미지를 단계별로 보는 수천 가지 예를 보여주어 <LOOK>과 <THINK>의 구문을 가르쳤습니다.
게임 (강화 학습): 그들은 AI 와 게임을 했습니다. 올바른 지점을 보고 정답을 맞히면 "간식" (보상) 을 받았습니다. 잘못된 곳을 보거나, 너무 많이 보거나, 단순히 추측하면 "시간 제한" (페널티) 을 받았습니다.

시간이 지남에 따라 AI 는 전체 이미지를 멍하니 바라보는 것이 아니라, 필요한 단서에 전략적으로 초점을 맞추는 것이 이기는 가장 현명한 방법임을 배웠습니다.

결과: 더 똑똑하고 빠름

이 논문은 이 새로운 방법이 엄청난 개선이라고 주장합니다:

더 나은 정확도: 고해상도 이미지 (차트의 작은 텍스트나 사진 속 작은 물체 등) 와 관련된 어려운 테스트에서 GazeVLM 은 다른 최상위 모델보다 훨씬 높은 점수를 받았습니다. 약 4% 에서 5% 더 높은 점수를 기록했는데, 이는 AI 세계에서 엄청난 도약입니다.
낭비 감소: 다른 "줌인" 도구들이 하듯이 이미지를 잘라내어 다시 스캔할 필요가 없기 때문에, 훨씬 적은 컴퓨팅 파워를 사용합니다. 동일한 문제를 해결하는 데 약 5 배 적은 단어를 생성하여 훨씬 빠르고 저렴하게 실행됩니다.
내재화된 기술: 흥미롭게도 AI 가 이 기술을 배우면, 최종 테스트 중에도 "음소거 버튼" (편향) 을 켜둘 필요가 없었습니다. 인간 형사가 눈을 집중하는 방법을 알려주는 매뉴얼이 필요하지 않듯이, AI 는 집중하는 습관을 그렇게 잘 배워서 자연스럽게 수행할 수 있게 되었습니다.

요약

GazeVLM 은 컴퓨터에게 한 번에 전체 바다를 삼키려 하지 말고 올바른 컵에서 한 모금 마시는 법을 배우게 하는 것과 같습니다. AI 에게 자신의 내부 주의를 사용하여 자발적으로 "줌인"하고 "줌아웃"할 수 있는 능력을 부여함으로써, 시각적 퍼즐을 더 정확하게, 더 빠르게, 그리고 소음에 압도되지 않고 해결합니다.

기술 요약: GazeVLM: 다중 모달 추론을 위한 내부 주의 제어를 통한 능동적 비전

문제 제기

현대적인 비전-언어 모델 (VLM) 은 텍스트 생성과 시각적 지각 사이의 근본적인 불균형에 시달리고 있습니다. 사고의 사슬 (Chain-of-Thought, CoT) 프롬프팅이 언어 모델의 추론 능력을 향상시켰음에도 불구하고, VLM 은 시각 정보를 수동적으로 처리합니다. 이들은 방대한 토큰 컨텍스트의 정적 축적에 의존하는데, 이로 인해 자기회귀적 추론이 확장됨에 따라 원래의 시각적 특징이 점진적으로 경시됩니다. 그 결과 언어적 사전 지식에 대한 과도한 의존이 발생하여, 객체 환각 (object hallucinations) 이나 이미지의 공간적 내용에서 벗어난 논리적 편향이 초래됩니다.

기존의 해결책들은 이러한 문제를 해결하려 시도하지만 수동적 처리의 한계를 계승합니다:

근거 기반 추론 (Grounded Reasoning): 모델이 바운딩 박스를 출력하도록 강제하지만, 생성 과정에서 비전 인코더의 내부 주의 가중치를 변경하지는 않습니다.
외부 "줌인 (Zoom-in)" 도구: V*, Pixel Reasoner, Ground-R1 과 같은 프레임워크는 이미지 패치를 명시적으로 잘라내고 다시 인코딩합니다. 세부 사항 추출에는 효과적이지만, 수천 개의 추가 시각 토큰으로 컨텍스트 창을 팽창시켜 상당한 계산 비용을 초래하고 모델의 전역 공간적 컨텍스트를 분열시킵니다.

반면 인간의 시각적 추론은 **능동적 비전 (active vision)**에 의존합니다. 이는 최상위 제어 (top-down control) 가 작업과 관련된 세부 사항으로 중심 시야 (foveal focus) 를 동적으로 라우팅하면서 전역 장면의 주변 인식을 유지하는 메타인지 과정입니다. 현재 VLM 들은 외부 에이전트 없이 전역 인식과 국소적 초점 추론 사이를 유동적으로 전환할 수 있는 능력을 결여하고 있습니다.

방법론

저자들은 GazeVLM을 제안합니다. 이는 다중 모달 아키텍처로, 능동적 비전을 VLM 의 추론 루프 내부에 직접 내재화합니다. 이미지 패치를 재인코딩하는 대신, GazeVLM 은 사전 인코딩된 시각 특징의 인과적 주의 마스크 (causal attention mask) 에 직접 최상위 제어를 적용합니다.

핵심 아키텍처 및 메커니즘

내부 시선 토큰 (Internal Gaze Tokens): 모델은 바운딩 박스 좌표 (bbox=[x1, y1, x2, y2]) 가 주석된 특수 <LOOK> 토큰과 닫는 </LOOK> 토큰을 자율적으로 생성합니다.
주의 조종 (Attention Steering): <LOOK> 토큰이 생성되면, 모델은 시각 토큰의 주의 로짓 (attention logits) 에 적용되는 **연속적 억제 편향 (continuous suppression bias, $\beta$ $β$ )**을 트리거합니다.
- 평탄화 억제 (Plateau Suppression): 바운딩 박스 내부에 엄격히 포함된 토큰은 0 의 패널티를 받습니다. 박스 외부의 토큰은 박스 가장자리까지의 유클리드 거리를 기반으로 가우시안 프로파일을 따라 감소하는 억제 편향을 받습니다.
- 로짓 변조 (Logit Modulation): 이 편향은 쿼리 토큰이 텍스트에서 유래했을 때 ( $1_{text}(q_t) = 1$ ) 만 주의 점수 ( $s$ ) 에 가산적으로 주입됩니다. 이를 통해 언어 모델의 초점이 중심 시야 영역으로 향하도록 유도하면서도 전역 장면의 내부 표현은 보존됩니다.
시간적 누적 (Temporal Accumulation): 다단계 추론의 경우, 모델은 일련의 시선 (looks) 을 통해 억제되지 않은 수용 영역을 누적합니다. 모든 토큰에 대한 유효 편향은 모든 과거 시선 상태에 대한 요소별 최댓값 (element-wise maximum) 이므로, 모델은 컨텍스트 창에 새로운 토큰을 추가하지 않고도 여러 이산적 영역으로부터의 증거를 통합할 수 있습니다.
추론 흐름: 모델은 논리적 추론 (<THINK>) 과 능동적 시각 탐색 (<LOOK>) 을 교차시키며, 최종적으로 답변 (<ANSWER>) 을 출력합니다.

학습 패러다임

GazeVLM 은 2 단계 학습 파이프라인을 사용합니다:

워밍업 감독 미세 조정 (Warm-start SFT): 전문가 모델 (Qwen3-VL-235B) 을 사용하여 추론 흔적 (reasoning traces) 의 고도로 큐레이션된 데이터셋을 합성합니다. 이러한 흔적들은 인간과 유사한 반복적 스캐닝 패턴을 보여줍니다. 모델은 <LOOK>/</LOOK> 구조를 따르고 시선 좌표의 시각적 결과를 학습하도록 훈련됩니다.
강화 학습 (GRPO): 모델은 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 사용하여 정제됩니다. 맞춤형 보상 함수는 다음을 장려합니다:
- 정확성: 답변 정확도.
- 시각적 탐색: <LOOK> 박스의 유효한 기하학적 근거.
- 효율성: 중복된 시선, 박스 간의 과도한 중첩, 그리고 장황한 출력에 대한 패널티.

주요 기여

큐레이션된 시선 - 추론 데이터셋: 모델이 수동적 관찰에서 능동적 다중 영역 시각 탐색으로 전환하도록 설계된 특수 데이터셋으로, 엄격한 구조적 및 공간적 근거를 강제하도록 합성되었습니다.
주의 조종 아키텍처: VLM 의 인과적 주의 마스크를 동적으로 편향시키는 내부 메커니즘입니다. 이를 통해 모델은 재인코딩이나 시각 토큰 추가의 계산 오버헤드 없이 전역 뷰에서 국소 세부 사항으로, 그리고 다시 전역 뷰로 자율적으로 초점을 전환하여 중심 시야 고정을 시뮬레이션할 수 있습니다.
감소된 비용으로 달성된 성능: GazeVLM(4B 파라미터) 은 파라미터 클래스 내에서 최첨단 성능을 달성하며, 특히 고해상도 벤치마크에서 에이전트 기반 접근법보다 훨씬 적은 출력 토큰을 생성합니다.

실험 결과

MathVista, MMBench, ChartQA 및 고해상도 데이터셋 (HRBench-4k, HRBench-8k) 을 포함한 일련의 벤치마크에서 평가된 GazeVLM 은 다음과 같은 상당한 개선을 보여줍니다:

고해상도 추론: HRBench-4k 에서 GazeVLM 은 83.4점을 기록하여 (기반 Qwen3-VL-4B 대비 +3.9), HRBench-8k 에서는 78.0점을 기록했습니다 (+4.4). 이는 DeepEyes 및 Ground-R1 과 같은 에이전트 파이프라인보다 이러한 데이터셋에서 5% 이상 우월한 성능을 보입니다.
일반 추론: MathVista(73.3) 와 MMBench(89.2) 에서 강력한 결과를 달성하여, 다른 RL 기반 VLM 과 SFT 기반 추론 모델을 능가합니다.
계산 효율성: 재인코딩으로 인해 흔적당 평균 1,300 개 이상의 출력 토큰을 생성하는 외부 "줌인" 에이전트 (예: DeepEyes) 와 달리, GazeVLM 은 HRBench-4k 에서 평균 약 266 개 토큰을 생성합니다. DeepEyes 대비 약 8.3% 높은 정확도를 달성하면서 출력 토큰 수는 약 5 배 적습니다.
절대 실험 (Ablation) 통찰:
- 학습 대 추론 편향: 놀랍게도, 명시적인 수학적 억제 편향이 비활성화되었을 때 추론 시 모델이 가장 잘 수행됩니다. 이는 최상위 라우팅 메커니즘이 훈련 동안 모델의 가중치에 성공적으로 내재화되어, 테스트 시 하드코딩된 마스크가 필요 없이 정책의 행동을 형성하는 정규화제 역할을 함을 나타냅니다.
- 억제 강도: 주변 노이즈를 필터링하기에 적절한 억제 강도 ( $\alpha_s = 4$ ) 로 충분하며, 극단적인 억제는 체감 수익이 감소합니다.

중요성 및 주장

이 논문은 GazeVLM 이 메타인지적 감독을 추론 루프 내부에 직접 내재화함으로써 패러다임의 전환을 나타낸다고 주장합니다. VLM 이 자율적으로 시선 토큰을 생성하고 자신의 주의 마스크를 제어할 수 있게 함으로써, 모델은 전역 공간 인식과 국소적 초점 추론 사이를 유동적으로 전환합니다.

이러한 중요성은 언어 모델이 인간의 시선 라우팅을 반영하여 시각 처리에 대한 자기 주도적 제어를 학습할 수 있음을 입증하는 데 있습니다. 이 접근법은 자르기 도구와 같은 외부 에이전트 장치의 필요성을 제거하고, 새로운 시각 패치를 처리하는 것과 관련된 컨텍스트 창 팽창을 피합니다. 저자들은 이를 모델의 자체 계산에 대한 광범위한 메타인지적 제어로의 한 걸음으로 위치시키며, 현재 최첨단 에이전트 파이프라인보다 더 정확하고 계산적으로 가벼운 효율적인 고해상도 다중 모달 추론을 가능하게 한다고 주장합니다.