기술 요약: 멀티모달 집중의 조수와 흐름 (The Ebb and Flow of Multimodal Focus)

1. 문제 정의

시각-언어 모델(VLM)은 강력한 추론 능력을 입증해 왔으나, 다단계 추론 과정에서 시각적 증거 퇴화(visual evidence degradation) 현상을 빈번하게 겪는다. 시각 정보가 언어 스택으로 흡수되면, 그 영향력은 깊이가 깊어짐에 따라 약화되거나, 언어적 구조와 얽히거나, 생성이 진행됨에 따라 표류하는 경향이 있다. 이는 모델이 근거 있는 시각적 증거 대신 언어적 사전 지식(language priors)에 의존하게 만들어, 환각(hallucination)과 추론 실패를 야기하는 "시각적 방치(visual neglect)"로 이어진다.

기존 연구들은 대조적 디코딩(contrastive decoding), 어텐션 재할당(attention reallocation), 또는 활성화 스티어링(activation steering)을 통해 이러한 문제를 완화하려 시도했으나, 네트워크의 깊이에 따라 시각적 증거가 어떻게 조직되고 사용되는지에 대한 통합적인 이해는 여전히 불분명하다. 특히, 이러한 실패 모드가 단일한 진화 과정에서 기인하는지 아니면 별개의 큐(cue)들로부터 기인하는지, 그리고 추론이 진행됨에 따라 변화하는 시각적 증거의 역할을 추적하기 위해 어떻게 개입해야 하는지는 알려져 있지 않다.

2. 방법론

2.1 메커니즘 분석: 시각적 릴레이 윈도우 (Visual Relay Window, VRW)

저자들은 먼저 메커니즘적 관점에서 두 가지 특정 어텐션 프로브(attention probe)를 트랜스포머 레이어 전반에 걸쳐 추적함으로써 VLM의 내부 역학을 조사한다. 이를 통해 멀티모달 집중의 안정적인 3단계 재분배 과정을 발견했다:

1. 초기 단계 (질문 조건부 조직화): 모델이 시각적 입력을 쿼리와 정렬한다. 어텐션은 질문 지향적 프로브($M_{A \to Q}$)에 의해 지배되며, 시각 내부 어텐션($M_{I \to I}$)은 낮게 나타난다.
2. 중간 단계 (시각 주도적 릴레이): 균형이 이동하는 결정적인 단계이다. 모델이 시각적 증거를 공고히 하고 답변 관련 구조를 조립함에 따라 시각 내부 어텐션이 크게 상승한다. 질문 지향적 프로브는 잦아든다.
3. 후기 단계 (답변 형성): 최종 답변을 생성하기 위해 계산이 다시 언어 측으로 돌아오며, 조립된 시각적 지원을 전달(handoff)한다.

저자들은 이 중간 단계를 **시각적 릴레이 윈도우(VRW)**로 정의한다. 이들은 릴레이 지배도 점수 $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (결합 정규화 후)를 정의하여, 시각적 공고화가 지배하는 구간 $[s, e]$를 식별한다.

분석을 통한 주요 발견:

• 태스크 의존적 기하학 (Task-Dependent Geometry): VRW는 고정되어 있지 않다. 그 너비와 종료 깊이는 태스크의 요구 사항에 따라 적응한다. "세부 사항 중심(detail-heavy)" 태스크(예: 개수 세기)는 더 넓고 늦게 릴레이가 발생하는 윈도우를 보이는 반면, "추론 중심(reasoning-heavy)" 태스크는 더 짧은 윈도우와 이른 핸드오프를 보인다.
• 릴레이 미스매치 (Relay Mismatch): 환각(근거 없는) 답변은 릴레이 기하학의 미스매치와 인과적으로 연결되어 있다. 이러한 궤적은 종종 릴레이 단계를 너무 일찍 벗어나거나(좁은 윈도우), 핸드오프 이후 강한 시각적 고정(anchoring)을 유지하지 못하고 언어적 사전 지식으로 표류한다.
• 인과적 검증: 지원되지 않는 궤적의 추정된 VRW 내에서 상태를 섭동(perturbation)했을 때, 근거 있는 응답을 유의미하게 회복시켰으나(41.4% 회복률), 이 윈도우 외부에서의 섭동은 효과가 미미했다.

2.2 TRACE 프레임워크

이러한 발견을 바탕으로, 저자들은 세 가지 경량 학습 모듈로 구성된 추론 시점 제어 프레임워크인 TRACE(Task-adaptive Relay Anchoring and Controlled Evidence Scheduling)를 제안한다.

1. 학습된 릴레이 예측기 (Learned Relay Predictor): 압축된 어텐션 통계(시각 자가 어텐션 질량, 그 변화량, 질문-시각 간 어파텐션, 레이어 깊이)를 기반으로 각 프리필(prefill) 레이어의 "릴레이 점수"를 예측하는 경량 MLP이다. 이를 통해 어떤 레이어가 릴레이에 참여할 가능성이 높은지 식별한다.
2. 태스크 인지형 릴레이 스케줄링 (Task-Aware Relay Scheduling):
   • 프리필 (Prefill): 예측기의 출력을 사용하여 시각-대-시각 어텐션 바이어스를 동적으로 조절한다. 이는 근거에 민민감한 태스크를 위해 릴레이 단계를 확장하거나, 추론 중심 태스크를 위해 축소할 수 있다.
   • 동적 선택 (Dynamic Selection): 질문-시각 관련성에 기반한 Top-P 방식을 사용하여 태스크 관련 시각 토큰의 부분 집합을 유지함으로써, 개입을 모집된 증거에 집중시킨다.
3. 포스트 핸드오프 앵커링 (Post-Handoff Anchoring): 릴레이 단계가 종료되면(임계값 기반 중단 규칙에 의해 식별), 답변-대-시각 로짓(logits)에 깊이 감쇠된 가산 바이어스(depth-decayed additive bias)를 적용한다. 이는 조립된 시각적 지원이 디코딩 단계 동안 계속 접근 가능하도록 보장하여, 모델이 증거로부터 멀어지는 것을 방지한다.

이 프레임워크는 베이스 VLM 파라미터를 동결한 채, 지도 학습된 트리플(triples)에 대해 예측기, 스케줄러, 앵커링 손실을 공동 최적화함으로써 학습된다.

3. 핵심 기여

1. 구조적 식별: 본 논문은 깊이에 따른 멀티모달 집중의 안정적인 3단계 재분배를 식별하고, 중간 단계를 **시각적 릴레이 윈도우(VRW)**로 공식화하여 내부 증거 조립을 위한 구조적 척도를 제공한다.
2. 메커니즘적 설명: 최적의 릴레이 타이밍과 근거 있는 생성 사이의 인과 관계를 확립하며, 환각이 태스크의 증거 요구 사항과 모델의 릴레이 기하학 사이의 미스매치에서 발생한다는 것을 입증한다.
3. 통합적 개입 (TRACE): 프리필 중 릴레이 할당을 재구성하고 디코딩 중 지원을 보존하는 프레임워크를 도입한다. 이 방식은 별도의 해결책을 설계하는 대신, 단일 제어 원칙 하에 환각 완화와 복잡한 추론을 모두 해결한다.

4. 실험 결과

TRACE는 4개의 오픈 웨이트 VLM 백본(Qwen3-VL-4B/8B, InternVL3.5-4B/8B)을 대상으로 7개의 벤치마크(그라운딩 민감도, 미세 증거, 추론 중심 태스크 포함)에서 평가되었다.

• 그라운딩 민감 설정: TRACE는 HallusionBench, VlmsAreBlind, CountBench에서 유의미한 성능 향상을 보였으며, 특정 모델-벤치마크 쌍(예: HallusionBench에서의 InternVL3.5-8B)에서 평균 4.33포인트, 최대 6.6포인트의 개선을 달성했다.
• 추론 중심 태스크: MathVista에서도 평균 3.05포인트의 이득을 보이며, 릴레이 기하학을 조정하는 것이 증거가 정리된 후 언어 측 추론으로의 조기 핸드오프를 허용함으로써 추론 태스크에도 유익함을 입증했다.
• 비교: TRACE는 일반적인 추론(vanilla inference), 자기 일관성(self-consistency), 생각의 사슬(Chain-of-Thought), 그리고 다양한 추론 시점 제어 베이스라인들(VCD, PAI, MARINE, PTI, DMAS)보다 우수한 성능을 보였다.
• 어블레이션 (Ablation): 세 가지 핵심 구성 요소(Predictor, Scheduler, Anchoring) 중 하나라도 제거하면 성능 저하가 발생하였으며, 이는 릴레이 기하학을 재구성하는 특정 메커니즘 자체가 중요하다는 것을 확인시켜 준다.

5. 의의 및 주장

본 논문은 깊이에 따른 멀티모달 집중을 명시적으로 제어하는 것이 근거 기반 추론을 강화하는 통합적이고 효과적인 메커니즘을 제공한다고 주장한다. 다양한 다운스트림 태스크 요구 사항을 단일한 기저 계산 리듬(릴레이)의 관점에서 바라봄으로써, TRACE는 태스크별 휴리스틱의 필요성을 피한다.

저자들은 본 연구가 전형적인 환각(이른 릴레이 종료)에 대한 메커니즘적 설명과 표준 모델 및 "Thinking" 모델 간의 능력 차이(더 나은 릴레이 매칭)를 제공한다고 강조한다. 현재의 분석은 어텐션 유도 프로브와 단일 이미지 설정에 의존하고 있으나, 본 연구는 모델의 내부 증거 조립 프로세스를 특정 태스크의 요구 사항에 정렬함으로써 더욱 신뢰할 수 있는 멀티모달 추론을 위한 일반적인 패러다임을 제시한다.