기술 요약: 멀티모달 거대 언어 모델의 시각적 중복성 감소를 위한 잠재 노이즈 마스크 (Latent Noise Mask)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 미세한 시각적 추론 작업에서 빈번하게 어려움을 겪습니다. 이러한 모델들은 강력한 언어 추론 능력을 물려받았지만, 그들의 시각적 추론은 종종 **시각적 중복성(visual redundancy)**에 의해 저해됩니다. 표준 MLLM 아키텍처에서 이미지는 조밀한 시각적 토큰 시퀀스로 인코딩됩니다. 그러나 특정 질문의 경우, 이 토션들 중 극히 일부만이 관련 증거를 구성합니다. 나머지 토큰들—배경 영역, 관련 없는 객체, 또는 시각적으로 유사한 방해 요소들을 나타내는—은 핵심적인 단서들을 희석시킵니다.

기존의 접근 방식들은 추론 궤적을 확장하거나(예: Chain-of-Thought), 더 많은 시각적/잠재적 컨텍스트를 추가함으로써(예: 이미지 크롭, 중간 잠재 토큰) 이를 해결하려고 시도합니다. 저자들은 이러한 부가적인 방법들이 핵심 문제를 해결하지 못한다고 주장합니다: 즉, 관련 없는 시각적 토큰들이 컨텍스트 내에 남아 핵심 증거와 경쟁하며 디코딩 과정을 어렵게 만든다는 것입니다. 본 논문은 이미 증거가 존재할 때, 주요 과제는 시각적 가용성(새로운 증거를 찾는 것)이 아니라 **시각적 선택성(방해 요소를 필터링하는 것)**이라고 상정합니다.

2. 방법론: 잠재 노이즈 마스크 (LENS)

저자들은 모델의 백본이나 토큰 시퀀스 구조를 변경하지 않고 디코딩 단계 이전에 시각적 증거를 정화하도록 설계된 프레임워크인 LENS(LatEnt Noise maSk)를 제안합니다. 이 방법은 두 개의 결합된 단계로 작동합니다.

A. 증거 탐색 (Evidence Probing)

LENS는 시각적 토큰($V$)과 텍스트 토큰($T$)의 결합된 입력에 추가되는 가볍고 일시적인 Lens Evidence Token (LET), 즉 ``를 도입합니다.

• 메커니즘: 이 일시적인 토큰의 은닉 상태(hidden state)는 단순한 다층 퍼셉트론(MLP) 헤드($f_\theta$)에 의해 디코딩되어, $N$개의 시각적 토큰 수에 대한 관련성 점수 벡터 $\mathbf{a} \in [0, 1]^N$을 생성합니다.
• 조건화 (Conditioning): 이 점수들은 질문에 따라 조건화됩니다. 즉, 동일한 이미지 영역이라도 질문에 따라 높은 점수를 받을 수도 있고 낮은 점수를 받을 수도 있습니다.
• 감독 (Supervision): LET는 비용이 많이 드는 사고 과정(chain-of-thought) 근거 대신 객체 수준의 주석(bounding boxes)을 사용하여 학습됩니다. 특정 토큰이 질문과 관련된 바운딩 박스와 겹치는 이미지 패치에 해당하면 양성(positive)으로 라벨링됩니다. 학습 목표는 예측된 점수와 이러한 이진 라벨 사이의 이진 교차 엔트로피(BCE) 손실을 최소화하는 것입니다.

B. 잠재 억제 (Latent Suppression)

관련성 점수가 생성되면, `` 토큰은 제거되며, 이 점수들은 잠재 공간에서의 연성 억제(soft suppression) 메커즘을 가이드합니다.

• 노이즈 생성: 경량 노이즈 생성기($G_\phi$)는 각 시각적 토큰 $v_i$에 대해 토큰별 가우시안 노이즈 분포의 평균($\mu_i$)과 스케일($\sigma_i$)을 예측합니다.
• 적응형 섭동 (Adaptive Perturbation): 실제 노이즈 $r_i$는 재매개변수화(reparameterization)를 통해 샘플링됩니다: $r_i = \mu_i + \sigma_i \odot \epsilon_i$, 여기서 $\epsilon_i \sim \mathcal{N}(0, I)$입니다.
• 게이팅 (Gating): 억제 게이트 $g_i$는 LET 점수 $a_i$와 임계값 $\tau$를 기반으로 계산됩니다: $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$.
  • 만약 $a_i \geq \tau$이면 (높은 관련성), $g_i = 0$이 되어 토큰이 변하지 않습니다.
  • 만약 $a_i < \tau$이면 (낮은 관련성), $g_i > 0$이 되어 적응형 노이즈가 주입됩니다.
• 정화된 시퀀스: 최종 시각적 시퀀스는 $\tilde{V} = \{v_i + g_i r_i\}$입니다. 이는 기존 백본과의 호환성을 위해 중요한 원래의 토큰 레이아웃을 유지하면서도, 방해 토큰의 표현을 불안정하게 만들어 잠재 공간에서 이들을 효과적으로 "마스킹"합니다.

C. 최적화

프레임워크는 두 단계로 학습됩니다:

1. 지도 미세 조정 (SFT): 모델은 정화된 시퀀스 $\tilde{V}$를 사용하여 질문에 답하도록 학습됩니다. 전체 손실은 답변 생성 손실과 LET 감독 손실의 결합입니다 ($\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$).
2. 강화 미세 조정 (RFT): 증거 선택 정책을 정교화하기 위해, 저자들은 LET 점수를 베르누이 정책(Bernoulli policy)으로 모델링합니다. 이들은 선택된 토큰과 정답 관련 박스 사이의 중첩 정도에 기반한 세트 수준의 보상(F1 스코어)을 최적화하며, SFT 체크포인트로부터의 KL 발산(KL divergence)에 의해 규제됩니다.

3. 주요 기여

1. 문제의 재구성: 본 논문은 조밀한 시각적 토큰이 미세한 추론을 방해하는 질문과 무관한 방해 요소를 포함하고 있음을 식별했습니다. 저자들은 더 많은 추론 컨텍스트를 추가하는 것보다 이러한 방해 요소를 억제하는 것이 더 효과적이라고 주장합니다.
2. 경량 프레임워크: LENS는 단 하나의 임시 학습 가능한 제어 토큰과 경량 노이즈 생성기만을 필요로 하는 질문 조건부 정화 메커니즘을 도입합니다. 이는 백본 아키텍처를 수정하거나, 이미지를 크롭하거나, 중간 시각 출력을 생성할 필요가 없습니다.
3. 연성 잠재 개입 (Soft Latent Intervention): 토큰 프루닝(pruning)이나 하드 영역 선택과 달리, LENS는 적응형 잠재 노이즈를 사용하여 낮은 관련성을 가진 토큰을 부드럽게 억제합니다. 이는 토큰 시퀀스의 구조적 무결성을 유지하면서도 방해 요소의 영향을 줄입니다.

4. 실험 결과

저자들은 Qwen3-VL, InternVL3.5-VL, Qwen3.5 제품군의 베이스 모델을 사용하여 VQA 및 그라운딩(Grounding) 작업을 다루는 10개의 벤치마크에서 LENS를 평가했습니다.

• 성능 향상:

  • VQA: LENS는 대부분의 VQA 데이터셋(예: CUB, GQA, OpenImages)에서 베이스 MLLM을 2.4~6.4 포인트 개선했습니다. LENS-GRPO 변형은 가장 강력한 비-LENS 베이스라인 대비 평균 6.65 포인트의 향상을 달성했습니다.
  • 그라운딩 (Grounding): 개선 효과는 그라운딩 작업(예: COCO, Objects365)에서 더욱 두드러졌으며, 4.1~6.4 포인트의 이득을 보였습니다. VisDrone에서 LENS-GRPO는 SFT 대비 18.81 포인트 향상되었습니다.
  • 일반화: 이 방법은 다양한 모델 규모(2B ~ 9B)와 아키텍처 전반에 걸쳐 전이 가능함을 입증하였으며, 작업별 아키텍처 변경 없이 일관되게 성능을 향상시켰습니다.

• 절제 연구 (Ablation Studies):

  • 잠재 억제를 제거하면(증거 탐지만 사용), 이득이 제한적이었습니다. 이는 증거를 식별하는 것만으로는 방해 요소를 능동적으로 억제하지 않으면 충분하지 않음을 확인시켜 줍니다.
  • 학습된 연성 노이즈를 무작위 마스킹, 제로 패딩 또는 어텐션 기반 마스킹으로 대체했을 때 상당한 성능 저하가 발생하여, 학습된 적응형 연성 억제의 필요성을 입증했습니다.
  • 강화 학습 튜닝(GRPO)은 결과를 더욱 향상시켰으며, 이는 증거 선택 정책을 세트 수준에서 최적화하는 것이 유익함을 시사합니다.

5. 의의 및 주장

본 논문은 더 깨끗한 질문 관련 시각적 증거를 확보하는 것이 추론 궤적을 확장하는 것보다 멀티모달 추론을 개선하는 더 직접적인 경로라고 주장합니다. LENS가 더 많은 컨텍스트를 추가하는 것보다 방해 요소를 억제하는 것이 우수한 결과를 낸다는 것을 보여줌으로써, 저자들은 MLLM 추론의 패러다임 전환을 제안합니다: 즉, **시각적 추가(visual addition)**에서 **시각적 정화(visual purification)**로의 전환입니다.

이 연구의 의의는 접근 방식의 효율성과 일반성에 있습니다. LENS는 최소한의 오버헤드로 미세한 추론 및 공간 국지화(spatial localization)에서 최첨단(SOTA) 수준의 향상을 달성하며, 현재 MLLM의 병목 현상이 시각적 입력의 부족보다는 "노이즈"에 있음을 증명합니다. 시각화 결과는 LENS가 배경과 방해 요소를 억제하는 동시에 속성, 객체, 관계와 같은 핵심 영역에 주의를 집중시켜, 더 신뢰할 수 있는 미세 시각-언어 추론을 이끌어냄을 확인시켜 줍니다.