기술 요약: 대규모 시각-언어 모델(LVLM)의 다중 이미지 이해에서 발생하는 교차 이미지 정보 누출 완화

문제 정의

대규모 시각-언어 모델(LVLM)은 단일 이미지 작업에서는 강력한 성능을 보여주지만, 여러 이미지를 동시에 처리할 때는 능력이 크게 저하됩니다. 이전 연구들이 이러한 성능 저하를 언급해 왔으나, 그 근저에 있는 메커니즘은 명확히 밝혀지지 않았습니다.

저자들은 **교차 이미지 정보 누출(cross-image information leakage)**이라 명명된 특정 현상을 경험적으로 식별했습니다. 다중 이미지 설정에서 모델의 시각적 표현은 서로 얽히게 되며, 이로 인해 모델이 각 이미지를 독립적으로 해석하는 대신 서로 다른 이미지의 시각적 단서들을 혼합하게 됩니다. 논문의 동기 부분에서 예로 든 것처럼, 두 개의 이미지(예: 하나는 노란색 튤립, 다른 하나는 빨간색 장미가 있는 경우)와 첫 번째 이미지에 대한 질의가 주어졌을 때, 모델은 대상 이미지를 분리하는 데 실패하는 경우가 많습니다. 대신 정답("노란색 튤립")을 선택하는 대신, 잘못된 병합된 옵션("노란색 튤립과 빨간색 장미")을 선택합니다.

이러한 누출은 여러 이미지를 일련의 연결된 시각적 토큰으로 처리하는 표준 방식 때문인 것으로 분석됩니다. 이미지 간 인과적 어텐션(inter-image causal attention) 메커니즘은 서로 다른 이미지의 토큰들이 강하게 상호작용하게 만들어 잠재적 표현을 혼합하며, 결과적으로 타겟이 아닌 이미지의 콘텐츠가 응답을 오염시키는 환각(hallucination)을 유발합니다.

또한 본 논문은 각 이미지를 독립적으로 처리하고 결과를 집계하는 단순한 해결책은 복잡한 다중 이미지 추론 작업에 필수적인 이미지 간 관계(예: 비교, 상호 참조)를 희생하기 때문에 실패한다고 지적합니다.

방법론: FOCUS

추가적인 학습이나 구조적 변경 없이 이 과제를 해결하기 위해, 저자들은 FOCUS를 제안합니다. 이는 학습이 필요 없는(training-free), 아키텍처에 구애받지 않는(architecture-agnostic) 추론 방법입니다. 이 방법은 LVLM이 단일 이미지에 대해서는 잘 추론한다는 관찰에 기반하며, 다중 이미지 입력의 위치적 맥락을 보존하면서 모델이 한 번에 하나의 이미지에 집중하도록 유도하는 것을 목표로 합니다.

FOCUS는 세 단계의 순차적인 과정으로 구성됩니다:

1. 시각적 마스킹 (Visual Masking):
   $N$개의 입력 이미지 세트에 대해, 방법론은 $N$개의 부분적으로 마스킹된 입력과 하나의 완전히 마스킹된 참조(reference)를 생성합니다.

   • 각 타겟 이미지 $I_i$에 대해, 다른 모든 이미지 $I_j$ ($j \neq i$)는 무작위 노이즈(척도 $\lambda$)로 오염시키되, $I_i$는 깨끗한 상태를 유지합니다.
   • 모든 이미지가 오염된 완전 노이즈 마스킹 입력($I_{noise}$)도 생성합니다.
   • 이를 통해 모델이 원래의 이미지 순서를 유지하면서도 각 순방향 패스(forward pass) 동안 단일한 깨끗한 이미지에 주로 주의를 기울이도록 강제합니다.

2. 이미지별 집중 추론 (Image-wise Focused Inference):
   모델은 각의 $N$개 부분 마스킹된 입력에 대해 추론을 수행하여 각 타겟 이미지 $I_i$에 대한 로짓 분포 $\ell_i$를 얻습니다. 또한, 완전히 마스킹된 입력을 사용하여 노이즈 참조 로짓 분포 $\ell_{noise}$를 계산합니다. 이 단계는 결합된 맥락 내에서 특정 이미지에 집중했을 때의 모델의 추론을 포착합니다.

3. 대조적 집계 (Contrastive Aggregation):
   최종 출력은 잔여 노이즈 아티팩트를 억제하면서 집중된 로짓을 집계하여 도출됩니다. 사용된 공식은 다음과 같습니다:
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   여기서 $\alpha$는 검증을 통해 조정되는 하이퍼파라미터입니다. 노이즈 참조($\ell_{noise}$)를 빼주는 것은 마스킹 후에도 지속되는 가짜 시각적 신호를 격리하고 제거함으로써, 최종 예측이 노이즈로 유도된 아티팩트가 아닌 깨끗한 이미지 콘텐츠에 의존하도록 보장합니다.

주요 기여

• 교차 이미지 정보 누출의 식별: 본 논문은 다중 이미지 성능 저하가 시각적 표현의 엉킴과 밀접하게 연관되어 있으며, 이것이 병합된 잘못된 응답으로 이어진다는 경험적 증거를 제공합니다.
• FOCUS 방법론: 노이즈 마스킹과 대조적 로짓 집계를 사용하여 정보 누출을 완화하는 새로운 학습 불필요 추론 전략을 제시합니다. 이는 독립적 추론과 달리 이미지 간 관계를 보존하면서도 콘텐츠 혼합을 방지합니다.
• 일반화 가능성: 이 방법은 다양한 LVLM 제품군(InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL)과 규모(<7B에서 >30B 파라미터까지)에 대해 효과적임이 입증되었습니다.
• 비디오 이해 확장: 저자들은 FOCUS가 정적 다중 이미지 입력을 넘어 비디오 이해 작업(Vinoground)으로 일반화됨을 보여주며, 이는 이 메커니즘이 시간적 및 순차적 시각 추론의 근본적인 문제를 다루고 있음을 시사합니다.

실험 결과

저자들은 다섯 가지 다중 이미지 벤치마크인 Winoground, VisMin (Easy 및 Hard), Mantis-Eval, MuirBench, MIRB에서 FOCUS를 평가했습니다.

• 성능 향상: FOCUS는 **이미지 점수(I)**와 **그룹 점수(G)**를 일관되게 개선하였으며, 이는 다중 이미지 추론 능력을 직접적으로 반영합니다. 반면 **텍스트 점수(T)**는 거의 변화가 없었습니다.
  • Winoground의 경우, 이미지 점수 최대 +18.8, 그룹 점수 최대 +16.8의 이득을 얻었습니다.
  • VisMin-Easy에서 상당한 개선이 있었는데, 예를 들어 InternVL3-2B는 이미지 점수가 29.96에서 74.33으로 증가했습니다.
  • Mantis-Eval에서 정확도가 최대 +5.5 퍼센트 포인트 향상되었습니다.
  • MuirBench와 MIRB에서도 모델 전반에 걸쳐 일관되지만 상대적으로 작은 이득이 관찰되었습니다.
• 대안과의 비교: FOCUS는 다음을 포함한 대안적 접근 방식보다 우수한 성능을 보였습니다:
  • 독립적 처리 (Independent Processing): 이미지를 개별적으로 처리하고 텍스트를 연결하는 방식으로, 이미지 간 관계를 포착하는 데 실패했습니다.
  • 전통적인 대조적 디코딩 (VCD): 단일 이미지용으로 설계된 표준 대조 방식은 다중 이미지 설정에서 성능을 저하시켰습니다.
  • SoFA: 위치 편향(position bias)을 대상으로 하는 방법으로, 일관된 성능 향상을 보이지 못해 위치 편향과 정보 누출이 서로 다른 문제임을 나타냈습니다.
• 절제 연구 (Ablation Studies): 노이즈 주입 또는 노이즈 참조 차감 단계를 제거하면 성능이 크게 저하되었으며, 이는 두 구성 요소가 모두 필수적임을 확인시켜 줍니다.
• 지연 시간 (Latency): 이 방법은 적당한 지연 오버헤드($N$개의 이미지를 위해 $N+1$번의 추론 패스 필요)를 발생시키지만, 저자들은 이것이 정확도 향상을 위한 정당한 트레이드오프라고 언급했습니다.

의의 및 주장

본 논문은 FOCUS가 다중 이미지 추론을 강화하기 위한 실용적이고 일반화 가능한 추론 시점의 솔루션을 제공한다고 주장합니다. 교차 이미지 정보 누출을 경험적으로 규명하고 재학습 없이 이를 완화하는 방법을 제공함으로써, 이 연구는 현재 LVLM의 결정적인 한계를 해결합니다.

저자들은 다음과 같은 점을 강조합니다:

1. 추가적인 학습 데이터나 아키텍처 변경을 요구하지 않습니다.
2. 광범위한 모델 크기와 제품군에서 작동합니다.
3. 비디오 이해로 확장되며, 이는 시각적 엉킴 문제가 정적 이미지에 국한되지 않음을 시사합니다.
4. 사용자가 여러 이미지를 동시에 제공하는 실제 애플리케이션에서 필수적인 다중 이미지 추론의 신뢰성을 높이는 일반적인 솔루션을 제공합니다.

결론적으로, FOCUS가 성능을 크게 향상시키기는 하지만, 정보 검색(retrieval) 중심의 작업이나 롱 컨텍스트(long-context) 작업의 모든 문제를 해결하는 만능 열쇠는 아닙니다. 그러한 작업의 병목은 시각적 콘텐츠의 모호함을 해소하는 것이 아니라 관련 정보를 찾는 데 있을 수 있기 때문입니다. 그러나 여러 시각적 입력을 통합하고 비교해야 하는 작업에 있어서 FOCUS는 강력한 향상 도구입니다.