기술 요약: 왜 시각 정보가 보편적 가교로서 실패하는가: 다국어 MLLM에서의 양식 비동기성(Modality Asynchrony) 교정

문제 정의

다중 모달 대규모 언어 모델(MLLM)은 텍스트 전용 백본의 강력한 다국어 능력을 보유하고 있음에도 불구하고, 비영어권 시각 추론 작업에서 상당한 성능 저하를 보인다. 기존 문헌은 이러한 격차를 주로 데이터 부족의 문제로 돌리지만, 본 논문은 그 근본 원인이 MLLM의 내부 표현 메커니즘에 있다고 주장한다. 구체적으로, 저자들은 왜 시각적 신호가 교차 언어적 정렬을 위한 보편적이고 언어 중립적인 가교 역할을 수행하지 못하는지 조사한다. 저자들은 트랜스포머 아키텍처 내에서 언어적 표현과 시각적 표현의 진화 사이에 시간적 단절이 존재하며, 이로 인해 시각적 접지(visual grounding)가 비영어권 맥락에서 번역을 효과적으로 가이드하지 못한다고 가설을 세운다.

방법론: 메커니즘 분석 및 개입

1. 메커니즘 진단: "고스트 앵커(Ghost Anchor)" 현상

LLaVA-1.5와 같은 모델에 대한 엄격한 레이어별 분석을 통해, 저자들은 **양식 비동기성(Modality Asynchrony)**이라 명명된 현상을 식별하였으며, 이는 고스트 앵커(Ghost Anchor) 효과로 나타난다.

• 언어적 수렴(Linguistic Convergence): 언어적 표현은 네트워크의 초기 레이어(레이어 1~5)에서 영어 중심의 의미 매니폴드($S_{en}$)로 빠르게 수렴한다. 즉, 비영어 토큰들이 시각적 의미가 완전히 처리되기 전에 암묵적으로 영어 중심의 표현으로 번역된다.
• 지연된 시각적 의미화(Delayed Visual Semanticization): 이와 대조적으로, 시각적 토큰은 이러한 초기 레이어 동안 "의미론적으로 미성숙한" 상태(저수준 감각 특징을 인코딩하는 상태)로 머문다. 이들은 훨씬 더 깊은 레이어(레이어 20 이후)에 도달해서야 비로소 유의미한 의미적 접지(객체 레이블로 디코딩)를 달성한다.
• 결과: 시각적 의미가 가용해지기 전에 언어 스트림이 영어 매니폴드에 정렬되기 때문에, 모델은 "맹목적인(blind)" 번역을 수행하게 된다. 시각적 양식은 물리적으로 존재하지만, 결정적인 초기 정렬 창(alignment window) 동안에는 미미한 인과적 영향력만을 행사한다. 이는 시각적 입력을 일치하는 가우시안 노이즈로 대체했을 때 초기 레이어의 번역 지표($\Delta RET$ 및 $\Delta Sim_{en}$)에 변화가 거의 없음을 보여주는 시각적 인과 효과(Visual Causal Effect) 실험을 통해 검증되었다.

2. 제안된 솔루션: ANCHOR

이러한 비동기성을 교정하기 위해, 저자들은 **선제적 시각적 앵커링(Proactive Visual Anchoring, PVA)**을 중심으로 하는 학습 프레임워크인 ANCHOR를 제안한다.

• 핵심 메커니즘: PVA는 시각적 표현의 의미적 출현을 가속화하기 위해 초기 레이어의 시각적 표현 진화를 명시적으로 감독한다.
• 구현:
  • 외부 시각 기초 모델(VFM), 구체적으로 SigLIP-SO400M/14가 의미론적 감독자 역할을 수행한다.
  • 경량 정렬 네트워크($MLP_{align}$)가 MLLM의 초기 레이어($L_{early}$)로부터 추출된 중간 은닉 상태를 VFM의 특징 공간으로 투영한다.
  • 학습 목적 함수는 MLLM의 초기 시각 토큰과 VFM의 세밀한 의미적 특징 사이의 음의 평균 코사인 유사도를 최소화하는 것이다.
• 학습 전략: 이 프레임워크는 멀티모달 프로젝터와 첫 $L_{early}$(10으로 설정) 트랜스포머 레이어에 대해 전체 파라미터 미세 조정(FFT)을 적용하는 한편, 더 깊은 레이어와 시각 인코더는 동결한다. 이를 통해 시각적 특징이 언어 스트림이 교차 모달 정렬을 완료하기 전에 "의미적으로 준비"되도록 보장한다.

주요 기여

1. 고스트 앵커 현상의 공식화: 본 논문은 다국어 MLLM의 초기 정렬 단계에서 시각적 신호가 의미론적으로 접근 불가능한 상태가 되는 시간적 불일치를 체계적으로 식별하고 공식화하였다.
2. 메커니즘적 증거: 레이어별 분석과 인과적 개입(노이즈 치환)을 통해, 저자들은 초기 레이어에서 시각 정보가 언어 번역 궤적에 미치는 인과적 영향력이 미미함을 입증하였으며, 이를 통해 시각 정보가 왜 언어적 간극을 메우는 데 실패하는지를 설명하였다.
3. ANCHOR 프레임워크: 외부 VFM을 사용하여 초기 시각적 의미 준비를 강제함으로써 이중 스트림의 수렴을 효과적으로 동기화하는 새로운 학습 방법을 제시하였다.

실험 결과

실험은 7B 및 13B 파라미터 모델(LLaVA-1.5, LLaVA-NeXT, InternVL3)을 대상으로 xMMMU(전문 도메인 추론), MaXM(교차 언어 전이), CVQA(문화적 뉘앙스가 포함된 VQA)에서 수행되었다.

• 성능 향상: ANCHOR는 표준 베이스라인(Std. LoRA) 및 앵커링 없는 초기 레이어 미세 조정(Early-Layer FFT)보다 일관되게 우수한 성능을 보였다.
  • xMMMU에서 ANCHOR는 Std. LoRA 대비 평균 정확도를 7B 모델에서 약 2.2%, 13B 모델에서 약 2.3% 향상시켰다.
  • MaXM에서는 미세 조정된 언어와 제로샷 언어 모두에서 향상이 관찰되었으며, 13B 모델은 평균 정확도가 32.6%에서 36.5%로 개선되었다.
  • CVQA에서 ANCHOR는 초기 레이어 적응 시 흔히 발생하는 성능 저하를 완화하였으며, 13B 모델의 아랍어 정확도를 28.1%(Early-Layer FFT)에서 40.1%(ANCHOR)로 높였다.
• 제로샷 일반화: 이 방법은 학습되지 않은 언어에 대해서도 강력한 일반화 능력을 보여주었으며, 지도 미세 조정 시 발생하는 전형적인 "정렬 세금(alignment tax)"을 줄였다.
• 영어 능력 유지: 영어 성능을 저하시키는 일부 정렬 방식과 달리, ANCHOR는 xMMMU와 같은 벤치마크에서 영어 성능을 유지하거나 약간 향상시켰다.
• 메커니즘 검증: 학습 후 분석 결과, ANCHOR가 초기 레이어에서 시각적 인과 효과($\Delta RET$ 및 $\Delta Sim_{en}$)를 성공적으로 증가시켰음을 확인하였으며, 이는 시각적 신호가 이제 번역 과정에 능동적으로 영향을 미치고 있음을 증명한다. 사례 연구에 따르면 ANCHOR는 잘못된 언어적 사전 지식(예: 텍스트에 기반하여 "laptop"이라고 예측)을 시각적으로 접지된 개념(예: "mesa"/테이블)으로 덮어쓸 수 있었다.

의의 및 주장

본 논문은 MLLML에서 시각 정보가 보편적 가교 역할을 수행하지 못하는 이유가 단순한 데이터 문제가 아니라 구조적인 양식 비동기성(modality asynchrony) 때문이라고 주장한다. 외부 데이터 큐레이션에서 내부 표현의 동기화로 초점을 전환함으로써, 저자들은 **선제적 시각적 앵커링(Proactive Visual Anchoring)**이 "고스트 앵커" 현상을 바로잡을 수 있음을 입증하였다.

이 연구의 의의는 교차 언어적 시각 추론 실패에 대한 메커니즘적 설명을 제공하고, 교차 모달 상호작용이 가장 결정적인 레이어에서 시각 및 언어 스트림을 정렬하는 정밀하고 계산 효율적인 개입책을 제시했다는 점에 있다. 저자들은 이 연구를 시각적 증거가 영어 중심의 내부 역학에 의해 무시되는 것이 아니라, 언어 번역을 능동적으로 가이드하는 진정한 언어 중립적 다중 모달 이해를 향한 단계로 규정한다.