기술 요약: 보는 것이 이해하는 것이다: 멀티모달 LLM 을 위한 인과적 어텐션을 모달리티 상호 어텐션으로 해금하기

1. 문제 제기

최근 멀티모달 대규모 언어 모델 (MLLM) 은 지각과 추론 분야에서 상당한 진전을 이루었으나, 여전히 중요한 과제가 남아 있습니다: 시각 - 언어 불일치. 이는 주로 생성된 텍스트 응답이 제공된 이미지 - 텍스트 입력에 사실적으로 근거하지 않는 객체 환각 (object hallucinations) 으로 나타납니다. 이 문제는 이미지 내의 정확한 객체 카운팅, 공간적 관계 설명, 또는 텍스트 인식과 같은 시각 중심 작업에 특히 치명적입니다.

본 논문은 데이터 부족이나 커넥터 설계가 아닌, 현재 MLLM 의 근본적인 아키텍처에 이러한 불일치의 근본 원인이 있음을 규명합니다. 대부분의 MLLM 은 인과적 어텐션 메커니즘을 사용하는 디코더 전용 LLM 을 기반으로 구축됩니다. 표준 멀티모달 파이프라인에서는 이미지 토큰이 텍스트 토큰보다 입력 시퀀스의 앞에 배치됩니다. 인과적 어텐션으로 인해 이전 토큰 (이미지) 은 이후 토큰 (텍스트) 에 어텐션할 수 없습니다. 결과적으로 이미지 토큰은 사용자의 질문이나 문맥에서 정보를 통합하지 못하여, 특정 텍스트 지시에 적응하지 못하는 정적 시각 표현을 초래합니다.

2. 방법론

2.1. 직관적 베이스라인: 듀얼 오더 학습 (DOT)

저자들은 먼저 직관적인 해결책을 탐구합니다: **이미지 - 텍스트 (I&T)**와 텍스트 - 이미지 (T&I) 입력 순서로 모델을 학습시키는 것입니다. 모델이 두 가지 시퀀스 모두에 노출됨으로써 토큰 순서에 관계없이 교차 모달 상호작용을 처리하는 법을 학습합니다.

• 한계: 성능은 향상되지만, 학습 단계당 학습 시간이 두 배로 늘어나며 모달리티 수가 증가함에 따라 비용이 기하급수적으로 증가합니다.

2.2. 제안된 솔루션: 모달리티 상호 어텐션 (MMA)

추가적인 계산 비용을 들이지 않고 DOT 의 한계를 해결하기 위해, 저자들은 **모달리티 상호 어텐션 (MMA)**을 제안합니다. 이 방법은 특정 어텐션 경로를 해금함으로써 LLM 내의 인과적 어텐션 메커니즘을 재정의합니다.

• 메커니즘: 표준 인과적 어텐션 마스크 $M$에서 $M_{ij} = -\infty$ (미래 토큰 접근 방지) 일 때, $j > i$인 경우, MMA 는 마스크를 $M'$으로 수정합니다.
• 수정 사항: 마스크가 수정되어 이미지 토큰(이전 모달리티) 이 텍스트 토큰(후속 모달리티) 에 어텐션할 수 있도록 합니다.
  • 공식적으로, $i$가 이미지 토큰이고 $j$가 텍스트 토큰이며 $j > i$인 경우, 어텐션 점수가 마스크로 가려지는 대신 허용 (0 으로 설정) 됩니다.
  • 이를 통해 이미지 토큰이 사용자의 질문을 "볼" 수 있게 되어, 모델이 특정 텍스트 지시와 관련된 이미지 영역에 역동적으로 초점을 맞출 수 있습니다.
• 제약 조건:
  • 이 수정은 지도 미세 조정 (SFT) 단계에서만 적용됩니다. 사전 학습 (PT) 단계에서는 정보 유출 (텍스트 토큰이 이미지 토큰을 통해 간접적으로 미래 텍스트에 접근하는 것) 을 방지하기 위해 표준 인과적 마스크가 유지됩니다.
  • 이 접근법은 추가 파라미터를 도입하지 않으며, 총 어텐션 계산 수가 동일하게 유지되므로 계산 복잡성을 증가시키지 않습니다.
  • 이 설계는 위치와 관계없이 다른 모달리티의 토큰에 어텐션할 수 있도록 하여 인터리브된 멀티모달 데이터를 지원하도록 일반화되었습니다.

3. 주요 기여

1. 문제 신규성: 본 논문은 MLLM 에서 이전에 탐구되지 않았던 아키텍처적 한계를 규명합니다: 표준 인과적 어텐션 설계로 인해 이전 모달리티 (이미지) 가 후속 모달리티 (텍스트) 의 정보에 접근할 수 없는 문제입니다.
2. 방법 신규성: 저자들은 텍스트에서 이미지로의 교차 모달 정보 흐름을 가능하게 하는 어텐션 마스크를 해금하는 간단하지만 효과적인 메커니즘인 **모달리티 상호 어텐션 (MMA)**을 제안합니다. 이는 비용이 많이 드는 듀얼 오더 학습 (DOT) 및 기타 커넥터 기반 접근법과 대조됩니다.
3. 실험 신규성: 3 개의 서로 다른 LLM 백본(LLaMA-3.2-3B, Phi-3.5-Mini, Qwen2.5-3B)을 대상으로 한 12 개의 멀티모달 이해 벤치마크에 대한 광범위한 평가를 통해, MMA 가 인과적 어텐션 파이프라인, 동심 인과적 어텐션 (CCA), 혼합 어텐션 (MA) 을 포함한 최첨단 베이스라인보다 일관되게 우월한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 동일한 학습 데이터와 구성을 사용하여 MMA 를 표준 인과적 어텐션 파이프라인, DOT, CCA, 그리고 혼합 어텐션 (MA) 과 비교 평가했습니다.

• 성능 향상: MMA 는 12 개 벤치마크에서 최첨단 성능을 달성했으며, 3 개의 LLM 백본 전반에 걸쳐 평균 **+6.2%**의 개선을 보였습니다.
• 구체적 개선 사항:
  • 시각 중심 작업: 객체 카운팅, 공간적 추론, 환각 감소가 필요한 작업 (예: POPE, CV-Bench, MM-Vet) 에서 상당한 향상이 관찰되었습니다.
  • 일반 및 지식 작업: MMA 는 일반 VQA 및 지식 기반 추론 (예: MMMU, MMBench) 에도 성능을 향상시켜, 교차 모달 어텐션의 이점이 순수한 시각 작업을 넘어선다는 것을 나타냈습니다.
• 베이스라인과의 비교:
  • MMA 는 학습 시간이 두 배 필요한 DOT와 특정 어텐션 패턴이나 이미지 간 어텐션에 초점을 맞춘 CCA/MA보다 거의 모든 벤치마크에서 우월한 성능을 보였습니다.
  • AKI-4B모델 (MMA 의 더 큰 규모 구현체) 은 훨씬 더 많은 파라미터 수와 학습 데이터를 가진 독점 및 오픈소스 모델과 비교해도 경쟁력 있거나 더 우수한 성능을 보여주었으며, 이는 더 작은 사전 학습 데이터셋과 낮은 이미지 해상도를 사용했음에도 불구하고 달성된 것입니다.
• 어텐션 분석: 어텐션 점수의 시각화는 시각 중심 작업에서 이미지 토큰이 텍스트 쿼리의 특정 언어 범주 (명사, 관계) 에 어텐션을 집중시킴을 보여주었으며, 이는 MMA 가 시각 모달리티가 텍스트 문맥에 근거할 수 있도록 성공적으로 가능하게 했음을 확인시켜 주었습니다.

5. 중요성과 주장

본 논문은 MMA 가 추가 파라미터, 증가된 학습 데이터, 전문화된 시각 - 언어 커넥터, 또는 학습 컴퓨트의 기하급수적 증가 없이 MLLM 에 대한 시각 - 언어 불일치를 해결하는 근본적인 아키텍처 개선을 제공한다고 주장합니다.

저자들은 그들의 접근 방식이 범용적이고 확장 가능하며, 오디오, 텍스트, 이미지와 같은 다양한 모달리티와 계층적 입력에 적용 가능하다고 강조합니다. 코드베이스 (AKI) 를 오픈소스로 공개함으로써, 저자들은 연구자들이 데이터 확장에서 아키텍처 효율성으로 초점을 이동시키며 실제 세계의 멀티모달 과제를 근본적인 설계 관점에서 해결할 수 있는 도구를 제공하고자 합니다.

인정된 한계:
본 논문은 제안된 MMA 설계가 현재 지도 미세 조정 (SFT) 단계에서만 적용된다고 지적합니다. 사전 학습 (PT) 단계에 직접 적용할 경우, PT 데이터셋에는 SFT 에서 어텐션을 제약하는 특정 사용자 질문이 부재하기 때문에 (이미지 토큰을 통한 이전 텍스트 토큰의 미래 텍스트 접근과 같은) 정보 유출로 이어질 수 있습니다. 저자들은 이 문제의 해결을 향후 연구 과제로 남겨두었습니다.