💻 computer science

Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

본 논문은 체계적인 계층별 분석을 통해 멀티모달 거대 언어 모델 내 시각-텍스트 융합의 내부 메커니즘을 조사하여, 통합이 특정 층에서 뚜렷한 "리뷰(review)" 현상과 함께 발생함을 밝히고, 이러한 통찰을 활용하여 멀티모달 추론 성능을 향상시키는 학습이 필요 없는 대조적 어텐션 프레임워크를 제안한다.

원저자: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 보고 읽는 것을 동시에 할 수 있는 세상을 상상해 보세요. 이들을 멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)이라고 부릅니다. 이들은 도서관의 모든 책을 다 읽었을 뿐만 아니라 사진을 볼 수 있는 눈까지 가진 아주 똑똑한 학생들과 같습니다. 하지만 여기에는 미스터리가 있습니다. 이 학생들이 사진을 보고 그에 대한 질문을 읽을 때, 그들의 뇌 속에서 어떻게 사진과 글자를 섞는 걸까요? 사진 전체를 한꺼번에 보는 걸까요? 글을 먼저 읽고 나서 사진을 힐끗 보는 걸까요? 아니면 아예 다른 무언가를 하는 걸까요?

오랫동안 우리는 이 모델들이 훌륭한 답변을 내놓을 수 있다는 것은 알았지만, 그들이 그 내부의 "뇌"(컴퓨터 코드의 층들로 이루어진) 속에서 실제로 어떻게 그 일을 해내는지에 대해서는 알지 못했습니다. 그것은 마치 마술사가 토끼를 꺼내는 트릭을 전혀 보지 못한 채 마술을 구경하는 것과 같았습니다. 이 과정을 이해하는 것은 매우 중요합니다. 왜냐하면 그들이 어떻게 작동하는지 모른다면, 그들이 주의가 산만해지거나 사실을 지어낼 때 고쳐줄 수 없기 때문입니다. 이 논문은 저자들이 마술사의 모자 안을 들여미하며 토끼가 층별로 어떻게 나타나는지 관찰하는 탐정 이야기와 같습니다.

탐정 작업: 모델의 뇌 내부를 들여다보기

이 논문의 저자들은 마법이 어디에서 일리는지 알아내기 위해 컴퓨터의 뇌를 상대로 "숨바꼭질" 게임을 하기로 했습니다. 그들은 여러 가지 서로 다른 MLLM들을 가져와서, 한 번에 한 층씩 그들의 뇌의 일부를 꺼보는 실험을 시작했습니다. 로봇이 장난감을 만드는 공장의 조립 라인을 상상해 보세요. 만약 당신이 3단계에서 로봇을 멈춘다면 장난감은 망가질 것입니다. 만약 20단계에서 멈춘다면, 아마 이미 완성되었을지도 모릅니다. 다양한 층에서 시각 정보를 "마스킹"(또는 끄기) 함으로써, 연구원들은 컴퓨터가 정확히 어느 시점에 사진을 보는 것을 멈추고 텍스트에만 의존하기 시작하는지를 확인할 수 있었습니다.

거대한 발견: 매끄러운 흐름이 아니다
그들이 발견한 가장 놀라운 사실은 컴퓨터가 처음부터 끝까지 사진과 글자를 균등하게 섞지 않는다는 것입니다. 이것은 우유를 커피에 부을 때 천천히 섞이는 것과는 다릅니다. 대신, 섞임은 조립 라인의 특정하고 결정적인 "스테이션"에서 일어납니다.

결정적 구역 (The Critical Zone): 대부분의 모델에서 실제 섞임은 초기에서 중간 단계의 층(대략 18층에서 20층 사이)에서 일어난다는 것을 발견했습니다. 만약 이 구역 직전에 사진을 차단한다면, 컴퓨터는 이미지에 대한 모든 것을 잊어버리고 테스트에 실패합니다.
"검토" 현상 (The "Review" Phenomenon): 여기서 재미있는 부분이 나옵니다. 일부 모델(LLaVA-1.5 및 LLaVA-Next와 같은)에서는 컴퓨터가 섞기를 마쳤다고 생각한 직후, 갑자기 사진을 다시 한번 훑어보았습니다! 저자들은 이를 "검토" 단계라고 부릅니다. 이는 마치 시험을 마치고 펜을 내려놓은 학생이 갑자기 "잠깐, 도표를 다시 확인해야 해!"라고 기억해 내며 제출하기 직전의 모습과 같습니다.

문제점: 컴퓨터가 산만해진다
조사하는 동안 저자들은 이상한 결함을 발견했습니다. 컴퓨터가 이미지의 올바른 부분(예: 비행기의 로고)을 보고 있을 때조차도, 하늘이나 비행기의 꼬리처럼 완전히 쓸모없는 부분에 강렬하게 시선을 빼앗기고 있었습니다. 저자들은 이를 "높은 주의 노이즈(high-attention noise)"라고 부릅니다.
당신이 비행기에 적힌 "LAPE"라는 표지판을 읽으려고 노력하고 있다고 상상해 보세요. 당신의 눈은 글자에 집중해야 합니다. 하지만 이 컴퓨터는 비행기 뒤의 구름 같은 쓸모없는 부분에도 강렬하게 시선을 두며, 구름에 글자와 똑같은 주의를 기울이며 주의를 분산시킵니다. 이 현상은 처음부터 발생하며 계속 머물러 모델을 혼란스럽게 만듭니다.

해결책: 학습이 필요 없는 "형광펜"
이 산만함을 해결하기 위해 저자들은 컴퓨터를 다시 가르치는 데 드는 비용이 많이 들고 느린 과정 없이도 사용할 수 있는 영리한 기술을 발명했습니다. 그들은 이를 **대조적 주의력(Contrastive Attention)**이라고 부릅니다.
작동 방식은 다음과 같은 간단한 비유를 사용합니다:

"이전" 스냅샷: 컴퓨터가 프로세스의 초기에(이미지를 막 보기 시작할 때) 무엇을 보고 있는지 사진을 찍습니다. 이 단계에서 컴퓨터는 구름을 포함한 모든 것을 보고 있습니다.
"이후" 스냅샷: 컴퓨터가 답변할 준비가 된 아주 마지막 단계에서 무엇을 보고 있는지 사진을 찍습니다. 이 단계에서 컴퓨터는 마땅히 글자를 보고 있어야 합니다.
차이점: "이전" 사진에서 "이후" 사진을 뺍니다.
- 만약 컴퓨터가 두 사진 모두에서 구름을 보고 있었다면, 구름은 상쇄됩니다 (주의력이 변하지 않았기 때문입니다).
- 만약 컴퓨터가 "이후" 사진에서는 글자를 보기 시작했지만 "이전" 사진에서는 무시했다면, 글자가 밝게 드러납니다!

이 차이는 컴퓨터가 질문 때문에 집중하게 된 부분만을 보여주는 "형광펜" 역할을 합니다. 저자들은 이 형광펜을 사용하여 주의를 분산시키는 부분을 잘라내고, 중요한 부분만을 강조하여 컴퓨터에게 두 번째 시도를 위해 다시 입력합니다.

결과
이 새로운 방법을 테스트했을 때, 컴퓨터는 질문에 훨씬 더 잘 답하게 되었습니다. 모델을 재학습시킬 필요 없이, 단지 노이즈를 무시하도록 살짝 밀어주기만 하면 되었습니다.

GQA 데이터셋에서, 그들의 방법은 점수를 66.03에서 69.40으로 향상시켰습니다.
VQAv2에서는 74.06에서 77.59로 올랐습니다.
TextVQA에서는 57.21에서 59.86으로 뛰어올랐습니다.

이 숫자들은 컴퓨터가 단순히 노이즈(산만한 구름)를 무시하고 올바른 것에 집중하도록 도와주는 것만으로도 세상을 조금 더 잘 이해할 수 있음을 보여줍니다. 저자들은 이 방법이 효과적인 이유가 컴퓨터가 "모든 것을 보는 것"에서 "중요한 것을 보는 것"으로 주의를 전환하는 순간을 포착하기 때문이라고 제안합니다.

배제된 내용
저자들은 또한 이것이 단순히 무작위로 층을 골라 보는 것이 아님을 분명히 했습니다. 그들은 규칙 없이 프로세스의 맨 끝이나 맨 처음 층을 선택하는 실험을 했으나, 그것들은 효과가 좋지 않았습니다. "스윗 스팟(sweet spot)"은 시각 정보와 텍스트 정보가 막 섞이기 시작하지만 아직 완전히 자리 잡지 않은 특정 층들입니다. 또한 그들은 이 방법이 일회성 해결책이 아니며, 다양한 유형의 모델과 다양한 종류의 질문에 걸쳐 작동한다는 것을 보여주었습니다.

요약하자면, 이 논문은 이 똑똑한 컴퓨터들이 시각과 소리를 결로 합치는 특정 "혼합 구역"을 가지고 있으며, 때때로 배경 소음에 의해 산만해진다는 것을 가르쳐 줍니다. 수학적 트릭을 사용하여 그들의 집중도 변화를 강조함으로써, 우리는 새로운 레슨을 가르치기 위해 수년을 소비하지 않고도 그들이 노이즈를 무시하고 더 나은 답을 내놓도록 도울 수 있습니다.

기술 요약: 시각과 언어는 어디에서 만나는가? 대조적 어텐션(Contrastive Attention)을 통한 MLLM의 시각적 융합 이해 및 정교화

문제 정의
멀티모달 거대 언어 모델(MLLM)은 시각-언어 이해 측면에서 상당한 진전을 이루었으나, 시각 및 텍스트 정보가 어떻게 통합되는지를 규정하는 내부 메커니즘은 여전히 제대로 이해되지 않고 있습니다. 기존 연구들은 피드포워드 네트워크(FFN)나 메모리, 또는 시각적 특징의 국소화와 같은 특정 구성 요소를 탐구해 왔으나, 서로 다른 레이어를 가로질러 시각 정보가 어떻게 점진적으로 통합되는지에 대한 포괄적인 이해는 부족한 실정입니다. 특히, 어떤 레이어에서 시각 정보가 융합되는지, 이러한 통합이 어떻게 진화하는지, 그리고 왜 모델이 텍스트의 안내에도 불구하고 무관한 시각 영역(노이즈)에 지속적으로 주의를 기울이는 현상이 발생하는지는 불분명합니다. 이러한 해석 가능성의 결여는 모델의 신뢰성과 성능 향상을 저해합니다.

방법론
저자들은 체계적인 레이어별 조사에 이은 학습이 필요 없는(training-free) 정교화 방법을 제안합니다.

레이어별 마스킹 및 분석:
- 시각적 마스킹: 저자들은 7개의 대표적인 MLLM(LLaVA-1.5, LLaVA-Next, InstructBLIP, Qwen2-VL 등 포함)과 6개의 벤치마크(VQAv2, GQA, TextVQA 등)를 대상으로 실험을 수행했습니다. 이들은 특정 레이어에서 시각적 토큰을 체계적으로 마스킹하여 성능 저하를 관찰했습니다. 유의미한 성능 저하는 해당 레이어가 시각적 통합에 결정적임을 나타냅니다.
- 어텐션 진화: 저자들은 레이어별로 어텐션 맵을 분석하여, 깊이가 깊어질수록 관련 영역에 대한 주의는 증가하지만, 무관한 영역에 대한 "고주의 노이즈(high-attention noise)"가 네트워크 전체에 걸쳐 지속되며, 종종 초기 레이어에서 발생하여 전방으로 전파됨을 관찰했습니다.
- 헬링거 거리(Hellinger Distance): 중간 레이어와 최종 출력 사이의 발산 정도를 정량화하기 위해 어텐션 맵 간의 헬링거 거리를 계산했습니다. 이를 통해 융합이 주로 초기-중기 레이어에서 발생하며, 일부 모델은 시각 신호가 재활성화되는 후기 단계의 "리뷰(review)" 현상을 보인다는 것을 밝혀냈습니다.
대조적 어텐션 프레임워크(Contrastive Attention Framework):
- 핵심 개념: 지속적인 어텐션 노이즈를 완화하기 위해, 저자들은 "사전 통합(pre-integrated)" 레이어와 "사후 통합(post-integrated, 최종)" 레이어 사이의 변환을 모델링하는 학습이 필요 없는 방법을 도입했습니다.
- 레이어 선택: "사전 통합" 레이어는 최종 레이어의 어텐션 맵과 헬링거 거리가 최대인 레이어로 동적으로 선택되며, 일반적으로 얕은-중간 융합 단계에서 발견됩니다.
- 메커니즘: 이 방법은 선택된 사전 통합 레이어의 어텐션 맵( $A(i^*)$ )과 최종 레이어의 어텐션 맵( $A(k)$ ) 사이의 차이를 계산합니다: $I_A = A(k) - A(i^*)$ .
- 정교화: 이 대조적 어텐션 맵은 텍스트 가이드에 의해 모델의 초점이 크게 변화한 영역을 강조합니다. 원본 이미지를 세그멘테이션하여 이러한 고변화 영역을 보존하고, 이를 MLLM에 두 번째 추론 단계로 다시 입력합니다. 이는 정적인 어텐션 맵에서 발견되는 지속적인 노이즈를 억제하는 동시에 작업 관련 시각적 단서를 강화합니다.

주요 기여

체계적인 융합 매핑: 본 논문은 멀티모달 융합이 균일하게 일어나는 것이 아니라 특정 얕은-중간 레이어에서 나타난다는 점을 밝히는 포괄적인 레이어별 조사를 제공합니다. 또한 특정 구조(예: LLaVA-1.5)에서 시각 정보가 깊은 레이어에서 재활성화되는 "리뷰" 현상을 식별했습니다.
어텐션 편향 식별: 본 연구는 무관한 영역에 대한 고주의 노이즈가 각 단계에서 새로 형성되는 것이 아니라, 레이어를 통해 전파되는 체계적인 편향임을 입증했습니다.
학습이 필요 없는 정교화: 저자들은 동적인 학습 불필요 대조 어텐션 메커니즘을 제안합니다. 모델마다 수동으로 레이어를 튜닝해야 하는 정적인 방식(예: ViCrop)과 달리, 이 방법은 어텐션 발산을 기반으로 최적의 사전 통합 레이어를 자동으로 식별하므로 모델에 구애받지 않고 적응 가능합니다.

결과

분석 검증: 실험을 통해 특정 융합 레이어에서 시각적 토큰을 마스킹하면 성능이 급격히 저하되는 반면, 더 깊은 레이어는 텍스트 지배적으로 변한다는 것을 확인했습니다. 초기 출력 실험 결과, 유효하고 이미지에 근거한 답변은 융합 단계(통상 레이어 18 이후) 이후에야 나타났습니다.
성능 향상: 여러 MLLM과 벤치마크(GQA, VQAv2, OKVQA, VizWiz, TextVQA, DocVQA, MMBench)에 걸친 광범적인 실험을 통해, 제안된 대조적 어텐션 방법이 기존의 학습 불필요 베이스라인들(CD, DoLA, OPERA, ViCrop 포함)보다 일관되게 우수한 성능을 보임을 입증했습니다.
- 예를 들어, LLaVA-1.5의 경우 평균 정확도가 56.34%(Base)에서 59.16%(Ours)로 향상되었습니다.
- LLaVA-Next의 경우, 평균이 66.22%에서 68.65%로 향상되었습니다.
- Qwen2.5VL의 경우, 평균이 75.15%에서 77.66%로 향상되었습니다.
효율성: 추론 시간 분석 결과, 대조적 어텐션을 계산하고 이미지를 재입력하는 데 드는 추가 비용은 미미하며, 효율성과 성능 사이의 유리한 균형을 유지했습니다.

의의
본 논문의 주요 의의는 MLLM 내의 시각-언어 융합의 시간적 조직에 대한 해석 가능한 관점을 제공한다는 점에 있습니다. 융합이 특정 레이어에 집중되어 있고 어텐션 노이즈가 지속적이고 전파되는 편향이라는 점을 밝힘으로써, 저자들은 모델 행동에 대한 기계론적 설명을 제시합니다. 제안된 대조적 어텐션 프레임워크는 이러한 통찰력을 활용하여 추가 학습 없이 시각적 입력을 정교화하며, 멀티모달 추론을 향상시키고 무관한 시각적 집중으로 인한 환각을 줄이는 일반화 가능한 솔루션을 제공합니다. 이 연구는 내부 메커니즘에 대한 이해와 실제 모델 성능 개선 사이의 간극을 메우고 있습니다.

탐정 작업: 모델의 뇌 내부를 들여다보기

유사한 논문