💬 NLP

Attention, not scale, drives human-AI alignment in multimodal language prediction

본 연구는 모델의 규모보다는 정보가 풍부한 시각적 단서에 대한 선택적 주의 집중이 멀티모달 맥락 내에서 다가올 단어를 예측할 때 트랜스포머 기반 시각-언어 모델이 인간의 행동과 정렬될 수 있도록 하는 주요 동력임을 입증한다.

원저자: Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 질문: AI와 인간은 똑같이 "보는"가?

당신이 친구와 함께 영화를 보고 있다고 상상해 보세요. 두 사람 모두 등장인물이 "그 남자는..."이라고 말하는 것을 듣고, 문장이 끝나기도 전에 본능적으로 테이블 위에 놓인 자동차 사진이 아닌 케이크 사진을 쳐 juga 봅니다. 당신은 시각적 맥락(케이크)을 사용하여 다음에 올 단어가 무엇인지 예측하고 있는 것입니다.

이 연구는 다음과 같은 질문을 던졌습니다: 현대의 AI 모델들도 이와 똑같이 행동할까요? AI가 영상을 보고 문장을 들을 때, 인간처럼 시각적 단서를 사용하여 다음 단어를 추측할까요? 만약 그렇다면, 그것은 AI가 더 "똑똑해서"(더 많은 뇌 능력/파라미터를 가져서)일까요, 아니면 적절한 것에 주의를 기울이는 특정한 메커니즘을 가지고 있기 때문일까요?

실험: 영화 테스트

연구진은 거대한 온라인 게임을 설정했습니다. 600명의 인간 참가자에게 두 편의 유명한 영화(프레스티지와 유주얼 서스펙트)에서 추출한 100개의 짧은 클립(6초 길이)을 보여주었습니다.

과제: 각 클립이 나오기 전, 타겟 단어(예: "출발")를 보여주었습니다.
질문: 영상을 본 후(소리가 있거나 없는 경우), 인간들은 다음과 같이 평가해야 했습니다: "이 영상이 그 단어를 추측하는 데 얼마나 도움이 되었습니까?"
시선 추적: 사람들이 영상을 보는 동안, 연구진은 웹캠을 사용하여 그들의 눈이 어디로 움직이는지 추적했습니다.

동시에, 다섯 가지 서로 다른 AI 모델을 동일한 테스트에 통과시켰습니다. 어떤 모델은 텍스트(자막)만 보았고, 어떤 모델은 텍스트 와 함께 영상도 보았습니다.

세 가지 주요 발견

1. 시각적 맥락은 "비법 소스"다

발견: AI 모델이 텍스트와 함께 영상을 볼 수 있게 되자, 인간의 예측과 훨씬 더 잘 일치하게 되었습니다. 텍스트만 보았을 때 AI는 종종 혼란스러워하거나 잘못 추측했습니다.

비유: 영상을 보지 못하는 AI를 눈을 가린 채 미스터리 소설의 결말을 추측하려는 사람이라고 생각해보세요. 그들은 오직 단어에만 의존해 추측해야 합니다. 하지만 눈가리개를 벗겨주면(영상을 추가하면), 그들은 등장인물들이 보고 있는 단서들을 볼 수 있게 되고, 그들의 추측은 갑자기 인간의 추측과 일치하게 됩니다.

놀라운 점: AI의 크기는 그리 중요하지 않았습니다. 영상을 볼 수 있는 작고 똑똑한 모델이, 영상을 볼 수 없는 거대하고 "거대한" 모델보다 더 뛰어난 성능을 보였습니다. 이는 마치 돋보기를 가진 작은 탐정이 도구가 없는 거인보다 사건을 더 잘 해결하는 것과 같습니다.

2. "주의(Attention)"가 진정한 영웅이다

발견: 연구는 AI가 영상을 어떻게 처리하는지를 살펴보았습니다. 연구진은 "주의(Attention)" 메커니즘(AI가 이미지의 특정 부분에 집중할 수 있게 해주는 기능)을 사용하는 모델과 그렇지 않은 모델을 비교했습니다.

주의 메커니즘이 있는 모델(트랜스포머와 같은 모델)은 인간과 매우 잘 일치했습니다.
주의 메커니즘이 없는 모델(구형 ResNet 모델과 같은 모델)은 크기가 같더라도 인간과 잘 일치하지 않았습니다.

비유: 사람들이 떠들고 있는 붐비는 방을 상상해 보세요.

주의가 없는 경우: AI는 마치 모든 사람의 말을 한꺼번에 들으려고 노력하다가 소음에 압도당하는 사람과 같습니다. 중요한 목소리를 골라내지 못합니다.
주의가 있는 경우: AI는 마치 배경 소음을 무시하고 딱 한 사람의 말에만 귀를 기울일 수 있는 사람과 같습니다. 관련 있는 시각적 단서(테이블 위의 케이크와 같은)에 "주파수를 맞추는" 이 능력이 AI를 인간처럼 행동하게 만드는 핵심입니다.

3. AI는 인간이 보는 곳을 "본다"

발견: 연구진은 AI의 "주의 지도(attention map, AI가 무엇에 집중하고 있는지 보여주는 히트맵)"를 인간의 실제 시선 이동과 비교했습니다.

명확한 시각적 단서(케ка와 같은)가 있을 때, AI의 주의 지도는 인간이 보고 있는 위치와 거의 동일했습니다.
특히, AI의 "교차 주의(Cross-Attention)"(보고 있는 것과 듣고 있는 것을 혼합하는 과정)가 인간의 시선 이동을 가장 잘 추적했습니다. 이는 인간이 왜 그곳을 보는지에 대해 약 **70%**를 설명해 주었습니다.

비유: 마술을 관람하는 두 사람을 보는 것과 같습니다.

인간: 동전이 나타날 때 눈이 마술사의 손으로 향합니다.
교차 주의가 있는 AI: 그 "디지털 눈" 또한 정확히 같은 순간에 마술사의 손으로 향합니다.
교차 주의가 없는 AI: 그 "디지털 눈"은 마술사의 모자나 배경을 멍하니 바라보며, 결정적인 단서를 완전히 놓칠 수 있습니다.

이것이 의미하는 바 (쉬운 설명)

이 논문은 AI가 어떻게 만들어졌는지가 얼마나 크게 만들어졌는지보다 더 중요하다는 결론을 내립니다.

과거의 생각: 우리는 더 큰 AI 모델(더 많은 파라미터를 가진 모델)이 자동으로 더 인간다워질 것이라고 생각했습니다.
새로운 현실: 모델이 우리처럼 세상을 보기 위해서는 적절한 "안경"(주의 메커니즘)이 필요합니다. 만약 AI가 시각적 단서를 무시하도록 훈련되었거나 그것에 집중할 수 없다면, 아무리 거대하더라도 실제 환경에서 언어를 진정으로 이해할 수는 없습니다.

이 연구는 AI가 인간처럼 언어를 진정으로 이해하기 위해서는, 우리의 눈이 그러하듯 장면 속에서 가장 중요한 시각적 단서에 선택적으로 주의를 기울일 수 있어야 한다는 점을 시사합니다.

기술 요약: 멀티모달 언어 예측에서 인간-AI 정렬을 주도하는 것은 규모가 아닌 주의 집중(Attention)이다

문제 제プローチ (Problem Statement)
최근 생성형 AI의 발전은 대규모 언어 모델(LLM)이 단일 모달리티 작업에서 인간의 행동을 시뮬레이션할 수 있음을 보여주었으나, 현재의 시각-언어 모델(VLM)이 생태학적이고 멀티모달적인 환경에서 인간의 예측 프로세스를 어느 정도까지 복제하는지는 여전히 불분명하다. 인간의 언어 이해는 시각적 맥락을 통합하여 다가올 의미론적 콘텐츠의 범위를 제한하며, 이 과정은 시각 세계 패러다임(Visual World Paradigm, VWP)에서 안구 운동을 통해 지표화된다. 그러나 시각적 맥락을 계산 모델에 추가하는 것이 모델의 예측과 인간의 예측 사이의 정렬을 개선하는지, 아니면 이러한 정렬이 주로 모델의 규모(파라미터 수)나 어텐션 메커니나와 같은 특정 구조적 특징에 의해 주도되는지는 확실하지 않다. 또한, 멀티모달 예측 시 모델의 어텐션 패턴이 인간의 시선과 어느 정도 일치하는지에 대한 연구도 거의 이루어지지 않았다.

방법론 (Methodology)
저자들은 600명의 인간 참가자와 5개의 최첨단 사전 학습된 시스템(FLAVA, LLaMA with visual adapter, GPT-4, CLIP 변체, BLIP)을 대상으로 대규모 웹 기반 실험을 수행하였다.

실험 설계: 참가자들은 영화 *프레스티지(The Prestige)*와 *유주얼 서스펙트(The Usual Suspects)*의 100개 6초 분량 클립을 시청했다. "멀티모달 패러다임"에서 참가자들은 동기화된 오디오와 함께 비디오 클립을 시청했다. 반면 "단일 모달(Unimodal)" 조건에서는 오디오 전용 또는 시각 전용 자극을 받았다. 참가자들은 특정 타겟 단어를 예측하는 데 있어 자극의 관련성을 0–100 척도로 평가했다. 안구 운동은 과제 수행 중 웹캠을 통해 추적되었다.
계산 모델: 연구는 세 가지 패러다임에 걸쳐 모델을 평가했다:
1. 단일 모달 (텍스트 전용): 모델은 시각적 입력 없이 자막이나 프롬프트를 처리했다.
2. 멀티모달 (텍스트 + 이미지): 모델은 비디오 프레임과 동기화된 텍스트를 처리했다.
3. 프롬프트 기반: GPT-4와 같은 폐쇄형 모델의 경우, 인간의 지시사항을 프롬프트로 사용하여 결정론적 예측 추정치(온도 설정 0)를 생성했다.
테스트된 모델:
- FLAVA: 1.3B 파라미터 규모의 시각-언어 인코더.
- LLaMA-Adapter: 시각 어댑터 레이어를 갖춘 7B 파라미터 규모의 텍스트 전용 모델.
- GPT-4: 텍스트 전용 및 텍스트-이미지 버전 모두 포함.
- CLIP: ResNet(어텐션 없음) 및 Vision Transformer(ViT, 어텐션 포함) 백본을 가진 다양한 크기의 변체.
- BLIP: 교차 주의(cross-attention) 메커니즘을 특징으로 하는 모델.
분석 지표:
- 정렬(Alignment): 모델의 예측 점수와 인간의 관련성 평가 사이의 피어슨 상관계수(Pearson correlation)를 사용하였으며, 이는 "인간 천장(human ceiling)"(leave-one-participant-out 상관관계)에 대해 보정되었다.
- 어텐션 중첩(Attention Overlap): 모델의 어텐션 히트맵(트랜스포머 레이어로부터 추출)과 인간의 시선 히트맵을 Spearman 상관계수, 정규화된 스캔패스 살리언시(NSS), 정보 이득(Information Gain, IG)을 사용하여 비교하였다.
- 의미론적 정렬(Semantic Alignment): 모델의 내부 표현을 시각적 단서에 대한 인간의 의미론적 판단과 연결하기 위해 표현 유사도 분석(Representational Similarity Analysis, RSA)을 수행하였다.
- 절제 실험(Ablation): 학습된 어텐션의 인과적 역할을 테스트하기 위해 CLIP ViT의 어텐션 가중치를 조작(균등 분포 또는 패치 셔플링)하였다.

주요 결과 (Key Results)

시각적 맥락이 정렬을 강화함: 시각적 맥락을 추가하는 것은 모든 아키텍처에서 모델과 인간의 예측 사이의 정렬을 유의미하게 증가시켰다(평균 $\Delta r \approx 0.18$ ). 멀티모달 FLAVA는 가장 높은 원시 상관관계( $\rho = 0.42$ )를 달성하여 설명 가능한 인간 변동성의 약 72%를 설명해냈으며, 멀티모달 설정에서 GPT-4나 LLaMA와 같은 더 큰 모델보다 우수한 성능을 보였다. 결정적으로, 파라미터 크기는 정렬 개선과 상관관계가 없었다. 즉, 정교하게 설계된 더 작은 모델들이 더 큰 모델보다 더 나은 성능을 보였다.
어텐션 메커니즘이 핵심적임: (어텐션을 포함하는) Vision Transformer(ViT) 백본을 가진 모델들은 특히 시각적 단서가 정보력이 높을 때(높은 인간 예측 가능성), 어텐션이 없는 ResNet 백본 모델보다 인간의 판단을 예측하는 데 있어 유의미하게 뛰어난 성능을 보였다. 순열 검정(Permutation tests) 결과, 모든 예측 가능성 백분위수에서 일관된 ViT의 우위가 확인되었다.
절제를 통한 어텐션의 필요성 확인: CLIP ViT의 학습된 어텐션을 균등(uniform) 또는 패치 셔플링된 어텐션으로 대체했을 때, 모델의 확신도와 인간의 평가 사이의 양의 관계가 역전되었다. 이는 단순한 메커니즘의 존재가 아니라, 학습된 어텐션의 구체적인 '내용'이 정렬을 주도한다는 것을 나타낸다.
모델 어텐션은 인간의 시선을 반영함: BLIP의 교차 주의 레이어(특히 레이어 9)에서 추출한 어텐션 맵은 인간의 시선 추적 데이터와 가장 강한 중첩을 보였으며, 인간 천장의 변동성을 최대 70%까지 설명했다. 이러한 정렬은 의미론적으로 돌출된 시각적 단서가 존재할 때 가장 높게 나타났다.
교차 모달 통합: 언어적 맥락을 시각적 어텐션에 명시적으로 통합하는 BLIP의 교차 주의는 순수 시각적 어텐션(BLIP-Vision)이나 대조 학습 모델(CLIP)보다 인간의 시선 및 의미론적 판단과 더 잘 정렬되었다. 교차 주의를 통해 모델은 의미론적 단서(예: 객체, 동작, 배경)에 대한 인간의 선제적 고정(anticipatory fixations)을 추적할 수 있었다.
엔트로피 감소: 시각적 입력은 모델의 예측 엔트로피를 신뢰성 있게 감소시켰다(예: FLORA $\Delta H = 0.26$ bits). 이는 시각적 맥락이 인간의 인지 과정을 제한하는 것과 유사하게 모델의 예측 분포를 제한함을 확인시켜 준다.

의의 및 주장 (Significance and Claims)
본 논문은 선택적 주의 집중(selective attention)을 통한 정보성 단서에 대한 집중이, 단순히 모델의 규모가 아니라 멀티모달 언어 예측에서 인간-AI 정렬을 주도하는 주요 동력이라고 주장한다.

규모보다 아키텍처적 제약: 본 연구의 결과는 파라미터 규모를 키우는 것만으로는 인간과 유사한 행동을 얻을 수 있다는 통념에 도전한다. 대신, 이 연구는 모달리티를 효과적으로 통합할 수 있는 아키텍처적 특징(특히 교차 주의)이 언어를 시각적 맥락에 접지(grounding)시키는 데 더 중요하다고 제안한다.
멀티모달 접지(Multimodal Grounding): 결과는 멀티모달 데이터로 공동 학습된 모델(FLAPA, BLIP 등)이 텍스트로만 학습된 후 사후에 적응된 모델보다 더 나은 행동적 정렬을 달 수 있음을 시사하며, 이는 효과적인 멀티모달 처리를 위해 체화되거나 구조적인 정렬이 필요하다는 아이디어를 뒷받침한다.
메커니즘으로서의 어텐션: 본 연구는 트랜스포머의 어텐션 메커니즘, 특히 교차 모달 어텐션이 언어 예측을 제한하기 위해 의미론적으로 유의미한 시각적 정보에 선택적으로 집중함으로써 인간의 주의 집중과 유사하게 기능한다는 증거를 제공한다. 모델의 어텐션과 인간의 시선 사이의 중첩은 이러한 모델들이 단순히 데이터를 통계적으로 처리하는 것이 아니라, 인간의 인지 전략을 모방하는 형태의 예측 프로세싱(predictive processing)에 참여하고 있음을 시사한다.
한계 및 범위: 저자들은 모델이 인간의 행동을 근사하기는 하지만 완벽한 정렬은 아니라고 언급했다. 특히 예측 단서가 없을 때 CLIP과 같은 모델은 주변 영역에 집중하는 경향이 있는 반면, 인간과 교차 주의 모델은 중앙에 주의를 집중한다는 점을 지적하며, 현재의 아키텍처가 여전히 인간의 불확실성 처리 능력만큼의 완전한 유연성을 갖추지 못했음을 강조했다.

결론적으로, 본 논문은 멀티모달 환경에서 인간과 유사한 AI로 나아가는 길은 단순히 모델의 크기를 키우는 것이 아니라, 시각 및 언어 정보를 동적으로, 의미론적으로 유도하며 통합할 수 있게 하는 아키텍처적 메커니즘, 즉 '주의 집중(attention)'을 정교화하는 데 있다고 주장한다.