💻 computer science

Attention Alignment Between Humans and Vision-Language Models

이 연구는 시각-언어 모델에서 LSTM 기반 디코더가 트랜스포머 디코더에 비해 인간의 공간적 주의력과 더 우수한 정렬을 달 achievement하는 반면, 후자는 더 날카로운 공간적 집중도와 더 나은 작업 차별성을 보이며, 고정점 정렬도가 낮은 모델(CNN-트랜스포머)이 초기 시각 피질의 합성 신경 활동을 더 잘 예측한다는 절충 관계가 나타남을 밝혀냈다.

원저자: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 인간이 사진을 보는 방식을 가르치려 한다고 상상해 보세요. 당신은 로봇의 눈이 번화한 거리나 가족 모임 사진을 볼 때 사람의 시선이 머무는 것과 똑같은 지점에 머물기를 원합니다.

이 논문은 연구진들이 어떤 '로봇 뇌'가 인간과 가장 유사하게 보는지 알아보기 위해 여러 가지 서로 다른 '로봇 뇌'를 구축한 하나의 과학적 실험과 같습니다. 그들은 단순히 하나를 만든 것이 아니라, 카메라 렌즈(인코더/Encoder)와 무엇에 집중할지 결정하는 뇌의 부분(디코더/Decoder)을 교체하며 부품을 조합하여 하나의 로봇 가족을 만들었습니다.

연구 결과의 핵심 내용을 쉬운 비유를 통해 정리하면 다음과 같습니다.

1. 로봇의 두 가지 주요 부품

로봇의 시각 시스템을 카메라와 감독관이라고 생각해 보세요:

인코더 (카메라): 사진을 받아 조각조각 나누는 부분입니다. 연구진은 두 가지 유형을 테스트했습니다:
- CNN (지역 스캐너): 사진을 한 번에 작은 사각형 단위로 살펴보며 가장자리나 질감 같은 세부 사항을 포착하는 방식입니다.
- ViT (전역 글랜서): 뒤로 한 걸음 물러나 전체 그림을 한꺼번에 보며, 즉시 큰 그림을 이해하는 방식입니다.
디코더 (감독관): "자, 이제 사진이 보이니, 무엇을 말해야 하고 다음에 어디를 봐야 할까?"라고 결정하는 부분입니다. 연구진은 두 가지 유형을 테스트했습니다:
- LSTM (단일 스레드 감독관): 모든 시각적 정보를 한 손에 쥐고, 자신이 내뱉는 모든 단어마다 하나의 "집중 지점"으로 짜내려고 노력하는 감독관입니다.
- Transformer (전문가 팀 감독관): 이 감독관은 여러 명의 전문가(헤드라고 불림)로 구성된 팀을 가지고 있습니다. 이들은 동시에 사진을 바라보며 각자 다른 측면에 집중합니다.

2. 거대한 발견: 카메라보다 감독관이 더 중요하다

연구진은 어떤 종류의 카메라를 사용하는가보다 누가 연출을 맡느냐가 훨씬 더 중요하다는 것을 발견했습니다.

"LSTM 감독관" (단일 스레드): 이 로봇은 인간의 눈 움직임을 흉내 내는 데 가장 뛰어났습니다. 인간이 사진을 볼 때, 이 로봇의 주의 집중 지도(attention map)는 인간이 보는 곳과 매우 유사했습니다. 이 로봇은 완벽한 인간과의 일치 수준의 약 **85~87%**까지 도달했습니다.
- 함정: 올바른 곳을 보기는 했지만, 다소 "엉성"했습니다. 주의 집중이 넓고 흐릿한 스포트라이트처럼 퍼져 있었습니다. 특정 세부 사항에 날카롭게 초점을 맞추지 못했고, 과업이 "장면 묘사"인지 아니면 "사람이 무엇을 보고 있는지 추측하기"인지에 따라 집중 방식이 크게 변하지도 않았습니다.
"Transformer 감독관" (전문가 팀): 이 로봇은 더 날카롭고 정밀했습니다. 레이저 빔처럼 특정 지점에 주의를 아주 빽빽하게 집중할 수 있었습니다. 또한 과업(예: 사회적 과업을 위해 얼굴을 보는 것 vs 장면 묘사를 위해 방 전체를 보는 것)에 따라 집중하는 대상이 극적으로 변했습니다.
- 함정: 더 날카로움에도 불구하고, 인간의 눈 움직임을 따라가는 능력은 훨씬 떨어졌습니다. 이 로봇은 약 **40~59%**의 일치율만을 보였습니다. 인간이 선택하는 것과 같은 '종류'의 지점들을 보고 있었지만, 인간이 선택하는 '정확한' 지점은 아니었습니다었습니다.

결론: 만약 당신이 사진을 보는 모습이 인간과 똑같은 로봇을 원한다면, "LSTM 감독관"을 선택해야 합니다. 만약 정밀하고 적응력이 뛰어나지만 인간과는 다른 곳을 보는 로를 원한다면, "Transformer 감독관"을 선택해야 합니다.

3. "카메라" 역시 도움이 된다

감독관이 가장 중요했지만, 카메라 역시 차이를 만들었습니다.

CNN 카메라 (지역 스캐너)는 ViT 카메라 (전역 글랜서)보다 로봇이 인간처럼 보이도록 하는 데 일관되게 도움을 주었습니다.
전체적으로 가장 좋은 조합은 CNN 카메라와 LSTM 감독관을 결형한 것이었습니다. 이 로봇은 인간의 행동과 가장 흡사했으며, 인간의 한계치에 거의 **87%**까지 도달했습니다.

4. "뇌 손상" 테스트

연구진은 로봇의 시야 중 왼쪽 부분을 차단함으로써(사람이 공간의 한쪽을 무시하는 증상인 편측 무시증과 유사한 상황), 로봇이 얼마나 견고한지 테스트했습니다.

Transformer 로봇들 (전문가 팀 감독관)은 매우 강인했습니다. 시야의 절반이 차단되어도 팀원들이 역할을 분담할 수 있었기에 여전히 사진을 이해할 수 있었습니다.
LSTM 로봇들 (단일 스레드 감독관)은 더 고전했습니다. 하나의 커다란 "요약본"에 의존했기 때문에, 시야를 차단하는 것이 이들에게 더 큰 타격을 주었습니다.

5. 놀라운 사실: 보는 것 vs 생각하는 것

마지막으로 연구진은 까다로운 질문을 던졌습니다: "인간처럼 보이는 로봇이 인간처럼 생각할까?"

그들은 로봇이 보고 있는 사진에 대해 인간의 뇌가 어떻게 반응할지를 시뮬레이션하는 특별한 도구를 사용했습니다.

놀라운 결과: 인간과 가장 비슷하게 보였던 로봇(LSTM)이 뇌 활동을 가장 잘 예측하는 것은 아니었습니다.
대신, (인간과는 덜 비슷하게 보였던) CNN-Transformer 로봇이 실제 뇌의 어느 부분이 활성화될지를 예측하는 데 더 뛰어났습니다.
이것이 의미하는 바: "우리가 어디를 보는가"(행동)와 "우리의 뇌가 이미지를 어떻게 처리하는가"(신경 활동) 사이에는 차이가 있습니다. 로봇은 사진을 인간과 유사한 방식으로 볼 수 있지만, 정보는 비인간적인 방식으로 처리할 수 있으며, 그 반대의 경우도 마찬가지입니다.

요약

인간처럼 보이려면: "지역 스캐너" 카메라(CNN)와 "단일 스레드 감독관"(LSTM)을 사용하세요. 약간 흐릿하지만 적절한 지점을 짚어냅니다.
날카롭고 적응력이 뛰어나려면: "전역 글랜서" 카메라(ViT)와 "전문가 팀 감독관"(Transformer)을 사용하세요. 정밀하지만 인간과는 다른 곳을 봅니다.
교훈: 로봇의 눈이 인간처럼 움직인다고 해서 그 뇌가 인간처럼 작동한다는 뜻은 아닙니다. 두 가지는 관련이 있지만, 동일한 것은 아닙니다.

기술 요약: 인간과 시각-언어 모델(VLM) 간의 어텐션 정렬

문제 정의

시각적 지각은 상향식(bottom-up) 감각 기제와 하향식(top-down) 목표 사이의 상호작용에 의해 지배됩니다. 시각-언어 모델(VLM)은 이 두 구성 요소를 모두 구현하지만, 인코더(상향식)와 디코더(하향식)의 구체적인 구조적 선택이 모델의 어텐션과 인간의 시각적 고정(fixation) 사이의 정렬을 어떻게 형성하는지는 여전히 불분명합니다. 기존 연구는 주로 상향식 돌출성(saliency)에 초점을 맞추거나 훈련 분포를 주요 정렬 동인으로 취급해 왔으며, 구조적 편향이 하향식 어텐션 메커니즘에 독립적으로 또는 공동으로 어떻게 영향을 미치는지에 대해서는 간과해 왔습니다. 본 연구는 인코더와 디코더 아키텍처를 체계적으로 변화시키면서 훈련 데이터를 통제함으로써 이러한 기여도를 분리하고자 하며, 특정 아키텍처 구성이 인간의 공간적 선택 및 과업 적응을 더 잘 모사하는 어텐션 맵을 생성하는지 질문합니다.

방법론

실험 설계

저자들은 인코더와 디코더 계열의 효과를 격리하기 위해 네 가지 이미지 캡셔닝 모델을 훈련시키는 $2 \times 2$ 요인 설계(factorial design)를 채택했습니다:

인코더: ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
디코더: 가산 소프트 어텐션(additive soft attention)을 사용하는 LSTM vs. 멀티 헤드 교차 어텐션(multi-head cross-attention)을 사용하는 4계층 트랜스포머(Transformer).
베이스라인 모델: 두 가지 최첨단 VLM(Molmo 7B-D 및 Qwen3.5 9B)을 미세 조정 없이 평가했습니다.

데이터 및 과업

자극물: COCO 2017 검증 세트에서 추출한 200개의 자연스러운 이미지.
인간 데이터: 49명의 참가자가 두 가지 뚜렷한 과업을 수행하는 동안 EyeLink 1000 Plus (2000 Hz)를 사용하여 기록한 안구 운동 데이터:
1. 묘사 과업(Describe Task): 일반적인 장면 묘사.
2. 사회적 과업(Social Task): 장면 내 특정 행위자의 주의 상태 추론.
그라운드 트루스(Ground Truth): 시선 샘플을 가우시안 커널로 컨볼루션하고 $256 \times 256$ 으로 다운샘플링하여 생성된 인간 고정 히트맵.

훈련 프로토콜

네 가지 커스텀 모델은 모두 일관된 4단계 커리큘럼을 거쳤습니다:

사전 훈련(Pretraining): 인코더를 고정한 상태에서 COCO 2014 캡션으로 디코더 훈련.
미세 조정 (묘사): 인코더의 잠금을 해제하고 COCO 2014로 훈련.
미세 조정 (사회적): 인코더의 잠금을 해제하고 실험실에서 수집된 사회적 캡셔닝 데이터셋으로 훈련.
평가: 어텐션 맵을 추출하여 해당 과업에 대한 인간 히트맵과 비교.

평가 지표

고정 정렬(Fixation Alignment): 모델 어텐션 맵과 인간 고정 히트맵 사이의 스피어만 상관계수(Spearman correlation)를 인간-인간 노이즈 천장(noise ceiling)에 대해 정규화하여 측정.
공간적 확산(Spatial Spread): 어텐션의 확산 정도(집중 vs. 분포)를 측정하기 위한 정규화된 샤논 엔트로피(Shannon entropy).
과업 적응(Task Adaptation): 사회적 과업과 묘사 과업 간의 어텐션 맵 상관관계를 통해 과업 특이적 재구성 평가.
강건성(Robustness): 좌측 공간 그리드를 점진적으로 제거(7%에서 100%까지)하는 반측성 무시(hemispatial neglect) 시뮬레이션을 통해 캡션 저하 측정.
신경 예측(Neural Prediction): 모델의 어텐션 맵("어디")과 CLIP 임베딩("무엇")을 사용하여 TRIBE로 시뮬레이션된 fMRI 반응을 예측하는 밴드형 리지 인코딩(banded ridge encoding) 모델 적용. 분산 분할(variance partitioning)을 통해 고유 및 공유 기여도를 분리함.

주요 결과

1. 디코더 아키텍처가 정렬을 지배함

디코더의 선택은 인간의 고정과 정렬되는 정도를 결정하는 주요 예측 변수였으며, 40~50 퍼센트 포인트의 차이를 보였습니다:

LSTM 디코더: 가장 높은 정렬도를 달성하여 인간 노이즈 천장의 **80–87%**에 도달했습니다 (예: CNN-LSTM: 85–87%).
트랜스포머 디코더: 정렬도가 현저히 낮아 천장의 40–59% 수준에 머물렀습니다 (예: ViT-Transformer: 39–52%).
인코더 기여도: CNN 인코더는 디코더 계열에 따라 ViT 인코더보다 5~20 퍼센트 포인트의 부차적인 이점을 제공했습니다. CNN-LSTM 조합이 전반적으로 가장 높은 정렬도를 보였습니다.
SOTA 모델: Molmo 7B-D (76–82%)와 Qwen3.5 9B (53–69%)는 훈련된 모델들 사이에 위치했으나, 커스텀 훈련된 CNN-LSTM을 능가하지는 못했습니다.

2. 정렬과 공간적 특성 간의 분리

핵심적인 발견은 정렬 정확도와 공간적 특성 사이의 트레이드오프였습니다:

LSTM 모델: 인간의 고정 위치와는 매우 잘 정렬되었으나, 어텐션 맵은 공간적으로 확산되어 있었습니다 (샤논 엔트로피 $\approx 0.999$ ). 이는 거의 모든 196개 공간 위치에 가중치를 분산시킴을 의미합니다. 또한 과업 차별성이 낮아, 묘사 과업과 사회적 과업 전반에서 유사한 어텐션 패턴을 유지했습니다.
트랜스포머 모델: 고정 정렬도는 낮았음에도 불구하고, 공간적 집중력과 강한 과업 차별성을 보였습니다 (예: ViT-Transformer는 과업 간 가장 뚜렷한 어텐션 맵을 보여줌).

3. 병변에 대한 강건성

반측성 무시 시뮬레이션에서 강건성은 분산된 처리 정도와 궤를 같이했습니다:

ViT-Transformer: 가장 분산된 아키텍처가 가장 높은 회복력을 보였으며, 수용 영역(receptive field) 손실이 상당함에도 캡션 품질을 유지했습니다.
LSTM 모델: 공간적 제거가 진행될 때, 특히 모든 패치가 동일한 가중치를 받는 고심각도 단계에서 가장 큰 성능 저하를 보였습니다.

4. 신경 예측 정확도 vs. 행동 정렬

본 연구는 행동 정렬과 신경 예측력 사이의 분리를 발견했습니다:

CNN-Transformer: 고정 정렬도에서는 3위를 기록했음에도 불구하고, 이 모델의 어텐션 맵은 TRIBE 시뮬레이션에서 합성 뇌 활동을 가장 잘 예측했습니다 (가장 높은 전체 뇌 $R^2$ ).
LSTM 모델: 인간의 시선과 가장 잘 정렬되었지만, 신경 반응을 가장 잘 예측하는 모델은 아니었습니다.
분산 분할: "무엇"(CLIP을 통한 시각/의미적 콘텐츠)이 신경 분산의 대부분을 설명했으며, 이는 언어 및 시간적 영역에 집중되었습니다. "어디"(공간적 어텐션)는 주로 초기 시각 피질과 등측 주의 네트워크에서 고유한 분산을 설명했습니다. 두 신호는 고차 영역에서 크게 공유되었는데, 이는 전통적인 가정보다 "무엇"과 "어디" 경로 사이의 분리가 적음을 시사합니다.

의의 및 주장

본 논문은 디코더 아키텍처가 VLM의 어텐션이 인간의 공간적 선택과 얼마나 잘 정렬되는지를 결정하는 지배적 요인이라고 주장합니다. LSTM 디코더는 인간의 시선 분포를 모사하는 광범위하고 확산된 샘플링을 강제하는 병목 현상을 일으키지만 과업 특이적 날카로움은 부족한 반면, 트랜스포머 디코더는 어텐션을 여러 헤드로 분산시켜 과업 적응을 가능하게 하지만 전체적인 고정 중첩도는 낮아지는 결과를 초래합니다.

저자들은 근본적인 트레이드오프를 강조합니다:

하향식 메커니즘 (디코더): LSTM 디코더는 인간의 시선 분포를 모사하는 확산된 샘플링을 유도하지만 과업 특이적 날카로움은 결여된 병목 역할을 합니다. 트랜스포머 디코더는 어텐션을 헤드 간에 분산시켜 전문화와 과업 적응을 허용하지만, 결과적으로 낮은 고정 정렬도를 보입니다.
상향식 메커니즘 (인코더): CNN은 일관되게 ViT보다 높은 정렬도를 제공하며, 이는 국소적 처리 편향이 인간의 시각적 선택을 모사하는 데 유익할 수 있음을 뒷받침합니다.

결정적으로, 본 연구는 고정 정렬과 신경 예측 정확도가 서로 대체 가능한 지표가 아님을 입증합니다. 어떤 모델은 인간의 안구 운동과는 덜 정렬되어 있으면서도 신경 반응은 더 잘 예측할 수 있는데, 이는 서로 다른 아키텍처 편향이 인간의 처리 방식 중 서로 다른 측면을 포착하고 있음을 시사합니다. 이러한 결과는 현재의 VLM이 LSTM의 확산된 샘플링과 트랜스포머의 날카롭고 과업 적응적인 집중력을 모두 갖춘 인간의 완전한 주의 메커니즘을 완전히 포착하지 못하고 있음을 보여줍니다.