📄 health informatics

Looked but didn't see: inattentional blindness and yes-bias confabulation in vision-language models

이 논문은 시각-언어 모델이 인간과 유사한 부주의 맹시를 보이지만 또한 독특한 작화 실패 모드도 나타내며, 이들의 시각적 지각 능력을 정확하게 평가하기 위해서는 일치된 대조군 기저선이 포함된 신호 탐지 분석이 필요함을 입증한다.

원저자: Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

게시일 2026-06-18

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Raymond, J. D., Hu, P., Solomon, B. D., Duong, D.

원본 논문은 CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 TV로 농구 경기를 보고 있다고 상상해 보세요. 당신의 임무는 선수들이 공을 몇 번 패스하는지 세는 것입니다. 갑자기, 거대한 고릴라 옷을 입은 사람이 코트 한복판을 가로질러 걸어와서는 가슴을 쿵쿵 두드립니다. 만약 당신이 패스 횟수를 세는 데 너무 집중한 나머지 고릴라를 완전히 놓쳤다면, 당신은 **"부주의적 맹시(inattentional blindness)"**를 경험한 것입니다.

이것은 인간 뇌의 유명한 트릭입니다. 하지만 이 논문은 새로운 질문을 던집니다: AI 모델(특히 시각-언어 모델 또는 VLM)도 똑같이 속아 넘어가는가?

연구진은 영상의학 전문의(X-ray를 판독하는 의사)가 CT 스캔 영상 속에 숨겨진 고릴라를 발견하지 못했던 유명한 실험을 가져와서, AI 모델을 대상으로 똑같은 테스트를 실시했습니다. 그 결과는 다음과 같이 쉽게 설명할 수 있습니다.

1. "바쁜 뇌" 효과 (부주의적 맹시)

연구진은 AI에게 폐 스캔 영상을 보여주며 의사처럼 행동하라고 지시했습니다: "모든 폐 결절(작은 혹)을 찾아내세요."

결과: 인간 의사들과 마찬가지로, AI는 결절을 찾는 데 너무 바빠서 영상 속을 지나가는 거대한 고릴라를 완전히 무시했습니다.
비유: 이것은 양파를 써는 데 너무 집중한 나머지 주방으로 걸어 들어오는 광대를 알아차리지 못하는 요리사와 같습니다. AI는 전체 이미지를 "보았지만"(인간의 눈처럼 사각지대가 없습니다), 그 "주의력"이 과업에 고정되어 있었기에 고릴라를 보지 못한 것입니다.

2. "예스맨" 문제 (작화증/Confabulation)

여기서 AI는 인간과 달라집니다. 영상이 끝난 후, 연구진은 AI에게 물었습니다: "특별히 이상한 점을 보았습니까?"

인간의 방식: 만약 인간이 고릴라를 보지 못했다면, "아니요, 아무것도 보지 못했습니다"라고 말합니다.
AI의 방식: 연구진이 직접 "고릴라를 보았습니까?"라고 묻자, AI는 영상 속에 고릴라가 없었음에도 불구하고 **"네!"**라고 말하기 시작했습니다.
비유: 시험을 치르는 학생을 상상해 보세요. 만약 선생님이 "책상 위에 답안지가 보이니?"라고 묻는다면, 학생은 선생님이 '예'라는 대답을 기대한다고 생각해서 그냥 "네"라고 말할 수도 있습니다. AI는 실제로 고릴라를 본 것이 아니라, 연구진이 특정 답변을 찾고 있다는 것을 감지하고 **작화(confabulation, 말을 지어냄)**를 한 것입니다. AI는 "예스맨"이 되었습니다.

3. "마법 거울" 테스트

AI가 단순히 환각을 일으킨 것이 아님을 증명하기 위해, 연구진은 두 번째 테스트를 진행했습니다. 고릴라가 나타났던 것과 동일한 영상 프레임을 가져와서, (폐를 찾는 과업이 없는) 깨끗하고 새로운 대화창에서 AI에게 보여주었습니다.

결과: AI는 즉시 100%의 정확도로 고릴라를 찾아냈습니다.
교훈: 이는 AI가 고릴라를 완벽하게 볼 수 있다는 것을 증명했습니다. 단지 다른 일을 하고 있을 때만 그것을 "놓쳤던" 것입니다. 이것이 바로 "보았지만 보지 못한" 부분입니다.

4. "유명한 연구"의 함정

연구진은 AI 특유의 기묘한 오류를 발견했습니다. AI가 학습 데이터 내에서 "농구 경기 중의 고릴라"라는 유명한 실험에 대해 읽었기 때문에, 이 테스트의 패턴을 인식한 것입니다.

비유: 이것은 연습 문제의 정답지를 미리 읽은 학생과 같습니다. 선생님이 "숨겨진 물체를 보았느냐"고 물을 때, 학생은 그림 속에서 그것을 보았기 때문이 아니라, 고릴라 실험에 대한 이야기를 기억해냈기 때문에 "네!"라고 말하는 것입니다.
AI는 실제 영상에 무엇이 있느냐가 아니라 자신의 기억을 바탕으로 추측하여, 영상이 완전히 비어 있음에도 불구하고 "네, Drew 등의 연구에서처럼 고릴라를 보았습니다"와 같은 말을 하곤 했습니다.

5. "전문가 vs 일반가"의 반전

연구진은 또한 두 가지 서로 다른 유형의 AI를 테스트했습니다.

일반가(Generalist): 자연계의 모든 것을 보는 데 능숙하지만(숲속의 고릴라처럼), 의료 스캔을 이해하는 데는 서툽니다. 고릴라는 찾았지만 폐는 찾지 못했습니다.
전문가(Specialist): 의료 스캔에 특화되어 훈련되었습니다. 폐를 찾는 데는 뛰어났지만, 너무 의욕적이었습니다. 고릴라를 찾아달라는 요청을 받았을 때, 이 AI는 고릴라가 전혀 없는 영상에서도 **82%**의 확률로 고릴라가 있다고 주장했습니다.
교훈: 전문적인 AI는 당신이 요청한 것을 찾으려는 의욕이 너무 앞선 나머지, 존재하지 않는 것을 보기 시작할 수 있습니다.

핵심 요약

이 논문의 주요 메시지는 AI를 테스트하는 방식에 대한 경고입니다:

AI에게 단순히 "X를 보았습니까?"라고 묻고 그 "예"라는 대답을 믿어서는 안 됩니다.

만약 당신이 AI에게 직접적인 질문을 던진다면, 특히 AI가 유명한 실험을 테스트받고 있다고 느낀다면, AI는 거짓말을 하거나(작화) 그저 도움이 되고 싶어서 "예"라고 답할 수 있습니다. AI가 정말로 무언가를 보았는지 알기 위해서는, "대조군"(고릴라가 없는 영상)과 비교해야 하며, 실제로 본 것과 단순히 추측한 것을 구분하기 위해 엄격한 수학적 기준을 사용해야 합니다.

요약하자면: AI는 바쁠 때는 눈이 멀 수 있지만, 직접 질문을 받으면 거짓말쟁이가 될 수도 있습니다. 진실을 얻으려면 단순한 질문이 아닌, 매우 세심하고 과학적인 테스트가 필요합니다.

기술 요약: 시각-언어 모델(VLM)의 부주의 맹시(Inattentional Blindness) 및 예스-편향적 작화(Yes-Bias Confabulation)

문제 제기
본 논문은 현대의 시각-언어 모델(VLM)이 "부주의 맹시(Inattentional Blindness, IB)"—관찰자가 고도의 집중력을 요구하는 시각적 과업에 몰두할 때 예상치 못한 자극을 인지하지 못하는 현상—를 보이는지 조사한다. 이 행동 양식은 인간 피험자(Simons & Chabris, 1999)와 숙련된 방사선 전문의(Drew, Võ, & Wolfe, 2013)에게서 유명하게 입증되었는데, 전문의들은 안구 추적 데이터가 해당 부위를 시각적으로 주시하고 있었음에도 불구하고 흉부 CT 스캔에 중첩된 고릴라 형상을 보고하지 못했다.

저자들은 생물학적 중심와 병목 현상(foveal bottleneck) 없이 전체 이미지를 병렬로 처리하는 VLM에서도 이러한 행동적 특징이 재현되는지 질문한다. 또한, 본 논문은 중요한 방법론적 간극을 다룬다. 인간 피험자와 달리, VLM은 존재하지 않는 자극에 대해 유창하고 국소적인 설명을 생성해내는 "환각(hallucination)" 또는 "작화(confabulation)" 현상을 보인다. 따라서 직접적인 탐침(예: "고릴라를 보았습니까?")에 대한 단순한 "예"라는 응답만으로는 실제 지각과 응답 편향(작화)을 구분할 수 없다. 본 연구는 일치된 대조군을 통한 허위 경보(false-alarm) 기저치와 신호 탐지 이론 분석 없이는 VLM의 지각에 관한 주장이 근본적으로 해석 불가능하다고 상정한다.

연구 방법론
본 연구는 흉부 CT 스캔을 스크롤 비디오 스택으로 렌더링하여 사용하였으며, 고릴라 형상이 특정 슬라이스(일반적인 결절 크기의 약 48배) 위로 서서히 나타났다 사라지도록 설계된 세 가지 실험적 설계를 채택하였다.

실험 1 (모델 간 지형 조사):
- 대상: 세 가지 벤더(OpenAI, Anthropic, Google DeepMind)와 세 세대(2024–2026)에 걸친 20개 모델 구성("추론" 모드 포함 및 미포함 변형 포함).
- 자극: 144개의 정적 이미지 합성물(고릴라 존재)과 12개의 매칭된 대조군을 네 가지 프롬프트 유형(과업 중심, 임상적, 개방형, 프라이밍된 유형) 하에 제시.
- 채점: 두 단계 시스템을 통해 채점됨: L1(동물 용어에 대한 정규 표현식 매칭) 및 L2(플래그십 모델 판독기가 고릴라 이미지와 대조 이미지의 설명을 비교하여 국소적 이상 징후를 탐지).
실험 2 (Drew et al., 2013의 재현):
- 대상: 단일 모델인 Gemini-3.1-Pro.
- 설계: 단일 대화 내에서 5회 시퀀스(4회의 대조군 워밍업 + 1회의 타겟) 진행. 타겟은 고릴라가 있는 경우와 없는 경우로 나뉨.
- 탐침(Probes): 과업 수행 후, 모델은 Drew et al. (2013)의 문구를 그대로 사용하여 점진적으로 강도가 높아지는 세 가지 인식 탐침을 받음:
  - q1: "마지막 시도가 조금 달랐던 것 같습니까...?"
  - q2: "무언가 특이한 점을 발견했습니까...?"
  1. q3: "고릴라를 보았습니까...?"
- 대조군: 대화 내 q4 탐침의 혼란을 교정하기 위해, 새로운 컨텍스트가 없는 대화 환경에서 후속 모델(gemini-3.1-pro-preview)을 사용하여 "깨끗한 정지 영상 탐지 가능성 하위 실행"을 실시하여 허위 경보 기저치를 설정함.
세그멘테이션 암(Segmentation Arm):
- 대상: 두 가지 텍스트 프롬프트 기반 세그멘테이션 모델: SAM 3(일반 자연 이미지 전문가) 및 BiomedParse(의료 전문 모델).
- 과업: "고릴라", "폐 영역(lung_field)", "결절(nodule)" 프롬프트 하에 동일한 고정 자극 비디오에 적용.
- 지표: 고릴라가 존재하는 프레임에서의 탐지율과 고릴라가 없는 대조 영상에서의 허위 경보율 비교.

주요 결과

부주의 맹시 재현: 자발적인 과업 수행 조건(탐침 전)에서, VLM은 24회 중 23회에서 고릴라를 보고하지 못해(미검출률 96%) 인간 방사선 전문의가 보인 83%의 미검출률과 유사한 결과를 보였다. 모델은 과업을 방해받지 않고 결절 탐색 과업을 지속했으며, 이는 인간의 행동과 평행을 이루었다.
예스-편향 및 작화: 탐침이 유도적(leading)으로 변함에 따라(q1에서 q3로), 신호와 노이즈를 구별하는 모델의 능력은 붕괴되었다.
- 미묘한 q1 탐침에서 민감도( $d'$ )는 1.22였다.
- 직접적인 q3 탐침("고릴라를 보았습니까?")에서 민감도는 0.20으로 떨어졌고, 반응 기준( $c$ )은 -1.18로 기울어져 강한 "예스" 편향을 나타냈다.
- 대조군 시도(고릴라 없음)에서 모델은 빈번하게 특정 타임스탬프와 폐 좌표를 작화해냈으며, 심지어 원 저자들(Drew, Võ, and Wolfe)의 이름을 인용하기도 했다.
패러다임 인식: 모델은 고릴라 존재 여부와 상관없이 67%의 시도에서 "보이지 않는 고릴라" 패러다임을 명시적으로 인식했다. 이는 모델의 응답이 순수한 시각적 지각보다는 훈련 데이터의 실험 설계 인식에 영향을 받았음을 시사한다.
세그멘테이션 분리:
- SAM 3(일반 전문가)는 윈도우 내 고릴라를 높은 정밀도로 탐지했으나, 대조 영상에서의 허위 경보율은 거의 제로(0.7%)에 가까웠다.
- BiomedParse(전문가)는 윈도우 내 고릴라를 탐지(92%)했으나, 대조 영상에 대해서는 거의 모든 프레임에서 "고릴라"를 탐지하는(82%) 막대한 허위 경보율을 보였다.
깨끗한 탐지 가능성: 고릴라 피크 슬라이스가 명시적 탐색 대상으로서 새로운 컨텍스트 없는 대화에서 제시되었을 때, 모델은 100% 적중률과 0% 허위 경보율( $d' = 4.11$ )을 달 기록했다. 이는 고릴라가 지각적으로 이용 가능했으나 고도의 과업 수행 중에 무시되었음을 증명한다.

핵심 기여

행동적 재현: 부주의 맹시의 행동적 특징(시각적 주시에도 불구하고 예상치 못한 자극을 보고하지 못하는 과업 주도적 실패)이 VLM에서도 재현됨을 입증했다.
방법론적 교정: VLM의 지각 과업에서 가공되지 않은 "예" 응답은 환각 및 응답 편향에 의해 혼란을 겪는다는 점을 확립했다. 본 논문은 "모델이 X를 보았는가"라는 주장에는 반드시 일치된 대조군을 통한 허위 경보 기서치와 신호 탐지 분석( $d'$ 및 $c$ 계산)이 수반되어야 한다고 주장한다.
패러다임 인식 혼란: LLM이 훈련 데이터로부터 실험 패러다임을 인식하여, 대조군 시도에서 지각처럼 보이는 작화를 일으키는 독특한 실패 모드를 식별했다. 이는 고전적 인지 패러다임이 LLM에 수정 없이 그대로 적용될 수 없음을 시사한다.
비대화형 모델으로의 일반화: 허위 경보 기저치의 필요성이 대화형 VLM을 넘어 텍스트 프롬프트 기반 세그멘테이션 모델에도 적용됨을 보여주었다. 특히 "전문가" 모델이 단일 자극 평가 프로토콜에서는 가려질 수 있는 높은 허위 양성률을 보일 수 있음을 밝혔다.

의의 및 주장
본 논문은 VLM이 부주의 맹시의 기능적 유사성을 보이지만, 작화의 존재로 인해 그 지각의 해석은 인간 관찰자와 근본적으로 다르다고 주장한다. 저자들은 명시적인 대조군이 없다면 현재의 벤치마크들이 직접적인 질문 하에서의 VLM 지각 회복력을 과대평가할 위험이 있다고 단언한다.

영상의학 AI와 관련하여, 이 연구는 배포 시 주의해야 할 실패 모드를 강조한다. 의료 전문 모델은 단일 자극 테스트에서는 매우 정확해 보일 수 있으나(자극이 있을 때 탐지), 질문을 받았을 때 정상 해부학 구조를 자극과 구별하는 특이성이 부족하다면 임상 환경에서 과도한 허위 양성을 생성할 수 있다. 저자들은 VLM을 인지적 주체로 평가할 때, "유도 질문 하의 작화"와 "훈련 데이터로부터의 패러다임 인식"을 모두 고려해야만 해석 가능하고 반증 가능한 신호를 도출할 수 있다고 결론짓는다.