🤖 machine learning

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

이 논문은 과학적 도표 이해에 있어 불확실성 하의 시각-언어 모델(Vision-Language Models)의 행동 신뢰성을 평가하기 위한 종합적인 벤치마크인 SciFigBench와 어드미턴스-저항-인덕턴스(Admittance-Resistance-Inductance, A-R-I) 프레임워크를 소개하며, 높은 인지 및 추론 정확도가 모델이 누락된 증거를 인정하거나 오도하는 문맥에 저항하는 능력을 보장하지는 않는다는 점을 밝힌다.

원저자: Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 지도를 읽는 것을 도와줄 아주 똑똑한 비서로서 사람을 채용한다고 상상해 보세요. 당신은 단순히 산과 강을 볼 수 있는 사람뿐만 아니라, 봉우리의 높이가 정확히 얼마인지, 그리고 어떤 경로가 가장 짧은지까지 말해줄 수 있는 사람을 원합니다. 인공지능의 세계에서 이러한 비서들을 시각-언어 모델(Vision-Language Models, VLMs)이라고 부릅니다. 이들은 디지털 탐정처럼 사진(차트, 그래프 또는 도표와 같은)을 보고 그 안에 무엇이 있는지에 대해 이야기합니다. 오랫동안 과학자들은 이 AI 탐정들에게 "이 막대의 색깔은 무엇인가요?" 또는 "이 목록에는 아이템이 몇 개 있나요?"와 같은 간단한 질문을 던지며 테스트해 왔습니다. 만약 AI가 정답을 맞히면, 우리는 그 모델이 똑똑하고 신뢰할 수 있다고 가정합니다.

하지만 여기에 까다로운 문제가 있습니다. 만약 지도가 얼룩져 있거나, 누군가 AI에게 가짜 지도를 건네며 "보물이 어디에 있나요?"라고 묻는다면 어떻게 될까요? 진정으로 신뢰할 수 있는 탐정이라면 가짜 지도가 보물의 위치를 가리킨다고 해서 그곳을 추측하는 것이 아니라, "그 부분은 보이지 않습니다" 또는 "그 지도는 잘못된 것 같습니다"라고 인정해야 합니다. 이 논문은 "행동적 신뢰성(behavioral reliability)"이라 불리는 AI 연구의 특정 분야를 깊이 파고듭니다. 이 논문은 결정적인 질문을 던집니다. 이 AI 모델들은 자신이 눈이 먼 상태라는 것을 알고 있을까요, 아니면 그저 도움이 되고 싶어서 답을 지어내고 있는 걸까요? 연구진들은 선명한 그림을 묘사하는 데 뛰어난 AI가 그림이 흐릿하거나 오도될 때도 정직할 수 있는지 확인하고 싶었습니다.

거대한 "사각지대" 테스트

연구진은 이를 테스트하기 위해 SCIFIGBENCH라는 특별한 놀이터를 만들었습니다. 실제 연구 논문에 등장하는 막대그래프나 선 그래프와 같은 250개의 과학 차트가 담긴 거대한 도서관을 상상해 보세요. 하지만 연구진은 단순히 AI에게 정상적으로 설명하도록 요청하는 대신, 몇 가지 속임수를 쓰기로 했습니다. 그들은 이 차트들을 가져와 다음과 같은 작업을 수행했습니다:

특정 라벨을 흐릿하게(Blurred) 만들어 읽을 수 없게 만들었습니다.
이미지를 **회전(Rotated)**시켜 기울어지게 만들었습니다.
차트가 보여주는 내용에 대해 거짓을 말하는 **가짜 캡션(Fake captions)**을 추가했습니다.
차트에 전혀 존재하지 않는 것에 대해 **질문(Questions)**을 던졌습니다.

연구진은 이 함정들에 대해 여덟 가지의 최상위 AI 모델(GPT-5.2 및 Gemini 3.1 Pro와 같은 유명 모델 포함)이 어떻게 반응하는지 보고 싶었습니다. 이를 측정하기 위해 연구진은 A-R-I라고 불리는 새로운 점수 체계를 만들었습니다. 이는 **인정(Admittance), 저항(Resistance), 유도(Inductance)**의 약자입니다. 이것은 정직함과 영리함을 테스트하는 세 단계의 시험과 같습니다:

인정(Admittance): 만약 AI가 무언가를 볼 수 없다면(흐릿하기 때문에), "그것을 볼 수 없습니다"라고 인정하나요? 아니면 그냥 추측하나요?
저항(Resistance): 만약 누군가 AI에게 거짓말(가짜 캡션 등)을 한다면, "아니요, 그것은 그림과 일치하지 않습니다"라고 말하나요? 아니면 그저 친절하게 보이기 위해 동조하나요?
유도(Inductance): 만약 차트의 일부가 가려져 있지만 나머지 부분이 단서(패턴 등)를 제공한다면, AI가 내용을 지어내지 않고도 빠진 부분을 찾아낼 수 있나요?

충격적인 결과: "자신감 넘치는 조작자"

결과는 마치 미스터리 영화의 반전 같았습니다. 연구진은 선명한 그림을 묘사하는 능력이 까다로운 상황을 처리하는 능력과 반드시 일치하지 않는다는 것을 발견했습니다.

스타 플레이어 (GPT-5.2):
이 모델은 선명한 차트를 묘사하는 데 가장 뛰어났으며, MQM이라는 품질 척도에서 100점 만점에 91.6점을 받았습니다. 이 모델은 눈앞에 있는 것을 보는 데 있어서는 슈퍼스타였습니다. 하지만 연구진이 라벨을 읽을 수 없게 흐릿하게 만들었을 때, 이 모델은 **자신감 넘치는 조작자(Confident fabricator)**처럼 행동했습니다. 답을 볼 수 없는 경우 중 무려 **96%**에서, 이 모델은 그냥 답을 지어냈습니다! 예를 들어, 그 단어가 존재하지 않고 명확히 흐릿함에도 불구하고 "라벨은 '고객 지원'이라고 적혀 있습니다"라고 말하는 식이었습니다. 답변을 내놓고자 하는 의욕이 너무 앞선 나머지 정직함을 잊어버린 것입니다.

정직한 탐정 (Gemini 3.1 Pro):
이 모델은 선명한 차트를 묘사하는 데 거의 대등한 실력(점수 90.2)을 보여주었지만, 상황이 까다로워졌을 때 매우 다르게 행동했습니다. 흐릿한 라벨을 마주했을 때, 이 모델은 7번째 중 71%의 확률로 불확실성을 인정했습니다. 즉, 추측하는 대신 "읽을 수 없습니다"라고 말할 줄 알았습니다. 또한 이 모델은 저항(Resistance) 점수가 0.91로 가장 높았는데, 이는 가짜 캡션이나 거짓 질문을 무시하는 데 탁월했음을 의미합니다. 이 모델은 거짓말에 속지 않았습니다.

기타 모델들:
Llama 4와 다양한 Qwen 모델을 포함한 다른 모델들은 일반적으로 더 고전했습니다. Phi-4 Multimodal과 같은 일부 모델은 너무 남을 기쁘게 하려는 나머지, 그림이 명백히 다른 것을 보여주고 있음에도 가짜 캡션을 거의 100%의 확률로 따라갔습니다.

이것이 왜 중요한가

이 논문은 AI가 실제 생활에서 안전하게 사용될 수 있는지 판단하기 위해 단순히 그림을 얼마나 잘 묘사하는지만 봐서는 안 된다는 것을 보여줍니다. 만약 당신이 과학적 연구를 돕기 위해 AI를 사용하고 있다면, 당신은 단지 답을 주고 싶다는 이유로 데이터를 자신 있게 지어내는 모델을 원하지 않을 것입니다.

저자들은 깨끗한 테스트에서의 높은 정확도가 신뢰할 수 있는 행동을 보장하지 않는다고 결론짓습니다. 모델은 선명한 그림을 묘사하는 데는 훌륭한 화가일 수 있지만, 그림이 얼룩지거나 누군가 속이려 할 때는 형편없는 탐정이 될 수 있습니다. AI가 과학과 같은 진지한 분야에서 진정으로 유용해지려면, 실제로 눈이 멀었을 때 "모르겠습니다"라고 말하는 기술을 배워야 합니다. 이 새로운 벤치마크인 SCIFIGBENCH는 AI가 단순히 똑똑한 것을 넘어, 신뢰할 수 있는지 테스트할 수 있는 방법을 우리에게 제시하며, 우리의 AI 비서들이 정직할 수 있도록 보장합니다.

기술 요약: SCIFIGBENCH – 과학적 도표에 대한 VLM의 행동적 평가

문제 정의

기존의 시각-언어 모델(VLM) 벤치마크는 주로 지각(모델이 이미지를 얼마나 잘 묘el하는가)과 추론(시각적 증거를 바탕으로 질문에 얼마나 정확하게 답하는가)에 집중합니다. 그러나 이러한 벤치마크들은 불확실성 하에서의 행동적 신뢰성을 간과하고 있습니다. 과학적 워크플로우에서 모델은 종종 저하된 시각적 증거(예: 흐릿한 라벨, 저해상도 PDF), 오도하는 문맥(예: 잘못된 그림 캡션), 또는 잘못된 전제에 직면합니다. 현재의 지표들은 증거가 누락되거나 모순될 때 모델이 어떻게 행동하는지, 즉 불확실성을 인정하는지, 오도하는 입력에 저항하는지, 혹은 부분적인 정보로부터 신중하게 추론하는지를 포착하지 못합니다. 이러한 격차는 "확신에 찬 조작(confident fabrication)"이 다운스트림 분석을 오염시킬 수 있는 과학 연구 분야에서 VLM을 배포할 때 심각한 위험을 초래합니다.

방법론: SCIFIGBENCH 및 A-R-I 프레임워크

이를 해결하기 위해 저자들은 지각, 추론, 그리고 행동적 신뢰성을 공동으로 평가하도록 설계된 진단용 벤치마크인 SCIFIGBENCH를 소개합니다.

1. 데이터셋 구축

출처: 187개의 arXiv 논문(2023–2025)에서 추출한 250개의 고품질 과학적 도표(막대 그래프, 선 그래프, 파이 차트).
주석(Annotation): 훈련된 주석가들에 의해 생성된 전문가 기술(전문가 간 일치도는 Krippendorff's $\alpha$ = 0.91로 측정됨)과 카운팅, 계산, 비교, 패턴 분석을 다루는 1,000개의 추론 질문.
스트레스 테스트: 기본 데이터셋은 이미지 변환과 적대적 프로브(adversarial probes)를 통해 34,000개 이상의 평가 설정으로 확장되었습니다. 여기에는 다음이 포함됩니다:
- 시각적 변환: 회전, 노이즈, 낮은 대비, 그리고 논문 내 문맥(전체 PDF 페이지 내에 삽입된 그림).
- 선택적 블러(Selective Blur): 수용성(Admittance)(복구 불가능한 요소)과 유도성(Inductance)(추론 가능한 요소)을 테스트하기 위한 특정 요소의 표적 블러 처리.
- 저항 프로브(Resistance Probes):
  - 캡션 편향(Caption Bias): 캡션에 2~3개의 그럴듯하지만 거짓인 주장을 수정하여 삽입.
  - 잘못된 전제(False Premises): 존재하지 않는 요소를 포함하는 질문(Inexist), 잘못된 수치 앵커(Contra), 또는 답변 불가능한 질의(Unanswerable)를 포함.

2. A-R-I 프레임워크

본 논문은 불확실성 하에서의 모델 행동을 분해하기 위해 수용(Admittance)–저항(Resistance)–유도(Inductance) 프레임워크를 제안합니다:

수용(Admittance): 인식론적 정직성을 측정합니다. 모델이 시각적 증거가 변경되었거나 복구 불가능할 때(예: 흐릿한 텍스트) 답변을 조작하는 대신 불확실성을 인정하는가?
저항(Resistance): 오도하는 문맥에 대한 견고성을 측정합니다. 모델이 시각적 증거와 충돌하는 잘못된 전제, 존재하지 않는 요소, 또는 오도하는 캡션을 거부하는가?
유도(Inductance): 유계 추론(bounded inference)을 측정합니다. 증거가 저하되었으나 주변 문맥으로부터 복구가 가능할 때(예: 축 패턴으로부터 흐릿한 라벨을 추론), 모델이 중단하거나 환각을 일으키는 대신 올바르게 추론하는가?

3. 평가 프로토콜

모델: 상용 리더(GPT-5.2, Gemini 3.1 Pro)와 오픈 웨이트 모델(Llama 4, Qwen3-VL, Gemma 3, Phi-4)을 포함한 8개의 VLM을 평가했습니다.
지표:
- 지각: 기술 품질에 대한 MQM(Multidimensional Quality Metrics) 점수.
- 추론: 능력 질문에 대한 정확도.
- 행동: 저항 점수(0–1 척도) 및 수용성(불확실성 인정)과 유도성(올바른 추론)에 대한 백분율.
판정(Judging): 인간 주석가(Krippendorff's $\alpha$ = 0.91) 및 Mistral Large 3와의 교차 판정 어블레이션 검증을 거친 GPT-4o를 이용한 자동화된 평가.

주요 결과

1. 지각과 행동의 괴리

높은 지각 및 추론 정확도가 행동적 신뢰성을 보장하지는 않습니다.

GPT-5.2는 가장 높은 기본 기술 품질(MQM 91.6)과 강력한 추론(78.4%)을 달성했습니다. 그러나 이 모델은 "확신에 찬 조작자(confident fabricator)" 프로필을 보였습니다. 선택적으로 블러 처리된(복구 불가능한) 요소에 대해 질문받았을 때, 활성 프로브의 96%에서 답변을 조작한 반면, 불확실성을 인정한 경우는 8%에 불과했습니다.
Gemini 3.1 Pro는 유사한 수준의 지각(MQM 90.2)과 추론(81.0%)을 보였으나, 더 우수한 행동적 신뢰성을 입증했습니다. 이 모델은 복구 불가능한 요소가 포함된 경우의 **71%**에서 불확실성을 인정했으며, 가장 높은 **저항 점수(0.91)**를 기록했습니다.

2. 행동적 발산

저항(Resistance): 유사한 전체 역량을 가진 모델들도 잘못된 전제에 저항하는 능력에서 극명한 차이를 보였습니다. Phi-4 Multimodal의 저항 점수는 0.21이었던 반면, Gemini 3.1 Pro는 0.91을 기록했습니다.
캡션 편향(Caption Bias): 오도하는 캡션에 대한 저항력도 크게 달랐습니다. Phi-4는 수정된 캡션을 95%의 확률로 따랐으나, Gemini와 GPT-5.2는 높은 저항성(~0.89)을 유지했습니다.
유도성(Inductance): 요소가 블러 처리되었지만 추론 가능한 경우, 상위 모델들(Gemini 66%, GPT-5.2 59%)은 값을 올바르게 추론할 수 있었으며, 이는 복구 불가능한 데이터에 대한 조작과 구별되었습니다.

3. 실패 모드

전제 삽입(Presupposition Embedding): "Inexist" 프로브(정관사를 사용하여 존재하지 않는 요소를 묻는 방식)는 가장 효과적인 기만 벡터였으며, 강한 모델들조차 직접적인 잘못된 값 질문보다 이 방식에서 더 자주 실패하게 만들었습니다.
능동적 vs 수동적(Active vs. Passive): 모델들은 수동적인 기술에서는 불확실성을 인정하는 경향이 있었으나, 직접적인 질문을 받으면 확정적이고(종종 조작된) 답변으로 전환했습니다. 이는 유용성 훈련에 의한 "반드시 답해야 한다"는 편향을 시사합니다.

의의 및 주장

본 논문은 SCIFIGBENCH가 VLM 역량의 결정적인 세 번째 차원인 행동적 신뢰성을 드러낸다고 주장합니다. 저자들의 논지는 다음과 같습니다:

정확도만으로는 불충분함: 지각/추론 벤치마크만을 기준으로 과학적 워크플로우를 위한 모델을 선택하는 것은 연구 파이프라인에 "확신에 찬 조작"을 심어놓을 위험이 있습니다.
행동은 분리 가능함: A-R-I 차원은 품질 지표와 경험적으로 분리될 수 있습니다. 즉, 모델은 최상급의 기술자일 수 있지만, 자신의 불확실성을 추정하는 데 있어서는 형편없을 수 있습니다.
프레임워크의 유용성: A-R-의 프레임워크는 기존의 종합 정확도 지표로는 보이지 않는 특정 실패 모드(침묵하는 조작, 문맥 조작, 부분적 증거로부터의 추론 실패)를 진단하는 구조화된 방법을 제공합니다.

저자들은 VLM을 과학적 배포를 위해 평가하려면 단순히 깨끗하고 표준적인 작업에서 얼마나 잘 수행하는가가 아니라, 저하된 증거와 오도하는 문맥을 어떻게 다루는지에 대한 명시적인 테스트가 필요하다고 결론짓습니다.