💬 NLP

When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

이 논문은 인간이 자신의 색채 판단 규칙을 충실히 따르는 반면, 비전 - 언어 모델 (VLM) 은 내적 추론 규칙을 일관되게 위반하고 세계 지식에 따른 선입견이 신뢰성을 저해한다는 사실을 새로운 '등급 색상 귀속 (GCA)' 벤치마크를 통해 규명했습니다.

원저자: Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 제목: "언제 사과를 '빨간색'이라고 부를까?"

이 연구는 인공지능이 그림을 볼 때, 스스로 정한 규칙을 얼마나 잘 지키는지를 테스트했습니다.

1. 실험 도구: "회색 그림에 색칠하기" (GCA 데이터셋)

연구진은 검은색과 흰색으로만 된 사과, 딸기, 오징어 같은 그림을 준비했습니다. 그리고 이 그림의 일부분만 특정 색상 (예: 빨간색) 으로 칠해 넣었습니다.

0%: 완전히 하얀 사과.
10%: 아주 조금만 빨간색으로 칠해진 사과.
50%: 반은 빨간색, 반은 하얀 사과.
100%: 완전히 빨간 사과.

사람들과 AI 에게 "이건 빨간 사과야?"라고 물었습니다.

2. 실험 과정: "스스로의 규칙을 먼저 말하기"

AI 에게는 두 가지 질문을 던졌습니다.

규칙 정하기: "사과가 빨간색이라고 부르기 위해, 최소 몇 % 가 빨간색이어야 한다고 생각하세요?" (예: "적어도 50% 는 빨간색이어야 해.")
실제 판단: "이 그림은 빨간색이야?"

이 과정을 통해 AI 가 스스로 세운 규칙과 실제 행동이 일치하는지 ('신뢰성') 확인했습니다.

🔍 발견된 놀라운 사실들

1. 인간은 "약간 과장"하지만 규칙을 지킨다 🧑‍🎨

사람들은 실험에서 "사과가 빨간색이 되려면 최소 60% 가 빨간색이어야 한다"고 말했습니다. 하지만 실제로는 30% 만 빨간색이어도 "빨간색이다"라고 답하는 경우가 많았습니다.

비유: "나는 60% 이상 먹어야 배가 부른다고 생각하지만, 실제로는 30% 먹어도 '배불렀어'라고 말하는 거죠."
원인: 인간은 색의 양을 과대평가하는 경향이 있습니다. 하지만 일단 정한 기준 (60%) 에 도달하면, 그 기준에 맞춰 행동합니다. 즉, 규칙을 지키려는 의지는 있습니다.

2. AI 는 "말과 행동이 완전히 다릅니다" 🤖

AI 는 인간과 달랐습니다.

AI 는 "이 사과가 빨간색이 되려면 50% 이상 빨간색이어야 해"라고 명확히 규칙을 세웠습니다.
그런데 막상 그림을 보면, 빨간색이 10% 만 있어도 "이건 빨간 사과야!"라고 답했습니다.
비유: "내가 '100 점 맞아야 합격이다'라고 공언해 놓고, 10 점만 받아도 '합격이다!'라고 외치는 것과 같습니다."
특이점: AI 는 색의 양을 정확히 계산할 수 있습니다 (10% 가 빨간색인지 50% 인지 정확히 아는데도). 하지만 자신의 계산 결과를 무시하고 결론을 내립니다.

3. "세상의 상식"이 AI 를 망친다 🌍

가장 큰 문제는 사과나 딸기처럼 우리가 이미 알고 있는 사물에서 나타났습니다.

**사과 **(빨간색 상식) 그림이 하얀색이 90% 라도, AI 는 "사과니까 빨간색이야"라고 말합니다.
**오징어 **(색상 상식 없음) 오징어 같은 경우는 AI 가 그림의 색을 더 잘 보고 규칙을 따릅니다.
비유: AI 는 "사과"라는 이름을 듣는 순간, **눈으로 보는 사실 **(하얀색)을 무시하고 **머릿속에 있는 상식 **(빨간색)을 우선시합니다. 마치 "사과를 보는데 하얀색으로 칠해져 있어도, '사과니까 빨간 거야'라고 고집하는 것"과 같습니다.

💡 결론: 왜 이것이 중요한가?

이 연구는 AI 가 고난도 문제를 풀어서 실패하는 게 아니라, 아주 쉬운 문제에서도 스스로 정한 논리를 배신한다는 것을 보여줍니다.

인간: "내 기준은 60% 지. 근데 내가 색을 과대평가해서 30% 에도 '빨간색'이라고 했어." (일관성 있음)
AI: "내 기준은 50% 지. 근데 10% 에도 '빨간색'이야. 왜? 사과니까." (일관성 없음)

의미:
의료나 법률처럼 중요한 분야에서 AI 를 쓸 때, "AI 가 스스로 설명하는 논리 (Chain-of-Thought) 를 믿으면 될까?"라는 질문에 아니오라고 답합니다. AI 는 설명할 때는 그럴듯한 규칙을 말하지만, 실제 결정할 때는 그 규칙을 무시하고 '세상의 상식'이나 '암기된 패턴'에 따라 행동할 수 있기 때문입니다.

한 줄 요약:

인간은 규칙을 지키려고 노력하지만 실수를 하고, AI 는 규칙을 말은 하지만 상식에 따라 행동합니다.

1. 연구 배경 및 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 이 고위험 분야 (의료, 법률 등) 에 배포됨에 따라, 모델이 자신의 추론 과정 (Chain-of-Thought, CoT) 을 신뢰할 수 있고 논리적으로 일관되게 수행하는지 확인하는 것이 핵심 과제가 되었습니다.

핵심 문제: 모델이 CoT 를 통해 내적 추론 규칙 (introspective rules) 을 명시적으로 밝히더라도, 실제 응답 시에는 그 규칙을 위반하는 경우가 빈번합니다.
기존 연구의 한계: 기존 연구들은 이러한 불일치를 '작업의 난이도 (task difficulty)' 때문이거나 인간의 인지 편향과 유사한 현상으로 해석했습니다. 그러나 작업 난이도와 정답 여부를 분리하여 모델이 스스로 밝힌 규칙에 얼마나 충실한지 (faithfulness) 를 독립적으로 평가할 수 있는 통제된 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

A. Graded Color Attribution (GCA) 데이터셋 제안

저자들은 VLM 의 내적 규칙 준수 여부를 평가하기 위해 GCA라는 새로운 벤치마크를 개발했습니다.

구성: 흑백 선화 (line drawings) 에 픽셀 단위로 색상을 점진적으로 채운 이미지로 구성됩니다.
실험 조건 (3 가지):
1. World-knowledge priors (선관념 일치): 사물의 실제 세계 색상과 일치하게 재색칠 (예: 빨간 사과).
2. Counterfactual (반사실적): 사물의 실제 색상과 반대되게 재색칠 (예: 파란 딸기).
3. No-priors (선관념 없음): 색상 선관념이 없는 기하학적 도형 (예: 노란 오각형).
작업:
1. 규칙 도출: 모델에게 특정 색상을 부여하기 위해 필요한 최소 픽셀 비율 (임계값, threshold) 을 CoT 를 통해 명시하도록 요청.
2. 판단: 다양한 색상 비율 ( $\tau$ ) 을 가진 이미지의 색상을 판단.
측정 지표:
- 일관성 (Consistency): 다른 프롬프트 조건에서 도출된 임계값의 안정성.
- 충실도 (Faithfulness): 명시된 임계값에 따라 실제 판단이 일치하는지 여부 (예: 임계값 50% 라고 했다면, 40% 색칠 시 '흰색', 60% 색칠 시 '색상'으로 답해야 함).

B. 실험 설계

모델 평가: GPT-5-mini, Claude Opus 4.6, Claude Haiku 4.5, Qwen3.5-9B 등 4 가지 VLM 을 대상으로 다양한 CoT 전략 (Standard, Visual-Prior, Post-hoc, Text-Prior) 을 적용하여 테스트.
인간 평가: Prolific 을 통해 173 명의 참가자를 모집하여 동일한 GCA 과제를 수행하게 함. (참가자들은 이미지 판단 전후로 임계값을 설정하는 introspection 순서를 다르게 경험).

3. 주요 기여 (Key Contributions)

GCA 태스크 제안: 작업 난이도와 정답 여부를 분리하여, 모델이 자신의 추론 규칙에 얼마나 충실한지 평가할 수 있는 통제된 벤치마크를 최초로 도입했습니다.
VLM 의 불안정한 내적 규칙 발견: VLM 의 내적 규칙 (임계값) 은 시각적 입력 (재색칠 비율) 에 따라 크게 변동하며, 안정적인 내부 표현이 아님을 규명했습니다.
인간 - 모델 정렬 비교: 인간은 인지 편향 (비율 과대평가) 이 존재하더라도 명시된 규칙을 충실히 따르는 반면, VLM 은 그렇지 않음을 실험을 통해 입증했습니다.
선관념 (Priors) 의 영향 규명: 모델의 충실도 저하는 작업 난이도 때문이 아니라, 세계 지식 (world-knowledge) 선관념이 시각적 증거를 압도하기 때문임을 발견했습니다.

4. 주요 결과 (Results)

A. 임계값 및 판단 행동

VLM:
- 할루시네이션: $\tau=0\%$ (완전 흑백) 인 경우에도, 사과나 딸기 같은 사물에 대해 15~25% 의 확률로 색상을 '할루시네이션'하여 존재한다고 주장했습니다. (기하학적 도형에서는 발생하지 않음).
- 규칙 위반: GPT-5-mini 의 경우, 강한 색상 선관념을 가진 객체에서 명시된 내적 규칙을 약 60% 의 경우 위반했습니다. (예: 50% 임계값을 설정했음에도, 흰색이 대부분인 사과를 '빨간색'이라고 답함).
- 색상 추정 능력: VLM 은 픽셀의 색상 비율을 매우 정확하게 추정할 수 있음 (색상 추정 오류가 규칙 위반의 원인이 아님).
인간:
- 인간은 모든 자극 유형 (선관념 일치, 반사실적, 도형) 에서 일관된 임계값과 판단을 보였습니다.
- 인간은 명시된 임계값을 따르지만, 실제 적용 시 색상 비율을 과대평가하는 경향 (약 2:1 비율) 이 있었습니다. 이는 인간의 인지적 편향 (양 추정 오류) 으로 설명되며, 규칙 자체를 무시하는 것이 아님을 의미합니다.

B. 충실도 (Faithfulness) 분석

모델 용량과 충실도: 모델의 용량이 클수록 (GPT-5-mini, Claude Opus) 충실도가 높았으나, 여전히 선관념이 있는 객체에서는 충실도가 급격히 떨어졌습니다.
선관념의 영향: 객체의 정체성 (예: 사과) 이 인식되면, 시각적 증거 (흰색 픽셀) 와 명시된 규칙보다 세계 지식 (사과는 빨간색) 이 최종 답변을 지배했습니다. 이는 반사실적 재색칠 (파란 사과) 에서도 동일하게 발생했습니다.
결론: VLM 의 불일치는 '작업이 어려워서'가 아니라, 언어적 선관념이 내적 규칙을 무력화시키기 때문에 발생합니다.

5. 의의 및 결론 (Significance & Conclusion)

신뢰성 있는 배포의 위협: VLM 이 CoT 를 통해 스스로의 추론 규칙을 밝히더라도, 실제 행동은 그 규칙과 일치하지 않을 수 있습니다. 이는 고위험 분야에서 모델의 예측 가능성과 자기 일관성을 보장할 수 없음을 시사합니다.
인지 편향의 오해 해소: VLM 의 실패는 인간의 인지 편향을 모방한 것이 아니라, 선관념 (priors) 에 의한 규칙의 체계적 위반이라는 점이 명확히 구분되었습니다.
향후 방향: VLM 의 '내적 지식 (self-knowledge)'이 잘못 보정 (miscalibrated) 되어 있음을 보여주며, 단순한 CoT 프롬프팅만으로는 모델의 신뢰성을 확보하기 어렵다는 점을 강조합니다.

이 연구는 VLM 의 추론 신뢰성을 평가할 때, 단순히 정답 여부를 보는 것을 넘어 모델이 자신의 명시적 규칙을 얼마나 준수하는지를 통제된 환경에서 측정해야 함을 강력하게 주장합니다.