🤖 machine learning

When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models

이 논문은 사고 모드(thinking-mode) 시각 언어 모델에서 나타나는 답변 엔트로피 행동의 세 가지 뚜렷한 패턴을 경험적으로 규명하며, 추론 체인 엔트로피가 답변 엔트로피보다 더 신뢰할 수 있는 불확실성 신호임을 입증하고, 적대적 및 추론 작업에서 정확도를 크게 높이는 비용 없는 기권 메커니즘을 가능하게 한다.

원저자: Mayank Singal

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mayank Singal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게는 퍼즐 풀기를 좋아하는 아주 똑똑한 로봇 친구가 있습니다. 보통은 질문을 하면 순식간에 생각하고 바로 답을 내뱉곤 하죠. 하지만 최근, 이 새로운 세대의 로봇들은 조금 다른 행동을 하기 시작했습니다. 최종 답변을 내놓기 전에, 특별한 ... 상자 안에 자신의 추론 과정을 담은 긴 단계별 '생각의 사슬(thinking chain)'을 기록하는 것입니다. 마치 커피를 주문하기 전에 냅킨에 메모를 휘갈겨 쓰는 것을 지켜보는 것과 같습니다.

여기서 연구자들이 던진 핵심적인 질문은 이것입니다: 만약 이 로봇들이 이렇게 열심히 생각하고 있다면, 우리는 그들이 혼란스러워하거나 실수를 저지르기 직전이라는 것을 알아챌 수 있을까요?

정답의 "침묵하는 비명"

전통적으로 로봇이 확신이 없는지 확인하려면, 그 최종 답변이 얼마나 "흔들리는지(jittery)"를 살펴봅니다. 로봇이 자신감이 있으면 답변이 안정적이지만, 혼란스러우면 답변이 흔들립니다. 이를 **답변 엔트로피(answer entropy)**라고 부릅니다.

하지만 여기서 반전이 있습니다. 이 논문이 발견한 사실은, 이 새로운 "생각하는" 로봇들의 경우 최종 답변만을 보고 판단하는 것이 마치 허리케인 속에서 속삭임을 들으려고 애쓰는 것과 같다는 점입니다.

연구진이 Qwen3-VL-8B-Thinking 모델을 테스트했을 때, 로봇이 생각의 사슬을 마치는 순간 최종 답변에 완전히 고정되어 버린다는 것을 발견했습니다. "흔들림"은 사라졌습니다. 로봇의 최종 답변은 너무나 확신에 차 있어서 불확실성 신호가 0.492까지 떨어졌습니다(이는 기본적으로 동전 던지기, 즉 순수한 확률 수준입니다). 마치 로봇이 모든 생각을 마친 뒤, 하나의 경로를 결정하고 나서, 의구심 따위는 전혀 들리지 않을 정도로 크게 답을 외쳐버린 것과 같습니다.

이 논문은 우리가 단순히 최종 답변을 보는 것만으로는 이러한 사고 모델의 실수를 포착할 수 있다는 아이디어에 대해 명시적으로 반대합니다. 실제로 Qwen 모델의 경우, 최종 답변을 보는 것은 무작위로 찍는 것보다도 나빴는데, 로봇이 틀린 답에 대해 지나치게 과도한 확신을 가졌기 때문입니다.

진짜 단서: 생각의 일기

그렇다면 최종 답변이 막다른 길이라면, 우리는 어디를 봐야 할까요? 논문은 로봇이 말하기 전에 쓴 "냅킨 메모", 즉 생각의 사슬 자체를 보라고 제안합니다.

연구진은 과정으로서의 생각이 비밀을 쥐고 있다는 것을 발견했습니다. 그들은 생각의 사슬 내부의 "혼돈"이나 "흔들림"을 측정했습니다.

Qwen 모델의 경우: 생각의 사슬은 0.647의 신호 점수를 기록했는데, 이는 쓸모없는 최종 답변의 0.492보다 훨씬 뛰어난 수치입니다.
또 다른 모델인 GLM-4.1V-9B-Thinking의 경우: 최종 답변도 괜찮은 편(0.716)이었지만, 생각의 사슬은 훨씬 더 좋았습니다(0.759).
세 번째 모델인 InternVL3-8B의 경우: 이 모델은 약 **50%**의 질문에 대해서만 생각의 사슬을 사용했습니다. 생각할 때는 체인의 신호가 답변보다 약간 더 좋았지만, 가장 중요한 단서는 단순히 생각의 사슬을 사용할지 말지를 결정했는지 여부였습니다. 만약 생각의 사슬을 건너뛰었다면, 틀릴 확률이 더 높았습니다.

논문은 생각의 사슬이 "사전 확약(pre-commitment)" 신호 역할을 한다고 제안합니다. 그것은 로봇의 내부적인 갈등입니다. 만약 로봇이 답을 찾는 데 정말로 애를 먹고 있다면(생각의 사슬에서 높은 엔트로피 발생), 나중에 틀릴 가능성이 높습니다. 반대로 빠르게, 매끄럽게 생각한다면 아마도 맞을 것입니다.

"거절"의 문턱

이 로봇들이 하는 또 다른 이상한 행동이 있습니다. 때때로 답변을 주는 대신, 그냥 멈춰버립니다. 그들은 "기권(abstain)"합니다.

한 테스트(POPE)에서, Qwen 로봇은 **22.1%**의 확률로 답변을 거부했습니다.
다른 테스트(HallusionBench)에서는 **12.6%**였습니다.

논문은 재미있는 패턴을 언급합니다: 로봇은 존재하지 않는 것(부재하는 객체)에 대해 물을 때, 존재하는 것에 대해 물을 때보다 훨씬 더 많이 포기하는 경 경향이 있습니다. 마치 로봇이 "당신이 말하는 유령은 보이지 않으니, 추측하지 않겠다"라고 말하는 것과 같습니다.

연구진은 만약 우리가 "로봇의 생각의 사슬이 너무 길거나 지저lu적이라면, 혹은 답변을 거부한다면, 그 질문은 그냥 건너뛰자"라는 단순한 "게이트(gate)"를 만든다면 정확도를 극적으로 높일 수 있다는 것을 보여주었습니다.

게이트가 없을 때, 로봇은 **71.0%**의 확률로 정답을 맞혔습니다.
게이트를 적용하여 가장 어려운 질문의 약 **37%**를 건너뛰었을 때, 남은 질문에 대한 로봇의 정확도는 **93.8%**로 급증했습니다.

이것이 모든 문제를 해결하는 마법의 해결책은 아니지만, 실용적인 기술입니다: 만약 로봇이 땀을 흘리고 있다면(길고 지저분한 생각의 사슬), 혹은 게임을 거부하고 있다면, 그 답을 믿는 것이 안전하지 않을 수 있습니다.

다른 질문들은 어떨까요?

연구진은 이 실험을 개방형 질문(단순히 "예/아니오"가 아닌 질문)에도 테스트했습니다. 그들은 동일한 패턴을 발견했습니다: 생각의 사슬이 최종 답변보다 실수를 더 잘 예측했습니다.

자유 형식의 답변의 경우, 최종 답변의 신호는 형편없었습니다(0.467, 동전 던지기보다 못한 수준).
하지만 생각의 사슬 신호는 강력했습니다(0.733).

이는 문제가 단지 "예/아니오" 질문에만 국한된 것이 아니라, 생각의 사슬이 최종 목적지보다 로봇의 확신을 보여주는 더 신뢰할 수 있는 지도라는 것을 시사합니다.

결론

논문은 결론적으로, 이러한 새로운 "생각하는" 로봇들에게 있어 최종 답변을 보고 그들이 확신이 없는지 판단할 수는 없다고 말합니다. 생각하는 행위 자체가 그들의 불확실성을 붕괴시켜, 설령 틀렸더라도 매우 자신감 넘치는 모습으로 보이게 만들기 때문입니다.

대신, 우리는 사고 과정 자체에 귀를 기울여야 합니다. 추론 과정의 "혼돈"이 진짜 신호입니다. 이 방식이 테스트된 모델들(Qwen, GLM)에는 매우 잘 작동하지만, 저자들은 더 큰 모델을 사용하거나 로봇의 생각 방식(예: 최선의 답을 고르는 대신 무작위로 추측하게 하는 방식)을 바꿨을 때도 이 결과가 유지될지 확인이 필요하다고 제안합니다. 하지만 현재로서는, 만약 생각하는 로봇이 환각(hallucination)을 일으키고 있는지 알고 싶다면, 그가 무엇을 말하는지가 아니라 어떻게 생각했는지를 보아야 합니다.

기술 요약: 생각하는 것이 고통스러울 때: 시각 언어 모델의 추론 체인 내 에피스테믹 신호 (Epistemic Signals)

문제 정의

시각 언어 모델(VLM)은 최종 답변을 내놓기 전 명시적인 추론 체인(예: <thought>...</thought> 태그 내)을 생성하는 "사고 모드(thinking-mode)" 아키텍처를 점점 더 많이 채택하고 있습니다. 이는 인간의 숙고 과정을 모방하지만, 저자들은 이 패러다임에서 기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방법이 가진 결정적인 결함을 식별했습니다.

표준 UQ 기법은 답변 토큰 분포의 엔트로피( $H_{ans}$ )에 의존하여 에피스테믹 불확실성(epistemic uncertainty)을 추정합니다. 본 논문은 사고 모드 VLM에서 추론 체인이 강력한 조건부 사전 확률(conditioning prior)로 작용하여 모델을 특정 답변 방향으로 "사전 확정(pre-commit)"시킨다는 점을 입증합니다. 이 과정은 답변 토큰 분포를 붕괴시켜, 엔트로피 기반 방식이 작동하는 데 필요한 분산(variance)을 파괴합니다. 결과적으로, 기존의 답변 엔트로피는 환각(hallucination)을 예측하는 데 있어 우연 수준의 예측력(AUROC $\approx$ 0.5)만을 보이며, 그리디 디코딩(greedy decoding) 환경에서 기존의 출력 레벨 불확실성 측정법을 무용지물로 만듭니다.

방법론

본 연구는 사고 모드 디코딩의 효과를 격리하기 위해 통제된 절제 실험(ablation)과 교차 계열 경험적 특성화를 수행합니다.

모델: 저자들은 세 가지 서로 다른 사고 모드 VLM 계열을 평가합니다:
- Qwen3-VL-8B-Thinking: 답변 전 추론 체인을 생성합니다.
- GLM-4.1V-9B-Thinking: 경쟁 관계에 있는 사고 모드 모델입니다.
- InternVL3-8B: 선택적 사고 행동을 보이는 모델입니다.
- 대조군(Control): Qwen3-VL-8B-Instruct (동일 계열의 비사고 변체)를 사용하여 답변 엔트로피가 유효한 신호로 남는 베이스라인을 설정합니다.
벤치마크:
- POPE (Adversarial): COCO 이미지 내 객체 존재 여부에 대한 1,000개의 이진 Yes/No 질문으로, 환각 테스트를 위해 설계되었습니다.
- HallusionBench: 착시, 편집된 이미지, 추론 과제를 다루는 951개의 시각적 질문을 포함합니다.
- VQAv2 (Pilot): 이진 과제를 넘어 일반화 능력을 테스트하기 위한 300개의 개방형 질문입니다.
신호: 연구는 단일 그리디 순전파(additional inference cost 없음)로부터 다음 신호들을 추출합니다:
- $H_{ans}$ : 답변 토큰들에 대한 평균 샤논 엔트로피(Shannon entropy).
- $H_{think}$ : 사고 체인 내 토큰들에 대한 평균 샤논 엔트로피.
- $L$ : 사고 체인의 길이.
평가: 저자들은 거짓 양성(환각)을 예측하는 데 있어 AUROC(Area Under the Receiver Operating Characteristic)를 측정하며, 이를 답변 방향(예: 혼란을 제거하기 위해 "yes" 예측으로 제한)에 따라 조건화하여 측정합니다.

주요 결과

1. 답변 엔트로피 붕괴 (Answer Entropy Collapse)

핵심 발견은 사고 모드 디코딩이 답변 엔트로피의 질적인 붕괴를 일으킨다는 것입니다.

Qwen3-VL-8B-Thinking: 완전한 붕괴를 보입니다. POPE 데이터셋에서 $H_{ans}$ 의 AUROC는 비사고 대조군의 0.899에서 0.492(우연 수준)로 급락합니다. 모델이 사고 단계에서 완전히 사전 확정되어 버림으로써, 답변 분포에 불확실성을 알릴 수 있는 분산이 남지 않게 됩니다.
GLM-4.1V-9B-Thinking: 붕괴가 나타나지 않습니다. $H_{ans}$ 가 여전히 예측력을 유지(AUROC 0.716)하며, 이는 해당 모델의 학습 레시피가 완전한 사전 확정을 강제하지 않음을 시사합니다.
InternVL3-8B: 선택적 사고를 보여줍니다. 샘플의 50%에서만 체인이 생성됩니다. 전체 세트에 대한 $H_{ans}$ 는 0.675이지만, 사고가 발생한 하위 집합에서는 0.602로 떨어집니다.

2. 체인 신호의 우월성

체인이 생성되는 모든 모델에서, 사고 체인의 엔트로피( $H_{think}$ )와 체인 길이( $L$ )가 답변 엔트로피보다 뛰어난 성능을 보입니다.

Qwen: $H_{think}$ 는 0.647의 AUROC를 달성하여, $H_{ans}$ 의 0.492보다 높습니다.
GLM: $H_{think}$ 는 0.759를 달성하여, $H_{ans}$ 의 0.716보다 높습니다.
InternVL3: 사고 전용 하위 집합에서 $H_{think}$ (0.608)가 $H_{ans}$ (0.602)를 근소하게 앞서지만, 적은 수의 거짓 양성(n=17)으로 인해 통계적으로 신뢰하기는 어렵습니다. 그러나 체인의 존재 여부 자체가 InternVL3에게는 강력한 신호입니다. 모델이 사고를 건너뛸 때의 거짓 양성률(13.1%)은 체인을 생성할 때(6.0%)보다 두 배 이상 높습니다.

3. 에피스테믹 계층 구조 및 기권 (Abstention)

저자들은 체인 신호의 단조적인 계층 구조를 확인했습니다:

확정-정답 (TP): 가장 짧은 체인, 가장 낮은 엔트로피.
확정-오답 (FP): 더 긴 체인, 더 높은 엔트로피.
체인을 동반한 기권 (Abstaining-with-Chain): 가장 긴 체인, 가장 높은 엔트로피.
이는 체인 신호가 단순히 표면적인 출력 특성이 아니라, 모델의 에피스테믹 상태(해결하려고 애쓰는 과정)를 추적하고 있음을 확인시켜 줍니다.
구조적 기권: 사고 모델은 높은 기권율(POPE에서 22.1%, HallusionBench에서 12.6%)을 보이며, 객체가 부재하는 쿼리에 대해 일관된 비대칭성을 보입니다. 메커니즘은 모델마다 다릅니다: Qwen은 종종 과도하게 숙고(해결되지 않는 긴 체인 생성)하는 반면, InternVL3는 어려운 쿼리에 대해 체인을 생성하지 못하는 경우가 많습니다.

4. 실용적 유용성: 기권 게이트 (Abstention Gate)

저자들은 불분명한 신호나 긴 체인을 가진 샘플을 거부하는 실용적인 "체인 게이트(chain gate)"를 제안합니다.

POPE에서 이 게이트를 사고 모드 모델에 적용하면, 정확도가 베이스라인 71.0%에서 커버리지 62.7% 기준 **93.8%**로 상승합니다.
비사고 "Instruct" 모델은 답변 엔트로피를 사용하여 유사한 커버리지에서 더 높은 정확도(96.7%)를 달성하지만, 사고 모드 모델을 배포할 때는 체인 게이트가 유일한 실행 가능한 옵션입니다. 왜냐นั้น 답변 엔트로피는 이 환경에서 아무런 신호를 제공하지 못하기 때문입니다.

5. 개방형 과제로의 일반화

VQAv2에 대한 파일럿 테스트 결과, 자유 형식 답변 시나리오에서도 체인 엔트로피(0.680)가 답변 엔트로피(0.595)보다 우수함을 확인했습니다. 이 격차는 자유 형식 답변에서 가장 크게 나타났으며(0.733 vs 0.467), 이는 이 장점이 이진 작업 구조의 인위적인 결과가 아님을 시사합니다.

의의 및 주장

본 논문은 사고 모드 VLM에서 답변 엔트로피의 동작을 입증한 최초의 경험적 특성화를 제공하며, "붕괴" 현상이 아키텍처의 보편적 속성이 아니라 학습 레시피에 따라 달라지는 성질임을 밝혀냈습니다.

주요 의의는 추론 모델을 위한 불확실성 추정의 패러다임을 전환하는 데 있습니다:

신호의 위치: 사고 모드 VLM의 경우, 에피스테믹 신호는 최종 출력이 아닌 **추론 과정(체인)**에 존재합니다.
비용 제로 솔루션: 추가적인 추론, 샘플링, 또는 외부 프로브 없이 단일 그리디 순전파에서 추출된 신호( $H_{think}$ , $L$ )를 통해 신뢰할 수 있는 환각 탐지가 가능합니다.
배포 가능성: 불확실성 추정은 추론 과정을 추적해야 합니다. 저자들은 이러한 전환 없이는, 표준 출력 레벨 지표를 사용하는 사고 모드 모델들이 스스로의 불확실성에 대해 사실상 "눈먼(blind)" 상태가 된다는 것을 입증했습니다.

저자들은 이러한 결과가 8~9B 규모의 모델과 그리디 디코딩을 바탕으로 한다는 점을 언급하며, 결과의 보편성에 대해 신중한 태도를 유지합니다. 이 패턴이 확률적 샘플링(temperature > 0)이나 더 큰 규모의 모델(32B+)에서도 지속될지는 여전히 미해결 과제로 남아 있습니다.