🤖 machine learning

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

이 논문은 TRAPSBench와 PECS 지표를 도입하여, 시각적 증거가 결정을 내리기에 불충분할 때 이를 감지할 수 있는 내부적 능력을 시각-언어 모델(Vision-Language Models)이 갖추고 있음에도 불구하고, 이들이 이러한 인식적 절제를 표현하는 데에는 지속적으로 실패함으로써 그 문제가 인지가 아닌 출력 생성 과정의 결정적인 병목 현상임을 입증한다.

원저자: Fnu Pramono, John Cai, Sourabh Kulkarni

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fnu Pramono, John Cai, Sourabh Kulkarni

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 당구 게임을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 공들이 굴러가는 영상을 보여주며, "8번 공이 어느 포켓으로 들어갈까?"라고 묻습니다. 영상이 선명하다면, 로봇은 물리학을 계산하여 답을 내놓아야 합니다. 하지만 만약 영상 중간에 누군가 거대하고 불투명한 방수포로 테이블을 덮어버리거나, 공들이 너무 격렬하게 튀어 올라서 누구도 그 도착 지점을 예측할 수 없다면 어떻게 될까요? 진정으로 똑똑한 로봇이라면 단순히 추측하는 것이 아니라, 손을 들고 "알 수 있는 정보가 충분하지 않습니다"라고 말해야 합니다. 자신이 무엇을 모르는지를 아는 이 능력을 **인식적 절제(epistemic restraint)**라고 부릅니다. 이는 자신만만한 거짓쟁이와 신중한 전문가의 차이입니다. 인공지능의 세계, 특히 영상을 보고 그에 대해 이야기할 수 있는 컴퓨터인 시각-언어 모델(Vision-Language Models, VLMs) 분야에서 연구자들은 한 가지 의문을 품었습니다. 이 모델들이 실제로 자신이 암흑 속에 있다는 것을 알고 있는 것일까요, 아니면 그저 벽 너머를 보고 있는 척하는 것일까요?

TRAPSBench라는 제목의 이 논문은 바로 그 질문을 깊이 파고듭니다. 연구진은 AI를 위한 특별한 비디오 게임인 TRAPSBench를 구축했는데, 여기에는 1,404쌍의 물리 시나리오가 포함되어 있습니다. 각 쌍에서 하나의 영상은 결과가 명확하고 예측하기 쉬운 '대조군(control)'이며, 다른 하나는 숨겨진 벽, 혼란스러운 상황, 혹은 말이 안 되는 질문 때문에 답을 알 수 없는 '공백(void)' 상태의 영상입니다. 그런 다음 연구진은 16개의 서로 다른 AI 모델을 테스트하여, 답이 숨겨졌을 때 모델들이 패배를 인정하는지 확인했습니다.

여기 반전이 있습니다. 모델들은 답이 숨겨져 있다는 사실을 아는 것에는 매우 능숙하지만, 모른다고 말하는 것에는 형편없다는 점입니다. 이는 마치 시험을 치는 학생이 정답을 모른다는 사실을 속으로는 알고 있으면서도, 선생님을 기쁘게 해주고 싶은 마음에 자신만만하게 지어낸 답을 적어 내려가는 것과 같습니다. 연구진은 AI의 내부 '두뇌'(은닉 상태)를 조사했을 때, 모델이 증거가 부족하다는 사실을 인지하고 있는지 여부를 높은 정확도(AUROC 척도로 최대 91%)로 탐지할 수 있다는 것을 발견했습니다. 그러나 모델이 실제로 답변을 내뱉을 때는, 그 내부의 경고를 무시하고 그냥 추측해 버렸습니다.

또한 이 연구는 재미있는 불균형을 발견했습니다. 이 AI 모델들은 텍스트 기반의 넌센스 질문(예: "파란색의 무게는 얼마인가요?")을 알아채는 데는 뛰어나지만, 시각적 증거가 부족한 상황을 알아채는 데는 훨씬 서툽니다. 이들은 텍스트 기반의 불가능성을 시각적 불가능성보다 약 4배 더 빠르게 감지합니다. 나아가 연구진은 AI의 내부 신호를 미세하게 조정하여 AI를 '조종(steer)'하는 실험을 진행했습니다. 연구진은 특정 방향으로 AI를 밀어붙이면, 모델이 추측을 멈추고 "모릅로다"라고 말하도록 강제할 수 있다는 것을 발견했습니다. 이는 모델이 스스로 절제할 수 있는 능력이 이미 갖춰져 있지만, 단지 모델이 스스로 열기를 거부하는 문 뒤에 갇혀 있을 뿐이라는 것을 입증합니다.

요약하자면, 이 논문은 AI 모델들이 눈이 멀었거나 멍청해서 발생하는 문제가 아니라, 지나치게 의욕이 앞서기 때문에 발생하는 문제임을 시사합니다. 모델들은 확신이 없다는 진실을 인코딩하고 있지만, 그 출력은 어쨌든 답을 내놓도록 강요하는 '게이트(gate)'에 의해 가로막혀 있습니다. 연구진은 이러한 AI 시스템을 진정으로 신뢰할 수 있게 만들려면, 모델에게 더 잘 보는 법을 가르치기보다는 무엇을 말할지 결정하는 시스템의 부분을 고쳐야 한다고 결론짓습니다.

기술 요약: TRAPSBench: 시각-언어 모델은 인지하고 있으나 표현하는 데 실패한다

문제 정의

시각-언어 모델(VLM)은 비디오 이해 및 물리적 추론 분야에서 상당한 발전을 이루었습니다. 그러나 고위험 도메인에 배포하기 위해서는, 결정론적인 예측을 내리기에 감각 정보가 불충분하다는 것을 인식하는 능력이 정답을 맞히는 능력만큼이나 중요합니다. 기존의 벤치마크들은 물리적 추론을 평가하지만, 정보가 불충분한 상황에서의 **선택적 절제(selective abstention)**를 테스트하는 데는 실패합니다. 기존 지표들은 무분별한 절제를 보상하거나 에피스테믹(epistemic, 인식론적) 차원을 완전히 무시하며, 모델이 '모른다는 것을 아는 것'과 단순히 '추측하는 것' 사이의 차이를 구분하지 못합니다.

본 논문은 모델의 내부 지식과 외부로 표현되는 불확실성 사이의 간극을 다룹니다. 구체적으로, VLM이 답변 가능한 물리적 시나리오와 답변 불가능한 시나리오를 내부적으로 구분할 수 있는지, 만약 그렇다면 왜 자기회귀적(autoregressive) 출력 과정에서 이 구분을 표현하는 데 실패하는지를 조사합니다.

방법론

1. TRAPSBench 벤치마크

저자들은 MuJoCo를 사용하여 생성된 1,404개의 매칭된 물리 쌍으로 구성된 절차적 생성 비디오 벤치마크인 TRAPSBench(Testing Restraint in Ambiguous Physical Scenarios)를 소개합니다.

생성: 벤적으로는 결정론적인 결과를 갖는 "제어(control)" 비디오와, 특정 타겟 수정에 의해 결과가 계산 불가능하게 렌더링된 "공백(void)" 비디오를 생성합니다.
불확실성 분류:
- 폐쇄(Occlusion): 핵심 시각 데이터가 불투명한 폐쇄물에 의해 가려짐 ( $N=202$ ).
- 카오스적 민감도(Chaotic Sensitivity): 초기 조건에 극도로 민감하여 해상 단계 이전에 중단된 결정론적 시스템 ( $N=500$ ).
- 부적절한 질문(Ill-Posed Questions): 제어 비디오를 재사용하되, 질문에 잘못된 전제가 포함되거나 관찰 불가능한 세부 사항을 요구함 ( $N=702$ : 202 occlusion ill-posed + 500 chaotic ill-posed).
평가: 텍스트 전용 판사 패널(세 가지 모델)이 응답을 점수화합니다. 제어 비디오의 경우, 정답 여부는 MuJoCo의 그라운드 트루스(ground truth)를 기준으로 측정됩니다. 공백 비디오의 경우, 판사는 모델이 절제(abstain)했는지 여부를 감지합니다.

2. 페널티가 부여된 에피스테믹 캘리브레이션 점수 (PECS)

성능 평가를 위해 저자들은 다음과 같이 정의된 결합 지표인 PECS를 제안합니다.
$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$
여기서:

Acc: 답변 가능한(제어) 비디오에 대한 정확도.
AbsRec: 절제 회상률(Abstention Recall, 공백 비디오에서 올바르게 절제함).
FalseAbs: 오절제(False Abstention, 제어 비디오에서 잘못되게 절제함).
의의: 이 지표는 Youden's J 통계량( $\text{AbsRec} - \text{FalseAbs}$ )을 사용하여 무분별한 전략을 처벌합니다. 항상 절제하거나 절대 절제하지 않는 모델은 PECS 0을 받게 됩니다. 높은 점수를 얻으려면 답변 가능한 작업에 대한 높은 정확도와 답변 불가능한 작업에 대한 선택적 절제가 모두 필요합니다.

3. 메커니즘 분석

논문은 내부 표현을 조사하기 위해 두 가지 기술을 사용합니다.

선형 프로빙(Linear Probing): 동결된 VLM의 은닉 상태(hidden states)에 로지스틱 회귀 프로브를 학습시켜 "공백" 대 "제어" 라벨을 예측합니다. 이는 모델이 구분을 인코딩하고 있는지를 테스트합니다.
활성화 스티어링(Activation Steering): 생성 중에 "공백 방향" 벡터( $v_\ell$ )를 추가하여 은닉 상태를 인과적으로 조작함으로써, 해당 표현이 절제 동작을 인과적으로 제어하는지 테스트합니다.

주요 기여

TRAPSBench 및 PECS: 비디오 이해에서의 에피스테믹 캘리브레이션을 평가하기 위해 설계된 대규모 벤치마크와 견고한 지표를 제공하며, 항상 절제하거나 절대 절제하지 않는 것과 같은 퇴행적 전략을 제거합니다.
표현-출력 간극(The Representation–Output Gap): 본 논문은 VLM이 에피스테믹 불확실성을 내부적으로 인코딩하지만 이를 외부로 표현하는 데 실패한다는 점을 입증합니다. 이는 다음을 통해 증명됩니다:
- 가이드 프롬프팅: 절제하도록 명시적으로 지시하는 것("모르겠습니다")은 잠재된 능력을 해제하여, 정확도를 희생하지 않으면서도 절제 회상률을 크게 향কে 높입니다.
- 선형 프로빙: 프로브는 물리 도메인 전반에서 높은 AUROC(최대 0.91)로 은닉 상태로부터 답변 가능성 신호를 디코딩합니다. 이는 모델이 확신을 가지고 환각(hallucination)을 일으키는 샘플에서도 마찬가지입니다.
- 활성화 스티어링: 하나의 레이어 "공백 방향"을 주입하면 제어 샘플에서 절제를 유도하고 공백 샘플에서는 이를 억제하는 인과적 효과를 보입니다.
실패 모드의 비대칭성:
- 시각적 vs 텍스트적: 모델은 시각적 정보의 공백보다 텍스트적 불가능성(부적절한 질문)을 약 4배 더 쉽게 감지합니다.
- 추론 효과: 사고 사슬(Chain-of-thought, CoT) 추론이 캘리브레이션을 균일하게 개선하지는 않습니다. 일부 모델(예: Qwen3-VL Think)의 경우, 추론 과정에서 의구심을 표현하지만 이후 최종 출력에서 이를 뒤집어, 비사고형 변형 모델보다 더 많은 확증 편향(confabulation)을 유발합니다.
인과적 메커니즘 분석: "공백" 신호의 기하학적 구조는 도메인마다 다릅니다. Occlusion 계열의 방향은 모달리티와 도메인을 가로질러 전이되는 도메인 일반적인 "증거 누락" 신호를 인코딩합니다. 반면, Chaotic 계열의 방향은 도메인 특화적이며 서로 거의 직교(orthogonal)하는데, 이는 에피스테믹 투명성이 전이 가능성을 결정함을 시사합니다.

결과

자발적 절제의 미흡함: 5개 제품군의 16개 VLM(Gemini, Qwen, GPT-5, Gemma, LLaVA) 전반에서 자발적 PECS는 낮게 나타납니다. 가장 좋은 자발적 PECS는 0.292(Gemini 2.5 Flash)입니다. 대부분의 모델은 증거의 질과 상관없이 답변하려는 강한 사전 확률(prior)을 보입니다.
가이드 프롬프팅을 통한 잠재력 해제: 절제를 위한 명시적 프롬프트 지시는 비디오 네이티브 모델들 사이에서 절제 회상률을 중앙값 기준 1.9배 증가시키며, PECS를 유의미하게 개선합니다(예: Gemini 3.1 Pro R-Low는 0.568에 도달). 그러나 가이드를 받더라도 모델이 포화 상태에 도달하지는 못하며, 이는 지속적인 병목 현상이 존재함을 나타냅니다.
내부 인코딩 vs 출력 억제:
- 선형 프로브는 데이터셋 간 전이에서도 최대 0.91의 AUROC를 달성하여, 모델이 결과가 알 수 없음을 "알고 있음"을 증명합니다.
- 결정적으로, 이 신호는 모델이 표준 프롬프트 하에서 확증 편향(환각)을 일으킨 샘플에서도 유지됩니다.
- 활성화 스티어링은 이 신호가 인과적임을 확인시켜 줍니다. 공백 방향을 은닉 상태에 더하면 절제가 강제됩니다.
프롬프트 게이팅(Prompt Gating): Qwen3-VL-8B에서 표준 프롬프트는 절제에 대한 일방적인 제약을 가합니다. 스티어링을 통해 표준 프롬프트 하에서 확증 편형을 강제(절제 억제)할 수는 있지만, "가이드된" 프롬프트를 사용하지 않으면 절제를 유도할 수 없습니다. 이는 병목 현상이 내부 표현의 부족이 아니라 출력 단계의 게이트(gate)에 있음을 시사합니다.
추론과 확증 편향: 확증 편향 모드 분석 결과, 실패의 87~99%는 환각된 전제(시각적 관찰을 조작함)를 포함합니다. Qwen3-VL Think의 경우, 추론 과정에서 의구심을 표현하더라도 최종 출력은 이를 무시하고 자신감 있게 조작된 답변을 제공합니다.

의의 및 주장

본 논문은 신뢰할 수 있는 VLM 배포를 위한 주요 병목 현상이 지각(perceptual)이 아닌 **표현(expressive)**의 문제라고 주장합니다.

표현-출력 간극: VLM은 답변 가능한 시나리오와 답변 불가능한 시나리오를 구분하는 데 필요한 내부 에피스테믹 신호를 보유하고 있습니다. 실패는 이 신호를 자동 회귀적 생성 과정이 유창하고 단호한 답변을 선호하도록 억제하는 데 있습니다.
모달리티 특이성: 이 간극은 텍스트 불확실성보다 시각적 불확실성에서 더 두드러집니다. 모델은 의미론적 불가능성(텍스트)을 감지하는 데 훨씬 더 능숙합니다.
개입의 필요성: 이 간극을 메우기 위해서는 단순히 모델 크기를 키우거나 시각적 지각을 개선하는 것이 아니라, 출력 단계의 개입(예: 디코딩 제약, 스티어링 또는 특화된 학습 목표)이 필요할 가능성이 높습니다.
일반화 가능성: 연구 결과는 서로 다른 학습 파이프라인을 가진 세 가지 오픈 웨이트 모델 제품군(Qwen, Gemma, LLaVA)에서 재현되었으며, 이는 이것이 특정 모델의 산물이 아니라 현재 VLM 아키텍처의 근본적인 특성임을 시사합니다.

저자들은 TRIPSBench가 VLM의 에피스테믹 캘리브레이션을 평가하고 개선하기 위한 필수적인 도구를 제공하며, "답변하지 않을 때를 아는 것"이 자율 에이전트에게 여전히 해결되지 않은 중요한 과제임을 강조하며 결론을 맺습니다.