💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

이 연구는 소규모 시각-언어 모델들이 현실적인 이미지 저하 상황에서 자신의 오류에 대한 정확한 내부적 자기 지식을 보유하고 있음에도 불구하고 이를 언어화하는 데는 실패하며, 이에 따라 내부 토큰 확률이 명시된 신뢰도보다 유예를 위한 더 우수한 신호가 되지만, 두 신호 모두 심각한 저조도 조건에서는 신뢰할 수 없게 된다는 점을 밝혀냈다.

원저자: M M Asif Ferdous

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: M M Asif Ferdous

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하지만 아주 작은 로봇 가이드와 함께 북적이는 도시를 걷고 있다고 상상해 보세요. 이 로봇은 눈 역할을 하는 카메라와 말하는 목소리를 가지고 있습니다. 로봇의 임은 주변 사물을 보고 그것이 무엇인지 당신에게 알려주는 것입니다. 하지만 여기에는 함정이 있습니다. 도시는 매우 무질서합니다. 때로는 햇빛이 너무 눈부시고, 때로는 칠흑 같은 어둠이 깔리며, 때로는 카메라 렌즈가 더럽거나 흔들리기도 합니다. 인공지능의 세계에서 이러한 "무질서한" 사진들을 **저하된 이미지(degraded images)**라고 부릅니다.

로봇이 나쁜 사진 때문에 혼란에 빠졌을 때, 로봇은 틀린 답을 자신 있게 추측하는 대신 "모르겠어요, 사람에게 물어보세요"라고 말할 줄 알아야 합니다. 자신이 확신하지 못한다는 것을 아는 이 능력은 **불확실성(uncertainty)**이라고 불립니다. 로봇이 불확실성을 보여주는 데는 두 가지 방법이 있습니다. 첫 번째는 **언어화된 확신(verbalized confidence)**입니다. 로봇이 단순히 입 밖으로 "저는 90% 확신합니다!"라고 말하는 것이죠. 두 번째는 **내부적 확신(internal confidence)**입니다. 이는 로봇의 생각 속에 있는 비밀스럽고 조용한 신호로, 로봇이 말을 하지 않더라도 자신의 생각이 얼마나 흔들리고 있는지를 측정합니다. 대부분의 사람들은 로봇이 확신한다고 말하면, 정말로 확신하고 있을 것이라고 가정합니다. 하지만 만 만약 로봇이 그저 형편없는 거짓말쟁이라면 어떻게 될까요? 이것이 바로 이 논문이 던지는 질문입니다.

비밀 신호의 이야기

이 연구에서 연구진은 두 개의 작은 오픈 소스 로bt 가이드(Qwen2-VL과 SmolVLM)를 엄격한 테스트에 투입했습니다. 연구진은 단순히 깨끗하고 완벽한 사진만을 보여준 것이 아닙니다. 대신, 음식 사진 100장을 가져와 여섯 가지 방식으로 의도적으로 망가뜨렸습니다. JPEG 파일처럼 품질을 뭉개거나, 움직임으로 인해 흐릿하게 만들거나, 거의 암흑이 될 때까지 빛을 줄이거나, 눈이 멀 정도로 눈부신 빛을 더하거나, 카메라를 기울이거나, 이미지를 축소 및 확대했습니다. 각 유형마다 세 가지 수준의 심각도를 적용했습니다.

로봇은 모든 망가진 사진 속의 음식이 무엇인지 맞춰야 했습니다. 그런 다음 연구진은 두 가지를 확인했습니다:

로봇이 "확신해요!"라고 말했는가, 아니면 "잘 모르겠어요"라고 말했는가? (언어적 신호)
로봇의 비밀스러운 내부 점수인 '정답일 확률'은 얼마였는가? (내부적 신호)

커다란 반전: 틀렸음을 인정하지 않는 로봇

결과는 마치 실력은 형편없으면서도 계속해서 허리를 굽히며 "완벽했습니다!"라고 외치는 마술사를 보는 것과 같았습니다.

언어적 신호 (로봇의 입):
자신의 확신을 말해달라는 요청을 받았을 때, 로직들은 믿기 힘들 정도로 고집스러웠습니다. 사진이 아무리 엉망이든, 아무리 흐릿하거나 어둡든 상관없이, 그들은 계속해서 약 87%에서 90% 정도 확신한다고 말했습니다. 심지어 사진이 너무 어두워서 로봇이 사실상 무작위로 찍고 있는 상황(정답률이 **22%**에 불과한 상황)에서도, 로봇은 여전히 "87% 확신합니다!"라고 당당하게 말했습니다. 마치 로봇의 확신 다이얼이 "높음"에 고장 난 채로 박혀 있는 것 같았습니다. 실제로 한 로봇의 경우, 확신 수치를 말하도록 요청하는 것이 너무 어려웠는지, 숫자 없이 음식의 이름만 말하고 답변을 거부하는 경우가 대부분이었습니다.

내부적 신호 (로봇의 뇌):
하지만 연구진이 로봇의 뇌 속을 들여 들여다보며 비밀스러운 '토큰 확률(token probabilities, 로봇의 수학적 확신도를 측정하는 세련된 방식)'을 확인했을 때, 완전히 다른 결과가 나왔습니다. 로봇의 내부 신호는 사실 매우 정직했습니다! 사진이 깨끗할 때는 내부 점수가 높았습니다. 사진이 흐릿하거나 어두워지면 내부 점수는 크게 떨어졌습니다. 이 비밀 신호는 매우 뛰어나서, 정답과 오답을 **92%에서 99%**의 정확도로 구분해 낼 수 있었습니다.

"저조도"의 함정

하지만 이 이야기에는 한 가지 무서운 순간이 있었습니다. 연구진이 사진을 극도로 어둡게 만들었을 때(심각한 저노출 단계), 두 신호 모두 실패했습니다. 로봇의 정확도는 급락했고( **99%**에서 **22%**로 하락), 정직했던 내부 신호마저 작동을 멈췄습니다. 내부 신호는 더 이상 정답과 오답을 구분하지 못했습니다. 마치 어둠이 너무 짙어서 로봇의 비밀스러운 뇌마저 안개가 낀 것처럼 흐릿해진 것 같았습니다.

이것이 당신에게 의미하는 바

그렇다면 연구진은 무엇을 배웠을까요?

로봇의 입을 믿지 마세요. 작은 로봇 가이드에게 얼마나 확신하느냐고 묻는다면, 로봇은 길을 잃었을 때조차 매우 확신한다고 거짓말을 할 가능성이 높습니다. 이 논문은 이러한 "말해진 확신(stated confidence)"이 언제 멈추고 사람에게 도움을 요청해야 할지 판단하는 데 있어 쓸모없다는 것을 보여줍니다.
로봇의 뇌를 믿으세요 (대체로). 비밀스러운 내부 수학 모델이 훨씬 더 낫습니다. 그것은 자신이 혼란스러울 때를 알고 있으며, 이를 컴퓨터 시스템에 신호로 보낼 수 있어 시스템이 "알겠습니다, 잘 모르겠으니 사람에게 확인을 요청합시다"라고 말할 수 있게 해줍니다.
하지만 어둠을 주의하세요. 이미지가 너무 어두우면 정직한 내부 신호조차 무너집니다. 만약 당신이 어두운 방이나 밤에 이 로봇들을 사용한다면, 로봇이 실패했다는 것을 알려주기를 기다려서는 안 됩니다. 로봇이 눈을 뜨기도 전에 사진이 너무 어둡지는 않은지 확인하는 별도의 "안전 점검"이 필요합니다.

요약하자면, 작은 AI 로봇들은 자신의 코드 깊은 곳에서는 자신이 틀렸다는 것을 알고 있지만, 그것을 입 밖으로 내뱉지는 않습니다. 그들은 시험 문제를 틀려놓고도 여전히 손을 들며 "전 완전히 확신합니다!"라고 말하는 학생과 같습니다. 그들을 잡아낼 유일한 방법은 그들이 하는 말을 듣는 것이 아니라, 그들의 비밀스러운 연습장을 들여다보는 것뿐입니다.

기술 요약: 소형 시각-언어 모델은 자신이 틀렸다는 것을 알지만, 이를 말로 표현하지는 못한다

문제 정의

시각-언어 모델(VLM)이 소비자용 하드웨어 및 에지 디바이스에 점점 더 많이 배치됨에 따라, 압축, 모션 블러(움직임에 의한 흐림), 저조도, 글레어(눈부심)와 같은 실제 환경의 열악한 조건으로 인해 저하된 입력 이미지를 빈번하게 마주하게 된다. 이러한 제약된 환경에서, 단순한 정확도만으로는 안전한 배포를 보장하기에 불충분하다. 시스템은 잠재적으로 잘못된 답을 제공하는 대신 인간에게 판단을 유보할 시점을 결정할 수 있는 신뢰할 수 있는 불확실성 신호(uncertainty signal)를 필요로 한다.

생성형 VLM은 두 가지 잠재적인 불확실성 추정 경로를 제공한다. 하나는 언어적 확신(verbalized confidence)(모델이 자연어로 확신 점수를 진술하는 것)이고, 다른 하나는 내부적 확신(internal confidence)(생성된 토큰들의 평균 확률)이다. 그러나 실제 이미지 저하 상황에서 이 두 신호 사이의 관계가 소형 오픈 웨이트 모델에서 어떻게 나타나는지에 대해서는 체계적인 연구가 이루어지지 않았다. 폐쇄형 모델에 대한 기존 연구들은 내부 토큰 확률에 접근할 수 없었기에, 소형 모델이 텍스트 출력으로는 표현하지 못하는 유용한 자기 지식(self-knowledge)을 보유하고 있는지에 대한 이해에 공백이 존재한다.

방법론

본 연구는 두 가지 소형 오픈 웨이트 지시 미세 조정(instruction-tuned) VLM인 Qwen2-VL-2B-Instruct와 SmolVLM-Instruct를 평가한다. 두 모델 모두 단일 NVIDIA T4 GPU에서 fp16 정밀도로 greedy decoding을 사용하여 실행되었다.

실험 설정:

데이터셋: 4지 선다형 문제 형식으로 구성된 Food101 테스트 세트의 100개 항목 서브셋.
이미지 저하(Degradations): 다음의 6가지 현실적인 사진 저하 유형에 각각 3단계의 심각도를 적용하였다:
1. JPEG 압축
2. 모션 블러 (Motion Blur)
3. 저조도 (밝기 감소 + 노이즈)
4. 글레어 (밝기 증폭)
5. 회전 (Rotation)
6. 리샘플링 (Downscale/Upscale)
총 예측 횟수: 3,800회의 예측 (19가지 조건(클린 베이스라인 포함)에 대해 모델당 1,900회씩).

확신 신호:

언어적 확신 (Verbalized Confidence): 모델이 정수 형태의 확신 점수 $[0, 100]$ 를 출력하도록 프롬프트를 구성한 후, 이를 $[0, 1]$ 범위로 정규화함.
내부적 확신 (Internal Confidence): 답변 구간(answer span)을 생성하는 동안 방출된 각 토큰에 할당된 평균 확률로 계산함 ( $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ).

평가 지표:
불확실성의 유용성을 평가하기 위한 주요 지표는 오류 탐지 AUROC(Error-Detection AUROC)(무작위로 선택된 정답이 무작위로 선택된 오답보다 높은 확신 점수를 받을 확률)이다. 보조 지표로는 정확도(Accuracy), 기대 캘리브레이션 오차(Expected Calibration Error, ECE), 그리고 브라이어 점수(Brier score)를 사용하였다.

주요 결과

1. 정확도 저하

두 모델 모두 대부분의 저하 조건(압축, 블러, 글레어, 회전, 리샘플링)에 대해 높은 정확도를 유지하며 강건함을 보여주었다. 그러나 심각한 저조도 조건에서는 성능이 처참하게 무너졌다:

Qwen2-VL-2B: 정확도가 0.99(클린)에서 0.22(심각한 저조도)로 급락했다.
SmolVLM: 정확도가 0.97(클린)에서 0.42(심각한 저조도)로 급락했다.

2. 언어적 확신은 정보 가치가 없음

Qwen2-VL-2B: 언어적 확신은 모든 조건에서 정확도와 상관없이 거의 일정하게 유지되었다(평균 0.87–0.90). 정확도가 0.22로 급락했을 때조차 모델은 0.87의 확신을 진술했다. 결과적으로, 언어적 확신의 오류 탐지 성능은 우연 수준(AUROC $\approx$ 0.50)에 머물렀다.
SmolVLM: 언어적 확신을 얻는 것 자체가 어려웠다. 5번의 파일럿 시도 중 3개의 프롬프트 템플릿에서만 파싱 가능한 확신 값이 생성되었으며, 모델은 대개 확신을 진술하라는 지시를 무시하고 정답만을 반환했다.

3. 내부적 확신은 오류를 탐지함

이와 극명하게 대조적으로, 내부 토큰 확률은 오류 탐지를 위한 강력한 신호를 제공했다:

Qwen2-VL-2B: 내부 AUROC는 클린 및 완만한 저하 조건에서 0.92에서 0.99 사이를 기록하며, 언어적 확신보다 훨씬 뛰어난 성능을 보였다.
SmolVLM: 내부 AUROC는 대부분의 조건에서 우연 이상의 성능(0.54–0.92)을 보였으나, Qwen2-VL에 비해 신호가 더 노이즈가 많고 약했다.

4. 심각한 저조도에서의 실패

두 확신 신호 모두 가장 절실히 필요한 순간에 실패했다. 심각한 저노출 상황(정확도가 붕괴된 상황)에서 내부 AUROC는 우연 수준으로 떨어졌다 (Qwen2-VL은 0.62, SmolVLM은 0.54). 내부적 확신이 언어적 확신보다는 정확도 저하에 다소 민감하게 반응했으나, 두 신호 모두 이러한 파괴적인 실패 모드를 신뢰성 있게 탐지할 수는 없었다.

5. 캘리브레이션 지표와 진단적 유용성

대부분의 조건에서 두 신호의 기대 캘리브레이션 오차(ECE)는 낮게 나타났으며, 이는 신뢰성에 대한 오해를 불러일일 수 있다. 본 연구는 ECE가 이 맥락에서 덜 진단적임을 입증한다. 왜냐하면 모델이 일반적으로 정확할 경우, 특정 오류에 대한 정보를 담고 있지 않더라도 거의 일정한 확신 신호가 잘 캘리브레이션된 것처럼 보일 수 있기 때문이다. 따라서 판단 유용성을 평가하는 데에는 오류 탐지 AUROC가 더 우수한 지표임을 확인하였다.

의의 및 주장

본 논문은 소형 VLM이 자신의 언어적 출력으로는 표현되지 않는 유효한 자기 지식을 인코딩하고 있다고 결론짓는다.

배포를 위한 시사점: 실무자는 소형 오픈 웨이트 VLM의 판단 유보를 위해 진술된 확신(stated confidence)에 의존해서는 안 된다. 이는 우연 수준이거나 아예 얻을 수 없기 때문이다. 대신, 내부 토큰 확률을 사용해야 한다. 이는 계산 비용이 들지 않고 재학습이 필요 없으며, 완만한 저하 상황에서 유효한 오류 탐지를 제공한다.
안전성 한계: 두 신호 모두 심각한 저조도 조건에서는 신뢰할 수 없다. 정확도가 붕괴되는 상황에서 두 신호 모두 실패하기 때문이다. 이러한 환경에 직면한 배포 시스템은 다운스트림의 확신 임계값 대신, 명시적인 업스트림 이미지 품질 체크를 수행해야 한다.
방법론적 기여: 본 연구는 언어적 확신과 내부 확률이 서로 구별되는 양이며, 저하 상황에서 급격히 괴리된다는 점을 강조한다. 또한, 소형 VLM의 언어적 확신에 관한 향고 연구는 캘리브레이션 오차보다 오류 탐지 AUROC를 우선시해야 한다고 주장한다.

저자들은 이러한 결과가 약 2B 파라미터 규모의 모델에 특화된 것이며, 더 큰 규모의 모델에서도 이 격차가 존재하는지는 여전히 미해결 과제로 남아 있다고 언급했다. 또한, 본 연구는 단일 데이터셋(Food101)과 실제 아티팩트를 모사한 합성적 저하 상황에 국한되어 있다는 한계가 있다.