🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

이 논문은 선형 프로브(linear probes)가 언어 모델 내의 오염된 컨텍스트를 정확하게 탐지할 수는 있지만, 최종 답변의 정답 여부를 신뢰성 있게 예측하거나 효과적인 실시간 개입을 유도하는 데에는 실패하며, 따라서 일률적인 모니터링 솔루션보다는 모델 인지적이고 오류 유형 인지적인 라우팅 전략이 필요함을 밝히고 있다.

원저자: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마술사의 카드 마술을 보고 있다고 상상해 보세요. 마술사는 너무 매끄럽고, 자신만만하며, 속도가 빨라서 당신은 전혀 의심할 틈이 없습니다. 하지만 만약 마술사의 뇌 깊은 곳에서 작은 경보기가 "잠깐! 방금 엉뚱한 카드를 바꿨어!"라고 비명을 지르고 있다면 어떨까요? 인공지능, 구체적으로는 코드를 짜고, 여행 계획을 세우고, 수학 문제를 푸는 똑똑한 챗봇인 거대 언어 모델(LLM)의 세계에서는 바로 이런 일이 일어납니다. 이 모델들은 마치 마술사와 같습니다. 심각한 실수를 저지르고 있을 때조차 아주 자신만만하게 말을 할 수 있기 때문입니다.

과학자들은 오랫동안 모델이 혼란에 빠지거나 틀렸을 때, 모델이 "음... 잘 모르겠어요"라며 말을 더듬거나 불확실함을 표현하기를 희망해 왔습니다. 이 개념을 "언어화된 자신감(verbalized confidence)"이라고 부릅니다. 이는 마치 마술사에게 "그 카드가 맞다고 확신하시나요?"라고 물어보며 그들이 자신의 실수를 인정하기를 바라는 것과 같습니다. 하지만 이를 확인하는 또 다른 방법이 있습니다. 모델의 내부 "뇌파"(컴퓨터 내부의 수학적 신호)를 살펴봄으로써, 모델이 겉으로 말하지 않더라도 스스로가 망가졌다는 것을 알고 있는지 확인하는 것입니다. 이 논문은 매우 무섭고도 매혹적인 격차, 즉 모델이 디지털 뇌 내부에서 '아는 것'과 겉으로 '말하는 것' 사이의 차이를 조사합니다.

침묵의 경보와 자신만만한 거짓말

연구진은 이를 테스트하기 위해 디지털 놀이터를 구축했습니다. 그들은 모델이 단계별로 퍼즐을 풀어야 하는(예: "사과 5개가 있는데 3개를 더 사고, 그중 절반을 잃었다면...") 1,400개의 수학 문제를 만들었습니다. 트릭은 바로 이 연쇄 과정의 첫 번째 단계에 몰래 실수를 심어두는 것이었습니다. 그들은 두 가지를 확인하고자 했습니다:

경보: 특수한 탐지기(리니어 프로브, linear probe라고 불림)가 모델의 내부 뇌 활동을 살펴봄으로써 첫 번째 단계가 잘못되었다는 것을 찾아낼 수 있는가?
예측: 그 동일한 탐지기가 최종 답변이 틀릴 것이라는 점을 예측할 수 있는가?

그들은 Llama-3.1-8B나 Qwen3-4B와 같이 오늘날 사용 가능한 가장 똑똑한 모델들을 포함하여 다섯 가지 모델을 테스트했습니다.

거대한 발견: 알고 있지만 말하지 않는 것

결과는 충격적이었습니다. "경보"는 완벽하게 작동했습니다. 모델이 실수를 저질렀을 때, 탐지기는 모델의 내부 뇌파를 통해 오류를 거의 100%의 정확도로(구체적으로 한 모델에서 AUROC 점수 0.997로) 포착할 수 있었습니다. 마치 모델의 뇌가 "에러! 에러!"라고 비명을 지르는 것과 같았습니다.

하지만 반전이 있었습니다. 모델은 자신의 경보 소리를 듣지 않았습니다.

내부 경보가 울리고 있음에도 불구하고, 모델의 최종 답변은 마치 정답을 맞혔을 때와 다름없는 자신감을 보였습니다. 오류를 완벽하게 볼 수 있었던 그 탐지기는 정작 최종 답변이 틀릴 것인지를 예측하는 데 있어서는 완전히 무용지물이었습니다. 이는 마치 토스트를 태웠을 때 "불이야!"라고 외치는 화재 경보기는 있지만, 소방대(모델의 최종 답변)는 여전히 출동하여 "모든 것이 괜찮습니다, 불은 없습니다"라고 말하는 것과 같습니다.

이 논문은 사람들이 사실일 것이라고 기대할 법한 몇 가지 사항을 명시적으로 배제합니다:

자신감은 단서가 되지 못한다: 모델에게 얼마나 자신 있는지 물었을 때, 모델은 미묘한 차이 없이 단순히 "예" 또는 "아니오"라는 이분법적인 답변만을 내놓았습니다. 99% 확신하는 모델이나 50% 확신하는 모델이나 틀릴 확률은 비슷했습니다.
더 깊이 생각하는 것은 도움이 되지 않는다: 연구진은 모델이 추론 과정을 단계별로 글로 쓰도록 강제하는 "사고 모드(Chain-of-Thought)"를 시도했습니다. 이렇게 하면 모델이 자신의 실수를 잡아낼 수 있을 것이라 생각할 수 있습니다. 하지만 결과는 오히려 모델이 정답을 맞히는 능력을 떨어뜨렸습니다(정확도가 27.9%에서 1.2%로 하락). 그러면서도 내부 경보가 여전히 울리고 있다는 사실은 변하지 않았습니다. 모델은 자신이 틀렸다는 것을 알았지만, 그것에 대해 말하는 것이 문제를 해결해주지는 못했습니다.

어떻게 고칠 수 있을까? "브랜치 앤 픽(Branch-and-Pick)" 전략

모델이 스스로 틀렸음을 인정하지 않기 때문에, 연구진은 모델을 위한 "안전망" 역할을 하기로 했습니다. 그들은 내부 경보를 감지하고 모델이 답변을 마치기 전에 실수를 수정하려고 시도하는 시스템을 구축했습니다. 그들은 세 가지 개입 방법을 테스트했습니다:

리프롬프트(Reprompt): 단순히 모델에게 "이봐, 네 작업을 다시 확인해봐!"라고 말하는 방식입니다. (이것은 효과가 없었습니다).
리플레이스-프라이어(Replace-Prior): 잘못된 단계를 지우고 모델이 처음부터 다시 시도하도록 강제하는 방식입니다. 결과는 엇갈렸습니다. 일부 틀린 답은 살려냈지만, 실수로 맞는 답까지 망가뜨리기도 했습니다.
브랜치 앤 픽(Branch-and-Pick): 이것이 승자였습니다. 경보가 울리면 시스템은 단순히 추측하는 대신, 모델에게 다음 단계를 네 가지 다른 방식(다양한 무작위성 수준 사용)으로 시도하도록 요청했습니다. 그런 다음, 내부 경보를 사용하여 가장 "깨끗한"(오염될 가능성이 가장 낮은) 경로를 선택했습니다.

이 "브랜치 앤 픽" 방식은 맞는 답을 망가뜨리지 않으면서 틀린 답을 일관되게 구해낸 유일한 방법이었습니다. 특정 모델(Llama-3.1-8B)에서, 이 방식은 4개의 틀린 답을 구출했고 0개의 맞는 답을 망가뜨렸습니다. 그러나 논문은 이것이 모든 상황에 적용되는 마법의 해결책은 아니라고 언급합니다. 성공 여부는 어떤 종류의 실수가 발생했느냐에 크게 좌우되었습니다. 예를 들어, "잘못된 단위" 오류를 고치는 데는 효과적이었지만, "잘못된 백분율" 오류를 고치는 데는 오히려 상황을 악화시켰습니다.

시사점

논문은 우리가 모델의 말이 옳다는 것을 알려주기 위해 그 말을 믿어서는 안 된다고 결론짓습니다. 모델은 재앙을 인지하면서도 자신만만하게 틀린 답을 내놓을 수 있습니다. "알고 있는 것과 말하는 것 사이의 격차(Knowing-Saying Gap)"는 실재하며 위험합니다.

해결책은 모델에게 더 정직해지라고 요구하는 것이 아니라, "모델을 인지하는(model-aware)" 안전 시스템을 구축하는 것입니다. 우리는 내부 경보(프로브)에 귀를 기울이고, "브랜치 앤 픽"과 같은 스마트한 전략을 사용하여 오류를 잡아내야 합니다. 하지만 주의해야 할 점도 있습니다. 모든 종류의 실수나 모든 모델에 적용되는 단 하나의 해결책은 존재하지 않습니다. 안전한 AI의 미래는 챗봇의 자신감을 믿는 것이 아니라, 챗봇이 스스로에게 거짓말을 하고 있을 때 그것을 알아채는 가드레일을 구축하는 데 달려 있습니다.

기술 요약: 언어 모델의 '아는 것(Knowing)'과 '말하는 것(Saying)' 사이의 간극

문제 정의

본 논문은 배포된 대규모 언어 모델(LLM), 특히 모델 출력이 미래의 컨텍스트로 다시 피드백되는 에이전트 파이프라인(예: 코딩 에이전트, 다단계 계획 수립)에서 발생하는 심각한 신뢰성 실패 문제를 다룹니다. 이러한 환경에서는 초기 단계의 단 한 번의 오류가 후속 컨텍스트를 통해 전파되어 "연쇄적인 컨텍스트 오염(cascading context corruption)"을 일으킵니다. 핵심 문제는 **내부 상태와 언어적 출력 사이의 해리(dissociation)**입니다. 모델은 내부 연산이 오류로 인해 손상된 후에도 유창하고 자신감 넘치는 텍스트를 계속 생성하는 경향이 있습니다. 이러한 "충실도 없는 유창성(fluency without fidelity)"은 모델에게 언어적 확신이나 자기 비판을 요청하는 표준적인 모니터링 기법을 무력하게 만듭니다. 왜냐하면 모델의 오류에 대한 내부 지식이 표면적인 행동으로 번역되지 않기 때문입니다.

방법론

저자들은 다음과 같은 통제된 대조 실험 설계를 사용하여 이 현상을 조사합니다:

데이터셋: 500개의 기본 문제를 바탕으로 생성된 1,400개의 합성 다단계 산술 추적(multi-hop arithmetic traces) 데이터셋입니다. 이 데이터셋에는 "깨끗한(clean)" 추적과 특정 단계(hop)가 인위적으로 잘못된 값으로 대체된 "오염된(corrupted)" 추적이 포함됩니다. 다섯 가지의 뚜렷한 오류 유형(off_by_one, wrong_operator, wrong_unit, magnitude_error, wrong_percentage_base)이 사용되었습니다.
모델: Qwen과 Llama 두 계열의 5개 모델을 대상으로 하며, 3B에서 8B 파라미터 규모의 지시어 튜닝(instruction-tuned) 모델 및 추론(reasoning/thinking-mode) 모델을 포함합니다.
프로브 학습(Probe Training): 동결된 모델의 잔차 스트림 활성화(residual stream activations)에 선형 프로브(로지스틱 회귀)를 학습시킵니다. 프로브는 두 가지 집계 모드(last-token 및 mean-over-tokens)를 사용하여 깨끗한 컨텍스트와 오염된 컨텍스트를 구분하도록 학습됩니다.
주요 지표:
- 탐지( $AUROC_{detect}$ ): 프로브가 오염된 컨텍스트를 깨끗한 컨텍스트와 구별해내는 능력.
- 실패 예측( $AUROC_{fail}$ ): 이미 오류가 발생했을 때, 해당 오염이 최종적으로 잘못된 답을 초래할지 여부를 예측하는 능력.
- 표면 신호(Surface Signals): 베이스라인 역할을 하기 위해 토큰 로짓(logits)으로부터 계산된 6가지 스칼라 불확정성 신호(예: 엔트로피, 확신도, 어휘 격차 등).
개입(Interventions): 탐지된 오류를 개선할 수 있는지 확인하기 위해 세 가지 프로브 트리거 전략을 테스트합니다:
1. 재프롬프트(Reprompt): 재확인 지시어를 추가함.
2. 이전 단계 교체(Replace-prior): 이전 단계를 처음부터 다시 생성함.
3. 분기 및 선택(Branch-and-pick): 여러 연속 생성물을 샘플링하고 프로브 오류 점수가 가장 낮은 것을 선택함.

주요 기여

대조적 데이터셋: 5가지 오류 유형을 포함하며, 인간의 개입 없이 생성된 1,400개의 결정론적 추적 데이터셋을 제공합니다. 이는 지시어 튜닝 모델과 추론 모델 변형 모두에서 평가되었습니다.
탐지와 실패 예측의 붕괴: 프로브가 오염을 거의 완벽하게 탐지할 수 있는 반면, 그 오염이 최종적으로 잘못된 답으로 이어질지를 예측하는 데는 실패한다는 특성을 규명했습니다.
개입 분석: 세 가지 개입 정책을 통제된 비교를 통해 분석하여, 단일 전략이 보편적으로 효과적이지 않으며 효능이 특정 모델과 오류 유형에 따라 크게 달라짐을 밝혔습니다.
가설 기각: 저자들은 "프로브 활성화의 지속성(persistence of probe activation across hops)"이 실패를 예측할 것이라는 가설을 사전 등록하였으나, 이후 이를 반박하였습니다.
강건성 제어: 그룹화된 교차 검증 및 '하나의 오류 유형 제외(leave-one-error-type-out)' 평가를 통해, 탐지 신호가 데이터 누수나 표면적인 토큰 시그니처의 결과물이 아님을 입증했습니다.

결과

1. 아는 것과 말하는 것의 해리 (The Knowing-Saying Dissociation)

높은 탐지 정확도: 선형 프로브는 모든 모델에서 $AUROC_{detect} > 0.98$ 의 성능을 보이며 오염된 오류를 탐지했으며, Llama-3.1-8B에서 0.997로 정점을 찍었습니다. 이 신호는 주로 레이어 0과 레이어 1 사이의 전환 과정에서 나타납니다.
실패 예측의 실패: 높은 탐지 정확도에도 불구하고, 동일한 프로브는 최종 정답의 정확도에 대해서는 정보를 제공하지 못했습니다. $AUROC_{fail}$ 은 모든 모델에서 무작위 수준(0.47–0.53)으로 붕괴되었습니다. 모델은 컨텍스트가 오염되었음을 "알고" 있지만, 잘못된 최종 출력을 방지하기 위해 그 지식을 "말하거나(say)" 행동으로 옮기지는 못합니다.
표면 신호: 언어적 확신도 및 기타 표면 불확정성 신호는 탐지 성능이 무작위 수준( $AUROC \approx 0.5$ )에 머물렀으며, 최종 정답과의 상관관계도 보이지 않았습니다. 확신도는 종종 양극단(0 또는 1)으로 쏠려, 두 그룹 간의 오류율 차이를 구별할 수 없었습니다.

2. 추론 모드의 영향

Qwen3-4B에서 "사고 모드(thinking mode, 확장된 chain-of-thought)"를 활성화해도 이 간극은 좁혀지지 않았습니다. 사고 모드는 토큰 수를 증가시켰지만, 프로브의 내부 오류 탐지 능력은 변화시키지 못한 채 오류 조건에서의 정확도를 27.9%에서 1.2%로 떨어뜨렸습니다. 이는 출력 채널이 방해받더라도 내부적인 오염 인코딩은 지속됨을 시사합니다.

3. 개입의 효과성

분기 및 선택(Branch-and-pick): 모든 모델에 걸쳐 순수하게 긍정적인 효과를 보인 유일한 정책이었으며, Llama-3.1-8B에서 독보적으로 안정적이었습니다 (4개 복구, 0개 파손). 그러나 추론 비용을 크게 증가시킵니다.
이전 단계 교체(Replace-prior): 잘못된 추적을 복구하기도 했지만, 올바른 추적을 파괴하는 비율도 비슷하여 순수 이득이 없었습니다.
재프롬프트(Reprompt): 일반적으로 효과가 없었습니다.
이질성: 개입의 성공 여부는 오류 유형에 따라 매우 크게 달라집니다. 예를 들어, replace-prior는 wrong_unit 오류에는 매우 효과적이었으나, wrong_percentage_base 오류에는 오히려 부정적인 영향을 미쳤습니다.

의의 및 주장

본 논문은 프로브 기반 모니터링이 언어적 확신의 보완재이지 대체재가 아님을 주장합니다. 핵심적인 발견은 에이전트 시스템의 맥락에서 모델의 내부 상태가 언어적 출력(verbal outputs)을 통해 접근 가능하다는 가정이 틀렸다는 것입니다.

해독 가능성, 그러나 인과관계는 없음 (Decodability, not Causation): 저자들은 오류 신호가 잔차 스트림에서 선형적으로 해독 가능하다는 점이, 생성 정책이 해당 신호를 참조한다는 것을 의미하지는 않는다고 강조합니다. 오염된 값을 제거하는 개입(replace-prior)은 프로브의 발화율을 낮추지만, 그것이 정답률의 비례적인 향상으로 이어지지는 않습니다. 이는 프로브된 방향이 오답의 근접 원인이 아님을 시사합니다.
배포 시 시사점: "원 사이즈(one-size-fits-all)" 방식의 해결책은 없습니다. 배포 가능한 솔루션은 **모델 인식 및 오류 유형 인식 라우팅(model-aware, error-type-aware routing)**입니다. 단일 개입이 우위를 점하지 못하므로, 시스템은 예측된 모델과 오류 유형에 따라 특정 교정 전략으로 경로를 지정해야 합니다.
한계점: 저자들은 현재의 개입 방식이 엄격하게 안전하지 않으며(올바른 추적을 망가뜨릴 수 있음), branch-and-pick이 상당한 계산 비용을 초래한다고 언급했습니다. 본 논문은 라우팅 전략을 완전한 배포 솔루션이라기보다 향후 연구를 위한 방향성으로 제시하며, 현재는 견고한 오류 유형 분류기가 부족한 상태입니다.

결론적으로, 이 논문은 에이전트 시스템에서 모델이 스스로 실수를 하고 있다고 "말하게" 만드는 것만으로는 불충분하다는 점을 입증합니다. 선형 프로브를 통한 내부 상태 모니터링은 고충실도 탐지 메커니즘을 제공하지만, 탐지와 성공적인 교정 사이의 간극을 메우기 위해서는 미묘하고 맥락에 특화된 개입 전략이 필요합니다.