💬 NLP

Diagnosing Correctness Probes under Self-Judgement Confounding

이 논문은 언어 모델의 은닉 상태 판독(hidden-state readouts)이 실제 정답성보다는 모델의 자기 판단(self-judgement)을 포착하는 경우가 많다는 것을 보여주는데, 이는 자기 판단과 연관된 방향이 실제 정답성과 연관된 방향보다 도메인 간 전이성이 더 우수하다는 사실에 의해 입증된다.

원저자: Yi-Long Lu

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi-Long Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇이 진실을 말하고 있는지 알아내려 한다고 상상해 보십시오. 당신은 질문을 던지고, 로봇은 답변을 내놓습니다. 그러면 당신은 결정해야 합니다. 그 답변이 실제로 옳은 것인가, 아니면 로봇이 단지 자신이 옳다고 확신하고 있는 것뿐인가? 이것이 바로 '기계적 해석 가능성(mechanistic interpretability)'이라는 새로운 과학 분야의 핵심이며, 여기서 연구자들은 거대 언으로 모델(LLM)의 '두뇌' 내부를 들여다보고 그들이 실제로 무엇을 생각하고 있는지 파악하려 노력합니다. 이 모델들은 시를 쓰고, 수학 문제를 풀고, 역사에 대해 대화할 수 있는 거대한 디지털 신탁과 같지만, 때때로 사실을 지어내기도 합니다(이를 '환각(hallucination)' 현상이라고 합니다). 과학자들은 모델이 답변을 마치는 바로 그 순간의 내부 전기 신호(이를 '은닉 상태(hidden states)'라고 부릅니다)를 살펴보면, 그 답변이 맞는지 틀린지를 종종 예측할 수 있다는 사실을 발견했습니다. 이는 마치 로봇의 마음속에 거짓말 탐지기가 내장되어 있는 것과 같습니다. 하지만 까다로운 점이 있습니다. 보통 로봇이 틀린 답을 내놓을 때, 로봇은 스스로도 그것이 틀렸다고 생각합니다. 그리고 로봇이 맞는 답을 내놓을 때, 로봇은 대개 그것이 맞다고 생각합니다. 로봇의 내부 '진실 신호'와 '자기 확신 신호'가 대개 일치하기 때문에, 로봇이 실제로 진실을 감지하고 있는 것인지, 아니면 단지 자신의 의견을 감지하고 있는 것인지 구별하는 것은 어려웠습니다.

"자기 판단 혼재 하에서의 정답성 프로브 진단(Diagnosing Correctness Probes under Self-Judgement Confounding)"이라는 제목의 이 논문은 바로 그 혼란을 다룹니다. 루 이롱(Yi-Long Lu)이 이끄는 연구팀은 로봇의 '진실'과 '자기 확신'이 서로 어긋나는 특별한 테스트를 구축하기로 했습니다. 그들은 모델이 수학적으로는 정답을 내놓으면서도 "아니요, 틀렸습니다"라고 말하는 시나리오와, 오답을 내놓으면서도 "네, 맞습니다"라고 말하는 시나리오를 만들었습니다. 이 두 신호가 서로 싸우도록 강제함으로써, 그들은 마침내 내부의 '거짓말 탐지기'가 실제로 무엇을 포착하고 있는지 알아낼 수 있었습니다.

연구팀은 70억 개에서 140억 개의 파라미터(로봇의 뇌에 있는 연결의 수라고 생각하면 됩니다) 규모에 이르는 네 가지 서로 다른 거대 언어 모델을 대상으로 테스트를 진행했습니다. 그들은 혼합된 스무디에서 원래의 과일과 우유를 분리하여 어떤 맛인지 확인하는 것과 같은 영리한 방법인 '요인 대조(factorial contrasts)'법을 사용했습니다. 그 결과, 내부 신호에는 진실과 확신에 대한 정보가 모두 포함되어 있었지만, 가장 안정적으로 전이 가능한 구성 요소는 객관적인 정답성이 아니라 로봇의 자기 판단 극성을 보존하는 것임이 밝혀졌습니다.

여기에는 놀라운 반전이 있습니다. 연구진이 틀린 답을 내놓으면서도 스스로는 맞다고 생체하는 로봇의 내부 신호를 살펴보았을 때, '거짓말 탐지기'는 정답을 맞혔을 때와 마찬가지로 높은 점수를 주었습니다. 반대로, 로봇이 정답을 내놓으면서도 스스로는 틀렸다고 생각할 때, 탐지기는 낮은 점수를 주었습니다. 실제로 수학 문제, 영화 퀴즈, 일반 상식 퀴즈를 포함하여 그들이 수행한 모든 모델과 테스트 전반에 걸쳐, 한 유형의 질문에서 다른 유형의 질문으로 가장 잘 전달된 내부 신호는 실제 진실이 아니라 로봇의 확신을 추적하는 것이었습니다.

이 논문은 우리가 모델에서 보는 '진실' 신호가 사실의 객관적인 척도일 수 있지만, 증거에 따르면 전이 가능성만으로는 객관적 정답성 의미론을 확립할 수 없다고 명시적으로 언급합니다. 심지어 연구진이 로봇의 자기 판단을 완전히 무시하고 '정답/오답' 레이블만을 사용하여 탐지기를 구축하려 했을 때조차, 그 탐지기는 여전히 로봇의 확신을 따라갔습니다. 이는 우리가 모델에서 보는 '진실'이 실제 사실에 관한 것이라기보다 모델이 자신의 출력물에 대해 어떻게 느끼느냐에 관한 것일 수 있음을 시사합니다. 저자들은 어떤 신호가 한 작업에서 다른 작업으로 전이될 수 있다고 해서 그것이 진실을 나타내는 것은 아니며, 그것은 단지 모델 자신의 의견을 나타내는 것일 수 있다고 결론지었습니다. 따라서 우리는 로봇의 뇌를 들여다보고 그들이 얼마나 확신하는지는 알 수 있지만, 그 확신이 진실을 말하고 있는지까지는 아직 확신할 수 없습니다. 이 연구는 우리가 이 모델들로부터 읽을 수 있는 가장 신뢰할 만한 것은 객관적인 현실 검증이 아니라 그들 자신의 자기 평가라는 점을 시사합니다.

기술 요약: 자기 판단 혼재(Self-Judgement Confounding) 하에서의 정답성 프로브 진단

문제 정의

LLM의 은닉 상태(hidden-state) 판독(readout)은 모델 출력의 사실적 정확성을 예측할 수 있다. 그러나 중대한 의미론적 모호성이 존재한다. 즉, 객관적 정답성(Objective Correctness, OC)—답안이 외부의 실제 정답과 일치하는지 여부—는 일반적으로 모델 자신의 자기 판단(Self-Judgement, SJ)—모델이 자신의 답이 맞다고 믿는지 여부—와 강하게 상관되어 있다. 이 두 변수는 대개 일치하기 때문에, 기존의 정답 레이블 기반 대조(예: 정답 응답과 오답 응답의 비교)는 외부의 진실과 모델 내부의 평가적 태도 사이의 신경학적 상관관계를 혼동하는 경우가 많다.

핵심 질문은 은닉 상태에서 추출된 전이 가능한 "진리 방향(truth direction)"이 답변과 외부 실제 정답 사이의 관계를 나타내는가, 아니면 단순히 해당 답변에 대한 모델 자신의 평가를 나타내는가 하는 점이다. 선행 연구들은 진리 관련 방향이 작업 및 논리적 변환 전반에 걸쳐 전이될 수 있음을 보여주었으나, 재사용성(reusability)만으로는 해당 판독이 어떤 변수를 나타내는지 식별할 수 없다. 이러한 모호함은 특히 OC와 SJ가 불일치할 때 문제가 되는데, 표준 프로브가 사실적 정확성보다는 모델의 확신이나 지지(endorsement)를 예측하도록 학습될 위험이 있기 때문이다.

방법론

실험 설계: 갈등 세트(The Conflict Set)

저자들은 OC와 SJ를 분리하기 위해 이 두 가지 이진 변수를 교차하여 네 가지 유형의 응답을 생성하는 "갈플 세트"를 구성한다:

A (1,1): 객관적으로 정답이며, 자기 지지됨 (Objectively Correct, Self-Endorsed).
B (1,0): 객관적으로 정답이나, 자기 거부됨 (Objectively Correct, Self-Rejected, False Negative).
C (0,1): 객관적으로 오답이나, 자기 지지됨 (Objectively Incorrect, Self-Endorsed, False Positive).
D (0,0): 객관적으로 오답이며, 자기 거부됨 (Objectively Incorrect, Self-Rejected).

결정적인 진단 비교 대상은 B와 C이다. OC와 관련된 방향은 B(정답)를 C(오답)보다 높게 순위 매겨야 한다. 반대로, SJ와 관련된 방향은 C(지지됨)를 B(거부됨)보다 높게 순위 매겨야 한다.

요인 분해(Factorial Decomposition)

저자들은 표준 혼합 대조( $W_{mix} = \mu_A - \mu_D$ )를 두 개의 직교하는 주효과로 분해하는 방식을 제안한다:

$W_{meta}$ (SJ 관련): $[(\mu_A - \mu_B) + (\mu_C - \mu_D)] / 2$ . 이는 모델의 자기 판단의 한계 효과를 포착한다.
$W_{truth}$ (OC 관련): $[(\mu_A - \mu_C) + (\mu_B - \mu_D)] / 2$ . 이는 객관적 정답성의 한계 효과를 포착한다.

선형 연관 모델(linear associative model) 하에서 $W_{mix}$ 는 이 두 구성 요소의 합이다. 본 연구는 어떤 구성 요소가 도메인 간 전이 시 그 의미론적 극성(순위)을 유지하는지 평가한다.

데이터 및 모델

모델: 최대 14B 파라미터 규모의 네 가지 인스트럭션 튜닝된 LLM (Qwen2.5-7B/14B, Llama-3.1-8B, OLMo-3-7B).
도메인:
- 소스(Source): 수학적 추론(Math) 및 사실적 회상(Movies).
- 타겟(Target, 분포 외 도메인): MMLU (4지 선다형) 및 Binary TruthfulQA.
절차:
1. 질문당 여러 응답 생성.
2. "엄격한 쌍(strict pairs)" 필터링: 모델이 적어도 하나의 정답과 하나의 오답을 생성하며, 두 응답 모두 높은 확신( $p_{judge} \ge 0.7$ 또는 $\le 0.3$ )으로 판단된 경우.
3. 최종 답변 토큰에서의 은닉 상태 추출.
4. 소스 도메인에서 방향을 피팅하고, 타겟 도메인에서 재피팅 없이 평가(zero-target-fitting).
5. 갈등 쌍(B vs. C)의 순위를 매기는 AUC(Area Under the Curve)를 사용하여 성능 측정.

주요 결과

1. 기존 프로브는 자기 판단을 따른다

실험 1에서 표준 혼합 방향( $W_{mix}$ )을 B/C 갈등 상황에 대해 평가했다. 객관적 정답성을 우선시할 것이라는 예상과 달리, $W_{mix}$ 는 일관되게 C (오답/자기 지지)를 B (정답/자기 거부)보다 높게 순위 매겼다. 이는 SJ 레이블 없이 피팅된 "OC 전용" 제어 방향에서도 동일하게 나타났으며, 이는 표준 정답성 프로브가 실제 진실보다는 모델의 평가적 태도에 의해 지배된다는 것을 시사한다.

2. 비대칭적 전이 가능성

실험 2B(교차 도메인 전이)에서 저자들은 $W_{meta}$ 와 $W_{truth}$ 가 타겟 도메인에서 기대되는 순위를 유지하는지 테스트했다:

$W_{meta}$ (SJ 관련): 모든 모델과 방향(Math $\leftrightarrow$ Movies, 그리고 MMLU/TruthfulQA로의 전이)에서 성공적으로 전이되었다. 이는 일관되게 C를 B보다 높게 순위 매겼으며, AUC는 우연 수준(0.5)보다 유의미하게 높았다 (0.57–0.93).
$W_{truth}$ (OC 관련): 전이에 실패했다. 거의 모든 조건에서 OC 관련 방향은 C를 B보다 높게 순위 매겼으며 (AUC < 0.5), 이는 기대했던 순서를 역전시킨 것이다. 즉, 타겟 도메인에서 "정답성" 의미를 보존하지 못했다.

3. 강건성 및 제어

결과는 여러 제어 항목에서도 강건했다:

레이어 깊이: 전이 비대칭성은 중간에서 후기 레이어(정규화된 깊이 0.40–0.80)에서 나타난다.
널 제어(Null Controls): 무작위 방향 및 레이블 셔플 제어는 이 패턴을 재현하지 못했다.
혼란 변수: 응답 토큰 수, 응답 로그 확률, 강제 선택 과업의 정답 옵션 ID를 통제한 후에도 결과는 지속되었다.
OOD 일반화: SJ 관련 신호는 특정 데이터셋에 대한 방향 피팅 없이도 MMLU와 TruthfulQA로 전이되었다.

주요 기여

판독의 의미론적 진단: 갈등 상황을 활용하여 전이 가능한 판독이 객관적 진실을 나타내는지 혹은 모델의 자기 평가를 나타내는지 구분하는 방법을 제공한다.
혼재(Confounding) 식별: "진리 방향"에 관한 기존 문헌의 발견들이 종종 모델의 자기 판단에 의해 혼재되어 있음을 입증한다. OC와 SJ가 불일치할 때, 전이되는 신호는 외부의 진실이 아니라 모델의 지지와 관련된 신호이다.
요인 분해 프레임워크: $W_{meta}$ 와 $W_{truth}$ 를 별도의 추정 가능한 구성 요소로 도입함으로써, 은닉 상태 분석에서 이러한 의미론적 신호를 엄격하게 분리하는 방법을 제시한다.

의의 및 주장

본 논문은 전이 가능성(transferability)만으로는 LLM 판독의 객관적 정답성 의미를 확립하기에 불충분하다고 결론짓는다. 특정 방향이 작업 전반에 걸쳐 일반화될 수 있지만, 그것은 실제 사실적 진리가 아니라 모델의 내부적 확신이나 평가적 태도를 추적하는 것일 수 있다.

해석: 정답성 프로브에서 가장 신뢰할 만하게 전이되는 구성 요소는 **자기 판단(SJ)**과 관련된 것이다. 이는 모델이 객관적 정답과는 구별되면서도, 갈등 상황에서 이를 압도할 수 있는 자신의 출력에 대한 확신 또는 "지지"를 나타내는 견고한 내부 표현을 가지고 있음을 시사한다.
함의: LLM이 "특권적인 내성적 접근 권한(privileged introspective access)"을 갖거나 특정 은닉 상태가 "진리"를 인코딩한다는 주장은 재검토되어야 한다. 만약 프로브가 정답을 예측하더라도 모델이 확신을 가지고 틀렸을 때 실패한다면, 그것은 출력의 사실적 타당성이 아니라 모델 자신의 출력에 대한 믿음을 측정하는 것이다.
범위: 저자들은 본 진단 샘플이 고확신 판단 및 특정 인스트럭션 튜닝 모델로 제한되어 있음을 명시한다. 이는 진실 탐지에 대한 문제를 해결했다는 주장이 아니라, 현재의 프로빙 방법론에 존재하는 근본적인 모호성을 진단한 것이다. 연구 결과는 향후 진실성에 관한 연구가 모델의 자기 평가 신호와 객관적 정답성을 명시적으로 고려하고 분리해야 함을 시사한다.