Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

1. 문제 제기 및 배경

이 논문의 핵심 질문은 대규모 언어 모델 (LLM) 이 자신의 답변의 정확성에 관한 **특권적 지식 (privileged knowledge)**을 보유하고 있는지 여부입니다. 즉, 모델의 내부 상태에 자신의 답변이 정확할 것임을 나타내는 특정 신호가 포함되어 있으며, 이러한 신호가 외부 관찰자 (다른 모델) 가 접근할 수 없는 것인지 여부입니다.

• 이론적 배경: 한 에이전트가 자신의 내부 상태에 특별한 접근권을 가진다는 철학적 개념인 '인식적 특권 (epistemic privilege)'에서 영감을 받았습니다.
• 모순된 연구 현황:
  • 일부 연구는 LLM 이 은닉 상태의 선형 프로브 (probes) 를 통해 자신의 정확성을 예측할 수 있음을 시사합니다.
  • 반면, 최근의 다른 연구들 (Chi et al., Seo et al., Xiao et al.) 은 이 아이디어에 의문을 제기하며, 프로브가 단순히 검색 패턴이나 질문의 공개적 특징을 감지할 뿐이며, 외부 모델이 모델 자체만큼 정확성을 잘 예측할 수 있다고 주장합니다.
• 논문의 가설: 특권적 지식의 부재를 부정하는 이전 결론들은 중요한 교란 요인인 **모델 간 합의 (inter-model consensus)**로 인해 성급할 수 있습니다. 모델들이 답변의 정확성에 대해 종종 일치한다면, 외부 모델은 자신의 정확성 패턴을 프록시로 사용하여 대상 모델의 정확성을 예측할 수 있게 되며, 이로 인해 고유한 내부 신호의 부재나 존재가 가려지게 됩니다.

2. 방법론

저자들은 모델의 고유한 내부 신호를 분리하기 위해 엄격한 실험적 프레임워크를 제안합니다.

A. 특권적 지식의 정의

모델의 은닉 상태 $h$는 두 가지 잠재 구성 요소로 분해됩니다:

1. $z_{public}$: 모든 모델이 접근 가능한 질문의 고유한 특징 (도메인, 개체 유형 등).
2. $z_{private}$: 모델에 특정한 내부 상태 (메모리 검색 성공 여부, 추론에 대한 신뢰도 등). 이 구성 요소가 바로 '특권적 지식'을 구성합니다.

B. 프로브 (Probe) 설정

$z_{private}$의 존재를 테스트하기 위해 저자들은 답변의 정확성 ($y \in \{0, 1\}$) 을 예측하는 분류기 (프로브) 를 훈련시킵니다:

• Self-Probe (자기 프로브): 대상 모델 ($M_{target}$) 의 내부 표현을 기반으로 훈련되어 해당 모델의 자체 정확성을 예측합니다.
• External-Probe (외부 프로브): 다른 모델 ($M_{source}$) 의 표현을 기반으로 훈련되어 대상 모델의 정확성을 예측합니다.
  • Cross-Model: 유사한 크기의 LLM 을 사용합니다.
  • Embedding-Model: 임베딩 모델을 사용합니다.

C. 지표: "프리미엄 갭 (Premium Gap)"

프리미엄 갭은 Self-Probe의 성능 (AUC 로 측정) 이 가장 좋은 External-Probe보다 우월한 정도를 의미합니다.

• 갭이 0 이라면, 정확성은 공개된 특징 ($z_{public}$) 을 통해 완전히 예측 가능함을 시사합니다.
• 갭이 양수이고 유의미하다면, 특권적 지식 ($z_{private}$) 이 존재함을 나타냅니다.

D. 핵심 혁신: 불일치 하위 집합 (Disagreement Subsets)

합의 편향을 제거하기 위해 저자들은 무작위 전체 데이터가 아닌 불일치 하위 집합에 초점을 맞춰 테스트합니다.

• 정의: 대상 모델과 소스 모델이 정확성 라벨이 반대 (하나는 맞고 다른 하나는 틀림) 로 생성되는 질문들의 집합.
• 이유: 이러한 경우 외부 모델은 자신의 정확성 패턴을 대상 모델의 프록시로 사용할 수 없습니다. 만약 이 하위 집합에서 Self-Probe가 여전히 External-Probe를 능가한다면, 이는 특권적 지식의 직접적인 증거가 됩니다.

E. 실험 구성

• 모델: 세 가지 유사 크기 LLM(Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) 과 확장성을 위한 더 큰 모델 (Qwen-3-32B).
• 데이터: 두 도메인을 아우르는 다섯 가지 데이터셋:
  • 사실적 지식: Mintaka, TriviaQA, HotPotQA.
  • 수학적 추론: GSM1K, MATH.
• 방법: 모든 5 번째 층과 마지막 층의 은닉 상태에 대한 선형 (로지스틱 회귀) 및 비선형 (MLP) 프로브.

3. 주요 결과

A. 표준 데이터셋에서의 프리미엄 갭 부재

완전한 무작위 테스트 세트에서 저자들은 프리미엄 갭이 0 이거나 무시할 수 있음을 확인합니다.

• 외부 프로브 (특히 Gemma 기반) 는 내부 프로브와 동등하거나 더 나은 성능을 보입니다.
• 이는 높은 모델 간 일치율 (사실 ~80%, 수학 ~75%) 로 인해 외부 프로브가 공유된 정확성 패턴을 활용할 수 있기 때문입니다.

B. 도메인별 특권적 지식의 등장

불일치 하위 집합에서 평가할 때, 결과는 도메인에 따라 극적으로 달라집니다:

1. 사실적 지식 (TriviaQA, Mintaka, HotPotQA):

   • 통계적으로 유의미한 **프리미엄 갭 (약 5%)**이 나타납니다.
   • Self-Probes는 일관되게 External-Probes를 능가합니다.
   • 결론: 모델들은 외부 관찰자가 접근할 수 없는 사실적 답변의 정확성에 관한 특권적 지식을 보유하고 있습니다.

2. 수학적 추론 (MATH, GSM1K):

   • 불일치 하위 집합에서도 프리미엄 갭이 관찰되지 않습니다.
   • 외부 프로브는 내부 프로브와 동등하거나 더 나은 성능을 보입니다.
   • 결론: 수학적 추론의 정확성은 모든 모델이 접근 가능한 질문의 구조적 특징에 기반하며, 특권적 내부 신호에 의존하지 않습니다.

C. 시간적 위치 (층별 분석)

저자들은 이러한 신호가 네트워크의 어느 깊이에서 나타나는지 분석합니다:

• 사실적: 초기 층에서는 프리미엄 갭이 0 에 가깝고, 중간 층 (약 10~15 층) 부터 점진적으로 증가하여 깊은 층까지 이어집니다. 이는 특권적 지식이 전진 통과 (forward pass) 중에 축적되는 메모리 검색과 관련이 있음을 시사합니다.
• 수학적: 일관된 경향은 관찰되지 않으며, 모든 깊이에서 갭은 0 이거나 음수입니다.

D. 신호 원인 분석 ("Lexical-Only" 실험)

구문론을 제거하고 고유명사와 명사만 남겼을 때:

• 사실적 작업과 MATH 에 대한 정확성 예측은 여전히 강력하여, 개념에 대한 친숙성이 핵심 요소임을 시사합니다.
• GSM1K 의 경우 성능이 무작위 수준으로 떨어지는데, 이는 수학적 정확성이 표면적 토큰이 아닌 문제의 계산 구조에 의존함을 나타냅니다.

4. 주요 기여

1. 주요 교란 요인 식별: 표준 평가에서 모델 간 합의가 잠재적 특권적 지식의 존재를 가린다는 것을 입증합니다.
2. 불일치 방법론: 모델의 고유한 내부 신호를 분리하기 위한 표준 방법으로서 불일치 하위 집합에 대한 평가를 도입합니다.
3. 도메인 비대칭성: 특권적 지식이 LLM 의 보편적 속성이 아니라 도메인별임을 규명합니다. 사실 검색에는 존재하지만 복잡한 수학적 추론에는 부재합니다.
4. 아키텍처적 위치 매핑: 사실적 작업에서 이러한 신호가 모델의 중간 및 깊은 층에서 점진적으로 등장하는 것을 매핑합니다.

5. 의미 및 함의

• 이전 연구의 조화: LLM 이 "자신이 옳은지 안 옳은지 안다"는 주장과 반대 주장을 이 논문이 해결합니다. 진실은 미묘합니다. 그들은 사실적 정확성에 대한 특권적 접근을 가지지만, 추론에 대해서는 그렇지 않습니다.
• 할루시네이션 탐지: 결과들은 특정 모델의 활성화가 외부 '블랙박스' 도구가 볼 수 없는 오류 (할루시네이션) 탐지 신호를 포함할 수 있음을 시사하며, 특히 지식 작업에서 그렇습니다.
• 내성적 능력의 한계: 모델의 자기 평가 능력은 작업의 성격에 따라 달라집니다. 추론 작업의 경우, 내부 신호를 통한 자기 평가는 외부 분석에 비해 이점을 제공하지 않습니다.
• 미래 전망: 이러한 정확성 신호를 조작하여 모델의 신뢰성을 향상시키기 위한 개입 (활성화 제어) 실험으로의 문을 엽니다.

요약하자면, 이 논문은 LLM 이 자신의 정확성에 대한 일종의 '의식'을 가지고 있음을 입증하지만, 이 능력은 표준 평가에서는 합의에 의해 가려져 있으며 사실적 기억 작업으로 제한되어 복잡한 논리적 추론으로 확장되지 않는다고 결론지었습니다.