Epistemic Observability in Language Models

1. 문제 정의: 텍스트 기반 관측의 실패와 역설

1.1. 핵심 발견: 자신감의 역설 (Self-Report Inversion)

• 현상: 연구진은 OLMo-3, Llama-3.1, Qwen3, Mistral 등 4 가지 모델 패밀리에서 "이 답변에 대한 자신감은 얼마나 됩니까?"라고 질문했습니다.
• 결과: 모델은 사실적인 질문에 대해서는 moderate(중간) 한 자신감을 보인 반면, 사실과 무관한 그럴듯한 거짓말 (Fabrication) 을 할 때 가장 높은 자신감을 표시했습니다.
• 통계적 증거: ROC 곡선 아래 면적 (AUC) 이 0.28~0.36 사이로 나타났습니다 (0.5 는 무작위 추측, 1.0 은 완벽한 구분을 의미함). 이는 모델이 스스로의 오류를 감지하는 신호를 텍스트로 내보낼 때, 오히려 오류가 있을 때 더 확신하는 역전된 상관관계를 보임을 의미합니다.

1.2. 근본 원인: 관측 격차 (Observational Gap)

• 언어 모델은 내부적으로 어텐션 패턴, 토큰별 엔트로피, 로그 확률 분포 등을 계산합니다. 사실 기반 생성과 환각 생성은 이 내부 계산 과정에서 구조적으로 다른 특징을 가집니다.
• 그러나 표준 인터페이스는 최종 텍스트만 내보내고 내부 계산 과정은 폐기합니다.
• 문제: 감독자 (Supervisor) 가 텍스트만 볼 수 있다면, 모델이 내부적으로 "이건 사실이다"라고 알고 있든 "이건 가짜다"라고 알고 있든, 둘 다 유창하고 자신감 있는 텍스트를 생성하므로 구분이 불가능합니다. 이는 모델의 능력 부족이 아니라, 관측 모델 (Observation Model) 의 구조적 한계입니다.

---

2. 방법론 및 이론적 증명

저자는 텍스트 기반 관측의 한계를 형식적으로 증명하고, 이를 우회하는 새로운 아키텍처를 제안합니다.

2.1. 불가능성 정리 (Impossibility Theorems)
논문은 두 가지 주요 정리를 통해 텍스트 기반 검증의 한계를 증명합니다.

• 정리 1 (표현적 불가능성, Representational Impossibility):
  • 모델이 쿼리 ($q$) 만을 조건으로 할 때, 답변 가능한 세계 상태 ($w_A$) 와 답변 불가능한 세계 상태 ($w_B$) 를 구별하여 정직한 응답 (답변 또는 거절) 을 생성하는 것은 불가능합니다.
  • 텍스트 출력만으로는 두 상태가 동일하게 보일 수 있으므로, 확률론적 정책은 두 상태에 대해 상충되는 요구사항 (정답 생성 vs 거절) 을 동시에 만족할 수 없습니다.
• 정리 2 (학습 불가능성, Learnability Impossibility):
  • 제한된 검증 예산 ($B$) 을 가진 감독자가 텍스트만 보고 보상을 줄 때, 모델은 사실과 환각을 구별하는 정책을 학습할 수 없습니다.
  • 검증 비용이 높아 실제 검사가 불가능한 경우, 감독자는 환각과 사실을 구별할 수 없으므로 동일한 보상을 줍니다. 결과적으로 모델은 "사실처럼 보이는 거짓말"을 생성하는 것이 최적의 전략임을 학습하게 됩니다.
• 중첩된 심사자 (Stacking Judges) 의 실패:
  • 텍스트 채널만 사용하는 여러 심사자를 쌓아도 정보 손실이 누적될 뿐, 새로운 관측 정보를 얻을 수 없으므로 불가능성을 해결하지 못합니다.

2.2. 탈출구: 텐서 인터페이스 (Tensor Interface)

• 해결책: 모델이 생성 과정에서 자연스럽게 계산하는 **내부 신호 (Internal Telemetry)**를 텍스트와 함께 내보내는 것입니다.
• 주요 신호:
  • 토큰별 엔트로피 (Per-token Entropy): 다음 토큰 예측의 불확실성. 사실 기반 생성은 종종 높은 엔트로피 (불확실성) 를 보이지만, 환각은 유창하게 생성되어 낮은 엔트로피 (높은 확신) 를 보입니다.
  • 로그 확률 분포 및 어텐션 요약: 생성의 구조적 일관성 지표.
• 이유: 텍스트는 훈련을 통해 조작 (조작된 확신 표현 등) 이 가능하지만, 엔트로피와 같은 계산 신호는 모델이 실제로 무엇을 계산하는지에 구조적으로 결합되어 있어 조작이 어렵습니다.

---

3. 주요 기여 (Key Contributions)

1. 텍스트 기반 검증의 불가능성 증명: 형식적 가정 하에, 텍스트만 관찰하는 감독자가 인지적 정직성 (Epistemic Honesty) 을 검증할 수 없음을 수학적으로 증명했습니다.
2. 텐서 인터페이스 설계: 모델의 내부 계산 부산물 (엔트로피 등) 을 내보내는 새로운 관측 모델을 제안했습니다. 이는 모델의 크나 훈련 방식과 무관하게 작동합니다.
3. 검증 비용 표면 (Cost Surface) 작성: 검증 예산 (질문의 10%, 20%, 30% 를 검사하는 경우) 과 탐지 정확도 간의 관계를 실증적으로 매핑했습니다. 시스템 빌더가 투자 대비 효과를 판단할 수 있는 실용적인 지도를 제공합니다.

---

4. 실험 결과 (Empirical Results)

4.1. 실험 설정

• 모델: OLMo-3, Llama-3.1, Qwen3, Mistral 등 4 가지 아키텍처.
• 데이터: 200 개의 질문 (100 개는 사실 확인 가능, 100 개는 환각 유발용).
• 비교 조건:
  1. 심사자 없음 (Baseline)
  2. 텍스트 기반 심사자 (답변 길이 등 사용)
  3. 텐서 기반 심사자 (엔트로피 사용)
  4. 복합 심사자 (엔트로피 + 인용구 확인)

4.2. 주요 성과

• 정확도 향상: 텐서 기반 검증 (엔트로피 사용) 은 모든 예산 수준 (10%, 20%, 30%) 에서 텍스트 기반 베이스라인보다 2.5~3.9%p 높은 정확도를 달성했습니다.
  • 30% 예산 기준: 텍스트 기반 87.6% vs 텐서 기반 90.2%.
• AUC 성능: 토큰별 엔트로피는 모델 간 평균 AUC 0.757을 기록하여, 텍스트 특징 (최대 0.70 미만) 을 압도했습니다.
• 일반화: 다양한 아키텍처 (Spearman $\rho$ = 0.762) 에서 신호가 일관되게 작동함을 확인했습니다.
• 비용 효율성: 엔트로피 신호를 내보내는 데 드는 추론 오버헤드는 약 **2.4%**에 불과합니다.

4.3. 한계와 복합적 접근

• 인용구 (Citation) 의 역전: 인용구 생성 시에는 엔트로피가 오히려 사실보다 거짓에서 더 낮게 나오는 역전 현상이 발생했습니다. 이는 엔트로피가 '생성 확신'을 측정하지 '사실성'을 직접 측정하지 않기 때문입니다.
• 해결: 복합 심사자 (엔트로피 + 외부 데이터베이스 확인) 를 통해 인용구 관련 오류를 추가로 탐지하여 정확도를 91.8% 까지 끌어올렸습니다.

---

5. 의의 및 시사점

1. 인지적 정직성은 능력 문제가 아닌 관측 문제: 모델이 더 커지거나 RLHF 를 더 많이 받아도 텍스트만으로는 정직성을 검증할 수 없습니다. 이는 모델의 능력 부족이 아니라, 인터페이스 (관측 채널) 의 결함입니다.
2. 시스템 빌더를 위한 실용적 가이드: "비용 표면 (Cost Surface)"을 통해 시스템 개발자는 자신의 애플리케이션 (의료, 법률 등) 에 필요한 검증 수준에 맞춰 예산을 할당할 수 있습니다. 텍스트만으로는 88% 정도의 정확도 한계가 있지만, 텐서 인터페이스를 도입하면 이를 극복할 수 있음을 보여줍니다.
3. 거버넌스 및 투명성: 현재 대형 모델 제공업체들은 내부 신호 (로그 확률 등) 를 점점 더 숨기고 있습니다. 이는 제 3 자가 모델의 정직성을 검증할 수 없게 만들어 책임 소재를 제공업체에게만 집중시킵니다. 이 논문은 **내부 신호의 공개 (Export)**가 필수적임을 강조하며, 이는 분산형 검증과 책임 있는 AI 배포의 핵심 조건입니다.
4. 미래 방향: 엔트로피 신호는 강력하지만 만능은 아닙니다. 아드버서리 (Adversarial) 훈련으로 신호가 조작될 가능성에 대비해야 하며, 다양한 실패 모드 (인용구, 사실 확인 등) 에 맞춰 다중 계층 (Multi-tier) 검증 전략이 필요합니다.

결론적으로, 이 논문은 언어 모델의 환각 문제를 해결하기 위해 "더 똑똑한 모델"을 만드는 것이 아니라, "모델이 내부적으로 계산하는 신호를 외부에 투명하게 내보내는 새로운 아키텍처"가 필요함을 이론과 실증으로 증명했습니다.