Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

기술 요약: 언어 모델 내부의 신뢰할 수 있는 해석을 위한 활성화 오라클의 신뢰도와 보정

문제 제기
활성화 오라클은 대상 모델의 숨은 상태 (hidden states) 를 자연어 설명으로 번역하도록 미세 조정된 언어 모델로, 암기된 사실, 숨겨진 목적, 또는 비밀 단어와 같은 내부 표현의 해석을 가능하게 합니다. 이러한 오라클은 활성화에서만 드러나는 정보를 복원하는 데 유망한 성과를 보여왔으나, 현재 그 출력에는 확실성 (certainty) 의 개념이 결여되어 있습니다. 이러한 보정된 신뢰도의 부재는 정렬 감사, 기만 탐지, 숨겨진 목적의 도출과 같은 하류의 실행 가능한 의사결정에 있어 매우 중요합니다. 표준 불확실성 정량화 (UQ) 기법들은 유도되지 않은 (un-steered) 모델을 위해 개발되었으나, 추론 시 대상 모델의 벡터로 잔류 스트림이 덮어쓰는 "유도된 (steered)" 모델로 작동하는 활성화 오라클에 대해서는 엄격하게 평가되지 않았습니다. 본 연구가 다루는 핵심 문제는 이러한 특정 유도 섭동 하에서 어떤 신뢰도 추정 방법이 유효하고 잘 보정된 상태를 유지하는지 식별하는 것입니다.

방법론
저자들은 두 개의 활성화 오라클, 즉 공개된 Qwen3-8B 오라클과 새로운 하이브리드 선형 및 풀 어텐션 아키텍처에 맞게 적응된 Qwen3.6-27B 오라클에 대해 여섯 가지 서로 다른 UQ 기법을 벤치마크했습니다. 평가는 20 개의 특정 단어 중 하나를 비밀로 유지하도록 미세 조정된 대상 모델을 대상으로 하는 "비밀 단어 금기 (secret-word taboo)" 과제를 활용하여 수행되었습니다. 각 오라클당 6,000 개의 샘플 (20 개의 대상 단어, 100 개의 컨텍스트 프롬프트, 3 개의 버버라이저 프롬프트로 구성) 에 대해, 오라클은 주입된 숨은 상태에서 비밀 단어를 디코딩하려고 시도합니다.

평가된 여섯 가지 방법은 다음과 같습니다:

1. 로그 확률 (기준): 예측된 답변 단어의 결합 토큰 로그 확률.
2. 온도 부트스트랩: 다양한 온도 ($T \in \{0.3, \dots, 1.5\}$) 에서 $k=20$개의 답변을 샘플링하고, 최빈 답변의 경험적 빈도를 신뢰도로 사용하는 방법.
3. 직접 수치 자기 보고: 답변 생성 후 오라클에게 0~100 범위의 수치 신뢰도 점수를 출력하도록 프롬프팅하는 방법.
4. MCMC 파워 샘플링 수용: 단일 블록 메트로폴리스 - 헤이스팅스 (MH) 사슬을 파워 샘플링 ($\alpha > 1$) 과 함께 사용하고 경험적 수용률을 측정하는 방법.
5. MCMC 파워 샘플링 합의: $k=10$개의 독립적인 MH 사슬을 실행하고 사슬 간 합의를 측정하는 방법 (자기 일관성과 유사).
6. 유도 민감도: 기본값 주변의 유도 계수 ($c$) 를 스윕하고 디코딩된 답변의 안정성을 측정하는 방법.

성능은 정확도, 기대 보정 오차 (ECE), 브라이어 점수, 음의 로그 가능도 (NLL), 그리고 AUROC (순위화 능력) 를 사용하여 측정되었습니다.

주요 결과

• 최고 성능 방법: 온도 부트스트랩 최빈 빈도는 두 모델 모두에서 가장 잘 보정된 방법으로 나타났습니다. Qwen3-8B 에서 최적 온도는 $T=1.0$(ECE 5.7%) 이었고, Qwen3.6-27B 에서는 $T=1.5$(ECE 10.3%) 였습니다. 최적 온도는 작업 정확도와 상관관계가 있으며, 모델의 정확도가 낮아질수록 (더 어려운 작업) 더 높은 온도 (더 평평한 샘플링) 가 더 나은 보정을 제공합니다.
• 분류용 로그 확률: 로그 확률은 최적 부트스트랩 구성보다 높은 ECE 를 보였지만, 높은 AUROC(순위화 능력) 를 달성하여 사후 보정 (예: 등적 재조정) 이 적용될 경우 빠르고 저비용의 분류 신호로 기능합니다.
• 자기 보고의 실패: 자유 형식의 수치 자기 보고는 가장 보정이 잘 되지 않은 방법이었습니다. 27B 오라클에서 이는 "역보정 (anti-calibrated)"되어, 모델이 정답 (97.6%) 보다 오답 (평균 98.9%) 에 대해 더 높은 신뢰도를 표현했습니다. 이는 표준 LLM 에서 관찰된 "프로브 대 구두화" 신뢰도 격차를 재현한 것으로, 자연어 유도 채널이 숨은 상태에 기반한 신호보다는 훈련 사전 지식에 의해 지배됨을 시사합니다.
• MCMC 수용의 실패: 단일 사슬 MCMC 수용 비율은 정답과 오답을 구분하지 못했습니다 (AUROC 약 0.53~0.60). 저자들은 이를 유도된 조건부 분포가 탐욕적 답변에 급격히 뾰족하게 집중되어 있기 때문으로 설명합니다. 결과적으로 MH 사슬은 정확성과 관계없이 제안을 수용하여 수용률이 포화 상태에 이릅니다.
• 유도 민감도: 이 방법은 이산적이고 거친 신뢰도 값 (0.2, 0.4 등) 을 생성하고 보정이 불량하여 (ECE > 40%) 확률적 신호로는 부적합하지만, 이진 진단 도구로는 기능할 수 있습니다.

기여

1. 활성화 오라클을 위한 최초의 UQ 벤치마크: 이 논문은 두 개의 모델과 네 가지 보정 메트릭을 포괄하여 유도된 활성화 오라클에 대한 체계적인 불확실성 정량화 평가를 최초로 수립했습니다.
2. 새로운 방법의 평가: 유도된 오라클 설정을 위해 설계된 세 가지 방법 (MCMC 수용, MCMC 합의, 유도 민감도) 을 도입하고 평가하여, MCMC 수용과 유도 민감도가 이러한 맥락에서 부정적인 결과를 낳는 기작적 설명을 제공합니다.
3. 실용적 레시피: 저자들은 홀드아웃 단어 슬라이스에서 평균 최빈 빈도가 해당 슬라이스의 경험적 정확도와 일치하도록 부트스트랩 온도를 선택하는 실용적인 튜닝 전략을 제안합니다.
4. 신뢰도 격차의 재현: 이 연구는 내부 활성화 신호와 구두화된 신뢰도 사이의 격차가 활성화 오라클에도 존재하며, 자유 형식 자기 보고가 숨은 상태에 존재하는 불확실성 신호를 포착하지 못함을 확인했습니다.
5. 새로운 오라클 공개: 이 논문은 하이브리드 선형 및 풀 어텐션 아키텍처 (Qwen3.6-27B) 를 위한 최초의 활성화 오라클과 함께 패치된 트레이너 및 버버라이저 가중치를 공개합니다.

의의 및 주장
이 논문은 활성화 오라클을 기반으로 시스템을 구축하는 실무자들에게 온도 부트스트랩 최빈 빈도가 경험적 정확도와 일치하도록 온도를 튜닝한 경우 생산 준비가 된 신뢰도 신호라고 주장합니다. 로그 확률은 보정이 덜 되었지만, 사후 재조정과 결합될 경우 분류를 위한 실행 가능하고 저비용의 대안으로 남습니다.

저자들은 명시적으로 MCMC 수용 비율이 유도된 사후 분포의 최빈점 집중 특성으로 인해 이 작업에 적합한 신뢰도 신호가 아니라고 명시합니다. 또한, 자유 형식 수치 자기 보고는 이 설정에서 신뢰할 수 없으며 역보정된다고 경고합니다. 연구는 성찰적 UQ 가 필요한 경우, 자유 텍스트 생성을 우회하는 제한된 라벨 점수화가 신호를 복원할 수 있음을 시사하며, 이는 소규모 파일럿 연구에서 입증되었습니다.

이 작업은 범위가 제한적이며, 결과가 두 개의 Qwen 계열 모델과 하나의 훈련 레시피에 기반함을 지적합니다. 모델 간 일관성이 패러다임 수준의 주장을 시사하지만, 저자들은 모든 아키텍처에 대한 일반성을 주장하지는 않습니다. 이 발견들은 언어 모델 내부의 신뢰할 수 있는 해석이 숨은 상태의 디코딩뿐만 아니라 해당 디코딩의 신뢰도를 엄격하게 정량화하는 것을 필요로 하며, 현재 부트스트랩 방법이 가장 견고한 해결책을 제공함을 강조합니다.