기술 요약: 활성화 분산(Activation Dispersion)을 통한 엔티티 친숙도와 사실적 신뢰도의 분리

문제 정의

대규모 언어 모델(LLM)은 사전 학습 과정에서 접하지 못한 엔티티(entity)에 대해 질의할 때 빈번하게 환각(hallucination)을 일으킨다. 메커니즘 연구들은 지식 검색이 국소적인 활성화 패턴을 포함하는 반면, 환각은 비국소적인(delocalized) 패턴을 포함한다는 점을 시사하지만, 비지도 방식의 단일 순전파(single-forward-pass) 분산 통계량이 답변 토큰이 생성되기도 전에 엔티티 친숙도를 감지할 수 있는지 여부는 아직 검증되지 않았다. 또한, 이러한 내부의 "친숙도 신호"가 모델의 행동적 사실 신뢰도(즉, 모델이 알고 있는 엔티티에 대해 실제로 올바르게 답변하는지 여부)와 상관관계가 있는지도 불분명하다.

본 연구는 Bielik 제품군(1.5B에서 11B 파라미터)의 폴란드어 인스트럭션 튜닝 모델을 사용하여 이 간극을 조사한다. 본 연구는 활성화 분산이 알려진 엔티티, 실재하지만 생소한 엔티티, 그리고 조작된 엔티티를 구분할 수 있는지, 그리고 이 신호가 모델의 정답 답변 능력과 일치하는지를 조사한다.

방법론

데이터셋 및 실험 설계

저자들은 네 가지 엔티티 도메인(운동선수, 도시, 작가, 음악가)에 걸쳐 데이터셋을 구축하였다. 각 도메인은 세 가지 조건(각 42개씩 총 126개 엔티티)으로 나뉜다:

1. 알려진 것 (Known): 유명한 엔티티 (예: 로베르트 레반도프스키).
2. 알려지지 않은 실재 엔티티 (Unknown-Real): 모델이 설명할 수 없을 것으로 보이는 실재하지만 생소한 엔티티 (예: 하부 리그 운동선수).
3. **조작된 것 (Fabricated): 형태적으로 그럴듯하지만 만들어진 이름 (예: "로만 레반도프스키치").

프롬프트는 한 문장의 질문("Who is {entity}?" 또는 "What is {entity}?") 형태였다. 운동선수 도메인은 행동 분석을 위한 주요 테스트베드로 사용되었으며, 나머지 세 도메인은 일반화 성능을 테스트하는 데 사용되었다.

신호 추출 및 지표

각 프롬프트에 대해 단일 순전파가 수행되었다. 연구는 프롬프트 지점(엔티티가 처리된 후의 마지막 토큰)에서의 post-SwiGLU MLP 활성화에 집중하였다.

• 분산 지표 (비지도 방식):
  • 역참여 비율 (Inverse Participation Ratio, IPR): 활성화의 집중도를 측정한다 (높은 IPR = 국소적).
  • 스펙트럼 엔트로피 (Spectral Entropy): 정규화된 활성화 분포의 엔트로피를 측정한다 (낮은 엔트로피 = 국소적).
  • 전처리: 거대한 이상치가 통계량을 지배하는 것을 방지하기 위해 활성화를 99번째 분위수에서 윈저라이징(winsorized) 처리하였다.
• 지도 학습 상한 (Supervised Upper Bound): 최대 선형 디코딩 가능 신호를 결정하기 위해 은닉 상태(hidden states)에 훈련된 $\ell_2$ 규제 로지스틱 회귀 프로브를 사용하였다.
• 베이스라인:
  • 토큰 수 (Token Count): 엔티티 길이에 기반한 어휘적 베이스라인.
  • 의미론적 엔트로피 (Semantic Entropy): 다중 샘플링(5개 샘플 + LLM 클러스터링)을 통해 답변 일관성을 측정하는 다중 샘플 베이스라인.
  • 첫 번째 토큰 엔트로피 (First-Token Entropy): 출력 측 엔트로피 베이스라인.

평가 프레ك워크

• 선택 인식 널 (Selection-Aware Nulls): 레이어 선택에 대한 과적합을 방지하기 위해, 라벨을 셔플하고 각 순열마다 최적의 레이어/지표를 재선택하는 순열 검정(10,000회 순열)을 사용하였다. 이 널 최대값의 95 백분위수가 성능 하한선 역할을 하였다.
• 홀드아웃 검증 (Held-Out Validation): 레이어는 데이터의 절반에서 선택되었고, 나머지 절반에서 평가되었다.
• 행동 감사 (Behavioral Audit): 운동선수 도메인에 대해, 엄격한 루브릭과 완화된 루브릭 하에서 LLM 심판(Claude Opus 4.8)이 답변의 사실적 정확성을 채점하였다. 별도의 감사(Claude Haiku 4.5)를 통해 거절(refusal) 및 유보(hedge) 답변의 수를 계산하였다.

주요 기여

1. 비지도 친숙도 탐지: 본 연구는 모든 모델 규모(1.5B–11B)에서 단일 순전파에서 계산된 단순한 폐쇄형(closed-form) 분산 통계량(IPR 및 스펙트럼 엔트로피)이 알려진 엔티티와 조작된 엔티티를 AUROC 0.94–1.00으로 구분할 수 있음을 입증하였다. 이 신호는 선택 인식 순열 하한(~0.70–0.74)을 상회하며, 홀드아웃 레이어 선택에서도 생존한다.
2. 도메인 간 일반화: 탐지기는 운동선수, 도시, 작가, 음악가 전반에 걸쳐 일반화된다. 교차 도메인 프로브 전이 시 평균 오프-다이아고날(off-diagonal) AUROC는 0.92–0.99를 기록하였다. "도시" 도메인으로 전이될 때 관찰된 성능 저하는 엔티티 유형이 아닌 프롬프트 템플릿 차이("What is" vs "Who is")에 의한 것임을 매칭된 템플릿 대조군을 통해 확인하였다.
3. 스케일링 곡의 해리 (Dissociation of Scaling Curves): 본 논문은 두 가지 뚜렷한 스케일링 동작을 식별한다:
   • 표상적 친숙도 (Representational Familiarity): 알려진 엔티티와 알려지지 않은 엔티티를 구분하는 능력은 가장 작은 규모(1.5B)에서도 이미 천장에 도달해 있으며(AUROC > 0.94), 규모가 커져도 크게 개선되지 않는다.
   • 행동적 신뢰도 (Behavioral Reliability): 알려진 엔티티에 대해 올바르게 답변하는 능력은 급격히 스케일링된다. 알려진 운동선수에 대해 엄격한 기준을 적용했을 때, 완전한 정답 답변은 **0/42 (1.5B)**에서 **19/42 (11B)**로 증가했다.
4. 사실적 신뢰도에 대한 부정적 결과: 알려진 엔티티 집단 내에서, 분산 지표는 정답과 환각을 구분하는 데 실패하였다 (AUROC ~0.68–0.82, 종종 베이스라인과 구별되지 않음). 이 신호는 친숙도를 탐지하는 것이지, 진실성을 탐지하는 것이 아니다.
5. 의미론적 엔트로피와의 상보성: 단일 패스 분산은 "알려진 것 vs 조작된 것" 대조에서 의미론적 엔트로피보다 우수하지만(0.94+ vs 0.71–0.83), "정답 vs 환각" 대조에서는 의미론적 엔트로피가 분산보다 우수하다(최대 0.87). 두 지표는 서로 다른 정보(프롬프트 측의 친숙도 vs 생성 측의 일관성)를 소비한다.
6. 거절의 간극 (The Abstention Gap): 모든 규모에서 완벽에 가까운 미인지(unfamiliarity) 내부 신호를 보유하고 있음에도 불구하고, 모델은 거의 답변을 거절하지 않는다. 2,520개의 샘플링된 운동선수 답변 중, 거절은 2회, 유보 답변은 1회뿐이었다 (99.88% 직접 주장). 이 간극은 11B에서도 내부 신호가 명확히 읽힘에도 불구하고 존재한다.

결과

• 분리 가능성: 최적의 비지도 분산 지표는 알려진 운동선수와 조작된 운동선수 간의 구분에 대해 0.936(1.5B)에서 0.984(4.5B)의 AUROC를 달성하였다. 지도 학습 프로브는 0.99–1.00에 도달하여, 정보가 활성화 내에 존재함을 입증하였다.
• 통제 대조군 (Control Contrasts):
  • 알려진 것 vs. 알려지지 않은 실재 엔티티: 분산은 0.97–1.00을 달성하여, 이 신호가 단순히 조작된 문자열의 "이상함"을 추적하는 것이 아니라 친숙도를 추적함을 증명하였다.
  • 알려지지 않은 실재 엔티티 vs. 조작된 것: 분산은 0.70–0.82를 달성하였으며, 이는 조작된 문자열에 잔여적인 어휘적 또는 그럴듯함 요소가 있음을 시사하지만, 주요 신호에는 훨씬 못 미친다.
• 깊이 구조: 친숙도 신호는 초기-중기 레이어(상대적 깊이 ~0.2)부터 존재하며 네트워크 전체에 지속된다. 스펙트럼 엔트로피는 모든 모델에서 상대적 깊이 [0.48, 0.77] 구간에서 일관된 "지식 밴드(knowledge band)"를 보여준다.
• 주의력 확산 (Attention Diffuseness): 신호는 소수의 고정된 어텐션 헤드에 의해 전달되지 않는다. 헤드별 분석에 따르면 친숙도 신호는 확산되어 있으며, 4개 도메인의 상위 20개 헤드 중 공통적으로 나타나는 헤드는 1~2개에 불과하다.
• 행동 스케일링: 알려진 엔티티에 대한 정확도는 규모에 따라 단조 증가하였다 (엄격한 기준 하에 정답 수: 0 → 2 → 10 → 19).
• 거절 행동: 모델은 거의 거절하지 않는다. 11B 모델만이 두 번 거절했을 뿐, 1.5B와 4.5B 모델은 동일한 내부 친숙도 신호를 가졌음에도 전혀 거절하지 않았다.

의의 및 주장

본 논문은 엔티티 친숙도와 사실적 신뢰도가 서로 다른 스케일링 곡선을 따르는 별개의 현상이라고 주장한다.

• 친숙도는 저용량 속성이다: 작은 모델(1.5B)도 자신이 무엇을 알고 무엇을 모르는지에 대한 명확한 내부 표상을 이미 가지고 있다. 이는 메커니즘 연구에서 발견되는 엔티티 인식 회로의 "거친 입체적 그림자(coarse-grained, volumetric shadow)"이다.
• 신뢰도는 고용량 속성이다: 환각 없이 사실을 검색하는 능력은 훨씬 더 많은 파라미터와 데이터 반복을 요구한다.
• 정렬 간극 (The Alignment Gap): 가장 중요한 발견은 **거의 제로에 가까운 거절 레지임(near-zero-refusal regime)**이다. 모델은 미인지 엔티티에 대한 "완벽한" 내부 신호를 보유하고 있음에도 불구하고, 행동으로는 거의 이를 실행에 옮기지 않는다. 저자들은 이것이 능력의 문제가 아니라 정렬/튜닝의 간극이라고 주장한다 (Gemma-4와 같은 다른 계열의 모델은 유사한 조건에서 거절하도록 유도될 수 있기 때문이다).

결론적으로, 활성화 분산은 미지의 엔티 엔티를 탐지하기 위한 저렴하고 라벨이 필요 없는 게이트(검색이나 거절으로 라우팅하는 용도)를 제공하지만, 알려진 엔티티에 대한 환각을 탐지하는 데는 사용할 수 없다. 내부 상태는 모델에게 "나는 이 엔티티를 모른다"라고 말해주지만, "나는 이 알려진 엔티에 대해 거짓말을 할 것이다"라고 말해주지는 않는다.