기술 요약: 언어 모델의 등급화된 엔티티 친숙도 판독 (Graded Entity-Familiarity Readouts)

문제 정의

언어 모델(LM)은 자신이 접해보지 못한 엔티티(entity)에 대해 질문을 받았을 때, 답변을 거부할 것인지 아니면 환각(hallucination)을 일으킬 것인지 선택해야 하는 근본적인 과제에 직면합니다. 선행 연구들은 내부 상태가 이러한 선택과 관련된 정보를 포함하고 있다는 점을 밝혀냈으나, 대부분의 탐지 방법은 생성 후(답변 점수 측정)에 작동하거나 이진적 구분(알고 있음 vs. 조작됨)에 의존합니다. 이는 내부 신호의 본질에 대한 중요한 질문들을 남깁니다: 이 신호는 이진 비트인가, 아니면 등급이 매겨진 양인가? 프롬프트의 언어에 강건한가? 친숙도와 거절 사이의 연결은 인과적인가, 아니면 단순히 상관관계에 불과한가? 마지막으로, 생성 전 단계에서 신호를 통해 생성을 제어함으로써 환각을 방지하는 것이 경쟁력 있는 게이트 역할을 할 수 있는가?

방법론

저자들은 답변 생성이 시작되기 전, 입력 질문의 마지막 토큰인 "프롬프트 지점(prompt point)"에서 적용되는 통합 측정 프로토콜을 제안합니다. 본 연구는 네 가지 도메인(운동선수, 도시, 작가, 음악가)에 걸친 1,440개의 폴란드 엔티티(Wikipedia 페이지 뷰 기반 10개 인기도 구간 활용)와 240개의 조작된 제어 엔티티를 활용한 새로운 데이터셋을 사용합니다.

실험 설계:

• 모델: 네 가지 계열의 12개 지시 미세 조정(instruction-tuned) 모델: Bielik (폴란드 네이티브), PLLuM (Llama-3.1 및 Mistral-Nemo 베이스의 폴란드 지속 사전 학습 모델), Gemma-4, Qwen3. 이 계열들은 "폴란드 적응 축(Polish-adaptation axis)"을 형성합니다.
• 판독 신호(Readout Signals): 단일 순전파(forward pass) 과정에서 세 가지 신호 클래스를 측정합니다:
  1. 분산(Dispersion): MLP 활성화 벡터에 대한 비지도 메트릭(역 참여율, 섀넌 엔트로피).
  2. 프로브(Probe): 잔차 스트림(residual-stream) 은닉 상태에 대한 지도 학습 로지스틱 회귀 분류기.
  3. 첫 토큰 엔트로피(First-token Entropy): 생성되는 첫 번째 토큰의 기본 엔트로피.
• 연구 질문 (RQs):
  • RQ1 (언어): 신호가 폴란드어에서 영어 프롬프트로 전이되는가?
  • RQ2 (등급화): 점수가 연속적인 인기도를 추적하는가?
  • RQ3 (인과성): 친숙도 방향을 스티어링(steering)하는 것이 거절 행동을 인과적으로 변화시킬 수 있는가?
  • RQ4 (응용): 신호가 생성 후 탐지기보다 경쟁력 있게 생성을 게이팅(abstain/retrieve)할 수 있는가?

주요 기여 및 결과

1. 등급화된 친숙도와 폴란드 적응 (RQ2)

본 연구는 친숙도가 이진 비트가 아니라 **등급이 매겨진 양(graded quantity)**임을 입증합니다.

• 등급화: 폴란드 적응 계열(Bielik 및 PLLuM)에서 친숙도 점수는 엔티티 인기도와 강한 상관관계를 보입니다 (Spearman $\rho$ 범위 0.28 ~ 0.57). 반면, 다국어 모델이자 폴란드 중심이 아닌 모델들(Gemma-4 및 Qwen3)은 파라미터 수가 비슷하거나 더 큼에도 불구하고 약하거나 무시할 만한 상관관계($\rho \le 0.11$)를 보입니다.
• 적응 vs. 규모: 인기도를 추적하는 능력은 모델 규모보다 폴란드 적응과 더 밀접하게 연관되어 있습니다. PLLuM 모델을 그들의 비-폴란드 베이스 아키텍처(Llama-3.1 및 Mistral-Nemo)와 대조한 통제 비교 결과, 폴란드 텍스트에 대한 지속 사전 학습이 친숙도 신호의 등급화를 유의미하게 증가시킴을 보여줍니다.
• 행동 거울(Behavioral Mirror): 내부 그래디언트는 폴란드 네이티브 모델(Bielik-11B)의 행동적 정확성을 반영합니다 (인기도 구간에 따라 정확도가 6%에서 68%로 상승). 반면, 적응되지 않은 모델(Qwen3-14B)은 전 구간에서 환각을 일으킵니다.

2. 교차 언어 강건성 (RQ1)

친숙도 신호는 질문 문구의 표면 형태에 대해 강건합니다.

• 전이: 폴란드어 질문으로 훈련된 프로브는 동일한 엔티티에 대한 영어 질문에 제로샷으로 적용했을 때 폴란드어 내에서의 AUROC의 **96~101%**를 유지합니다 (Bielik 및 Gemma-4 모델 대상).
• 엔티티 불일치 전이(Entity Disjoint Transfer): 홀드아웃(held-out) 엔티티로 테스트했을 때, 폴란드 적응 계열(Bielik)은 98100%의 전이 성능을 유지하는 반면, 다국어 모델인 Gemma-4는 7493%로 저하됩니다. 이는 신호가 템플릿 특유의 언어적 특징이 아닌 엔티티 인식 특징에 결합되어 있음을 시사합니다.

3. 거절의 인과적 스티어링 (RQ3)

자연스럽게 거절하는 유일한 모델인 Gemma-4-12B를 사용하여, 저자들은 친숙도 신호와 거절 행동 사이의 인과적 연결을 입증합니다.

• 개입(Intervention): 특정 레이어(Layer 30)의 잔차 스트림에 랭크-원(rank-one) 친숙도 방향(알려진 엔티티와 미지의/조작된 엔티티 간의 활성화 차이에서 유도됨)을 더함으로써, 거절률을 단조적으로 스티어링할 수 있습니다.
• 용량-반응(Dose-Response):
  • 알려진 엔티티를 "미인지(unfamiliar)" 방향($\alpha < 0$)으로 밀어내면 거절률이 0.24에서 1.00으로 증가합니다.
  • 미지의/조작된 엔티티를 "인지(familiar)" 방향($\alpha > 0$)으로 밀어내면 거절률이 0.73에서 0.00으로 억제되어, 모델이 유창하게 환각을 일으키게 합니다.
• 분리(Separation): 이후 레이어(Layer 44)에는 친숙도 신호를 변경하지 않고도 거절을 억제할 수 있는 별도의 "거절 방향"이 존재하며, 이는 친숙도의 표현과 이를 중단(abstention)으로 전환하는 정책 사이의 해리(dissociation)를 나타냅니다.

4. 생성 전 게이팅 (RQ4)

보정된 친숙도 프로브는 효과적인 생성 전 게이트 역할을 수행합니다.

• 식별: 프로브는 실제 엔티티와 조작된 엔티티를 구분하는 데 있어 모든 적응형 사후 생성 베이스라인(D2HScore, EigenTrack, MIND) 및 의미론적 엔트로피(semantic entropy)보다 뛰어난 성능을 보입니다 (AUROC 0.859–0.934 vs. 베이스라인 $\le 0.717$).
• 비용 효율성: 단일 순전파 신호로서, 이는 어떠한 생성 비용이 발생하기 전에 라우팅 결정(답변 vs. 검색 vs. 중단)을 내릴 수 있게 합니다.
• 행동 예측의 한계: 프로브가 엔티티의 존재 여부는 잘 예측하지만, 행동적 오류(환각)를 예측하는 능력은 모델에 따라 다릅니다. 이 프로브는 지식과 행동이 일치하는 모델(Bielik)에서는 잘 작동하지만, Gemma-4에서는 역전되는 경향을 보이는데, 이는 해당 모델의 거절 정책(프로브가 제어하지 못하는 부분)이 평가 지표에서 정확성과 혼재되어 있기 때문입니다.

의의 및 주장

본 논문은 등급화된 생성 전 엔티티 친숙도 판독이 프롬프트 언어에 강건하며, 거절을 스티어링하는 데 인과적으로 강력하다는 점을 확립한다고 주장합니다.

• 표현 vs. 정책: 핵심 발견은 표현적 친숙도(모든 계열에 존재하지만 폴란드 적응 모델에서만 등급화됨)와 중단 정책(Gemma-4에만 존재함) 사이의 해리입니다. 폴란드 적응 모델은 무엇을 모르는지에 대한 내부 신호를 가지고 있지만 그것을 실행할 정책이 부족하며, Gemma-4는 정책은 갖추고 있으나 신호의 등급화 정도는 낮습니다.
• 배포 시사점: 보정된 단일 패스 프로브는 신호는 있으나 정책이 없는 모델에 "게이트"를 제공하여, 생성이 시작되기 전에 롱테일(long-tail) 쿼리를 검색(retrieval)으로 라우팅할 수 있게 합니다.
• 범위: 저자들은 자연스러운 프롬프트 시점의 계산과 거절 결정 사이의 인과적 연결을 입증하기 위해 추가적인 매개(mediation) 스타일의 증거가 필요하다는 점을 언급하며 신중한 태도를 유지하며, 현재의 스티어링 결과가 특정 모델과 도메인에 국한되어 있음을 명시했습니다. 이 연구는 환각을 보편적으로 해결한다고 주장하는 것이 아니라, 특정 맥락에서 엔티티 친숙도를 탐지하고 게이팅할 수 있는 메커니즘을 제공하는 것입니다.