기술 요약: 망각의 기하학

문제 제기

대규모 언어 모델 (LLM) 은 종종 정답과 동일한 유창함과 자신감으로 시대에 뒤떨어진 답변을 생성합니다. 모델의 학습 컷오프 이후 변경된 사실 (예: 현재 정부 수반이나 스포츠 코치) 에 대해 질문할 때, 모델은 구식 사실을 검색하거나, 학습 전 보유자를 언급하거나, 새로운 사실을 조작해 낼 수 있습니다. 출력 수준의 통계 (예: 토큰 엔트로피, 의미적 엔트로피) 에 의존하거나 일반적 정확성 또는 불확실성을 위해 훈련된 숨겨진 상태 프로브에 기반한 기존 탐지 방법들은 이러한 실패 모드들을 구별하지 못합니다. 구체적으로, 이들은 학습 당시에는 정확했으나 현재는 시대에 뒤떨어진 사실을 검색하는**구식 회상 (Stale Recall)**과 결코 존재하지 않았던 사실을 조작하는 **환각 (Confabulation)**을 구별할 수 없습니다. 이러한 불투명성으로 인해 배포된 시스템은 복구 가능한 학습 시간 오류와 환각을 구별하지 못하게 됩니다.

저자들은 이것이 공학적 실패가 아니라 구조적 실패라고 주장합니다: 시간적 드리프트(학습 이후 저장된 사실이 변경되었는지 여부) 는 모델의 잔류 스트림 (residual stream) 에 정확성과 불확실성 모두와 기하학적으로 직교하는 표현 축으로 인코딩됩니다. 결과적으로, 정확성 또는 불확실성 신호에만 의존하는 모든 방법은 본질적으로 드리프트에 구조적으로 맹목적입니다.

방법론

데이터셋 구축

저자들은 2026 년 4 월의 고정된 위키데이터 스냅샷에서 파생된 일 단위 재직 기간 정밀도를 가진 네 가지 관계 (정부 수반, 주임 코치, 의장, 소유) 에 걸쳐 1,342 개의 고유 사실을 아우르는 3,511 개의 쿼리로 구성된 데이터셋을 구축했습니다.

• 시간적 지식 상태: 각 (샘플, 모델) 쌍은 사실의 타임라인과 모델의 학습 컷오프 ($\tau_\theta$) 에 대한 모델의 출력에 따라 다음 다섯 가지 상태 중 하나로 분류됩니다:
  1. 안정 - 정확: 정답, 드리프트 없음.
  2. 연대기 오류: 오답 (과거 보유자), 드리프트 없음 (사실 변경 없음).
  3. 구식 회상: 오답 (과거 보유자), 드리프트 발생 (학습 후 사실 변경).
  4. 폐기 - 현재: 오답 (학습 당시 현재 보유자, 이후 교체됨), 드리프트 발생.
  5. 환각: 오답 (조작됨), 드리프트 발생.
• 통제된 평가: 모델이 단순히 쿼리 연도를 감지하는 것 (교란 변수) 을 방지하기 위해, 평가는 쿼리 연도가 $\tau_\theta + 1$ 이상인 경우로 제한됩니다.

프로빙 및 분석

이 연구는 네 가지 아키텍처 계열에 걸쳐 여섯 가지 지시어 튜닝 모델 (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) 을 평가합니다.

1. 선형 프로브: L1 정규화 선형 프로브가 is_drifted 라벨을 예측하기 위해 잔류 스트림 활성화 ($h^{(\ell)}$) 에 대해 훈련됩니다. 저자들은 피크 성능 계층을 식별하기 위해 모든 계층을 스윕합니다.
2. 기하학적 독립성 테스트: 드리프트 축이 정확성과 불확실성과 독립적임을 검증하기 위해 다섯 가지 보완적 측정이 사용됩니다:
   • 가중 코사인: 드리프트, 정확성, 불확실성 프로브 가중치 벡터 간의 각도를 측정합니다.
   • 점수 상관관계: 프로브 점수 간의 피어슨 상관관계.
   • 양방향 영공간 투영: 잔류 스트림을 귀찮은 방향 (정확성/불확실성) 에 직교하는 부분 공간에 투영한 후 대상 프로브를 재훈련합니다.
   • 반복적 영공간 투영 (INLP): 귀찮은 변수와 관련된 방향을 반복적으로 제거하여 분산된 의존성을 테스트합니다.
   • 평균 이동 분리: 최적화 아티팩트를 배제하기 위해 훈련된 프로브를 훈련되지 않은 평균 차이 (DoM) 방향과 비교합니다.
3. 기작적 개입:
   • 활성화 패칭: 손상된 숨겨진 상태를 깨끗한 것으로 대체하여 시간적 처리를 국소화합니다.
   • 직접 로그이트 귀속 (DLA): 출력 로그이트를 분해하여 구식 회상과 환각에 대한 MLP 궤적을 비교합니다.
   • 인과적 조향: 드리프트 방향을 증폭하거나 억제하여 보유자 로그이트의 변화를 관찰합니다.

주요 결과

1. 드리프트의 선형 디코딩 가능성

드리프트 라벨에 직접 훈련된 선형 프로브는 여섯 가지 모델 모두에서 AUROC 0.83–0.95를 달성합니다. 반면, 기존 베이스라인 (토큰 엔트로피, 의미적 엔트로피, SEP, SAPLMA, CCS) 은 우연 수준에 머무릅니다 (0.49–0.57). 이는 드리프트가 잔류 스트림에서 선형적으로 디코딩 가능한 신호임을 확인시켜 주지만, 드리프트에 명시적으로 훈련되지 않은 방법에는 보이지 않음을 보여줍니다.

2. 기하학적 직교성

다섯 가지 테스트는 드리프트 축이 정확성 - 불확실성 부분 공간과 기하학적으로 독립적임을 확인합니다:

• 가중 코사인: 드리프트와 정확성/불확실성 벡터 간의 $|\cos| \le 0.14$.
• 점수 상관관계: 드리프트 점수와 정확성/불확실성 점수 간의 $|r| \le 0.20$.
• 영공간 투영: 정확성과 불확실성 방향을 제거해도 AUROC 저하가 미미합니다 ($|\Delta| \le 0.008$), 이는 드리프트가 그들의 범위에 존재하지 않음을 확인시켜 줍니다.
• INLP: 각 귀찮은 변수에 대해 10 개의 방향을 제거해도 여전히 드리프트가 탐지 가능합니다.
• 평균 이동 분리: 훈련되지 않은 평균 이동 방향이 높은 상관관계를 보일 때조차 훈련된 프로브는 거의 직교하므로, 독립성은 희소성의 아티팩트가 아닌 구조적임을 나타냅니다.

3. 모델 특이성 및 입력 독립성

바이트가 동일한 입력을 사용한 교차 컷오프 실험에서, 드리프트 프로브는 사실의 전환 시점이 모델의 학습 컷오프보다 이전인 모델에서는 작동하지만, 이후 컷오프 모델에서는 침묵합니다. 확률 $P(A > B)$는 모델 쌍 간에 0.975 에서 0.998까지 다양합니다. 이는 프로브가 엔티티 친숙도나 쿼리 연도와 같은 입력 속성이 아닌 모델의 내부 지식 상태를 탐지함을 증명합니다.

4. 기작적 설명

• 동일한 검색 역학: 직접 로그이트 귀속은 MLP 검색 회로가 구식 회상과 환각에 대해 거의 동일한 궤적을 생성함을 보여줍니다 ($r > 0.81$). 두 실패 모드 모두 동일한 계층에서 정점을 이루므로, 검색 강도를 반영하는 출력 신뢰도는 이를 분리할 수 없습니다.
• 잠재적이지만 활성화 가능: 인과적 조향은 드리프트 방향이 일반 추론 하에서는 잠재적 (억제해도 출력 변화 없음) 이지만, 증폭될 때 보유자 로그이트를 재구성하여 시간적 검색 회로를 선택적으로 활성화함을 보여줍니다.

중요성과 주장

이 논문은 시간적 드리프트가 LLM 의 고유한 표현 속성이며, 정확성과 불확실성과 구조적으로 직교한다고 주장합니다. 이 기하학적 독립성은 다음을 설명합니다:

1. 기존 환각 탐지 방법이 시대에 뒤떨어진 사실에서 실패하는 이유.
2. 모델이 시대에 뒤떨어진 사실에 대해 자신감 있게 틀릴 수 있는 이유 (높은 신뢰도, 낮은 불확실성): 이는 구식 학습 데이터의 진정한 검색을 수행하기 때문입니다.
3. 시간적 드리프트를 탐지하려면 드리프트 라벨에 직접 훈련된 프로브가 필요하며, 정확성 또는 불확실성 프로브를 재사용하는 것은 불충분하다는 점.

저자들은 배포된 시스템이 표면적 오류를 기다리거나 불확실성 추정에 의존하기보다는, 구식 지식을 식별하기 위해 이 특정 드리프트 축을 읽어야 한다고 결론지었습니다. 이 작업은 모델이 시간적 유효성을 인코딩하는 방식을 기작적으로 설명하며, 이 신호가 선형 프로브를 통해 접근 가능함을 보여줌으로써 LLM 응용 프로그램에서 더 견고한 시간적 사실 확인을 위한 길을 제시합니다.