기술적 요약: 수송으로서의 자기-주의: 대칭 스펙트럼 진단의 한계

문제 제기

대형 언어 모델 (LLM) 은 고유한 라우팅 병리 현상을 통해 환각을 일으킵니다. 즉, 병목 실패는 주의가 좁은 위치 집합에 과도하게 집중될 때 발생하며, 확산 실패는 주의가 너무 얇게 퍼져 관련성이 희석될 때 발생합니다. 이러한 모드들은 표준 스펙트럼 렌즈 하에서 정량적으로 유사해 보이지만, 기작적으로는 정반대입니다. 기존 스펙트럼 진단 (예: LLM-Check, EigenTrack, LapEigvals) 은 종종 이들을 구별하지 못하거나 용량 실패와 방향성 실패를 혼동합니다. 또한 많은 스펙트럼 특징은 시퀀스 길이에 대한 교란 의존성을 물려받아, 주의 라우팅의 진정한 구조적 신호를 흐리게 합니다. 본 논문은 정보 흐름 방향을 감지하는 데 있어 대칭 스펙트럼 방법의 한계를 특히 다루며, 주의 기반 진단이 무엇을 측정할 수 있고 무엇을 측정할 수 없는지에 대한 구조적 경계를 규명하고자 합니다.

방법론

저자들은 쿼리와 키 사이의 차수 정규화 이분 수송 연산자($M$) 로서 주의 헤드를 형식화합니다. 이 표현은 라우팅 품질을 인코딩하는 스케일 불변 연산자를 산출합니다. 방법론은 다음 세 가지 기둥에 기반합니다:

1. 직교 분해: 수송 연산자 $M$은 힐베르트 - 슈미트 내적 하에서 수송 용량을 지배하는 대칭 성분 ($M_{sym}$) 과 수송 방향을 지배하는 반대칭 성분 ($M_{asym}$) 으로 분해됩니다.
2. 스펙트럼 진단:
   • 전도도 ($\phi$): 체거 부등식을 통해 대칭 성분에서 유도된 $\phi$는 정보 수송의 효율성을 측정합니다. 낮은 $\phi$는 병목을 나타내고, 높은 $\phi$는 확산 혼합을 나타냅니다.
   • 비대칭 계수 ($G$): $M$의 대칭 부분 공간에 대한 정규화 프로베니우스 거리로 정의된 $G$ ($G = \|M_{asym}\|_F / (\|M\|_F + \epsilon)$) 는 대칭 요약에 의해 손실된 방향 정보를 회복하는 데 필요한 최소 보완재 역할을 합니다.
   • 스펙트럼 갭 ($1-\sigma_2$): $M$의 두 번째 특이값은 전도도의 대리 변수로 작용합니다.
3. 길이 제어 평가: 교란을 해결하기 위해 저자들은 길이 제어 AUROC (LC-AUROC) 프로토콜을 도입합니다. 이는 응답 길이에 따라 샘플을 계층화하여 빈으로 나누고, 빈 내에서 점수를 길이에 대해 잔차화한 후 쌍 가중 AUROC 를 통해 집계하는 과정을 포함합니다. 이를 통해 길이 의존적 인공물에서 구조적 라우팅 신호를 분리합니다.
4. 이론적 벤치마크: 본 논문은 표준적 인과 아키텍처 (균일 인과, 윈도우 주의) 에 대한 폐형 전도도 지형을 유도하여 아키텍처적 "바닥"과 예상 실패 모드 형태를 확립합니다.

주요 기여

1. 대칭 진단의 구조적 한계 (방향 무지)

본 논문은 **정리 4(방향 무지)**를 증명합니다: 주의 연산자의 특이값이나 대칭 성분에만 의존하는 모든 스펙트럼 진단은 전치 불변입니다. 결과적으로 이러한 진단들은 구조적으로 "방향 무지"이며 연산자와 그 전치를 구별할 수 없으므로 정보 흐름 방향을 감지할 수 없습니다. 정량적 역명제 (명제 6) 는 방향에 민감한 모든 리프시츠 진단이 반대칭 성분에 의존해야 하며, 그 민감도는 $\|M_{asym}\|_F$에 의해 제한됨을 확립합니다.

2. 양면 전도도 이론

단 하나의 실패 모드만 감지하는 지표와 달리, 전도도 프레임워크는 양면 진단을 제공합니다:

• 병목: 낮은 전도도 ($\phi$) 는 과도하게 집중된 라우팅을 인증합니다.
• 확산 혼합: 아키텍처적 기준선에 비해 비정상적으로 높은 전도도는 과소 집중된 라우팅을 인증합니다.
  저자들은 균일 인과 주의에 대한 폐형 이분 - 체거 지형을 유도하여, $t^*/n \approx 0.32$에서 최악의 절단과 함께 $n$에 무관한 $\phi \ge 1/5$의 바닥을 증명합니다. 윈도우 주의는 $O(w/n)$으로 이 바닥을 뚫는 것으로 나타납니다.

3. 차수 충분성과 결합 구조

**정리 2(차수 충분성)**은 결합 구조가 차수 이질성 이상의 스펙트럼 특성에 기여하는 시기를 형식화합니다. 이는 근사 정규 주의 ($\kappa \approx 1$) 에 대해 스펙트럼 갭이 차수 분포에 의해 완전히 설명됨을 확립합니다. 차수 이질성이 크게 벗어나는 경우에만 결합 구조가 독립적인 신호를 제공합니다.

4. 경험적 극성 예측

이 프레임워크는 반증 가능한 예측을 산출합니다: 병목 우세와 확산 우세 벤치마크는 전도도 점수에서 반대 극성을 보여야 합니다.

• HaluEval: 환각은 저전도도 (병목) 영역에 군집합니다.
• MedHallu: 환각은 고전도도 (확산) 영역에 군집합니다.
  이 극성 반전은 길이 제어 평가 하에서 경험적으로 관찰되어 양면 이론을 검증합니다.

경험적 결과

• 진단 성능: LC-AUROC 하에서 수송 특징은 최대 8B 파라미터 모델까지 해석 가능한 신호 (0.62–0.84) 를 유지합니다.
  • 전도도 ($\phi$): 용량 실패를 포착합니다. 지배적 신호는 모델 규모에 따라 이동합니다: 70M 파라미터에서는 위치 통계 (평균) 가 지배적 (균일 침강); 1.4B 에서는 분포 통계 (표준편차) 가 지배적 (라우팅 이질성).
  • 비대칭 ($G$): 디코더 전용 모델에서 일반적으로 희소 (우연 수준 성능) 하여, 콘텐츠 의존적 방향 라우팅이 주요 실패 모드가 아님을 반영합니다. 예외로는 Flan-T5(여기서 $G$는 크로스-어텐션 그라운딩 실패를 감지) 와 Pythia(여기서 $G$는 RoPE 유발 위치 감쇠에서의 편차를 감지) 가 있습니다.
• 기준선 비교:
  • 잠재 상태 프로브 (LLM-Check): 강력한 일반 감지 (0.62–0.72 LC-AUROC) 를 달성하지만 실패 모드에 대해 구조적으로 무관하며 중간 정도의 길이 교란을 보입니다.
  • 지도 학습 스펙트럼 분류기 (EigenTrack): 미미한 신호와 데이터셋 간 낮은 일반화를 보여주며, 이는 데이터셋 특이적 스펙트럼 서명에 대한 과적합과 종횡비를 통한 불가피한 길이 의존성 때문일 가능성이 높습니다.
• 확장성: 수송 진단은 Pythia 규모 (70M~1.4B) 와 LLaMA 3.1 8B 전반에 걸쳐 지속되지만, 신호를 포착하는 데 필요한 집계 방법은 모델 용량이 증가함에 따라 평균 기반에서 분산 기반으로 변경됩니다.

중요성과 주장

본 논문은 단일 "최고" 환각 탐지기를 제안하기보다 주의 진단에 대한 구조적 경계를 확립한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 분해: 체거 부등식, 방향 무지 정리 등 형식적 보장을 통해 라우팅 실패를 직교 축 (용량 대 방향) 으로 분할합니다.
2. 해석 가능성: 전도도 지형의 형태에 기반하여 서로 다른 데이터셋이 서로 다른 실패 모드 (병목 대 확산) 를 보이는 이유에 대한 기작적 설명을 제공합니다.
3. 방법론적 엄밀성: 길이 교란이 원시 AUROC 를 최대 0.28 포인트까지 과대평가할 수 있음을 시연하고 구조적 신호를 분리하기 위한 프로토콜 (LC-AUROC) 을 확립합니다.
4. 아키텍처적 통찰: 디코더 전용 모델에서 방향 신호 ($G$) 의 "희소성"이 진단의 실패가 아니라 아키텍처적 속성 (콘텐츠 의존적 방향보다 위치 구조의 우세) 임을 보여줍니다.

저자들은 이 프레임워크가 주의 라우팅이 어떻게 실패하는지를 특징짓지만, 모든 경우에 환각 감지를 해결한다고 주장하지는 않는다고 강조합니다 (예: 라우팅 병리 없이 지식 격차가 있는 경우 감지되지 않을 수 있음). 이 기여는 스펙트럼 주의 분석의 구조적 한계를 이해하기 위한 원칙적인 프레임워크입니다.