기술 요약: TRACE (할루시네이션 감소를 위한 교차층 증거 기반 궤적 수정)

1. 문제 제기

규모 확장 및 사후 훈련 정렬의 발전에도 불구하고, 대규모 언어 모델 (LLM) 은 여전히 자신감 있는 사실적 오류, 즉 할루시네이션을 생성합니다. 기존 수정 전략은 일반적으로 세 가지 범주로 분류됩니다:

1. 외부 증거: 외부 데이터에 의존하는 검색 증강 생성 (RAG) 및 검증 시스템.
2. 활성화 조종: 고정된 "진실성" 방향을 따라 활성화를 조종하는 추론 시간 개입 (ITI) 과 같은 방법.
3. 층 대비: 최종 층에 대한 중간 층의 신호를 대비하거나 집계하는 디코딩 전략 (예: DoLa, SLED).

본 논문은 이러한 접근 방식들이 층 깊이와 진실성 간의 균일한 관계를 가정하기 때문에 구조적으로 불완전하다고 주장합니다. 경험적 관찰에 따르면, 중간 층은 최종 층보다 균일하게 더 진실하거나 균일하게 덜 신뢰할 수 있는 것이 아닙니다. 대신, 네트워크 깊이에 따른 후보 지지의 진화는 크게 달라집니다:

• 후기 수정 가능 (Late-Correctable): 진실한 지지가 내부에 존재하지만 최종 층에 의해 억제됨.
• 초기 신뢰 가능 (Early-Reliable): 진실한 지지가 초기 층에서 가장 강력하지만 후기 층에 의해 약화됨.
• 다방향성 (Multi-Directional): 여러 경쟁 후보가 깊이에 걸쳐 활성화되어 있으며, 비스칼라 (non-scalar) 수정이 필요함.

현재의 고정 형식 개입은 이러한 다양한 "후보 궤적"에 적응할 수 없기 때문에 실패합니다. 단일 부호 스칼라 수정을 가정하는 방법은 경쟁이 진정으로 다방향인 경우엔 불충분합니다.

2. 방법론: TRACE

TRACE 는 모델의 내부 교차층 후보 궤적에서 적절한 수정 연산자를 직접 유도하여 할루시네이션을 수정하는 결정론적, 훈련 불필요, 추론 시간 알고리즘입니다. 이는 레이블, 검색, 사전 훈련, 파인튜닝, 또는 모델별 보정이 필요하지 않습니다.

핵심 구성 요소

이 방법은 두 가지 구조적 양에 의존합니다:

1. 아이템 측: 교차층 후보 궤적 $S(x)$:

   • 모델의 자체 출력 헤드 (logit-lens 구성) 를 통해 모든 층의 잔여 스트림을 읽음으로써 구성됨.
   • 깊이에 따른 일련의 후보 완성물에 대한 길이 정규화 로그 확률의 진화를 나타냄.
   • 이를 통해 유효 궤적 차원 ($d_{eff}$) 이 계산됩니다. 이 지표 (궤적의 그람 행렬 고유값의 참여 비율) 는 후보 경쟁이 효과적으로 1 차원 (랭크 1) 인지 다차원인지 결정합니다.

2. 모델 측: 가중치만 불변량 $I(M)$:

   • 모델의 가중치 텐서 (구체적으로 초기/중간 키/값 투영의 행 노름 통계 대 후기 출력 투영 및 최종 노름) 에서 한 번 계산된 차원 없는 비율.
   • $I(M)$은 모델 아키텍처가 후기 층 증거를 증폭시키거나 신뢰할 수 있는 초기 상태에서 벗어나는 경향이 있는지 여부를 특성화합니다.

수정 영역 및 연산자

$d_{eff}$와 $I(M)$에 기반하여 TRACE 는 세 가지 수정 연산자 중 하나를 동적으로 선택합니다:

1. 다방향 영역 ($d_{eff} > \tau_{dim}$):

   • 조건: 후보 경쟁이 여러 독립적인 방향 (랭크 > 1) 으로 확장됨. 스칼라 혼합은 수학적으로 이러한 경우를 수정하기에 불충분함.
   • 연산자: 후보 공간 수정. TRACE 는 가장 날카로운 후보 순위 (엔트로피에 대한 상위 두 항목의 마진 최대화) 를 가진 층 $\ell^*$을 식별하고, 해당 층의 전체 로그 확률 분포를 수정으로 사용함.
   • 게이팅: 이 오버라이드는 선택된 층이 최종 층보다 현저히 날카롭고 최종 층이 충분히 불확실한 경우에만 적용됨.

2. 스칼라 영역 ($d_{eff} \le \tau_{dim}$):

   • 조건: 경쟁이 단일 부호 축으로 축소됨. 수정은 최종 층 점수 $b(x)$와 궤적 유도 점수 $t(x)$의 스칼라 혼합으로 축소됨.
   • $I(M)$을 통한 하위 분기:
     • 부호 혼합 ($I(M) > \tau_I$): 모델의 후기 층이 신뢰할 수 있는 경우, TRACE 는 교차층 일관성 (토큰 지지의 기울기, 점프, 곡률) 을 위해 궤적을 다시 읽음으로써 두 번째 뷰 $t(x)$를 계산함. 그런 다음 궤적이 베이스를 강화하거나 모순하는지에 따라 결정된 부호 스칼라 $\lambda$로 $b(x)$와 $t(x)$를 혼합함.
     • 최초 상태 복구 ($I(M) \le \tau_I$): 모델의 후기 층이 신뢰할 수 없으며 (편향되기 쉬움), TRACE 는 궤적 요약을 무시하고 초기 층 점수 $s_0(x)$로 되돌아가지만, 최종 층의 신뢰도가 낮을 때 (자연스러운 바닥선 미만) 에만 해당됨.

알고리즘 흐름

1. 단일 후보 조건부 순전파로부터 $S(x)$와 $b(x)$를 계산.
2. $d_{eff}(x)$를 계산.
3. 다방향인 경우: 결정적 층 $\ell^*$을 선택하고, 그 분포를 추출하며 게이트를 적용. 게이트가 통과되면 결정적 층의 argmax 를 반환하고, 그렇지 않으면 기본 argmax 를 반환.
4. 스칼라인 경우: $I(M)$을 계산.
   • $I(M)$이 높으면: $t(x)$를 계산하고, 혼합 부호를 결정하며, 혼합된 argmax 를 반환.
   • $I(M)$이 낮으면: 최종 층 신뢰도를 확인; 낮으면 초기 층 argmax 를 반환하고, 그렇지 않으면 기본값을 반환.

3. 주요 기여

1. 궤적 수준 공식화: 고정된 프로브 층과 고정된 조종 방향을 대체하여 추론 시간 수정을 위한 주요 객체로 교차층 후보 궤적을 식별.
2. 수정의 구조적 이론: 수정 영역이 구별됨을 증명: 랭크 1 궤적은 스칼라 수정을 허용하는 반면, 다방향 궤적은 후보 공간 연산자 클래스를 필요로 함.
3. 보편적 알고리즘 (TRACE): 이 이론을 궤적 구조와 모델 가중치에서 수정 연산자를 유도하는 결정론적, 훈련 불필요 알고리즘으로 구체화.
4. 종합 평가: 단일 고정 하이퍼파라미터 설정이 15 개 모델, 8 개 패밀리, 3 개 벤치마크에서 후퇴 없이 사실성을 향상시킴을 입증.

4. 실험 결과

이 방법은 15 개 사전 훈련 모델(LLaMA, Gemma, Qwen, GPT-OSS, Mixtral, Phi, Ministral, DeepSeek 포함) 에 대해 TruthfulQA, HaluEval-QA, HaluEval-Sum에서 평가되었습니다.

• 성능: TRACE 는 모든 단일 평가 셀(모델과 벤치마크의 총 45 가지 조합) 을 개선함.
  • 평균 향상: MC1 점수 +12.26 점 및 MC2 스타일 점수 +8.65 점.
  • 최대 향상: +47.20 MC1 점 및 +43.38 MC2 스타일 점수 (Gemma-3-1B 에서 관찰됨).
  • 후퇴: 0/45.
• 강건성: 이 방법은 모든 모델에 대해 단일 고정 하이퍼파라미터 세트 $\Theta$를 사용하며, 모델별 튜닝이 없었음.
• 오버헤드: 추가 층별 읽기 출력으로 인해 기준 후보 조건부 통과 대비 월시계 비용이 1.33 배에서 3.42 배 (평균 2.27 배) 증가함.

5. 중요성 및 주장

본 논문은 사전 훈련된 LLM 의 순전파 계산이 고정된 휴리스틱에 의해 부과되는 것이 아니라 궤적 자체에 의해 유도된 개입이 제공된다면, 단일 보편적 할루시네이션 감소 알고리즘을 유지하기에 충분한 구조적 증거를 포함한다고 주장합니다.

• 구조적 필요성: 이 작업은 스칼라 전용 수정 전략이 다방향 후보 공간에 대해 수학적으로 불완전함을 보여주며, TRACE 의 후보 공간 분기를 필요로 함을 입증함.
• 모델 적응: 가중치만 불변량 $I(M)$의 사용은 알고리즘이 재훈련 없이 아키텍처 차이 (예: 모델이 편향되거나 후기 층을 증폭하는지 여부) 에 적응할 수 있게 함.
• 한계: 저자들은 TRACE 가 현재 영어, 후보 제한 사실성 (MC1/MC2 프로토콜) 으로 제한됨을 인정함. 이는 반복적 장문 생성이 아닌 완료된 순전파에 작용하며, 할루시네이션의 훈련 시간 원인을 다루지 않음. 또한 추가 읽기 출력으로 인해 추론 지연이 발생함.

본 논문은 이전 고정 형식 방법의 실패가 튜닝 문제가 아니라 수정 클래스와 궤적 구조 간의 불일치임을 결론짓습니다. TRACE 는 데이터 자체에서 올바른 수정 영역을 추론함으로써 이를 해결합니다.