Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

기술 요약: 비지도 사전 생성 신뢰성 신호로서의 기하학적 편차

문제 제기
할루시네이션, 즉 자신감 있지만 잘못된 응답을 생성하는 현상은 배포된 대규모 언어 모델 (LLM) 에 있어 여전히 중요한 신뢰성 과제입니다. 이전 연구들은 불확실성 보정, 내부 프로빙 분류기, 표현 제어 등을 탐구해 왔으나, 많은 기존 방법들은 라벨이 지정된 실패 데이터에 의존하거나, 모델 출력 (생성 후) 에 접근해야 하거나, 특정 모델 아키텍처에 민감합니다. 이 연구가 다루는 핵심 질문은 비지도 표현 기하학이 단독으로 실용적인 사전 생성 신뢰성 신호로 기능할 수 있는지 여부입니다. 구체적으로, 모델은 라벨링된 실패 예시나 출력 샘플링 없이도 토큰을 생성하기 전에 질의가 답변 불가능함을 감지할 수 있을까요?

방법론
저자들은 알려진 답변 가능한 프롬프트 집합 ("답변 가능 클래스 표현") 의 중심점으로부터 프롬프트의 은닉 상태의 코사인 거리를 측정하는 최소한의 비지도 접근법을 제안합니다.

• 실험 설계: 본 연구는 규모가 유사한 (7~8B 파라미터) 세 가지 지시 튜닝 모델을 활용합니다: Llama 3.1-8B, Qwen 2.5-7B, 그리고 Mistral-7B.
• 프롬프트 구성 (매칭된 쌍): 표면적 변이 (도메인, 길이, 구문) 로부터 답변 가능성을 분리하기 위해, 저자들은 세 가지 프롬프트 형태에 대해 매칭된 쌍을 구성합니다:
  • 수학 (MATH): 잘 정의된 산술/대수 질문 (답변 가능, A) 과 정의되지 않은 양이나 연산을 포함하는 구조적으로 동일한 변이 (답변 불가능, U) 를 짝짓습니다.
  • 사실 (FACT): 검증 가능한 사실적 질문과 알 수 없는 미래 사건이나 존재하지 않는 개체를 참조하는 변이를 짝짓습니다.
  • 코드 (CODE): 결정론적 반환 값을 갖는 파이썬 표현식과 정의되지 않거나 예외를 발생시키거나 무제한 계산을 요구하는 변이를 짝짓습니다.
• 신호 추출: 은닉 상태는 추출되어 입력 토큰에 대해 평균 풀링되고, 이방성을 제거하기 위해 평균 중심화됩니다. 신뢰성 점수는 특정 형태 내의 답변 가능 (A) 집합의 중심점으로부터의 프롬프트 코사인 거리입니다.
• 베이스라인: 기하학적 신호는 다음 두 가지와 비교됩니다:
  1. 거부 베이스라인: 생성된 출력에 대한 키워드 분류기 (명시적 거부 감지).
  2. 자기 일관성 (SC): 5 개의 샘플을 사용하여 출력 불일치를 측정하는 생성 후 베이스라인.

주요 기여 및 발견

1. 기하학이 작업 형태를 인코딩함: 표현 기하학은 단순한 의미 내용보다는 작업의 구문적 형태 (수학, 사실, 코드) 에 의해 주로 조직화됩니다. 특정 형태 내의 답변 불가능한 프롬프트는 해당 형태의 기하학적 군집 내에 머무는 경향이 있지만, 중심점과의 상대적 위치는 변합니다.
2. 형태 조건부 신뢰성 신호:
   • 수학 (강한 신호): 답변 불가능한 수학 프롬프트는 일관되게 답변 가능한 중심점에서 벗어납니다. 이는 세 가지 모델 모두에서 강력한 분리를 유도하며 (ROC-AUC 0.78–0.84), 거부 베이스라인과 자기 일관성 모두를 크게 능가합니다. 이 신호는 모델이 명시적으로 거부하지 않고 할루시네이션을 일으키는 경우를 포착합니다.
   • 사실 (신호 없음): 사실적 답변 불가능성에 대한 신뢰할 수 있는 기하학적 분리는 나타나지 않습니다 (p > 0.34). 사실적 답변 불가능성 (예: 미래 사건) 은 구문적으로 답변 가능한 사실과 구별되지 않아 기하학적 군집이 온전하게 유지됩니다.
   • 코드 (혼합/가변적 신호): 큰 효과 크기 (Cohen's d > 1.0) 가 관찰되어 현상이 코드에도 일반화됨을 시사하지만, 수학에 비해 파이썬 표현식 내에서의 분산이 더 높아 통계적 유의성은 혼합되어 있습니다.
3. 레이어별 신호 프로파일: 답변 가능성 신호는 초기 레이어 현상입니다. 답변 가능과 답변 불가능 표현 간의 격차는 레이어 2~5 에서 정점에 달하며 일반적으로 최종 레이어로 갈수록 약화됩니다. 이 약화는 답변 불가능 신호가 감소하기보다는, 답변 가능한 표현이 더 깊은 레이어에서 "생성 준비" 매니폴드로 이동하기 때문에 발생합니다.
4. 모델 간 합의 vs 행동적 이질성: 특정 유형의 답변 불가능 프롬프트 (예: "가장 큰 소수") 에 대해 모델 간 강력한 기하학적 합의가 존재하여, 이 신호가 입력 수준의 구조적 속성을 반영함을 나타냅니다. 그러나 행동적 반응은 이질적입니다: Qwen 은 이러한 프롬프트를 거부하는 경향이 있는 반면, Llama 는 종종 할루시네이션을 일으킵니다. 이는 정렬 훈련이 기하학적 이상 현상에 대한 모델의 행동 방식을 형성하지만, 이상 신호 자체의 존재 여부는 형성하지 않음을 시사합니다.

의의 및 주장
이 논문은 기하학적 편차가 경량화된 비지도 사전 생성 신뢰성 신호로 기능한다고 주장하지만, 명확한 한계가 있습니다:

• 효과성: 답변 불가능성이 구조적 불일치 (예: 수학의 정의되지 않은 연산, 잘못 형식화된 코드) 를 도입하는 구조화된 도메인에서 매우 효과적입니다. 이러한 경우, 출력 기반 베이스라인 (거부 키워드, 자기 일관성) 보다 우수하며 0 의 추론 지연으로 작동합니다.
• 한계: 이 신호는 보편적이지 않고 형태 조건부입니다. 내용이 알 수 없더라도 구문이 유효한 오픈 도메인 사실 질의에서는 답변 불가능성을 감지하지 못합니다.
• 메커니즘: 이 신호는 네트워크 초기 (레이어 2~5) 에 확립되므로, 모델이 생성 전략을 확정하기 전에 구조적 위반을 인코딩함을 시사합니다.

결론
저자들은 기하학적 편차가 보편적인 할루시네이션 감지기 는 아니지만, 형식적 답변 가능성 제약이 있는 도메인에서 사전 생성 신뢰성 검사를 위한 원칙적이고 저비용의 메커니즘을 제공한다고 결론지었습니다. 이 발견들은 내부 기하학과 모델 행동 간의 관계가 정렬 훈련에 의해 조절되며, 초기 레이어 활성화가 최종 출력 레이어보다 더 강력한 신뢰성 신호를 제공할 수 있음을 강조합니다.