Geometry-Calibrated Conformal Abstention for Language Models

"언어 모델을 위한 기하학적 보정 합동적 기피" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 종종 자신의 지식 한계를 인식하지 못합니다. 학습 분포나 지식 베이스 밖의 질문을 마주할 때, 사실적으로 틀린 답변 (할루시네이션) 을 생성하는 대신 기피 (모르겠다고 말하기) 하는 경향이 있습니다.

• 학습의 한계: 추측에 대한 페널티와 무지에 대한 보상을 명시적으로 부여하는 벤치마크가 부족하여, 기피를 보상하도록 모델을 재학습시키는 것은 어렵습니다. 또한, 이러한 개입은 과적합을 초래하거나, 모델이 정답을 알고 있음에도 불구하고 답변을 거부하는 과도하게 보수적인 행동을 유발할 수 있습니다.
• 기존 사후 방법: 전통적인 합동 예측 (CP) 은 불확실성에 대해 유한 표본 보장을 제공하지만, '비합동성 점수'에 의존합니다. 개방형 텍스트 생성에서는 정답이 무한히 많은 의미상 동등한 형태를 취할 수 있으므로, 기준이 되는 정답 점수 함수를 정의하는 것이 불가능합니다.
• 핵심 질문: LLM 에 재학습 없이도 불확실할 때 신뢰성 있게 답변을 기피할 수 있는 사후 메커니즘을 부여하면서, 동시에 정확성에 대한 이론적 보장을 제공할 수 있을까요?

2. 방법론: 합동적 기피 (CA)

저자들은 **합동적 기피 (CA)**를 제안합니다. 이는 합동 예측 이론과 새로운 표현 기하학 기반 보정 전략을 결합한 프레임워크입니다.

A. 이론적 프레임워크 (합동적 기피)

CA 는 비합동성 점수 대신 예측 신뢰도에 초점을 맞춤으로써 언어 생성 환경에 CP 를 적용합니다. 이는 두 가지 유한 표본 보장을 수립합니다:

1. 참여 보장: 모델이 답변을 제공하는 (기피하지 않는) 확률을 제한합니다.
2. 조건부 정확성 보장: 모델이 참여하기로 선택했을 때, 제공된 답변이 정확할 확률을 제한합니다.

이 프레임워크는 불확실성 점수 $r(\hat{y}|x)$ (예: 퍼플렉시티) 를 사용합니다. 보정 세트를 기반으로 임계값 $\tau$를 설정하여, 점수가 $\tau$를 초과하면 모델이 기피합니다. 이론적 증명 (Theorem 3.1, Lemma 3.2) 은 입력 - 출력 쌍이 교환 가능할 경우, 유지된 답변의 조건부 정확성이 사용자가 지정한 신뢰 수준 하한으로 제한됨을 보여줍니다.

B. 표현 기하학을 통한 보정

불확실성 점수가 모델의 내부 상태 (지식 대 무지) 를 충실히 반영하도록 하기 위해, 저자들은 트랜스포머 레이어 전반에 걸친 토큰 표현의 기하학에 기반한 보정 전략을 도입합니다. 모델이 내부 지식을 활용할 때, MLP(다층 퍼셉트론) 업데이트가 숨은 상태에 특정 기하학적 변환을 유도한다는 가설을 세웁니다.

마지막 쿼리 토큰의 임베딩 궤적에서 세 가지 기하학적 신호를 추출합니다:

1. 근접성 ($\omega$): MLP 업데이트의 기여도를 측정합니다. MLP 전 임베딩과 MLP 후 임베딩 사이의 거리를 계산합니다. 짧은 거리 (높은 근접성) 는 MLP 가 표현을 적극적으로 형성했음을 나타냅니다.
2. 임베딩 회전 ($\theta$): MLP 업데이트로 유도된 회전 각도를 측정합니다. 큰 회전은 예측 방향의 상당한 변화를 시사하며, 이는 종종 특정 지식의 검색과 관련됩니다.
3. 정렬 ($\phi$): 토큰 임베딩과 분포 내 데이터의 주된 이방성 방향 사이의 각도를 측정합니다. 높은 정렬은 모델이 학습된 분포 내에서 작동하고 있음을 시사하며, 편차는 외삽 (불확실성) 을 시사합니다.

검증된 가설:

• H1: 정확한 예측은 강력한 지식 기여 (높은 $\omega$) 와 연관되어 있으며, 이는 상당한 회전 (높은 $\theta$) 을 유도합니다.
• H2: 정확한 예측은 분포 내 이방성 원뿔과 정렬되어 유지되지만 (낮은 $\phi$), 잘못된 예측은 이탈합니다.

C. 보정 파이프라인

1. 특징 추출: 각 토큰에 대해 모델은 모든 레이어에 걸친 기하학적 신호를 포착하는 특징 벡터 $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$를 계산합니다.
2. 거리 계산: 시스템은 이러한 특징들이 정확한 예측과 잘못된 예측의 분포로부터의 마할라노비스 거리를 계산합니다.
3. 보정기 학습: XGBoost 모델을 훈련하여 이러한 기하학적 특징 (원시 퍼플렉시티와 결합됨) 을 정제된 불확실성 점수로 매핑합니다.
4. 결정: 최종 불확실성 점수가 합동 임계값에 기반하여 기피 여부를 결정합니다.

3. 주요 기여

1. 합동적 기피 프레임워크: 비합동성 점수의 불가능성을 우회하여, 개방형 생성에서 참여율과 조건부 정확성 모두에 대해 엄격한 유한 표본 보장을 제공하는 사후 방법입니다.
2. 기하학 기반 보정: 트랜스포머 레이어의 내부 기하학적 역동성 (MLP 기여도, 회전, 이방성) 을 활용하여 신뢰도를 실제 정확성과 더 잘 정렬시키는 불확실성 정량화를 위한 새로운 접근법입니다.
3. 이론적 보장: 불확실성 점수를 유도하는 데 사용된 결정적 변환 하에서 교환성이 보존됨을 보여주는 증명으로, 합동 보장의 유효성을 보장합니다.
4. 종합적 평가: 여섯 가지 다양한 데이터셋 (NQ, TruthfulQA, GSM8K 등) 과 여러 모델 크기 (Gemma-3, LLaMA-3) 에 걸친 광범위한 실험.

4. 실험 결과

• 성능: 제안된 방법은 모든 데이터셋에서 퍼플렉시티, 의미 엔트로피, 어텐션 기반 방법, 구두화된 신뢰도 등 강력한 베이스라인을 크게 능가합니다.
• 조건부 정확성: 합동적 기피 하에서, 이 방법은 평균 **조건부 정확성 75.0%**를 달성합니다. 이는 모델이 답변을 결정할 때 75% 의 확률로 정확함을 의미하며, 종종 50~60% 수준에 머무르는 베이스라인보다 현저히 개선된 것입니다.
• 강건성: 이 방법은 다양한 참여율 (질문의 10% 에서 90% 까지 답변) 에서 높은 성능을 유지합니다.
• 애블레이션 연구: 기하학적 신호 ($\omega, \theta, \phi$) 를 순열하면 동등한 성능 저하가 발생하여, 세 가지 신호 모두 중요하고 상호 보완적임을 나타냅니다.
• 베이스라인 보정: 저자들은 기존 베이스라인에 단순히 보정기를 적용하는 경우 (저차원 신호에 대한 과적합으로 인해) 성능이 저하되는 반면, 고차원 기하학적 특징은 보정으로 인해 크게 혜택을 받는다는 것을 보여줍니다.

5. 의의

이 연구는 LLM 배포에서의 중요한 신뢰성 격차를 해소합니다. 선택적 기피를 이론적 보장과 함께 가능하게 함으로써, CA 는 고위험 분야 (의료, 법률, 과학) 에서 할루시네이션의 위험을 줄이며 비용이 많이 드는 재학습을 요구하지 않습니다. "지식 관여"의 대리 지표로서 표현 기하학을 도입한 것은, 표면적 확률을 넘어 모델이 정보를 처리하는 내부 메커니즘으로 이동하는 불확실성 정량화를 위한 새로운 패러다임을 제시합니다. 이는 무지를 인정하는 것이 잘못된 정보를 제공하는 것보다 바람직한 실제 응용 분야에서 시스템을 더 신뢰할 수 있고 실행 가능하게 만듭니다.