Differentiable Conformal Training for LLM Reasoning Factuality

1. 문제 정의 (Problem)

• LLM 의 환각 (Hallucination) 문제: 대규모 언어 모델 (LLM) 은 중요한 의사결정 분야에서 사용되지만, 종종 사실과 다른 정보를 확신 있게 생성하는 '환각' 현상이 발생하여 신뢰성이 떨어집니다.
• 기존 컨포멀 예측 (Conformal Prediction, CP) 의 한계:
  • CP 는 통계적으로 유효한 신뢰도 보장 (예: 오류율 $\alpha$ 이하) 을 제공하여 LLM 의 환각을 필터링하는 데 사용됩니다.
  • Coherent Factuality (CF): Rubin-Toles et al. (2025) 은 다단계 추론을 위해 '근사 추론 그래프 (ADG)'를 도입하여, 하위 주장 (subclaims) 들 간의 논리적 의존성을 고려하여 일관된 사실성을 검증했습니다.
  • 핵심 병목 현상: 기존 CF 방법은 수동으로 설계된 (hand-crafted) 점수 함수 (주로 자기 일관성 빈도 기반) 를 사용합니다. 이는 미분 불가능 (non-differentiable) 하여 최적화가 불가능합니다. 그 결과, 높은 신뢰도 (낮은 $\alpha$) 를 유지하기 위해 진짜 주장 (true claims) 의 최대 60% 까지 불필요하게 제거하는 과도한 보수성 (over-conservatism) 을 보입니다. 이는 실용성을 크게 제한합니다.

2. 방법론 (Methodology)

저자들은 Differentiable Coherent Factuality (DCF) 를 제안합니다. 이는 CF 알고리즘을 완전히 미분 가능하게 완화 (relaxation) 하여, 그래디언트 기반 학습을 통해 주장 유지율 (retention) 을 최적화하면서도 통계적 보장을 유지하는 프레임워크입니다.

핵심 기술 요소

1. 미분 가능한 완화 (Differentiable Relaxations):
   CF 의 이산적 (discrete) 인 연산들을 연속적인 함수로 대체하여 그래디언트 흐름을 가능하게 합니다.

   • 소프트 필터링 (Soft Filtering): 임계값 필터링 ($\mathbb{1}\{r_v \le \tau\}$) 을 시그모이드 함수 ($\sigma$) 로 대체하여 주장 유지 확률을 계산합니다.
   • 소프트 조상 일관성 (Soft Ancestor Coherence): 논리적 AND 연산 (모든 조상이 통과해야 함) 을 기하평균 (geometric mean) 또는 가중치 곱으로 완화하여, 조상 주장의 신뢰도가 낮으면 자식 주장의 신뢰도도 낮아지도록 만듭니다.
   • 소프트 상한 (Soft Supremum) 및 가문된 Argmax:
     • 보정 (Calibration): 잘못된 주장을 필터링하는 최대 임계값을 찾는 '상한 (supremum)' 연산을 Softmax 를 활용한 유틸리티 함수로 완화합니다.
     • 예측 (Prediction): 보정된 임계값 ($\hat{\tau}_\alpha$) 이하에서 가장 큰 임계값을 선택하는 '가문된 Argmax'를 시그모이드 게이트와 Softmax 로 대체합니다.

2. 동적 훈련 파이프라인 (End-to-End Training):

   • 훈련 데이터셋을 보정 (Calibration) 집합과 예측 (Prediction) 집합으로 나눕니다.
   • 보정 단계: 미분 가능한 보정 알고리즘을 통해 보정 데이터에 대해 임계값 $\hat{\tau}_\alpha$를 추정합니다.
   • 예측 단계: 추정된 임계값을 사용하여 예측 데이터에 대한 주장 유지 확률을 계산합니다.
   • 손실 함수: 보정된 임계값 하에서 진짜 주장 (true claims) 을 최대한 많이 유지하는 것을 목표로 하는 손실 함수 ($L_{retention}$) 를 최소화합니다.
   • 수렴 보장: 온도 파라미터 (temperature parameters) 가 극한으로 수렴할 때, DCF 의 소프트 연산이 원래의 이산적 CF 알고리즘과 동일해짐을 수학적으로 증명했습니다 (Theorem 3.1, 3.2).

3. 학습된 스코어 함수:

   • 빈도 기반 점수뿐만 아니라, 그래프 구조 (연결성, 중심성), 논리적 일관성, 도메인 지표 등 30 가지 이상의 특징 (features) 을 활용하여 로지스틱 회귀 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 이론적 증명: CF 의 이산적 연산 (임계값 필터링, 조상 일관성, Argmax) 이 미분 가능한 완화로 정확하게 모델링될 수 있음을 증명하고, 극한에서 원래 알고리즘을 회복함을 보였습니다.
2. 성능 향상: 제안된 프레임워크를 통해 주장 유지율을 극대화하면서도 컨포멀 커버리지 보장을 유지합니다.
3. 해석 가능성 분석: 학습된 모델이 단일 특징 (예: 빈도) 에 의존하지 않고, 상호 보완적인 신호 (그래프 구조, 논리적 흐름 등) 를 효과적으로 결합하여 더 나은 결정을 내린다는 것을 입증했습니다.

4. 실험 결과 (Results)

두 가지 벤치마크 데이터셋 (수학 문제 해결용 MATH, 일반 추론/지식용 FELM) 에서 실험을 수행했습니다.

• 주장 유지율 (Retention) 개선:
  • MATH: 높은 신뢰도 수준 ($\alpha = 0.03$, 97% 신뢰도) 에서 기존 CF 대비 141% 향상된 주장 유지율을 달성했습니다 (평균 0.73 개 $\to$ 1.76 개).
  • FELM: 기존 방법 대비 최대 61% 향상을 보였습니다.
  • 통계적 보장: 모든 실험에서 사용자 지정 오류율 ($\alpha$) 이내의 커버리지를 유지했습니다.
• 베이스라인 비교:
  • DCF 는 수동 점수 기반 CF, 독립적 주장 필터링, 학습된 독립적 필터링 (Boosted Independent) 등 모든 기존 SOTA 방법보다 우월한 성능을 보였습니다.
  • 특히, 그래프 구조를 학습에 포함시키는 것이 필수적임을 입증했습니다 (학습만으로는 부족하고, 그래프 구조가 필수).
• 단일 특징 분석:
  • 어떤 단일 특징 (빈도, 그래프 연결성 등) 으로도 DCF 의 성능을 따라갈 수 없었습니다. DCF 는 다양한 특징을 조합하여 빈도가 0 인 경우에도 그래프 구조 정보를 통해 올바른 주장을 유지하는 등 유연한 판단을 내렸습니다.

5. 의의 및 결론 (Significance)

• 실용적 신뢰성 확보: 기존 CP 기반 방법은 보장을 위해 너무 많은 진짜 정보를 버리는 문제가 있었으나, DCF 는 학습을 통해 이 트레이드오프를 극적으로 개선했습니다. 이는 LLM 을 고위험 분야 (의료, 법률, 과학 등) 에 적용할 때 필수적인 '신뢰성'과 '유용성' 사이의 균형을 맞춥니다.
• 구조적 추론의 최적화: 단순히 주장 하나하나를 평가하는 것을 넘어, 논리적 의존 관계 (그래프 구조) 를 미분 가능하게 학습함으로써 복잡한 추론 과정에서의 사실성을 더 정확하게 검증할 수 있게 되었습니다.
• 미래 방향: 이 연구는 통계적 보장을 유지하면서 LLM 의 출력 품질을 최적화하는 새로운 패러다임을 제시하며, 더 안전하고 신뢰할 수 있는 AI 시스템 구축의 기반을 마련했습니다.

요약하자면, 이 논문은 미분 가능한 최적화 기법을 도입하여 기존 컨포멀 예측의 보수성을 극복하고, 그래프 기반 논리적 일관성을 학습함으로써 LLM 의 환각을 줄이면서도 유용한 정보를 최대한 보존하는 획기적인 방법을 제시했습니다.