기술 요약: 대규모 언어 모델을 위한 유효한 사실성 제어를 갖춘 추론 시점 컨포멀 추론 (Inference-Time Conformal Reasoning)

1. 문제 정의

대규모 언어 모델(LLM)은 점차 다단계 추론을 채택하며, 암시적인 유향 비순환 그래프(DAG)를 형성하는 중간 주장(claim)들의 시퀀스를 생성한다. 이러한 구조에서 특정 노드(주장)의 정답 여부는 그 조상 노드들에 구조적으로 조건화된다. 즉, 상위 단계의 주장 하나에 오류가 발생하면 하위의 모든 주장들이 무효화될 수 있다. 이는 사실성 불확실성이 단순히 독립적인 노드별 오류의 축적이 아니라, 구조적인 문제임을 의미한다.

컨포멀 예측(Conformal Prediction, CP)과 같은 기존의 사실성 제어 방식은 일반적으로 **사후적(post-hoc)**이다. 이 방식은 먼저 완전한 추론 그래프를 생성한 다음, 커버리지 보장을 만족시키기 위해 주장들의 부분 집합을 가지치기(pruning)하거나 선택한다. 이 접근 방식에는 두 가지 결정적인 한계가 있다:

1. 구조적 불일치(Structural Misalignment): 사후적 가지치기는 생성 과정 자체에 영향을 미칠 수 없으므로, 교정되기 전까지 방대한 양의 무효한 콘텐츠가 생성되는 결과를 초래할 수 있다.
2. 비효율성 및 불안정성: 완전히 생성된 그래프를 가지치기하는 것은 지나치게 보수적인 출력(완전한 포기)을 내놓거나, 환각으로 인한 노이즈 때문에 임계값이 불안정해지는 결과를 낳는다.

본 논문이 다루는 핵심 질문은 다음과 같다: 우리는 어떻게 사후적인 방식이 아닌, 생성 과정 중에 개입하면서도 엄격한 커버리지 보장을 유지하는 추론 시점의 컨포멀 사실성 제어를 설계할 수 있는가?

2. 방법론: 추론 시점 컨포멀 추론 (ITCR)

저자들은 컨포멀 예측을 추론 그래프 생성 과정에 직접 통합하는 추론 시점 컨포멀 추론(Inference-Time Conformal Reasoning, ITCR) 프레임워크를 제안한다.

핵심 구성 요소

1. 구조 수준의 사실성 불확실성 함수:

   • 노드 수준의 점수에만 의존하는 대신, ITCR은 조상 폐쇄(ancestor-closed) 추론 서브그래프와 그 구성 노드들의 불확실성 신호를 입력받아 스칼라 값인 그래프 수준의 사실성 불확실성 점수를 매핑하는 함수 $F_{U_\theta}$를 학습한다.
   • 이 함수는 서브그래프에 대한 이진 감독(consistent vs. inconsistent with ground truth)을 통해 학습된다. 이 함수의 학습은 컨포멀 캘리브레이션에 기반한 커버리지 보장의 이론적 타당성에 영향을 미치지 않는다.

2. 중첩된 비정상성 점수 (Nested Non-Conformity Score):

   • 순차적 생성 중 유효한 중단을 가능하게 하기 위해, 비정상성 점수 $S(U)$는 반드시 **중첩 속성(nested property)**을 만족해야 한다. 즉, 서브그래프 확장 시 단조 증가($S(U_1) \le S(U_2) \le \dots$)해야 한다.
   • 저자들은 점수를 다음과 같이 정의한다:
     $$S(U) = 1 - \sigma(F_{U_\theta}(U, \{f_u(v)\}_{v \in V_U})) + \lambda |V_U|$$
     여기서 $\sigma$는 시그모이드 함수이며, $|V_U|$는 노드의 개수, $\lambda$는 패널티 항이다.
   • 크기 패널티 $\lambda |V_U|$는 단조성을 강제하여, 그래프가 확장됨에 따라 점수가 증가(또는 유지)되도록 함으로써, 캘리브레이션된 임계값을 넘어서는 것이 되돌릴 수 없는 중단 조건이 되도록 보장한다.

3. 추론 알고리즘:

   • 생성기는 추론 그래프를 점진적으로 확장한다.
   • 각 단계에서 현재 서브그래프의 비정상성 점수를 계산한다.
   • 만약 $S(U_t) \le \tau_\alpha$ (캘리브레이션된 임계값)이면 생성을 계속한다.
   • 만 만약 $S(U_t) > \tau_\alpha$이면 즉시 생성을 중단하고, 현재의 조상 폐쇄 서브그래프를 최종 출력으로 반환한다.

커버리지 목표

ITCR은 $1-\alpha$ 수준에서 보장되는 두 가지 뚜렷한 커버리지 목표를 지원한다:

• No-False Coverage (오류 없음 커버리지): 예측된 서브그래프에 사실적으로 틀린 노드가 하나도 포함되지 않음을 보장한다 (정밀도 지향). 이는 거짓 양성률(false-positive rate)을 제어한다.
• No-Miss Coverage (누락 없음 커버리지): 예측된 서브그래프에 사실적으로 옳은 노드가 모두 포함됨을 보장한다 (재현율 지향). 이는 과도한 절단을 피하기 위해 제한된 수의 불확실한 노드를 허용한다.

3. 주요 기여

1. 추론 시점 통합: 사후적 선택 문제에서 추론 시점의 생성 메커니즘으로 사실성 제어를 이동시킨 ITCR의 제안.
2. 이론적 보장: 제안된 중첩 생성 절차가 No-False 및 No-Miss 목표 모두에서 유효한 컨포멀 커버리지 보장을 유도함을 증명함.
3. 실증적 검증: MATH, GSM8K, QA 데이터셋 및 다양한 LLM 백본에 대해 ITCR이 유효한 커버리지를 달성함을 입증하였으며, 사후적 방법론보다 추론 정확도를 유의미하게 향상시킴.

4. 실험 결과

저자들은 LLaMA-3.1-8B, Qwen3-4B, DeepSeek-R1-Distill-Qwen-1.5B를 포함한 모델들을 사용하여 MATH, GSM8K, 그리고 세계 지식 QA 데이터셋에 대해 ITCR을 평가하였다.

• 커버리지 타당성: ITCR은 No-False 및 No-Miss 목표 모두에 대해 목표 수준($1-\alpha$)을 만족하는 실증적 커버리지 비율을 일관되게 달acia한다. 반면, 베이스라인 방법들(예: CPL, 단순 집계 휴리스틱)은 커버리지 보장에 실패하는 경우가 많았다.
• 효율성: ITCR은 커버리지 제약 조건을 만족하는 방법들 중 가장 높은 효율성(더 많은 정답 노드를 유지하거나 더 적은 정답 노드를 제거함)을 달성했다.
• 다운스트림 성능: 다운스트림 추론 작업에서 ITCR은 사후적으로 가지치기 된 그래프보다 더 정확한 생성을 제공한다. 구체적으로, 벤치마크 전체에서 "교정 이득(Correction Gain, 양의 교정 비율 - 음의 교정 비율)"을 평균 18.77% 향상시켰다.
• 컴퓨팅 비용: ITCR은 전체 궤적을 생성한 후 가지치기하는 사후적 방법(PostCal)에 비해 토큰 소비와 실행 시간을 줄인다. 이는 생성을 조기에 중단하기 때문이다.
• 강건성: 이 방법은 기초가 되는 불확실성 함수 클래스(MLP, Random Forest, SVM) 및 프롬프트 변화에 대해 강건하다.

5. 의의 및 주장

본 논문은 ITCR가 구조화된 LLM 추론에서 사실성을 제어하기 위한 통계적으로 엄격한 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 간극 해소: (CP를 통한) 사용자 지정 커버리지 보장의 유연성과 자기회귀적 생성의 동적인 특성을 성공적으로 결합하였다.
• 구조적 인식: 노드 수준이 아닌 그래프 수준에서 작동함으로써, 상위 단계의 오류가 전파된다는 추론의 의존 구조를 존중한다.
• 실용적 유용성: 이 방법은 유효성을 보장할 뿐만 아니라, 모델이 무효한 경로에 컴퓨팅 자원을 낭비하는 것을 방지하고 더 효과적인 자기 교정을 가능하게 함으로써 추론의 품질을 높인다.

저자들은 한계점으로 교환 가능성(exchangeability) 가정에 대한 의존성(캘리브레이션 분포와 테스트 분포가 유사해야 함)과 초기 그래프 구축 및 사실성 검증의 정확도에 대한 의존성을 언급하였다. 이들은 향후 연구로 국소적 캘리브레이션(localized calibration) 및 비교환 가능(non-exchangeable) 환경을 위한 적응형 패널티 개발을 제안하였다.