기술 요약: 지식과 추론 신뢰도를 보정함으로써 신뢰할 수 있는 LLM 을 위한 이중 보정

1. 문제 제기

대규모 언어 모델 (LLM) 은 내재적 인식적 불확실성 (지식 격차) 과 외재적 우연적 불확실성 (데이터 모호성) 모두에 의해 유발되는 환각과 신뢰할 수 없는 추론에 시달립니다. 지식 그래프 기반 검색 증강 생성 (KG-RAG) 은 구조화된 증거를 검색하여 사실적 정확도를 향상시키는 선도적 패러다임으로 부상했지만, 현재 방법론들은 검색된 증거가 항상 충분하고 확실하다는 가정을 내포하는 치명적인 결함을 지니고 있습니다.

실제로 검색된 증거는 노이즈가 있거나 불완전하거나 모호할 수 있습니다. 기존 KG-RAG 접근법은 검색된 증거 자체의 불확실성을 정량화하지 못합니다. 그 결과, LLM 은 부분적이거나 결함이 있는 증거에 의존할 때 확신 있게 진술되지만 잘못된 예측을 생성할 수 있습니다. 더 나아가, LLM 을 위한 기존 불확실성 정량화 (UQ) 방법들은 주로 최종 출력 신뢰도를 보정하는 데 중점을 둡니다. 이러한 방법들은 종종 모델의 내부 상태나 자기 평가를 기반으로 하므로 불투명하고 추적 불가능합니다. 불확실성이 결함 있는 증거에서 비롯되었는지, 추론의 결여에서 비롯되었는지, 아니면 작업의 난이도에서 비롯되었는지 구분하지 못하므로, KG-RAG 와 효과적으로 시너지를 내어 추론 체인의 단계별 보정된 관점을 제공하지 못합니다.

2. 방법론: DoublyCal

이러한 격차를 해결하기 위해 저자들은 이중 보정 원리에 기반한 새로운 프레임워크인 DoublyCal을 제안합니다. 이 접근법은 검색된 KG 증거부터 최종 LLM 예측까지 신뢰도를 명시적으로 추정하고 추적 가능하게 만듭니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다:

2.1 KG 증거의 베이지안 보정

이 프레임워크는 먼저 KG 증거를 제약된 관계 경로로 형식화합니다. 단순한 관계 경로나 서브그래프와 달리, 이러한 경로는 후보 답변의 이웃에서 유도된 선택적 제약 조건이 추가된 핵심 관계 경로로 구성되며, 정보성과 해석 가능성을 균형 있게 유지합니다.

각 증거 경로에 대해 통계적으로 근거 있는 신뢰도를 추정하기 위해 저자들은 베타 - 베르누이 모델을 사용합니다:

• 증거가 주어졌을 때 후보 답변의 정확성은 매개변수 $p$를 가진 베르누이 분포로 모델링됩니다.
• KG 의 불완전성과 희소한 기반을 고려하기 위해 켤레 베타 사전분포 ($p \sim \text{Beta}(\alpha, \beta)$) 를 부과합니다.
• 보정된 신뢰도 점수는 경험적 정확도와 사전 신념을 혼합한 사후 평균으로 계산됩니다 (예: Jeffreys 사전분포 $\alpha=\beta=0.5$ 사용). 이는 검색된 후보의 수가 적은 경우 과도한 확신을 방지합니다.

2.2 증거 생성 및 보정을 위한 프록시 모델

베이지안 계산이 사후적이므로, 추론 중에 전향적인 증거 검색 및 신뢰도 추정을 수행하도록 경량 **LM 기반 증거 생성기 (프록시 모델)**를 훈련합니다. 훈련은 두 단계로 이루어집니다:

1. 지도 미세 조정 (SFT): 프록시는 통계적 신호를 모방하여 KG 증거 경로와 해당 베이지안 신뢰도 점수를 생성하도록 훈련됩니다.
2. 강화 학습 (RL): 프록시는 그룹 상대 정책 최적화 (GRPO) 를 사용하여 추가로 정제됩니다. 보상 함수는 추론 품질(골드 증거와 일치) 과 보정 정렬(예측된 신뢰도와 베이지안 기준 진실 간의 차이 최소화) 을 공동으로 최적화합니다.

2.3 보정된 증거를 통한 LLM 추론

추론 중 훈련된 프록시는 후보 증거 - 신뢰도 쌍의 집합을 생성합니다. 이러한 쌍은 구두화되어 블랙박스 주요 LLM 의 프롬프트에 통합됩니다. LLM 은 이러한 경로와 관련 신뢰도 점수를 기반으로 추론하여 최종 답변과 잘 보정된 예측 신뢰도를 생성하도록 지시받습니다. 이는 최종 신뢰도가 LLM 의 내부 상태만이 아니라 검증 가능하고 보정된 증거에 기반하는 추적 가능한 체인을 확립합니다.

3. 주요 기여

• 이중 보정 원리: 이 논문은 단일 단계 출력 보정을 넘어 검색된 KG 증거와 최종 LLM 예측 모두에 대한 명시적 신뢰도 보정을 요구하는 새로운 패러다임을 정립합니다.
• DoublyCal 프레임워크: 베이지안 보정 프록시 모델을 활용하여 블랙박스 LLM 에 증거 신뢰도가 수반된 KG 증거를 제공하는 실용적인 구현체입니다.
• 실증적 검증: DoublyCal 이 지식 집약적 벤치마크에서 다양한 블랙박스 LLM 에 대해 정확도와 신뢰도 보정을 모두 크게 향상시키면서 낮은 토큰 비용을 유지함을 입증했습니다.

4. 실험 결과

이 프레임워크는 WebQSP와 CWQ 벤치마크에서 평가되었으며, DoublyCal 은 단일 보정 (SingleCal) 기준선 (Vanilla, CoT, Self-Probing 과 같은 구두화된 UQ 기술과 결합된 표준 KG-RAG 방법) 과 비교되었습니다.

• 정확도 및 보정: DoublyCal (특히 RL 강화 버전) 은 Hits, Recall, F1 점수에서 최첨단 성능을 달성했으며, 기대 보정 오차 (ECE) 와 적응형 보정 오차 (ACE) 를 크게 감소시켰습니다. 예를 들어, WebQSP 에서 RL-DoublyCal 은 기준선들의 ~18-38% 에 비해 ECE 를 약 3.9% 로 줄였습니다.
• 비용 효율성: DoublyCal 은 우수한 토큰 효율성을 보여주었습니다. 제약된 관계 경로의 높은 정보 밀도 덕분에 SubgraphRAG 보다 훨씬 적은 입력 토큰 (SubgraphRAG 비용의 약 39%) 으로 SubgraphRAG 를 능가했습니다.
• 모델 간 호환성: 이 프레임워크는 다양한 블랙박스 LLM(GPT-3.5-turbo, GPT-4o-mini, DeepSeek-V3, Gemini-2.5-flash) 에서 테스트되었습니다. DoublyCal 은 모델 간 평균 ECE 를 29.4% 에서 7.6% 로 낮추면서 평균 F1 을 45.8% 에서 76.5% 로 향상시켜 정확도와 신뢰성 간의 트레이드오프를 일관되게 분리했습니다.
• 절대 연구: 증거 신뢰도 보정을 제거한 경우 (SingleCal 변형) 보정 오차가 급격히 증가했습니다 (ECE 가 약 4% 에서 20% 이상으로 상승). 이는 블랙박스 LLM 의 신뢰할 수 있는 자기 평가를 위해 외부에서 보정된 증거가 필수적임을 확인시켜 주었습니다.

5. 중요성 및 주장

이 논문은 DoublyCal 이 KG 증강 LLM 에서의 불확실성 전파를 체계적으로 관리하기 위한 원칙적인 해결책을 제공한다고 주장합니다. 신뢰도를 외부에서 검증 가능한 증거에 기반하게 함으로써, 이 프레임워크는 현재 UQ 방법들의 "블랙박스" 성격을 해결하는 전체 추론 체인을 위한 추적 가능한 기반을 제공합니다.

저자들은 그들의 작업이 더 신뢰할 수 있고 투명한 LLM 시스템을 구축하는 방향으로의 구체적인 단계라고 주장합니다. KG-RAG 가 사실성을 향상시키지만, 진정한 신뢰할 수 있는 추론을 달성하기 위해서는 증거와 추론 모두의 이중 보정이 필요하다고 강조합니다. 이 프레임워크는 내부 매개변수에 접근할 필요 없이 다양한 블랙박스 LLM 의 신뢰성을 향상시키는 플러그 - 앤 - 플레이 솔루션으로 제시됩니다.

인정된 한계:
저자들은 KG 가 극도로 희소할 경우 베이지안 신뢰도 추정기의 견고성이 저하될 수 있다고 지적합니다. 또한, 제약된 관계 경로의 고정된 형태는 집계나 비교와 관련된 복잡한 질문에서 성능을 제한할 수 있으며, 향후 연구는 더 풍부한 증거 형태나 에이전트 계획 패러다임을 탐구할 수 있음을 시사합니다.