Is Conformal Factuality for RAG-based LLMs Robust? Novel Metrics and Systematic Insights

이 논문은 RAG 기반 LLM 에 적용된 합동 사실성 (conformal factuality) 필터링이 높은 사실성 수준에서는 유용성이 떨어지고 분포 변화에 취약하며, 경량 엔 tailment 기반 검증자가 LLM 기반 스코어러보다 효율적임을 보여주는 새로운 지표를 통해 사실성과 유용성 간의 트레이드오프와 프레임워크의 취약성을 규명했습니다.

핵심

🍳 배경: AI 요리사와 거짓말 문제

우리가 AI(대형 언어 모델) 에게 "오늘 점심 뭐 먹지?"라고 물어보면, AI 는 아주 유창하고 자신감 있게 답변합니다. 하지만 문제는 **AI 가 사실과 다른 거짓말 (환각, Hallucination)**을 할 수도 있다는 점입니다. 마치 요리사가 재료가 없는데도 "이거 맛있어요!"라고 거짓말을 하는 것과 같습니다.

이를 해결하기 위해 두 가지 방법을 썼습니다:

1. RAG (검색 증강 생성): AI 가 답변할 때 미리 준비된 '참고 자료 (레시피)'를 보게 합니다.
2. 합동 사실성 (Conformal Factuality): AI 가 만든 문장 하나하나를 '검사관'이 확인하고, 신뢰도가 낮은 문장은 잘라내서 버리는 시스템입니다.

이 논문은 **"이 '검사관' 시스템이 정말로 믿을 만한가?"**를 실험해 본 것입니다.

---

🔍 주요 발견 3 가지 (비유로 설명)

1. "너무 엄격하면 아무것도 안 남아요!" (진실성 vs 유용성)

검사관이 "거짓말이 하나라도 있으면 다 버려!"라고 너무 엄격하게 기준을 잡으면, AI 는 아예 입을 다물고 아무 말도 못 하게 됩니다.

• 비유: 식당에서 "음식에 머리카락이 하나라도 있으면 그 요리를 통째로 폐기한다"는 규정을 만들면, 요리사는 안전한 요리만 내놓으려다 아예 요리를 안 하거나, "음식 없음"이라고만 답하게 됩니다.
• 결과: 연구진은 "거짓말이 없는 것"만 중요시하는 기존 지표는 속임수일 수 있다고 지적했습니다. **중요한 건 '거짓말이 없는 것'이 아니라 '거짓말 없이도 유용한 정보를 주는 것'**입니다. 그래서 '비어있지 않은 답변 비율' 같은 새로운 지표를 제안했습니다.

2. "시험지랑 실제 시험이 달라요!" (편향된 데이터 문제)

이 검사관 시스템은 '시험용 데이터 (교정 데이터)'로 훈련을 받습니다. 그런데 실제 세상 (테스트 데이터) 이 훈련용과 조금만 달라져도 시스템이 엉망이 됩니다.

• 비유: 요리사에게 **"오이만 넣은 샐러드"**만 연습시켜서 "이건 안전해!"라고 검사관을 훈련시켰습니다. 그런데 실제 손님에게 **"오이와 토마토가 섞인 샐러드"**를 내놓으니, 검사관은 "토마토가 뭐야? 이건 위험해!"라고 오인해서 요리를 다 버려버립니다.
• 결과: 훈련 데이터와 실제 사용 환경이 완벽히 일치하지 않으면, 이 안전장치는 무용지물이 됩니다. 특히 AI 가 헷갈리게 만드는 '방해 요소 (Distractor)'가 섞이면 시스템이 무너집니다.

3. "거인보다 작은 수호신이 더 빠르고 똑똑해요!" (효율성)

검사를 위해 거대한 AI(검사관) 를 쓸 필요는 없습니다. 작은 모델로도 충분히 잘 작동합니다.

• 비유: 거대한 성을 지키기 위해 거인 100 명을 고용할 필요는 없습니다. 작지만 똑똑한 경비병 1 명이 훨씬 빠르고, 비용도 적게 들면서 같은 일을 해냅니다.
• 결과: 연구진은 거대한 AI 모델 대신, **훨씬 작고 가벼운 '엔tailment(추론) 모델'**을 검사관으로 쓰면, 계산 비용 (전기세 같은 것) 은 100 배 이상 아끼면서도 오히려 더 좋은 결과를 낸다는 것을 발견했습니다.

---

💡 결론: 우리에게 주는 교훈

이 논문은 우리에게 다음과 같은 중요한 메시지를 줍니다.

1. 안전장치도 한계가 있다: AI 가 거짓말을 안 하도록 막는 시스템이 있지만, 너무 엄격하면 AI 가 쓸모없는 존재가 될 수 있습니다. **유용함 (Informativeness)**을 함께 고려해야 합니다.
2. 환경 변화에 약하다: 이 시스템은 훈련된 환경과 똑같은 환경에서만 잘 작동합니다. 세상이 조금만 변해도 (새로운 질문, 새로운 방해 요소) 무너질 수 있으니, 더 튼튼한 새로운 방법이 필요합니다.
3. 효율적인 해결책: 거대한 AI 를 무작정 키우는 게 답이 아닙니다. 작고 가벼운 도구를 잘 조합하면, 비용은 줄이고 성능은 높일 수 있습니다.

한 줄 요약:

"AI 의 거짓말을 막는 '안전장치'는 좋지만, 너무 엄격하면 AI 가 입을 닫아버리고, 환경이 조금만 달라져도 무너집니다. 그래서 작고 똑똑한 도구를 써서 거짓말도 막고, 유용한 말도 잘 해내는 새로운 방법을 찾아야 합니다."

기술 요약

이 논문은 **검색 증강 생성 **(RAG)의 신뢰성과 유용성을 체계적으로 분석하고, 기존 방법론의 한계를 지적하며 새로운 평가 지표와 실용적인 통찰을 제시합니다. 주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 환각 (hallucination) 현상으로 인해 지식 집약적 작업에서 신뢰성이 제한적입니다. 이를 해결하기 위해 두 가지 주요 접근법이 제안되었습니다.

• **검색 증강 생성 **(RAG) 외부 지식 소스를 기반으로 답변을 생성하여 환각을 줄이려 하지만, 최종 출력의 사실성에 대한 통계적 보장은 제공하지 않습니다.
• **합동 사실성 필터링 **(Conformal Factuality Filtering) 분포 자유 (distribution-free) 통계적 보장을 제공하여, 검증된 임계값을 사용하여 개별 주장 (atomic claims) 을 점수화하고 필터링합니다. 하지만 이 방법은 **유용성 **(informativeness)이 보장되지 않으며, 과도한 필터링으로 인해 빈 결과 (empty output) 나 무의미한 결과가 나올 수 있습니다.

현재 RAG 와 합동 예측 (Conformal Prediction, CP) 을 결합한 연구들은 존재하지만, 어디서 성능 향상이 발생하는지, 언제 보장이 깨지는지에 대한 체계적인 분석이 부족합니다. 특히 표준 평가 지표는 빈 답변을 '사실적'으로 간주하는 등 실제 유용성을 왜곡할 수 있습니다.

2. 방법론 (Methodology)

저자들은 RAG 기반 LLM 을 위한 합동 필터링 프레임워크를 체계적으로 분석하기 위해 다음과 같은 실험을 수행했습니다.

• 프레임워크:

  1. 생성: 쿼리 ($x$) 와 검색된 참조 ($R(x)$) 를 기반으로 LLM 이 초기 응답 ($y$) 을 생성합니다.
  2. 파싱: 응답을 개별 주장 (claims) 으로 분해합니다.
  3. 점수화: 각 주장에 대해 사실성 점수를 매깁니다. (엔트ailment 기반 모델 또는 LLM 기반 신뢰도 점수 사용)
  4. 필터링: 캘리브레이션 데이터셋으로 결정된 임계값 ($\tau_\alpha$) 보다 낮은 점수의 주장을 제거합니다.
  5. 병합: 남은 주장들을 다시 하나의 응답 ($y'$) 으로 합칩니다.

• 데이터셋 및 모델:

  • 데이터셋: FActScore (요약), MATH (수학 추론), Natural Questions (질문 답변) 등 3 가지 벤치마크.
  • 모델: Qwen3, Llama-3.x, SmolLM2, gpt-oss 등 다양한 아키텍처와 크기 (0.6B~120B) 의 오픈소스 모델 및 추론 기능 포함/비포함 변형.

• 새로운 평가 지표 제안:
  기존 지표 (Empirical Factuality 등) 가 빈 답변을 사실로 간주하는 한계를 보완하기 위해 다음과 같은 지표를 도입했습니다.

  • **Non-empty Rate **(NR) 비어 있지 않은 답변의 비율.
  • **Non-vacuous Empirical Factuality **(NvEF) 비어 있지 않은 답변 중 사실적인 비율.
  • **Sufficient Correctness **(SC) 출력된 내용이 참조를 바탕으로 질문의 정답을 도출하기에 충분한지 평가.
  • **Conditional Sufficient Correctness **(CSC) 초기 생성물이 충분한 정보를 포함했을 때, 필터링이 그 정보를 유지하는지 평가 (필터링 과정의 손실만 측정).

3. 주요 결과 (Key Results)

1. 고사실성에서의 유용성 저하:

   • 높은 사실성 수준 (high factuality levels) 을 요구할수록 필터링이 너무 엄격해져 **빈 출력 **(vacuous outputs)이 많이 발생합니다. 즉, 사실성은 높아지지만 실제 질문에 답할 수 없는 경우가 많습니다.

2. **분포 변화 및 방해 요소에 대한 취약성 **(Robustness Issues)

   • **분포 이동 **(Distribution Shift) 캘리브레이션 데이터와 테스트 데이터의 분포가 다르면 (예: 다른 LLM 이 생성한 데이터 사용) 합동 보장이 깨져 사실성 보장이 실패합니다.
   • **방해 요소 **(Distractors) 입력에 관련 없는 정보나 그럴듯한 허위 정보가 포함되면, 필터링 성능이 급격히 저하됩니다. 방해 요소를 캘리브레이션 데이터에 포함시켜 대응하면 사실성은 회복되지만, Non-empty Rate 가 급격히 떨어져 유용성이 사라집니다.

3. **가벼운 검증기의 우월성 **(Efficiency vs. Performance)

   • LLM 기반 점수화 vs. 엔트ailment 기반: 대규모 LLM 을 신뢰도 점수화 (scorer) 로 사용하는 것보다, DeBERTa 나 RoBERTa 같은 가벼운 엔트ailment 기반 모델이 더 나은 성능을 보이거나 동급의 성능을 내면서 100 배 이상의 FLOPs 절감 효과를 냅니다.
   • 모델 크기: 점수화 모델의 크기를 키우는 것이 항상 성능 향상을 보장하지는 않습니다. 작은 모델 (예: Qwen3-0.6B) 이 큰 모델과 유사하거나 더 나은 성능을 보이는 경우가 많습니다.

4. 기여 (Contributions)

• 새로운 평가 지표: 사실성과 유용성 간의 트레이드오프를 정량화할 수 있는 NR, NvEF, SC, CSC 지표를 제안하여, 기존 지표가 놓치고 있는 '실제 유용성'을 평가할 수 있게 했습니다.
• 체계적 분석: 다양한 데이터셋, 모델 아키텍처, 점수화 전략을 아우르는 광범위한 평가를 통해 RAG 기반 합동 필터링의 한계 (유용성 저하, 분포 이동 취약성) 를 명확히 밝혔습니다.
• 효율성 통찰: 무거운 LLM 기반 검증기 대신 가벼운 엔트ailment 모델이 효율성과 성능 면에서 우월함을 입증하여, 실제 배포 시 컴퓨팅 비용 절감을 위한 실용적인 가이드라인을 제공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 RAG 기반 LLM 시스템의 신뢰성을 높이기 위해 **단순히 사실성 **(Factuality)해야 함을 강조합니다.

• 현재의 합동 필터링 프레임워크는 분포 변화와 방해 요소에 매우 취약하며, 높은 사실성 보장을 위해선 유용성이 희생되는 심각한 트레이드오프가 존재합니다.
• 따라서 향후 연구는 **강건성 **(Robustness)과 **유용성 **(Usefulness)을 핵심 지표로 삼아 새로운 접근법을 모색해야 하며, 컴퓨팅 자원을 효율적으로 사용하는 **가벼운 검증기 **(Lightweight Verifiers)를 활용한 파이프라인 구축이 필요함을 시사합니다.

요약하자면, 이 논문은 "합동 사실성 필터링이 RAG 시스템의 신뢰성을 보장해 줄 수 있는가?"라는 질문에 대해, 현재의 방법은 분포 변화에 취약하고 유용성을 희생하므로, 새로운 평가 기준과 효율적인 가벼운 검증기를 도입해야 한다는 결론을 내립니다.