ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence

기술 요약: ConflictScore: 언어 모델이 상충하는 증거를 처리하는 방식의 식별 및 측정

문제 정의

대규모 언어 모델(LLM)은 질문 답변 및 보고서 생성과 같은 작업을 위해 검색 증강 생성(RAG) 환경에 점점 더 많이 배치되고 있으며, 이 과정에서 여러 소스로부터 정보를 합성해야 합니다. 그러나 이러한 소스들은 모호성, 의견의 차이 또는 상충하는 사실로 인해 상충하는 증거를 포함하는 경우가 빈ền번합니다. 사실성(factuality)과 충실성(faithfulness)을 평가하기 위한 기존 지표들(예: FactScore, SAFE)은 일반적으로 전체 근거 문서 집합을 하나의 통합된 참조 코퍼스로 취급합니다. 결과적으로, 적어도 하나의 문서가 특정 주장을 뒷받침한다면, 해당 지표는 그 주장이 지지된다고 판정하며 다른 문서들이 이를 반박하고 있다는 사실을 간과하게 됩니다. 이러한 전역적 프레이밍(global framing)은 증거 간의 불일치라는 미묘한 차이를 포착하지 못하며, 이는 상충하는 관점을 무시하는 과도하게 확신에 찬 혹은 오도하는 응답을 평가하는 결과로 이어집니다.

방법론

저자들은 모델의 응답이 근거 문서 내의 상충하는 증거를 얼마나 잘 인지하고 탐색하는지를 정량화하기 위해 설계된 새로운 지표인 ConflictScore를 소개합니다. 기존 방식과 달리, ConflictScore는 증거 집합을 하나로 뭉뚱그리지 않고 문서별로 작동합니다. 이 프레임워크는 세 단계로 구성됩니다:

1. 주장 분해 (Claim Decomposition): 모델의 응답을 원자적이고 최소한의 사실적 진술(주장) 세트로 분해합니다.
2. 증거 평가 (Evidence Evaluation): 각 주장은 모든 근거 문서에 대해 독립적으로 평가됩니다. 문서는 해당 주장과 관련하여 지지(SUPPORT), 반박(CONTRADICT), 또는 **무관(IRRELEVANT)**으로 분류됩니다. 결정적으로, 문서가 주장을 부분적으로만 지지하더라도 지지하는 것으로 간주하여 미묘한 추론을 장려합니다. 만약 지지하는 문서의 집합($D^+$)과 반박하는 문서의 집합($D^-$)이 모두 비어 있지 않다면, 해당 주장은 "상충하는 증거"를 가진 것으로 간주됩니다.
3. 지표 계산 (Metric Calculation): 프레임워크는 이 라벨들을 두 가지 상호 보완적인 척도로 집계합니다:
   • ConflictScore-Count (CS-C): 응답 내의 주장 중 충돌을 보이는(즉, 지지와 반박 증거를 모두 가진) 주장의 비율입니다. 점수가 낮을수록 논쟁적인 주장이 적음을 의미합니다.
   • ConflictScore-Ratio (CS-R): 지지하는 증거와 반박하는 증거 사이의 균형을 나타냅니다. 각 충돌하는 주장에 대해 $|D^-| / (|D^+| + |D^-|)$ 비율을 계산하고 이를 모든 주장에 대해 평균화합니다. 이는 불일치의 심각도(예: 1:1 분할 대 9:1 불균형)를 포착합니다.

이 지표를 평가하기 위해, 저자들은 역설적 사실(counterfactuals), 모호성(ambiguity), 의견의 차이(divergent opinions)를 포함한 다양한 충돌 유형을 다루기 위해 기존 데이터셋(ContraQA, MacNoise, AmbigDocs, ConflictingQA)을 결합하고 변형한 ConflictBench를 구축했습니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. ConflictScore 지표: 근거 문서로부터의 동시적인 지지와 반박을 명시적으로 측정하여, 원자적 주장 사실성 파이프라인을 확장한 견고한 충돌 인식 지표를 제안합니다.
2. ConflictBench: 다양한 충돌 유형에 걸쳐 충돌 탐지 및 캘리브레이션(calibration)을 평가하도록 설계된 체계적인 벤치마크로, 기존 평가 프로토콜의 공백을 메웁니다.
3. 진단 및 교정 유용성: ConflictScore가 과도하게 확신에 찬 주장을 식별하는 진단 도구일 뿐만 아니라, 교정 신호로서도 기능함을 입증합니다. 충돌 신호를 모델에 다시 피드백함으로써, 저자들은 응답의 진실성을 개선하는 것을 보여주었습니다.

결과

충돌 탐지 성능:
Gemini-3.5-Flash, GPT-5.4-Mini와 같은 프런티어 모델을 사용한 ConflictBench 실험 결과, 기초가 되는 충돌 탐지 서브루틴은 높은 정밀도(0.98)와 재현율(0.90), 그리고 전체 F1 점수(0.94)를 달려 성취했습니다. 이는 이 지표가 서로 다른 데이터셋과 모델 제품군 전반에서 충돌을 탐지하도록 잘 캘리브레이션되었음을 나타냅/니다.

LLM 벤치마킹:
상충하는 증거가 있는 보고서 생성 작업에서 최첨단 LLM(GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B)에 적용했을 때, 결과는 충돌 인식 능력의 상당한 격차를 드러냈습니다. "균형 잡힌" 또는 "초-균형 잡힌" 응답을 권장하는 명시적인 프롬프트 전략에도 불구하고, 모델들은 자주 단일한 입장을 고수했습니다. CS-C 점수는 일관되게 높게 유지되어(약 0.50–0.55), 모델들이 완곡한 표현(hedge)을 하라는 지시를 받더라도 상충하는 증거의 전체 범위를 인지하는 데 종종 실패함을 보여주었습니다.

교정 피드백 (TruthfulQA):
TruthfulQA에 대한 사례 연구에서, 저자들은 충돌 신호를 모델에 다시 피드백하는 것이 진실성을 향상시킬 수 있는지 테스트했습니다. 탐지된 충돌에 대해 모델이 답변을 재생성하는 "Regenerated-RAG" 설정에서, 표준 RAG 및 프롬프트 기반 제어 설정보다 일관된 개선을 관찰했습니다.

• gemini3.1-flash-lite와 같은 모델의 경우, 재생성 과정은 원래 틀렸던 답변의 최대 74%를 바로잡았으며, 새로운 오류는 거의 도입하지 않았습니다(해로운 비율 < 3%).
• 이는 충돌 신호가 특히 객관식 설정에서 모델이 더 신중하고 정확한 추론을 할 수 있도록 효과적으로 가이드할 수 있음을 시사합니다.

의의 및 한계점

본 논문은 ConflictScore가 RAG 시스템의 "과도한 확신" 문제, 즉 모델이 상충하는 소스들을 확정적이고 잠재적으로 오도하는 답변으로 합성하는 문제를 해결하기 위한 필수적인 진단 도구를 제공한다고 주장합니다. 지지와 반박 증거 사이의 긴장감을 정량화함으로써, 더 진실하고 미묘한 AI 응답을 위한 경로를 제시합니다.

저자들은 몇 가지 한계를 인정합니다:

• 계산 비용: 모든 주장을 모든 문서와 대조하는 이차 복잡도(quadratic complexity)는 긴 형식의 출력에 대해 비용이 많이 들 수 있으나, 경량화된 변형(예: 핵심 주장 샘플링)이 제안되었습니다.
• 소스 신뢰도: 현재 프레임워크는 신뢰할 수 있는 출처의 가중치를 부여하지 않고 모든 근거 문서를 동일하게 취급합니다. 본 프레임워크는 향후 신뢰도 인식 확장 기능과 호환 가능하지만, 신뢰할 수 있는 출처 간의 충돌과 저품질 증거에 의한 충돌을 본질적으로 구분하지는 않습니다.
• 상위 단계 의존성: 이 지표는 상위 단계의 주장 분해 및 증거 라벨링의 정확성에 의존합니다. 이러한 단계에서의 오류는 최종 점수로 전파될 수 있으며, 주장 세분화(granularity)의 선택이 평가에 영향을 미칠 수 있습니다.

요약하자면, 본 논문은 현재의 LLM이 상충하는 증거를 자연스럽게 처리하는 데 어려움을 겪고 있으며, 명시적인 충돌 탐지 및 피드백 메커니즘이 생성된 콘텐츠의 진실성과 신뢰성을 향상시키는 효과적인 도구임을 입증합니다.