기술 요약: 정밀도는 충실함이 아니다

문제 정의

근거 기반 생성(grounded generation)을 위한 현재의 참조 없는 충실도(reference-free faithfulness) 지표는 치명적인 사각지대를 가지고 있다. 이들은 오직 정밀도(모델이 제시한 주장 중 실제 정답에 의해 뒷받침되는 비율)만을 측정할 뿐, 재현율(모델이 실제로 언급한 관련 정답 사실의 비율)은 무시한다.

이러한 지표들은 누락에 대해 벌점을 부과하지 않기 때문에, 의도치 않게 **기권(abstention)**을 보상하게 된다. 모델은 단 하나의 안전한 사실만을 언급하고 다른 모든 관련 정보를 누락함으로써 거의 완벽한 충실도 점수를 얻을 수 있다. 개방형 도메인(open-domain) 환경에서는 관련 있는 사실들의 완전하고 열거 가능한 집합이 존재하지 않기 때문에 재현율을 측정하는 것이 구조적으로 어렵다. 결과적으로, 기존의 벤치마크는 매우 유익한 모델과 단순히 조심스럽고 불충분한 정보를 제공하는 모델을 구분할 수 없다.

방법론

이를 해결하기 위해 저자들은 전략적 정답(ground truth)을 결정론적이고 철저하게 도출할 수 있는 도메인을 활용하여 완전한 오라클(complete-oracle) 접근 방식을 도입한다.

1. 완전한 오라클 (Formula 1 & 날씨)

주요 실험 도메인은 Formula 1(F1) 전략 설명이다. 저자들은 FastF1 API를 사용하여 타이밍 및 텔레메트리 데이터를 추출하여 결정론적인 전략적 이벤트(피트 스톱, 타이어 컴파운드, 언더컷/오버컷 시도 등)를 도출한다.

• 완전성: 모든 결정 사례에 대해, 충실한 설명이 반드시 포함해야 하는 체크 가능한 사실의 전체 집합(예: 특정 피트 랩 번호, 컴파운드 변화, 시간 격차 등)을 열거한다.
• 벤치마크: 150개의 레이스(2018–2025)에 걸친 7,253개의 결정 사례를 포함하는 다국어(영어, 스페인어, 포르투갈어) 데이터셋을 구축하였다.
• 보조 도메인: NOAA 기록을 사용하는 기상 예보 도메인에서 연구 결과를 재현하였으며, 여기서는 각 예보 기록이 열거 가능한 사실의 완전한 집합을 구성한다.

2. 지표: 정밀도 + 재현율

저자들은 모델 생성을 원자적 주장(atomic claims)으로 분해하고 이를 구조화된 정답과 대조하여 검증하는 참조 없는 지표를 제안한다.

• 정밀도 (충실도): 모델이 만든 주장 중 뒷받받되는 주장의 비율.
• 재현율 (커버리지): 열거 가능한 정답 사실 중 모델이 올바르게 진술한 사실의 비율.
• F1 점수: 정확성과 정보성 사이의 균형을 평가하기 위해 사용되는 정밀도와 재현율의 조화 평균.

3. 추출 및 검증

견고함을 보장하기 위해 두 가지 추출 백엔드를 사용했다.

• 의존성이 없는 정규 표현식(regex) 추출기(영어용)와 LLM 추출기(다국어 지원용)를 사용하여 자유 형식의 텍스트를 유형화된 주장으로 파싱한다.
• 검증은 통제된 섭동(오류 주입)과 교차 추출기 일치도(시스템 수준에서 정규 표현식과 계열이 다른 LLM 추출기 간의 Spearman 상관계수 1.00)를 통해 검증되었다.

4. 검증기 유도 생성 (Verifier-Guided Generation)

구조화된 검증기의 피드백을 바탕으로 출력을 반복적으로 개선하는 생성 방법을 개발하였다. 이 피드백 루프는 모순된 주장을 수정하고 누락된 정답 사실을 추가하도록 타겟팅된 지침을 제공하여, 참조 텍스트 없이도 정밀도와 재현율을 모두 향상시킨다.

주요 결과

1. 정밀도는 기권을 보상하며, 커버리지는 순위를 재편한다

커버리지가 요구될 때 모델의 순위가 크게 변한다는 것이 핵심 발견이다.

• "기전(Abstention)" 효과: 본 연구에서 가장 정밀한 모델인 grok-4.3(포르투갈어 정밀도 0.89)은 관련 사실의 0.46만을 커버하여 가장 낮은 F1 점수(0.61)를 기록했다.
• 순위 역전: 반대로 DeepSeek-V3.2와 같이 더 장황한 모델들은 정밀도는 약간 낮았으나 재현율이 훨씬 높아 더 높은 F1 점수를 기록했다.
• 일관성: 이러한 역전 현상은 세 가지 언어(EN, ES, PT)와 보조 도메인인 날씨에서도 모두 나타났다. 가장 정밀한 모델이 가장 완전한 모델은 아니었다.

2. 프롬프팅은 격차를 해결하지 못한다

"모든 것을 다 다루라"는 명시적인 프롬프트(지원 가능한 모든 사실을 진술하라는 지시)를 사용한 실험에서도 커버리지 격차를 좁히는 데 실패했다. 실제로 평균 재현율은 감소했으며(0.60에서 0.47로), 5개 모델 중 2개만이 개선을 보였다. 이는 낮은 커버리지가 단순히 프롬프트 부족의 산물이 아니라, 포괄적인 근거 기반 텍스트를 생성하는 데 있어 현재 모델들의 근본적인 한계임을 나타낸다.

3. 미세 조정된 소규모 모델이 경쟁할 수 있다

근거 기반 설명에 미세 조정된 소규모 오픈 소스 모델(Qwen2.5-3B)은 연구에서 가장 높은 F1 점수(0.982)를 기록하며 프런티어 모델들을 능가했다. 그러나 저자들은 이 성능이 모델이 결정론적 템플릿을 충실히 재현하는 것에 의존한다는 점을 언급하며, 템플릿 모방(template mimicry)과 실제 추론 사이의 주의점을 제기했다.

4. 검증기 유도 생성은 성능을 향상시킨다

gpt-5.4-mini에 검증기 유도 자기 수정(self-correction) 방법을 적용했을 때 정밀도가 0.640에서 0.881로 증가하였으며, 이는 구조화된 검증 신호가 참조 텍스트 없이도 생성을 효과적으로 가이드할 수 있음을 입증한다.

의의 및 주장

이 논문은 정밀도가 곧 충실도는 아니다라고 주장한다. 완전한 오라클 프레임워크를 도입함으로써 저자들은 다음을 입증했다:

1. 참조 없는 충실도 지표는 불완전하다: 이들은 정보가 부족한 답변에 벌점을 주지 못하며, 기전(abstention)이 보상받는 오도된 평가를 초래한다.
2. 시스템 순위는 불안정하다: 정밀도에만 의존하면 시스템 비교 순위가 바뀌며, 이는 정확하지만 유용하지 않은 모델을 장려할 위험이 있다.
3. 커버리지는 측정 가능하다: 결정론적 정답이 존재하는 도메인에서는 재현율을 정확히 측정할 수 있으며, 이는 프런티어 모델들 사이에서 정밀도와 커버리지 사이에 상당한 격차가 있음을 드러낸다.
4. 문제는 일반적이다: 이 현상은 F1에 국한되지 않고 다른 데이터-텍스트(data-to-text) 도메인(날씨)에서도 나타나며, 이는 특정 데이터셋의 문제가 아니라 정밀도 중심 지표의 특성임을 시사한다.

저자들은 연구를 촉진하기 위해 벤치마크, 구조화된 주석, 지표, 베이스라인 및 인터랙티브 데모를 공개한다. 또한, 재현율 지표가 자신들의 스키마에 따른 특정 클레임 온톨로지에 의해 제한된다는 점과 미세 조정 결과가 템플릿 모방을 반영할 수 있다는 한계점도 인정하고 있다.