Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 생성하는 장문 (Long-form) 응답의 사실성 (Factuality) 을 평가하는 것은 여전히 큰 과제로 남아 있습니다.

• 기존 방법의 한계: 현재 대부분의 평가 방법은 **정확도 (Precision)**에 집중합니다. 즉, 생성된 응답을 작은 사실적 주장 (atomic claims) 으로 분해하여 외부 지식 (예: 위키백과) 과 대조하고, 지지되는 주장의 비율을 계산합니다.
• 핵심 문제: 이러한 접근법은 모델이 **누락된 중요한 사실 (Recall)**을 고려하지 않습니다. 모델이 틀린 사실을 말하지 않더라도 (높은 정확도), 답변에 포함되어야 할 핵심 사실을 빠뜨렸다면 (낮은 재현율) 사실성이 부족한 것입니다.
• 기존 재현율 평가의 부족: 일부 최근 연구는 재현율을 도입하려 시도했으나, 단순히 고정된 주장 수를 가정하거나, 쿼리 하위 주제 수준에서만 평가하여 세밀한 사실 단위 (fine-grained factual units) 의 누락을 포착하지 못했습니다. 또한 모든 사실에 동일한 중요도를 부여하여 핵심 정보와 주변 정보를 구분하지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 정확도 (Precision) 와 재현율 (Recall) 을 동시에 측정하고, 사실의 **중요도 (Importance)**를 고려한 새로운 평가 프레임워크를 제안합니다.

A. 평가 프레임워크 구성 요소

1. 참조 사실 집합 (Reference Fact Set) 구축:

   • 검색 (Retrieval): 입력 쿼리에 대해 외부 지식 소스 (검색 엔진, 위키백과 등) 에서 관련 문서들을 검색합니다.
   • 사실 추출 (Fact Extraction): 검색된 문서를 LLM 을 통해 '원자적 사실 (atomic facts)'로 분해하여 참조 사실 집합 $F$를 생성합니다.
   • 중요도 점수 부여 (Importance Scoring): 추출된 모든 사실이 동등하지 않다고 가정합니다. LLM 판정자 (Judge) 를 통해 각 사실에 대해 **관련성 (Relevance, 쿼리에 대한 중요도)**과 **주목성 (Salience, 주제 내 핵심성)**을 1~5 점 척도로 평가합니다. 이를 가중치 ($\alpha, \beta$) 를 사용하여 합산하여 중요도 점수를 산출합니다.
   • 참조 집합 선정: 중요도 점수가 높은 사실들을 상위 $K$개만큼 선별하여 '반드시 포함되어야 할 사실 집합 ($F^\star$)'을 정의합니다.

2. 생성된 주장 추출 (Claim Extraction):

   • LLM 의 생성된 응답 ($G_o$) 을 원자적 주장 집합 $C$로 분해합니다 (VeriScore 방법론 적용).

3. 평가 지표 정의:

   • 사실적 정확도 (Factual Precision, $Prec_F$): 생성된 주장 중 검색된 증거에 의해 지지 (Supported) 되는 비율.
   • 사실적 재현율 (Factual Recall, $Rec_F$): 참조 사실 집합 $F^\star$ 중 생성된 응답에 포함된 (Covered) 사실의 비율.
   • 중요도 가중 재현율 ($Rec^w_F$): 포함된 사실들의 중요도 점수를 가중치로 하여 계산한 재현율. 핵심 사실 누락에 더 민감하게 반응합니다.
   • F1 점수: 정확도와 재현율의 조화 평균.

3. 주요 기여 (Key Contributions)

1. 검색 기반 사실 추출 메커니즘: 외부 지식 소스를 검색하여 쿼리 관련 사실적 주장을 자동으로 추출하는 실용적인 방법을 제시했습니다.
2. 포괄적인 평가 지표: 단순 정확도를 넘어, 사실의 **중요도 (관련성 및 주목성)**를 반영한 재현율 기반의 종합 평가 지표 (Precision + Recall + Importance) 를 도입했습니다.
3. LLM 사실성 심층 분석: 다양한 장문 생성 도메인 (생물 전기, 일반 지식, 장문 요약) 에서 LLM 의 성능을 정밀하게 분석하고, 정밀도와 재현율 간의 트레이드오프를 규명했습니다.

4. 실험 결과 (Results)

저자들은 FactScore, LongFact, LongForm 등 세 가지 벤치마크 도메인에서 4 개의 오픈소스 모델 (Llama, Qwen, Mistral) 과 2 개의 폐쇄형 모델 (GPT-4o-mini, Gemini) 을 평가했습니다.

• 정확도 vs 재현율의 불균형: 모든 모델에서 정확도 (Precision) 는 재현율 (Recall) 보다 현저히 높게 나타났습니다. 이는 LLM 이 틀린 사실을 말하지는 않지만, 필요한 사실을 모두 포함하지는 못한다는 것을 의미합니다.
• 생성 길이와 재현율: 생성된 토큰 수 (말의 길이) 가 증가하면 재현율은 향상되지만 정확도는 하락하는 경향이 있었습니다. 특히 Gemini-2.5-flash-lite 는 긴 생성으로 인해 재현율은 높았으나 정확도가 낮았습니다. 반면 GPT-4o-mini 는 적은 주장 수로도 높은 재현율과 정확도를 동시에 달성하여 효율성이 뛰어났습니다.
• 중요도 가중치 효과:
  • 모델들은 **가장 중요한 사실 (핵심 사실)**을 포함하는 데는 비교적 성공적이었습니다.
  • 하지만 모든 관련 사실을 포함하는 데는 실패했습니다.
  • 중요도 가중치를 적용한 재현율 평가는 모델이 핵심 정보를 얼마나 잘 포착하는지 더 정확하게 반영했습니다.
• 오류 유형 분석:
  • 생성된 주장 중 가장 큰 비중을 차지하는 오류는 **증거에 의해 지지되지 않는 주장 (Unsupported)**이었습니다.
  • 모순 (Contradiction) 오류는 상대적으로 적었으나, 특히 생물 전기 (Bio) 데이터셋에서 명확한 사실적 충돌 (예: 잘못된 생년월일) 이 더 빈번하게 발생했습니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 패러다임: LLM 평가가 단순히 "틀린 말"을 찾는 것을 넘어, "빠진 중요한 말"을 찾는 재현율 중심의 평가가 필요함을 강조했습니다.
• 실제 적용 가능성: 생성된 텍스트가 사실적으로 정확할 뿐만 아니라, 사용자의 정보 요구를 충족시키기 위해 **충분히 포괄적 (Complete)**인지 판단할 수 있는 도구를 제공합니다.
• 모델 한계 규명: 현재 LLM 들은 사실적 오류를 피하는 능력 (정확도) 은 상대적으로 우수하지만, 필요한 정보를 모두 수집하고 구성하는 능력 (재현율) 에서는 여전히 큰 한계가 있음을 밝혔습니다.
• 미래 방향: 자동화된 사실 추출 및 검증 파이프라인의 신뢰성을 높이고, 외부 지식 소스의 품질을 개선하는 것이 향후 중요한 과제로 제시되었습니다.

이 논문은 장문 생성 LLM 의 사실성을 평가할 때 **정확도 (Precision)**와 재현율 (Recall), 그리고 **사실의 중요도 (Importance)**를 통합적으로 고려해야 함을 강력하게 주장하며, 이를 위한 구체적인 방법론과 실증적 근거를 제시했습니다.