Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

기술 요약: 사실성 제어 생성 (Factuality-Controlled Generation, FCG)

1. 문제 정의

대규모 언어 모델(LLM)은 신뢰도가 다양한 내부 지식을 보유하고 있으며, 이는 사실성(정확도)과 정보성(상세함) 사이의 본질적인 트레이드오프(trade-off)를 생성합니다. 의료나 법률과 같은 고위험 분야에서 사용자는 보수적이고 매우 사실적인 출력을 요구하는 반면, 창의적 또는 브레인스토밍 작업에서는 잠재적인 사실적 위험에도 불구하고 풍부한 콘텐츠를 우선시하기도 합니다.

현재의 최첨단 LLM들은 이러한 트레이드오프를 조절할 수 있는 내장된 메커즘이 부족합니다. 사용자가 프롬프트(예: "더 사실적으로 작성해줘")를 통해 행동을 유도하려고 시도할 수 있지만, 실증적 연구 결과에 따르면 이러한 모델들이 특정 사실성 목표를 충족하기 위해 출력을 안정적으로 조정하지 못한다는 것이 밝혀졌습니다. FactScore와 같은 기존 평가 벤치마크는 기성 모델들이 중등도 또는 엄격한 사실성 제약 조건을 만족시키는 데 자주 실패한다는 점을 보여주며, 이는 사용자가 원하는 사실성 수준을 지정할 수 있는 제어 가능한 대안을 필요로 함을 시사합니다.

2. 방법론: 사실성 제어 생성 (FCG)

저자들은 LLM이 쿼리와 숫자 형태의 사실성 제약 조건 $c \in [0, 1]$을 입력으로 받아, 응답 내 지원되는 사실적 진술의 비율이 $c$를 충족하거나 초과하면서도 정보성을 극대화하는 사실성 제어 생성(FCG) 프레임워크를 제안합니다.

A. 합성 데이터 생성 파이프라인
(질문, 사실성 제약, 골드 응답) 삼중 세트에 대한 기존의 레이블 지정된 데이터셋이 존재하지 않기 때문에, 저자들은 학습 데이터를 구축하기 위해 신뢰도 기반의 합성 파이프라인을 도입했습니다:

1. 초기 생성: 베이스 모델이 주어진 질문에 대해 제약이 없는 상세한 응답($r_0$)을 생성합니다.
2. 사실 분절: 응답을 원자적(atomic)인 사실 진술들로 분절합니다.
3. 신뢰도 점수 산출: 모델이 각 원자적 사실의 신뢰도를 평가하도록(예: "이것은 참인가 거짓인가?") 유도하여 확률 점수를 도출합니다.
4. 반복적 가지치기(Pruning): 사실들을 신뢰도 순으로 정렬합니다. 목표 제약 $c$를 충족하기 위해, 시스템은 남은 부분 집합이 사실성 임계값을 만족할 때까지 신뢰도가 낮은 사실들을 점진적으로 제거합니다.
5. 재구성: 남은 고신뢰도 사실들을 원래의 어구(phrasing)를 최대한 유지하며 하나의 유창한 응답으로 다시 결합합니다.
   이 과정은 다양한 $c$ 값(예: 0.1에서 1.0)에 대해 반복되어 지도 학습(supervised fine-tuning)을 위한 정렬된 답변 세트를 생성합니다.

B. 학습 및 추론
저자들은 합성된 $(question, c, response)$ 삼중 세트를 사용하여 Mistral-7B 모델을 미세 조정(fine-tuning)합니다. 추론 시, 모델은 사용자가 지정한 사실성 수준 $c$에 따라 조건화되어, 반복적인 필터링이나 사후 재순위화(re-ranking) 없이도 제약을 충족하도록 출력을 동적으로 조정할 수 있습니다.

C. 평가 지표
성능은 FactScore를 사용하여 두 가지 축에서 평가됩니다:

• 사실성 준수(Factuality Adherence): 생성된 응답의 사실성 점수 $f(o) \ge c$를 만족하는 비율.
• 정보성(Informativeness): 출력 내에서 검증된 원자적 진술의 수(길이로 정규화함).

3. 주요 기여

• 태스크 정의: LLM 출력을 사용자가 지정한 사실성 임계값에 따라 조건화하는 제어 가능한 생성 태스크로서 FCG를 도입했습니다.
• 합성 학습 프레임워크: 제약 없는 생성물로부터 신뢰도가 낮은 사실들을 체계적으로 가지치기하여 학습 데이터를 생성하는 새로운 파이프라인을 개발함으로써, 사실성-정보성 트레이드오프의 지도 학습을 가능하게 했습니다.
• 실증적 검증: 이 합성 데이터에 대한 미세 조정이 사실성 제약을 준수하는 데 있어 프롬프트 기반 베이스라인보다 성능이 우수함을 입증했습니다.

4. 결과

실험은 500개의 엔티티(학습 450개, 검증 50개, 테스트 183개)를 사용한 전기(biography) 생성 태스크에서 수행되었습니다.

• 사실성 준수:

  • 프롬프팅 베이스라인: 표준 프롬프팅(사실성 제어 추론, FCI)은 준수도를 개선하는 데 실패했습니다. 일부 경우(예: $c=0.9$), 준수도가 제약 없는 베이스라인보다 오히려 낮아졌습니다(3.8% vs 5.5%).
  • FCG 학습: 미세 조정된 모델은 상당한 개선을 보였습니다. $c=0.8$에서 준수도가 베이스라인 대비 17.2% 증가했으며, $c=0.9$에서는 130.0% 증가했습니다.
  • 엄격한 제약: 가장 엄격한 수준($c=1.0$, 모든 정보가 정확해야 함)에서 베이스라인과 FCI 방식은 **0%**의 준수도를 기록한 반면, FCG 모델은 **23.6%**를 달이트했습니다.

• 사실성–정보성 트레이드오프:

  • FCG 모델은 트레이드오프 경계(frontier)를 바깥쪽으로 확장합니다. 주어진 사실성 수준에 대해, FCG는 베이스라인보다 더 높은 정보성(더 많은 지원된 사실)을 가진 응답을 생성합니다.
  • 특히 $c=1.0$에서, FCG 모델은 완전하게 사실적인 응답을 제공한 반면, 추론 베이스라인은 환각을 피하기 위해 사실상 모든 콘텐츠를 제거해야 했기에 정보성이 0이 되었습니다.

5. 의의 및 주장

본 논문은 FCG가 사용자의 특정 애플리케이션 요구에 따라 LLM 출력의 사실성-정보성 균형을 맞춤 설정할 수 있는 신뢰할 수 있는 메커니즘을 제공한다고 주장합니다. 합성 데이터를 통한 지도 학습을 통해 트레이드오프를 내재화함으로써, 모델은 높은 사실성이 요청될 때 "가장 확실하지 않은 세부 사항은 버리되 나머지는 유지하는" 법을 배웁니다.

저자들은 이 연구를 더욱 신뢰할 수 있고 유연한 LLM을 향한 단계로 규정합니다. 특히 지식 집약적인 작업에 있어 유용합니다. 그들은 이 방법이 다른 프레임워크에서 사용되는 사후 필터링이나 거부 샘플링(rejection sampling)의 계산 오버헤드 없이도 제어 능력을 향상시킨다는 점을 강조합니다.

인정된 한계점:

• 본 연구는 현재 영어 및 전기 생성 태스크로 제한되어 있습니다.
• 실험은 중간 규모의 모델(Mistral-7B)에서 수행되었습니다. 더 큰 규모의 최첨단 아키텍처로의 확장성은 아직 테스트되지 않았습니다.
• 이 프레임워크를 다른 언어나 복잡한 생성 작업(예: 멀티모달 이해)에 적용하는 것에 대해서는 추가적인 조사가 필요합니다.