기술 요약: 신뢰할 수 있는 장문 텍text 생성을 위한 선택적 추상화 (Selective Abstraction)

문제 정의

대규모 언어 모델(LLM)은 사실 관계 오류에 취약하며, 이는 사용자 신뢰를 저하시키고 의료나 법률과 같은 고위험 분야에서의 도입을 제한한다. 이를 완화하기 위한 불확incertitude(불확실성) 추정 메커즘이 존재하지만, 현재의 접근 방식은 이진적인 "전부 아니면 전무(all-or-nothing)" 결정을 따르는 경향이 있다. 즉, 모델이 응답을 생성하거나 혹은 아예 답변을 포기하는 방식이다. 이러한 이진적 접근 방식은 장문 생성(long-form generation)에 있어 지나치게 제한적이다. 긴 응답은 다양한 불확실성을 가진 수많은 사실적 주장들을 포함하고 있는데, 단 하나의 불확실한 세부 사항 때문에 전체 응답을 포기하는 것은 가치 있는 정보를 버리는 결과를 초래한다. 반대로, 수정 없이 전체 텍스트를 생성하는 것은 환각(hallucination)을 포함할 위험이 있다. 본 논문은 모델이 전체 응답을 버리는 대신, 신뢰도를 위해 구체성을 희생할 수 있게 하는 세밀한(fine-grained) 접근 방식의 필요성을 식별한다.

방법론: 선택적 추상화 (Selective Abstraction, SA)

저자들은 모델이 불확실한 내용을 완전히 제거하는 대신, 그 내용의 상세도를 낮출 수 있게 하는 프레임워크인 **선택적 추상화(SA)**를 소개한다. 핵심 아이디어는 신뢰도가 낮은 주장을 더 높은 신뢰도를 가진, 덜 구체적인 추상화된 표현으로 대체하는 것이다.

프레임워크 정식화

SA는 **선택적 리스크(selective risk)**와 **커버리지(coverage)**의 관점을 통해 정식화된다:

• 리스크(Risk): 생성된 텍스트 내의 사실적 오류(환각) 발생률로 정의된다.
• 커버리지(Coverage): 원래의 생성물 대비 유지된 정보의 비율로 정의된다.
• 트레이드오프(Trade-off): 신뢰도 임계값 $\theta$를 변화시킴으로써, SA는 리스크를 줄이는(추상화를 높임으로써) 동시에 커버리지를 감소시키는(구체성을 제거함으로써) 트레이드오프 곡선을 유도한다.

원자 단위 선택적 추상화 (Atom-wise Selective Abstraction)

논문은 원자 단위 선택적 추상화라고 불리는 특정 구현체를 제안하며, 이는 4단계 파이프라인을 통해 클레임(claim, 주장) 수준에서 작동한다:

1. 생성(Generation): LLM이 프롬프트 $p$에 대해 초기 응답 $T$를 생성한다.
2. 원자화(Atomization): 응답을 **원자적 주장(atomic claims, atoms)**으로 분해한다. 이들은 각각 단일한 사실을 표현하는 짧고 독립적인 문장이다 (예: "아멜리아 이어하트는 캔자스주 애치슨에서 태어났다").
3. 추상화(Abstraction): 이는 핵심 처리 단계로, 다음의 세 단계로 구성된다:
   • 신뢰도 도출(Confidence Elicitation): 모델이 각 원자에 대한 신뢰도 점수를 할당한다.
   • 추상화 생성(Abstraction Generation): 신뢰도가 임계값 $\theta$ 미만인 원자들에 대해, 모델은 점진적으로 일반화되는 일련의 추상화된 표현을 생성한다 (예: "캔자스주 애치슨" $\to$ "캔자스" $\to$ "미국 중서부" $\to$ "미국"). 이 시퀀스는 완전한 포기($\top$)로 끝난다.
   • 선택(Selection): 모델은 추상화 시퀀스에 신뢰도 점수를 부여한다. 모델은 임계값 $\theta$를 만족하는 시퀀스 중 가장 구체적인 추상화를 선택한다. 만약 어떤 추상화도 임계값을 충족하지 못하면, 해당 원자는 제외(abstain)된다.
4. 재구성(Reconstruction): 선택된 추상화들을 하나의 일관된 텍스트 $T'$로 재구성한다.

평가 파이프라인

SA를 평가하기 위해 저자들은 개방형 사실 생성(open-ended factual generation)을 위한 엔드 투 엔드 파이프라인을 개발했다:

• 리스크 측정: 에이전트 기반의 팩트 체크 시스템을 사용하여 위키피디아와 대조하여 원자적 주장들을 검증한다. 증거가 발견되면 해당 클레임은 "지지됨(supported)"으로, 그렇지 않으면 "지지되지 않음(unsupported)"으로 레이블링된다. 리스크는 $1 - \text{정확도}$로 계산된다.
• 커버리지 측정: 정보 이론적 척도를 사용한다. 클레임의 정보량은 호환 가능한 엔티티(entity) 집합에 대해 제공하는 엔트로피 감소량으로 정량화된다 (예: "런던에서 태어났다"는 "유럽에서 태어났다"보다 더 많은 사람의 범위를 좁히므로 더 많은 정보를 담고 있다). 커버리지는 $T$에 담긴 정보 대비 $T'$에 유지된 정보의 비율이다.
• 지표(Metrics): 성능은 리스크-커버리지(RC) 곡선과 **리스크-커버리지 곡선 아래 면적(AURC)**을 사용하여 요약된다. 낮은 AURC는 더 나은 트레이드오프를 의미한다.

주요 기여

1. 선택적 추상화 프레임워크: 선택적 리스크와 커버리지를 통해 정식화된, 장문 텍스트 생성에서 구체성과 신뢰도를 교환하기 위한 일반적인 프레임워크를 제시한다.
2. 원자 단위 구현: 불확실한 클레임을 단순히 삭제하는 대신, 더 높은 신뢰도의 추상화로 선택적으로 대체하는 클레임 수준의 절차를 제안한다.
3. 평가 파이프라인: 사실적 정확성을 통한 리스크 구현과 유지된 콘텐츠의 정보량 측정을 통한 커버리지를 사용하는 새로운 엔드 투 엔드 파이프라인을 구축했다.
4. 경험적 검증: 여섯 가지 오픈 소스 LLM과 두 가지 벤치마크(FactScore 및 LongFact-Objects)를 통해 일관된 개선 효과를 입증했다.
5. 임계값 선택 알고리즘: 사용자가 정의한 목표 리스크를 높은 확률로 충족하는 신뢰도 임계값을 선택하기 위해 분할 컨포멀 예측(split conformal prediction)에 기반한 리스크 가이드 알고리즘을 제안했다.

결과

저자들은 GPT-OSS, Qwen3, Llama 3.3을 포함한 6개의 오픈 소스 모델을 대상으로 FactScore 및 LongFact-Objects 벤치마크에서 방법을 평가했다.

• 베이스라인 대비 성능: 원자 단위 SA는 선택적 삭제(Selective Redaction) (불확실한 원자를 완전히 제거), 인라인 추상화(Inline Abstraction) (처음부터 더 거친 입도 수준에서 생성), 자기 수정(Self-Revision) (사후 재작성)을 포함한 기존 베이스라인들을 일관되게 능가했다.
• AURC 개선: 원자 단위 SA는 FactScore 벤치마크에서 클레임 제거(Redaction) 방식보다 AURC를 최대 27.73% 개선했다. 평균적으로 FactScore에서 17.43%, LongFact에서 13.77%의 개선을 보였다.
• 리스크-커버리지 트레이드오프: 이 방법은 더 매끄러운 트레이드오프 곡선을 달성했으며, 전체 커버리지 범위에서 베이스라인들을 압도했다. 동일한 커버리지 수준에서, 원자 단위 SA는 Inline 및 Self-Revision 베이스라인에 비해 유의미하게 낮은 리스크를 달성했다 (평균 약 10%포인트 차이).
• 임계값 선택: 제안된 알고리즘은 서로 다른 모델과 데이터셋에 대해 경험적 리스크를 사용자가 정의한 목표 리스크에 가깝게 유지하는 임계값을 성공적으로 선택했다.

의의 및 주장

본 논문은 장문 생성에서의 신뢰성이 답변 여부와 포기 여부 사이의 이진적 선택이 아니라, 구체성과 정확성 사이의 스펙트럼 문제라고 주장한다. 이 연구의 의의는 구체성을 줄임으로써 대부분의 의미를 보존하면서도 정확도와 신뢰도를 높일 수 있음을 입증했다는 데 있다.

개별 클레임 수준에서 작동함으로써, 제안된 방법은 문장이나 클레임 전체를 삭제할 때 발생하는 급격한 정보 손실을 피한다. 대신, 불확실성에 대해 타겟팅된 클레임별 제어를 제공한다. 저자들은 선택적 추상화가 응답의 적절한 상세 수준에 대해 명시적으로 추론하는 생성 패러다임을 향한 단계라고 위치시키며, 고위험 환경에서는 덜 구체적인 응답이 확신에 찬 오류보다 바람직하다는 점을 시사한다.

본 논문은 미래 방향에 대해 겸허한 입장을 유지하며, 추상화의 품질이 신뢰도 점수 함수에 크게 의존한다는 점(언어적 신뢰도 표현이 로그 확률 기반 점수보다 우수함이 밝혀짐)과, 클레임 간의 의존성을 모델링하는 것(독립적으로 다루는 대신)이 결과를 더욱 개선할 수 있음을 언급하며 마무리한다.