기술 요약: FullCite – 구조화된 인라인 인용 생성을 통한 명시적 증거 근거 제시

문제 정의

대규모 언어 모델(LLM)이 직접적인 답변을 제공함으로써 전통적인 검색 엔진을 대체함에 따라, 특히 의학, 법률, 과학과 같은 고위험 영역에서 사실적이고 충실한 생성에 대한 요구가 높아지고 있습니다. 검색 증강 생성(RAG)은 외부 문서에 기반하여 출력을 생성할 수 있게 해주지만, 단순히 검색된 컨텍스트가 존재한다고 해서 반드시 충실한 사용이 보장되는 것은 아닙니다. 모델은 종종 파라미터 지식(parametric knowledge)에 의존하거나, 관련은 있지만 뒷받침되지 않는 문서를 부적절하게 인용하거나, 증거에 의해 부분적으로만 뒷받침되는 출력을 생성하기도 합니다.

기존의 솔루션들은 일반적으로 다음 두 가지 범주로 나뉩니다:

1. 문서 수준 인용: 소스 문서를 참조하지만 구체적인 증거 스팬(evidence span)을 식별하지 못하는 조립 단위의 속성 부여 방식입니다. 이는 관련은 있으나 지원 정보는 없는 문서를 인용할 가능성이 있습니다.
2. 세밀한 수준의 인용: 특정 증거 스팬을 참조하지만, 동시에 문서 속성 부여를 결여하거나 엄격한 구조적 준수 능력이 부족한 경우가 많습니다.

문서 수준의 속성 부여와 정밀한 증거 스팬 식별을 동시에 최적화하면서도 의미론적 충실성을 유지하는 프레임워크에는 결정적인 공백이 존재합니다.

방법론: FullCite 프레임워크

저자들은 모든 주장에 대해 소스 문서와 구절 그대로의 지원 증거 스팬을 연결하는 구조화된 인라인 인용을 생성하도록 설계된 프레임워크인 FullCite를 소개합니다. 인용 형식은 {doc_id: <식별자>, snippet: <구절 그대로의 텍스트>}로 엄격하게 정의됩니다.

FullCite는 이러한 구조화된 인용을 생성하기 위해 세 가지 별도의 전략을 평가합니다:

1. 프롬프트 기반 생성 (Prompt-based Generation): 모델에게 자연어 프키프트를 통해 각 주장 뒤에 구절 그대로의 증거 인용을 제공하도록 지시합니다. 준수 여부는 디코딩 시점의 개입 없이 전적으로 모델의 지시 이행 능력에 의존합니다.
2. 제약된 디코딩 (Constrained Decoding): 유한 상태 오토마타(FSA)가 추론 중에 인용 문법을 강제합니다. 오토마타는 생성 상태(주장, 문서 ID 또는 스니펫)를 추적하며, 문법 및 컨텍스트의 실제 내용과 일치하는 토큰으로 다음 토큰을 제한합니다. 모델이 구조를 따르지 못할 경우 온도를 높여 최대 3번까지 재시도합니다.
3. 사후 스팬 정렬 (Posthoc Span Alignment): 모델이 자유롭게 텍ext를 생성하게 합니다. 이후 시스템은 (정확하게 생성된 문서 ID를 바탕으로) 단어 수준의 자카드 유사도(Jaccard similarity)를 사용하여 소스 문서에서 가장 유사한 스니펫을 찾아 증거를 근사적으로 추출합니다. 단어 그대로 일치하지 않는 스니펫을 재구성하기 위해 0.7의 유사도 임계값이 사용됩니다.

실험 설정

이 프레임워크는 다양한 도메인과 질문 유형을 다루는 세 가지 벤치마크에서 평가되었습니다:

• BioASQ: 생물 의학 도메인 (yes/no, 사실 추출, 요약, 리스트).
• ASQA: 일반 도메인 사실 추출 질문.
• ExpertQA: 전문가가 주석을 달은 소스를 포함한 다중 도메인(32개 도메인) 질문.

ASQA와 ExpertQA는 원래 세밀한 증거 스팬 주석이 없었기 때문에, 저자들은 원자적 증거 스팬을 추출하기 위해 GPT-5.4-mini를 사용하는 추가 주석 단계를 적용했으며, 이를 BioASQ의 골드 주석과 비교 검증했습니다(ROUGE-L 기준 90% 이상 달성).

실험에는 두 개의 오픈 웨이트 LLM인 Qwen3-8B와 Gemma-3-12B-it가 사용되었습니다. 실험은 세 가지 차원에서 성능을 측정했습니다:

1. 문서 수준 정확도 (Doc-F1): 올바른 소스 문서를 인용하는 정확도.
2. 증거 스팬 식별 (Snippet-F1): 정밀한 지원 텍스트를 식별하는 정확도.
3. 주장-인용 충실도 (Claim-citation faithfulness): 문장 트랜스포머, LLM-as-a-Judge (GPT-5.4), 인간 주석을 통해 평가된 주장과 인용된 스팬 사이의 의미론적 유사도.

주요 결과

1. 문서 vs. 스팬 로컬라이제이션 (Localization)

결과는 모델 역량의 상당한 격차를 보여줍니다. LLM은 관련 문서를 식별하는 데는 일반적으로 효과적이지만(높은 Doc-F1 점수), 그 안에서 정밀한 지원 스팬을 짚어내는 데는 어려움을 겪습니다(낮은 Snippet-F1 점수).

• 베이스라인 (프롬프트 기반): 높은 Doc-F1(예: BioASQ에서 58.08)을 달성했으나 매우 낮은 Snippet-F1(BioASQ에서 6.18)을 기록했습니다.
• 사후(Posthoc) 전략: 스팬 식별에서 가장 상당한 이득을 보였습니다. ASQA의 경우, Qwen3-8B를 사용하여 Snippet-F1이 프롬프트 기반(12.80)에서 Posthoc(61.87)으로 개선되었습니다. 그러나 이는 높은 스팬 정밀도를 얻는 대신 문서 커버리지가 약간 감소하는 트레이드오프를 동반하곤 했습니다.
• 제약된 디코딩: 스팬 식별에서 중간 정도의 개선을 제공했으나, 일부 설정에서는 Posthoc 방식보다 효과가 떨어졌습니다.

2. 충실도 및 의미론적 정렬

엄격한 스팬 로컬라이제이션과 의미론적 충실도 사이에는 주목할 만한 트레이드오프가 존재합니다.

• Qwen3-8B는 베이스라인 프롬프트 기반 설정에서 가장 높은 의미론적 유사도 점수를 기록했으며, Posthoc 및 제약된 설정에서는 점수가 하락했습니다.
• Gemma-3-12B-it는 더 높은 안정성을 보였으며, Posthoc 및 제약된 설정에서도 유사도 점수가 유지되거나 오히려 향상되는 경향을 보였습니다.
• 인간/LLM 평가: 인간 평가자와 GPT-5.4 모두 인용의 "지원(Support)" 및 "관련성(Relevance)"에 대해 높게 평가했으며, Posthoc 전략이 일반적으로 가장 강력한 성능을 보였습니다. 인간과 LLM 평가자 간의 불일치는 주로 인접한 점수(예: 1점 대 2점)에서 발생했습니다.

3. 체계적 편향 및 실패 사례

분석 결과, 증거 근거 제시를 저해하는 두 가지 체계적인 패턴이 발견되었습니다:

• 초두 편향 (Primacy Bias): BioASQ에서 81.8%의 인용이 5개의 컨텍스트 문서 중 처음 두 개만을 대상으로 했으며, 이는 "중간에서 길을 잃는(lost-in-the-middle)" 현상과 일치합니다.
• 인용 누락 (Citation Omission): 모델은 yes/no 이진 질문에서 인용을 완전히 누락하는 경우가 빈번했으며, 이는 베이스라인 점수를 인위적으로 높였습니다. 인용이 강제되자 점수가 하락하였고, 이는 베이스라인의 성공이 우수한 성능 때문이 아니라 근거 제시의 부재 때문이었음을 드러냈습니다.

4. 다운스트림 영향

다운스트림 QA 작업에서 Post-hoc FullCite 설정이 가장 강력한 종합 결과를 냈으며, 특히 BioASQ(평균 19.85 포인트 이득)에서 두드ことが 있었습니다. 프롬프트 기반 베이스라인은 yes/no 질문에서 더 높은 점수를 기록했으나, 이는 인용 누락 때문이었습니다. 사실 추출, 요약, 리스트 질문의 경우, 근거 제시는 특히 짧고 검증 가능한 답변에서 성능을 크게 향상시켰습니다.

의의 및 주장

본 논문은 FullCite가 문서 수준의 속성과 증거 스팬 속성을 동시에 최적화하면서도 경쟁력 있는 의미론적 유사도를 유지하는 유일한 프레임워크라고 주장합니다.

• 결합된 커버리지: 문서 참조 또는 증거 스니펫 중 하나에만 집중하는 이전 연구들과 달리, FullCite는 충실한 속성 QA를 위한 균형 잡힌 접근 방식을 제공합니다.
• 스팬 식별 격차: 본 연구는 충실한 속성 부여의 주요 병목 현상이 문서 검색이 아니라, 정밀한 증거 스팬 식별에 있음을 강조합니다.
• 방법론적 통찰: 엄격한 구조를 강제하는 것(제약된 디코딩)이나 스팬을 사후에 근사하는 것(Posthoc)이 프롬프트 기반 생성에만 의존하는 것보다 더 나은 증거 근거 제시를 제공한다는 것을 입증했습니다. 다만, 이는 모델에 따라 의미론적 정렬의 비용을 치를 수 있습니다.

저자들은 충실한 속성 QA를 달ink하려면 연구의 중심을 문서 수준의 검색에서 정밀한 증거 스팬 식별 및 표면적 유사성과 실제 지원을 구분할 수 있는 평가 방법으로 전환해야 한다고 결론짓습니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 도메인 범위: 연구 결과는 생물 의학, 일반, 다중 도메인 데이터셋을 기반으로 하므로 법률이나 금융 도메인에는 적용되지 않을 수 있습니다.
• 모델 범위: 실험은 두 개의 오픈 웨이트 모델로 제한되었으며, 더 큰 규모의 독점 모델에서는 패턴이 다를 수 있습니다.
• 평가 지표: 자동화된 지표(Doc-F1, Snippet-F1)는 대리 지표(proxies)이며 함의(entailment)를 완전히 포착하지 못하며, 인간 평가는 규모 면에서 제한적이었습니다.
• 해결되지 않은 편향: 프레임워크는 초두 편향이나 이진 질문에 대한 인용 누락 경향을 명시적으로 완화하지 않습니다.
• 학습: 본 연구는 문서 및 스팬 인용 생성을 위해 모델을 특정하여 미세 조정(fine-tuning)하는 방안을 탐구하지 않았습니다.