DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

기술 요약: LongEval에서의 DS@GT ARC

문제 정의
과학적 지식은 지속적인 연구와 출판을 통해 끊임없이 진화하는 동적인 특성을 가집니다. 이러한 시간적 드리프트(temporal drift)는 검색 증강 생성(RAG) 시스템에 상당한 도전 과제를 제기하며, 이로 인해 시스템이 오래되거나 부적절한 정보를 검색하거나, 증거를 놓치거나, 제공된 소스 문서에 사실적으로 근거하지 않은 답변을 생성할 위험이 있습니다. RAG는 외부 문서를 활용함으로써 과학적 질의응답(QA)에 이론적으로 이상적이지만, 현재의 시스템들은 방해 요소가 되는 문서(distractor documents)의 포함과 근거 없는 주장 생성과 같은 "검색 관련 오류"로 인해 어려움을 겪는 경우가 많습니다. 전통적인 자연어 평가 지표(유창성과 어휘적 중첩을 선호함)와 과학 분야에서 요구되는 엄격한 인용 무결성 및 사실적 근거 사이에는 결정적인 격차가 존재합니다.

방법론
DS@GT ARC 팀은 CORE 과학 문헌 코퍼스를 활용한 CLEF 2026 LongEval Task 4에 참여했습니다. 본 과제는 쿼리와 함께 사전에 검색된 10개의 고정된 문서 세트를 제공하며, 참가자들은 해당 문서 세트로부터 특정 인용을 통해 뒷받침되는 자연어 답변을 생성해야 합니다. 팀은 세 가지 뚜렷한 아키텍처 접근 방식을 평가했습니다:

1. DS@GT 하이브리드 베이스라인: 중첩되는 의미적 청크(semantic chunks)를 순위화하기 위해 하이브리드 리트리버(BM25 + BGE 밀집 임베딩)를 사용하는 표준 RAG 구현입니다. 상위 $k$개의 청크는 답변 합성을 위해 Gemma-4-31B 지시 미세 조정 모델에 직접 입력되었습니다.
2. Corrective RAG (CRAG) + CiteFix 파이프라인: 근거 강제를 위해 설계된 2단계 교정 아키텍처입니다:
   • 생성 전(Pre-Generation): 경량 크로스 인코더(CRAG)가 검색된 청크를 쿼리에 대해 평가하여, 생성 전 방해 요소를 제거하기 위해 함의(entailment) 임해치에 미달하는 청크를 탈락시킵니다.
   • 생성 후(Post-Generation): CiteFix는 생성된 주장을 인용된 문서 청크와 대조하여 분석합니다. 특정 주장을 뒷받침할 함의가 부족한 인용은 제거되어 엄격한 속성을 강제합니다.
3. 프런티어 모델 벤치마크: 10개의 후보 문서 원문으로부터 직접 답변을 합성하며 청킹(chunking)과 스코어링 과정을 건너뛴 두 가지 수동 큐레이션 실행(GPT-5.5 Thinking 및 Claude Opus 4.7 Thinking 사용)입니다.

평가 전략
팀은 이중 평가 프레임워크를 채택했습니다:

• 공식 과제 지표: 숨겨진 골드 세트(gold set)에 대한 어휘적/의미적 유사성을 측정하는 ROUGE 및 BERT를 포함한 표준 지표, 인용 정밀도(Citation Precision), 그리고 너겟 커버리지(Nges Nugget Coverage)를 포함합니다.
• 참조 불필요 RAGAs 진단: 전역적 충실도(Global Faithfulness) (전체 10개 문서 컨텍스트에 대한 주장의 근거 여부), 인용 충실도(Citation Faithfulness) (인용된 문서에 엄격하게 근거한 주장의 여부), 그리고 **답변 관련성(Answer Relevancy)**을 측정하기 위해 LLM-as-judge 설정(Claude Sonnet 4.6 사용)을 사용했습니다.

주요 결과
평가는 전통적인 성능 지표와 사실적 근거 사이의 상당한 괴리를 드러냈습니다:

• 프런티어 모델: GPT-5.5와 Claude Opus 4.7은 공식 지표(ROUGE, BERT, 답변 관련성)와 인용 정밀도에서 가장 높은 점수를 기록했습니다. 그러나 RAGAs 진단은 결정적인 실패 모드를 노출했습니다: 이 모델들은 제공된 컨텍스트보다는 자신의 파라미터 메모리(parametric memory)에 의존하여 매우 관련성 높은 답변을 생성하는 경우가 빈번했습니다. 결과적으로, 이들은 낮은 인용 충실도(예: GPT-5.5는 0.417 기록)를 보였으며, 이는 이들이 자주 인용을 환각(hallucinate)하거나 특정 세부 사항을 검색된 문서에 근거시키지 못함을 나타냅니다.
• 교정 파이프라인: CRAG+CiteFix 파이프라인은 모든 제출물 중 가장 높은 **전역적 충실도(0.784)**와 **인용 충실도(0.758)**를 달로했습니다. 그러나 이러한 엄격한 근거 준수는 하이브리드 베이스라인에 비해 낮은 ROUGE 및 BERT 점수로 이어졌습니다. 이러한 하락은 파이프라인의 "기권 행동(abstention behavior)", 즉 검색된 컨텍스트에 충분한 증거가 부족할 때 시스템이 답변 생성을 거부하는 특성 때문인 것으로 분석되었습니다.
• 통계적 유의성: RAGAs 점수에 대한 Wilcoxon 부호 순위 검정 결과, 교정 개입을 통해 제공된 충실도의 향상이 47개의 테스트 쿼리에 대해 통계적으로 유의미하지 않은 것으로 나타났으며, 이는 검증에 사용된 NLI 모델의 한계나 개입의 특정 튜닝 문제를 시사합니다.

의의 및 결론
본 논문은 신뢰할 수 있는 RAG QA 시스템의 평가를 위해 지표 설계의 전환이 필요하다고 주장합니다. 결과는 프런티어 모델들이 제공된 컨텍스트를 활용하는 데 실패하면서도 답변의 관련성과 유창성을 극대화할 수 있음을 보여주며, 이는 전통적인 지표(ROUGE/BERT)가 처벌하지 못하는 실패 모드입니다. 반대로, 엄격한 근거를 강제하는 파이프라인은 파라미터 메모리에 의존하는 대화적 유창성보다 더 안전한 기권 행동을 취함으로써 어휘적 중첩 지표에서 저성과를 보이는 것처럼 보일 수 있습니다.

저자들은 과학 분야에서 RAG QA 파이프라인의 보안을 확보하기 위해서는 대화적 유창성보다 **구조적 안전성(structural safety)**과 적절한 실패 모드(예: 기권)에 보상을 주는 지표 설계가 필수적이라고 결론짓습니다. 그들은 향가 벤치마크가 과학적 주장이 인용된 연구 문서에 의해 실증적으로 뒷받침되도록 하는 엄격한 답변 근거 강제 지표를 우선시해야 한다고 제안합니다.