DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

Technisches Resümee: DS@GT ARC bei LongEval

Problemstellung
Wissenschaftliche Erkenntnisse sind dynamisch und entwickeln sich durch kontinuierliche Forschung und Publikationen stetig weiter. Dieser zeitliche Drift stellt erhebliche Herausforderungen für Retrieval-Augmented Generation (RAG)-Systeme dar, die Gefahr laufen, veraltete oder irrelevante Informationen abzurufen, Belege zu übersehen oder Antworten zu generieren, die nicht faktisch auf den bereitgestellten Quelldokumenten basieren. Während RAG theoretisch ideal für die wissenschaftliche Beantwortung von Fragen (QA) ist, indem es externe Dokumente nutzt, leiden aktuelle Systeme häufig unter „retrieval-bezogenen Fehlern“, einschließlich der Einbeziehung von Distraktor-Dokumenten und der Generierung nicht fundierter Behauptungen. Es besteht eine kritische Lücke zwischen traditionellen natürlichen Sprach-Evaluationsmetriken (die Fluenz und lexikalische Überlappung bevorzugen) und der Anforderung an strikte Zitierintegrität und faktische Fundierung in wissenschaftlichen Domänen.

Methodik
Das DS@GT ARC-Team nahm am CLEF 2026 LongEval Task 4 teil, der den CORE-Literaturkorpus wissenschaftlicher Arbeiten nutzte. Die Aufgabe stellte eine Abfrage und einen festen Satz von zehn vorab abgerufenen Dokumenten bereit, wobei die Teilnehmer dazu angehalten waren, natürliche Sprachantworten zu generieren, die durch spezifische Zitate aus diesem Satz gestützt werden. Das Team evaluierte drei unterschiedliche architektonische Ansätze:

1. DS@GT Hybrid Baseline: Eine Standard-RAG-Implementierung unter Verwendung eines hybriden Retriever (BM25 + BGE Dense Embeddings), um überlappende semantische Chunks zu ranken. Die Top-$k$-Chunks wurden direkt in ein Gemma-4-31B Instruction-Tuned Modell zur Antwortsynthese eingespeist.
2. Corrective RAG (CRAG) + CiteFix Pipeline: Eine zweistufige korrektive Architektur, die darauf ausgelegt ist, die Fundierung zu erzwingen:
   • Pre-Generation: Ein leichtgewichtiger Cross-Encoder (CRAG) bewertet die abgerufenen Chunks gegen die Abfrage und verwirft diejenigen, die einen Entailment-Schwellenwert nicht erreichen, um Distraktoren vor der Generierung herauszufiltern.
   • Post-Generation: CiteFix parst die generierten Behauptungen gegen die zitierten Dokument-Chunks. Zitate, denen die Entailment-Unterstützung für die spezifischen Behauptungen fehlt, werden entfernt, um eine strikte Attribution zu erzwingen.
3. Frontier Model Benchmarks: Zwei manuell kuratierte Durchläufe mit State-of-the-Art-Modellen (GPT-5.5 Thinking und Claude Opus 4.7 Thinking), die das Chunking und Scoring umgingen und Antworten direkt aus dem Rohtext der zehn Kandidatendokumente synthetisierten.

Evaluationsstrategie
Das Team wandte ein duales Evaluationsframework an:

• Offizielle Task-Metriken: Standardmetriken einschließlich ROUGE und BERT-Scores für lexikalische/semantische Ähnlichkeit gegenüber einem verborgenen Gold-Set, Zitierpräzision (Citation Precision) und Nugget-Abdeckung (Nugget Coverage).
• Referenzfreie RAGAs-Diagnostik: Ein LLM-as-judge-Setup (unter Verwendung von Claude Sonnet 4.6), um die Globale Treue (Global Faithfulness) (Fundierung der Behauptungen gegenüber dem gesamten 10-Dokument-Kontext), die Zitier-Treue (Citation Faithfulness) (Fundierung der Behauptungen strikt gegenüber den zitierten Dokumenten) und die Antwortrelevanz (Answer Relevancy) zu messen.

Hauptergebnisse
Die Evaluation offenbarte eine signifikante Divergenz zwischen traditionellen Leistungsmetriken und der faktischen Fundierung:

• Frontier-Modelle: GPT-5.5 und Claude Opus 4.7 erzielten die höchsten Werte bei den offiziellen Metriken (ROGE, BERT, Antwortrelevanz) und der Zitierpräzision. Jedoch deckte die RAGAs-Diagnostik einen kritischen Fehlermodus auf: Diese Modelle generierten häufig hochrelevante Antworten, indem sie sich auf ihr parametrisches Gedächtnis statt auf den bereitgestellten Kontext verließen. Infolgedessen wiesen sie eine niedrige Zitier-Treue auf (z. B. erzielte GPT-5.5 0,417), was darauf hindeutet, dass sie oft Zitate halluzinierten oder es versäumten, spezifische Details in den abgerufenen Dokumenten zu fundieren.
• Korrektive Pipeline: Die CRAG+CiteFix-Pipeline erreichte die höchste Globale Treue (0,784) und Zitier-Treue (0,758) unter allen Einreichungen. Diese strikte Einhaltung der Fundierung führte jedoch zu niedrigeren ROUGE- und BERT-Scores im Vergleich zur Hybrid Baseline. Dieser Rückgang wurde auf das „Abstentionsverhalten“ (Verweigerungsverhalten) der Pipeline zurückgeführt, bei der das System die Generierung von Antworten verweigerte, wenn der abgerufene Kontext nicht genügend Evidenz bot, anstatt aus dem parametrischen Gedächtnis zu halluzinieren.
• Statistische Signifikanz: Ein Wilcoxon-Vorzeichen-Rang-Test auf den RAGAs-Scores deutete darauf hin, dass die Verbesserungen der Treue durch die korrektiven Interventionen über die 47 Testabfragen hinweg statistisch nicht signifikant waren, was auf potenzielle Limitationen der verwendeten NLI-Modelle zur Verifizierung oder auf die spezifische Abstimmung der Interventionen hindeutet.

Bedeutung und Schlussfolgerungen
Das Paper argumentiert, dass die Evaluierung vertrauenswürdiger RAG-QA-Systeme einen Wechsel im Metrik-Design erfordert. Die Ergebnisse zeigen, dass Frontier-Modelle die Antwortrelevanz und Fluenz maximieren können, während sie gleichzeitig den bereitgestellten Kontext nicht nutzen – ein Fehlermodus, den traditionelle Metriken (ROUGE/BERT) nicht bestrafen. Umgekehrt können Pipelines, die eine strikte Fundierung erzwingen, aufgrund eines sichereren Abstentionsverhaltens bei lexikalischen Überlappungsmetriken schlechter abschneiden.

Die Autoren kommen zu dem Schluss, dass die Absicherung von RAG-QA-Pipelines in wissenschaftlichen Domänen eine Evaluierung von Metriken erfordert, die strukturelle Sicherheit und angemessene Fehlermodi (wie etwa die Abstention/Verweigerung) gegenüber der konversationellen Fluenz belohnen, die auf dem parametrischen Gedächtnis basiert. Sie schlagen vor, dass zukünftige Benchmarks Priorität auf Metriken setzen müssen, die eine strikte Antwortfundierung erzwingen, um sicherzustellen, dass wissenschaftliche Behauptungen empirisch durch die zitierten Forschungsdokumente gestützt werden.