Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

Technische Zusammenfassung: Benchmarking von LLM-Rubriken für die Quellenattribution in der Deep-Research-Forschung

Problemstellung
Da Reinforcement Learning with Verifiable Rewards (RLVR) zum dominierenden Post-Training-Paradigma für Aufgaben wird, denen programmierbare Verifizierer fehlen (z. B. medizinische Beratung, wissenschaftliches Schreiben), stützt sich die Community auf LLM-Richter, um aufgenspezifische Rubriken zu bewerten. Diese Richter fungieren effektiv als Belohnungsmodelle, was bedeutet, dass das Design der Trainingsrubrik gleichbedehend mit dem Design des operationalisierten Ziels ist. Es bleibt jedoch eine kritische Kalibrierungsfrage offen: Wie fähig muss ein Richter sein, um ein vertrauenswürdiges Belohnungssignal zu liefern, und wie beeinflusst seine inhärente Verzerrung das nachgeschaltete Training?

Während die Zitierqualität in Deep-Research-Systemen ein primäres Ziel für RLVR ist, hat die bisherige Forschung die Fähigkeit von Standard-LLMs (General-Purpose) als Richter bei zitatspezifischen Rubrik-Aufgaben nicht systematisch untersucht. Bestehende Systeme gehen oft davon aus, dass ein einzelnes großes oder dediziertes Modell notwendig ist, oder sie konzentrieren sich auf die Retrieval-Qualität statt auf die Fähigkeit des Richters, zwischen relevanten und faktisch unterstützenden Quellen zu unterscheiden. Es besteht eine Lücke im Verständnis darüber, ob günstigere, kleinere Modelle in der Lage sind, als Frontier-Modelle zuverlässig den Regelkreis zu schließen, und insbesondere, wie ihre gerichteten Bias (z. B. Falsch-Positive gegenüber Falsch-Negativen) das Trainingssignal formen könnten, was durch skalare Genauigkeitsmetriken verschleiert wird.

Methodik
Die Autoren führen den Deep-Research Citation Benchmark ein, einen adversariellen Long-Form-Datensatz, der darauf ausgelegt ist, die Qualität der Zitierbewertung unter Belastung zu testen.

• Datensatz-Konstruktion: Der Benchmark umfasst 25 diverse Domänen (z. B. Quantencomputing, Geschichte, Biologie). Er beginnt mit sauberen, attribuierten Long-Form-Zusammenfassungen, von denen etwa 60 % mittels 19 Strategien adversariell bearbeitet wurden, um faktische Fehler, irrelevante Quellen oder plausible, aber nicht unterstützende Zitate einzuführen. Dies ergibt 624 Attributions-Zitations-Paare.
• Gold-Labels: Ein Rat aus 6 LLM-Richtern bewertete die Paare unabhängig auf zwei Dimensionen: Quellenrelevanz (thematische Passung) und Faktische Unterstützung (Wahrhaftigkeit der Behauptung im Verhältnis zur Quelle). Ein menschlicher Reviewer validierte alle 1.248 Entscheidungen (624 Paare × 2 Dimensionen) und entschied in 378 Fällen, in denen sich der Rat uneinig war, um einen Gold-Standard-Datensatz zu erstellen.
• Evaluierte Richter: Die Studie benchmarkt 8 Standard-LLMs aus drei Familien (Anthropic, Google, OpenAI), die von kostengünstigen Modellen (z. B. GPT-OSS-120B, Gemini 3.1 Flash Lite) bis hin zu Frontier-Modellen (z. B. Claude Opus 4.6, GPT-5-mini) reichen.
• Metriken: Über die Standardgenauigkeit (Pass-class F1 und Cohen's $\kappa$) hinaus messen die Autoren gerichtete Bias-Metriken, die für RLVR entscheidend sind: Pass-Rate-Drift, False Positive Rate (FPR) und False Negative Rate (FNR). Diese Metriken bestimmen, ob ein Richter systematisch schlechte Zitate überbewertet oder gute Zitate unterbewertet.

Wichtigste Ergebnisse

1. Kosten vs. Leistung: Günstigere Richter sind mit Frontier-Modellen konkurrenzfähig.
   • Quellenrelevanz: GPT-5-mini (das drittgünstigste Modell) erreichte das höchste F1 (0,908) und übertraf damit teurere Modelle wie Claude Opus 4.6 (F1=0,866).
   • Faktische Unterstützung: Kein einzelnes Modell dominierte statistisch signifikant. Obwohl Claude Opus 4.6 den höchsten Punktschätzwert aufwies (F1=0,750), überschnitt sich sein 95%-Konfidenzintervall mit allen anderen Modellen, einschließlich des kostengünstigsten GPT-OSS-120B (F1=0,649).
2. Gerichteter Bias verschleiert skalare Metriken: Modelle mit ähnlichen F1-Scores zeigten erhebliche Unterschiede im Bias.
   • Die meisten Richter waren bei der Quellenrelevanz strenger als die Gold-Labels, was zu einer hohen Präzision, aber moderater Recall führte (systematische Unterbewertung).
   • Bei der faktischen Unterstützung variierten die False-Negative-Raten stark (von 0,183 bis 0,470), was bedeutet, dass einige Richter einen großen Teil der tatsächlich unterstützten Behauptungen ablehnten.
   • Die Autoren stellen fest, dass der skalare F1-Wert diese Asymmetrien maskiert, welche kritisch sind, da ein hoher FPR dazu führt, dass Modelle permissive Richter ausnutzen, während ein hoher FNR dazu führt, dass Modelle übermäßig vorsichtig agieren oder zu wenig zitieren.
3. Uneinigkeit und schwierige Fälle: Bei den 378 „schwierigen“ Fällen, in denen sich der ursprüngliche Rat uneinig war, verschoben sich die Rankings signifikant. Kein einzelner Richter konnte das menschlich adjudizierte Label in dieser Teilmenge zuverlässig erreichen, was darauf hindeutet, dass der F1-Wert des Gesamtdatensatzes ein unvollständiger Proxy für die Zuverlässigkeit bei ambivalenten Zitaten ist.

Bedeutung und Ansprüche
Das Paper argumentt, dass die Kalibrierung des Richters eine Voraussetzung dafür ist, Zitierungsrubriken als Belohnungssignale in RLVR zu verwenden. Die Autoren behaupten:

• Frontier-Modelle sind nicht zwingend erforderlich: Das teuerste verfügbare Modell dominiert die Leistung nicht, und günstigere Modelle können vergleichbare oder sogar überlegene Ergebnisse in spezifischen Dimensionen (z. B. Quellenrelevanz) erzielen.
• Bias ist wichtiger als rohe Genauigkeit: Die Wahl des Richters sollte durch den spezifischen gerichteten Bias getrieben werden, der für den Trainingszyklus erforderlich ist (z. B. Minimierung von False Negatives vs. False Positives), anstatt nur den skalaren F1 zu maximieren.
• Menschliche Adjudikation ist essenziell: Da sich die Rankings der Richter bei ambivalenten Fällen verschieben und kein einzelnes Modell perfekt zuverlässig bei schwierigen Instanzen ist, ist eine menschliche Überprüfung von Unstimmigkeiten notwendig, um robuste Gold-Labels zu etablieren.

Die Studie kommt zu dem Schluss, dass zwar kostengünstigere Richter den Regelkreis effektiv schließen können, die Auswahl eines Richters jedoch eine bewusste Designentscheidung basierend auf der pro-Dimension passenden Rubrik und den Bias-Charakteristika sein muss, anstatt der Standardannahme, dass größere Modelle automatisch besser sind.