Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

Technische Samenvatting: Benchmarking van LLM-rubrieken voor bronvermelding bij diepgaand onderzoek

Probleemstelling
Nu Reinforcement Learning met Verifieerbare Beloningen (RLVR) de dominante post-training paradigm wordt voor taken die geen programmeerbare verifieerders missen (bijv. medisch advies, wetenschappelijk schrijven), vertrouwt de gemeenschap op LLM-judges om promptspecifieke rubrieken te scoren. Deze judges fungeren effectief als beloningsmodellen, wat betekent dat het ontwerp van de trainingsrubriek gelijkstaat aan het ontwerpen van het geoperationaliseerde doel. Er blijft echter een cruciale kalibratievraag bestaan: hoe capabel moet een judge zijn om een betrouwbaar beloningssignaal te leveren, en hoe beïnvloedt de inherente bias het downstream-proces?

Hoewel de kwaliteit van citaties in deep-research systemen een primair doelwit is voor RLVR, heeft bestaand werk niet systematisch off-the-shelf (algemene) LLM's gebenchmarkt als judges voor citatie-specifieke rubriekstaken. Bestaande systemen gaan vaak uit van de noodzaak van één groot of toegewijd model, of richten zich op de kwaliteit van retrieval in plaats van op het vermogen van de judge om onderscheid te maken tussen relevante en feitelijk ondersteunende bronnen. Er is een gat in het begrip of goedkopere, kleinere modellen betrouwbaar de cirkel kunnen sluiten als frontier-modellen, en specifiek hoe hun directionele biases (bijv. vals positieven versus vals negatieven) de trainingssignalen kunnen vormen op manieren die door scalaire nauwkeurigheidsmetingen worden verhuld.

Methodologie
De auteurs introduceren de Deep-Research Citation Benchmark, een adversariële, langvormige dataset die is ontworpen om de evaluatie van citatiekwaliteit onder druk te zetten.

• Dataset Constructie: De benchmark beslaat 25 diverse domeinen (bijv. kwantumcomputing, geschiedenis, biologie). Het begint met schone, geattribueerde langvormige samenvattingen, waarvan er ongeveer 60% adversarieel is bewerkt met 19 strategieën om feitelijke fouten, irrelevante bronnen of plausibele maar niet-ondersteunende citaties te introduceren. Dit levert 624 attributie-citatieparen op.
• Gold Labels: Een raad van 6 LLM-judges evalueerde de paren onafhankelijk op twee dimensies: Bronrelevantie (topische fit) en Feitelijke Ondersteuning (waarheidsgetrouwheid van de claim ten opzichte van de bron). Een menselijke reviewer valideerde alle 1.248 beslissingen (624 paren × 2 dimensies) en beslechtte 378 gevallen waarin de raad van mening verschilde om een gold-standard dataset te creëren.
• Geëvalueerde Judges: De studie benchmarkt 8 off-the-shelf LLM's uit drie families (Anthropic, Google, OpenAI), variërend van laag-kosten modellen (bijv. GPT-OSS-120B, Gemini 3.1 Flash Lite) tot frontier-modellen (bijv. Claude Opus 4.6, GPT-5-mini).
• Metrieken: Naast standaard nauwkeurigheid (Pass-class F1 en Cohen's $\kappa$) meten de auteurs directionele bias metrieken die cruciaal zijn voor RLVR: Pass-rate drift, False Positive Rate (FPR) en False Negative Rate (FNR). Deze metrieken bepalen of een judge systematisch slechte citaties overbeloont of goede citaties onderbeloont.

Belangrijkste Resultaten

1. Kosten vs. Prestaties: Goedkopere judges zijn competitief met frontier-modellen.
   • Bronrelevantie: GPT-5-mini (het op de derde na goedkoopste model) behaalde de hoogste F1 (0.908), waarmee het duurdere modellen zoals Claude Opus 4.6 (F1=0.866) overtrof.
   • Feitelijke Ondersteuning: Geen enkel model domineerde statistisch gezien. Hoewel Claude Opus 4.6 de hoogste puntinschatting had (F1=0.750), overlapte de 95% betrouwbaarheidsinterval met alle andere modellen, inclus inclusief het laagste kostenmodel GPT-OSS-120B (F1=0.649).
2. Directionele Bias Verhult Scalaire Metrieken: Modellen met vergelijkbare F1-scores vertoonden substantiële verschillen in bias.
   • De meeste judges waren strenger dan de gold labels op bronrelevantie, wat leidde tot een hoge precisie maar matige recall (systematische onderbeloning).
   • Op het gebied van feitelijke ondersteuning varieerden de false negative rates breed (van 0.183 tot 0.470), wat betekent dat sommige judges een groot deel van de terecht ondersteunde claims afwezen.
   • De auteurs merken op dat scalaire F1 deze asymmetrieën maskeert, die cruciaal zijn omdat een hoge FPR modellen traint om permissieve judges te exploiteren, terwijl een hoge FNR modellen traint om te veel te 'hedgen' of te weinig te citeren.
3. Discrepantie en Moeilijke Casussen: Op de 378 "harde" gevallen waar de initiële raad van mening verschilde, veranderden de rangordes aanzienlijk. Geen enkele judge kwam betrouwbaar overeen met de door mensen geadjudiceerde label op deze subset, wat suggere of dat de volledige F1 een onvolledige proxy is voor betrouwbaarheid bij ambigue citaties.

Betekenis en Claims
Het artikel stelt dat het kalibreren van de judge een vereiste is voor het gebruik van citatie-rubrieken als beloningssignalen in RLVR. De auteurs beweren dat:

• Frontier-modellen niet strikt noodzakelijk zijn: Het duurste beschikbare model domineert de prestaties niet, en goedkopere modellen kunnen vergelijkbare of superieure resultaten behalen op specifieke dimensies (bijv. bronrelevantie).
• Bias belangrijker is dan ruwe nauwkeurigheid: De keuze van de judge moet worden gedreven door de specifieke directionele bias die vereist is voor de trainingslus (bijv. het minimaliseren van false negatieven versus false positieven), in plaats van alleen het maximaliseren van de scalaire F1.
• Menselijke adjudicatie essentieel is: Omdat de rangorde van judges verschuift bij ambigue gevallen en geen enkele model perfect betrouwbaar is op moeilijke instanties, is menselijke beoordeling van meningsverschillen noodzakelijk om robuuste gold labels vast te stellen.

De studie concludeert dat hoewel goedkopere judges de cirkel effectief kunnen sluiten, de selectie van een judge een bewuste ontwerpkeuze moet zijn op basis van de per-dimensie passende rubric en de bias-kenmerken, in plaats van de standaardveronderstelling dat grotere modellen superieur zijn.