Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

Résumé Technique : Évaluation de la capacité des LLM à utiliser des rubriques pour l'attribution de sources en recherche approfondie

Énoncé du Problème
Alors que l'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) devient le paradigme dominant de l'entraînement post-apprentissage pour les tâches dépourvues de vérificateurs programmatiques (ex. : conseils médicaux, rédaction scientifique), la communauté s'appuie sur des juges LLM pour noter des rubriques spécifiques aux prompts. Ces juges agissent effectivement comme des modèles de récompense, ce qui signifie que la conception de la rubrique d'entraînement équivaut à la conception de l'objectif opérationnalisé. Cependant, une question critique de calibration demeure : quel niveau de compétence un juge doit-il posséder pour fournir un signal de récompense fiable, et comment son biais inhérent affecte-t-il l'entraînement en aval ?

Bien que la qualité de la citation dans les systèmes de recherche approfondie soit une cible primaire pour le RLVR, les travaux existants n'ont pas systématiquement évalué les LLM prêts à l'emploi (à usage général) en tant que juges sur des tâches de rubriques spécifiques à la citation. Les systèmes actuels supposent souvent qu'un seul modèle large ou dédié est nécessaire, ou se concentrent sur la qualité de la récupération plutôt que sur la capacité du juge à distinguer entre des sources pertinentes et des sources soutenant factuellement un propos. Il existe une lacune dans la compréhension de savoir si des modèles plus petits et moins coûteux peuvent de manière fiable boucler la boucle face aux modèles de pointe, et spécifiquement, comment leurs biais directionnels (ex. : faux positifs vs faux négatifs) pourraient façonner le signal d'entraînement d'une manière que les métriques de précision scalaire occultent.

Méthodologie
Les auteurs introduisent le Deep-Research Citation Benchmark, un ensemble de données contradictoires de format long conçu pour tester la qualité de l'évaluation des citations.

• Construction de l'ensemble de données : Le benchmark couvre 25 domaines divers (ex. : informatique quantique, histoire, biologie). Il commence par des résumés de format long proprement attribués, dont environ 60 % sont édités de manière adverse en utilisant 19 stratégies pour introduire des erreurs factuelles, des sources non pertinentes ou des citations plausibles mais non supportées. Cela produit 624 paires de type attribution-citation.
• Labels de Référence (Gold Labels) : Un conseil de 6 juges LLM a évalué indépendamment les paires sur deux dimensions : la Pertinence de la Source (adéquation thématique) et le Support Factuel (vérité de l'affirmation par rapport à la source). Un réviseur humain a validé les 1 248 décisions (624 paires × 2 dimensions), arbitrant les 378 cas où le conseil était en désaccord pour créer un ensemble de données de référence (gold-standard).
• Juges Évalués : L'étude évalue 8 LLM prêts à l'emploi issus de trois familles (Anthropic, Google, OpenAI), allant de modèles à faible coût (ex. : GPT-OSS-120B, Gemini 3.1 Flash Lite) à des modèles de pointe (ex. : Claude Opus 4.6, GPT-5-mini).
• Métriques : Au-delà de la précision standard (F1 de classe Pass et $\kappa$ de Cohen), les auteurs mesurent des métriques de biais directionnel critiques pour le RLVR : la dérive du taux de réussite (Pass-rate drift), le taux de faux positifs (FPR) et le taux de faux négatifs (FNR). Ces métriques déterminent si un juge sur-récompense systématiquement les mauvaises citations ou sous-récompense les bonnes.

Résultats Clés

1. Coût vs Performance : Les juges moins coûteux sont compétitifs avec les modèles de pointe.
   • Pertinence de la Source : GPT-5-mini (le troisième modèle le moins cher) a obtenu le F1 le plus élevé (0,908), surpassant des modèles plus coûteux comme Claude Opus 4.6 (F1=0,866).
   • Support Factuel : Aucun modèle n'a dominé statistiquement. Bien que Claude Opus 4.6 ait présenté l'estimation ponctuelle la plus élevée (F1=0,750), son intervalle de confiance à 95 % chevauchait tous les autres modèles, y compris le plus bas coût GPT-OSS-120B (F1=0,649).
2. Le Biais Directionnel Occulte les Métriques Scalaires : Des modèles présentant des scores F1 similaires ont montré des différences substantielles de biais.
   • La plupart des juges étaient plus stricts que les labels de référence sur la pertinence de la source, entraînant une précision élevée mais un rappel modéré (sous-récompense systématique).
   • Sur le support factuel, les taux de faux négatifs variaient largement (de 0,183 à 0,470), ce qui signifie que certains juges rejetaient une grande fraction de revendications réellement supportées.
   • Les auteurs notent que le F1 scalaire masque ces asymétries, qui sont critiques car un FPR élevé entraîne les modèles à exploiter les juges permissifs, tandis qu'un FNR élevé entraîne les modèles à trop se ménager ou à sous-citer.
3. Désaccord et Cas Difficiles : Sur les 378 « cas difficiles » où le conseil initial était en désaccord, les classements ont considérablement changé. Aucun juge n'a de manière fiable égalé le label arbitré par l'humain sur ce sous-ensemble, suggérant que le F1 sur l'ensemble complet est un indicateur incomplet de la fiabilité sur les citations ambiguës.

Signification et Revendications
L'article soutient que la calibration du juge est un prérequis à l'utilisation des rubriques de citation comme signaux de récompense dans le RLVR. Les auteurs affirment que :

• Les modèles de pointe ne sont pas strictement nécessaires : Le modèle le plus coûteux disponible ne domine pas les performances, et des modèles moins chers peuvent obtenir des résultats comparables ou supérieurs sur des dimensions spécifiques (ex. : pertinence de la source).
• Le biais importe plus que la précision brute : Le choix du juge doit être dicté par le biais directionnel spécifique requis pour la boucle d'entraînement (ex. : minimiser les faux négatifs vs les faux positifs) plutôt que par la simple maximisation du F1 scalaire.
• L'arbitrage humain est essentiel : Étant donné que les classements des juges changent sur les cas ambigus et qu'aucun modèle n'est parfaitement fiable sur les instances difficiles, la revue humaine des désaccords est nécessaire pour établir des labels de référence robustes.

L'étude conclut que, bien que les juges à moindre coût puissent boucler la boucle efficacement, la sélection d'un juge doit être un choix de conception délibéré basé sur l'adéquation de la rubrique par dimension et les caractéristiques de biais, plutôt que sur l'hypothèse par défaut que les modèles plus larges sont supérieurs.