Résumé Technique : Évaluation de la génération automatique de travaux connexes basée sur les préférences d'experts

Énoncé du problème

La rédaction scientifique, particulièrement la génération de sections de « Travaux Connexes » (Related Work - RW), exige une connaissance approfondie du domaine et la capacité de raisonner sur des informations inédites en relation avec la littérature existante. Bien que les grands modèles de langage (LLM) soient prometteurs dans ce domaine, l'évaluation de la qualité du texte scientifique généré automatiquement reste une question critique non résolue. Les métriques automatiques conventionnelles (ex. : ROUGE, BERTScore) et les systèmes standards de type « LLM-as-a-judge » (le LLM comme juge) sont insuffisants car ils manquent de critères spécifiques au domaine, ne parviennent pas à capturer les préférences des experts et souffrent souvent de biais de pré-entraînement ainsi que d'un manque de transparence. Les cadres d'évaluation existants ne parviennent pas à distinguer de manière adéquate les générations valides qui diffèrent par leur lexique de surface, ni à identifier les générations incorrectes qui partagent des traits lexicaux similaires avec les correctes. De plus, les jeux de données actuels pour la génération de RW reposent souvent sur un contexte limité (ex. : titres et résumés), ne fournissant pas la profondeur nécessaire pour des revues de littérature exhaustives.

Méthodologie

Pour combler ces lacunes, les auteurs proposent GREP (Granular Related-work Evaluation based on Preferences), un cadre d'évaluation multi-tours conçu pour simuler une collaboration réaliste entre l'humain et l'IA.

1. Construction du jeu de données

Les auteurs ont construit un nouveau jeu de données de génération de RW comprenant 50 articles principaux issus de conférences de premier rang en NLP et en Vision par Ordinateur, avec une moyenne de 13,5 articles cités chacun (soit 725 articles au total). Contrairement aux jeux de données précédents qui n'utilisaient que les titres et les résumés, ce jeu de données inclut les sections d'Introduction des articles cités afin de fournir les informations contextuelles riches nécessaires à la compréhension des relations entre les travaux. Les données ont été sélectionnées manuellement pour garantir la qualité et l'exhaustivité.

2. Critères d'évaluation

GREP décompose l'évaluation en Contraintes Strictes (exigences essentielles pour une section RW valide) et en Contraintes Souples (reflétant les préférences des experts parmi plusieurs ébauches valides) :

• Contraintes Strictes :

  • Vérification des citations : Mesure le « Ratio de manquement » (articles fournis non cités) et le « Ratio d'hallucination » (citations ne figurant pas dans la liste fournie).
  • Fidélité (Faithfulness) : Évalue l'alignement factuel entre les phrases de citation et les articles sources à l'aide de l'inférence de langue naturelle (NLI). Une citation est fidèle uniquement si toutes les affirmations sont pleinement soutenues par la source.
  • Existence du positionnement : Vérifie la présence d'énoncés qui différencient les contributions de l'article principal des travaux antérieurs.

• Contraintes Souples :

  • Longueur : S'assure que le nombre de tokens respecte un ratio de tolérance par rapport à un standard de référence (gold standard).
  • Accentuation de la citation : Mesure l'allocation du contenu à des citations spécifiques par rapport à un standard de référence.
  • Type et Ratio de positionnement : Évalue si les contributions sont mises en avant dans chaque paragraphe ou résumées dans le dernier paragraphe, ainsi que le ratio de paragraphes satisfaisant le type d'expression attendu.

3. Le cadre GREP

GREP fonctionne selon une boucle itérative (Figure 1 de l'article) :

1. Génération : Un LLM (le générateur) produit une ébauche basée sur les détails de l'article principal et une liste d'articles cités.
2. Évaluation : Des modules dédiés évaluent l'ébauche par rapport aux contraintes strictes et souples.
   • La Fidélité et le Positionnement sont évalués par des LLM. Pour atténuer les limites des juges LLM standards, GREP emploie un Jugement Localisé (évaluant des contextes spécifiques plutôt que des scores holistiques) et des Exemples Contrastifs Manipulés (exemples de quelques coups montrant un raisonnement correct et incorrect pour guider le juge).
   • Les contraintes strictes (comme les citations manquantes) sont vérifiées de manière déterministe.
3. Génération de Feedback : Le rapport d'évaluation est converti en feedback en langage naturel.
4. Raffinement : Le générateur utilise ce feedback pour produire une ébauche révisée lors de l'itération suivante.

Le cadre propose deux variantes : PreciseGREP (utilisant des modèles propriétaires comme GPT-4o et o3-mini pour une plus grande précision) et OpenGREP (utilisant des modèles à poids ouverts comme Gemma 3 et Llama 3.3 pour l'efficacité des coûts).

Contributions clés

1. Jeu de données novateur : Un jeu de données de génération de RW de haute qualité enrichi par les sections d'Introduction des articles cités, répondant aux limitations contextuelles des jeux de données précédents.
2. Rubrique d'évaluation granulaire : Un ensemble complet de contraintes strictes et souples qui capturent à la fois la validité et les préférences stylistiques des experts.
3. Cadre GREP : Un système d'évaluation multi-tours qui intègre des vérifications déterministes avec un jugement par LLM localisé et augmenté par des exemples contrastifs. Il unifie les critères vérifiables avec les critères nécessitant une compréhension profonde du langage naturel.
4. Validation par des experts : Une étude impliquant 16 experts du domaine (NLP et CV) qui ont évalué les générations de LLM dans un cadre de comparaison par paires et multi-tours. L'étude valide que les jugements de GREP s'alignent étroitement avec les évaluations humaines, surpassant les modèles de juges standards.

Résultats

• Alignement avec les experts : Dans les études d'experts, les variantes de GREP ont démontré un accord significativement plus élevé avec les jugements humains que les modèles de juges de base (ex. : Self-Taught Evaluator, DeepSeek-GRM). PreciseGREP a atteint un taux de correspondance de 78 % pour la fidélité des citations par rapport aux experts, contre 53 % pour les LLM spécialisés de l'état de l'art. OpenGREP a également montré un fort alignement (66 %).
• Performance du générateur : Les LLM de pointe peinent à générer des sections de RW valides sans assistance. Même le modèle le plus performant (o3-mini) n'a atteint une fidélité de citation parfaite que dans 20 % des ébauches initiales.
• Utilisation du feedback : Les LLM ont généralement du mal à intégrer efficacement le feedback. Bien que certains modèles se soient améliorés sur des métriques spécifiques (ex. : ajustement de la longueur), beaucoup ont échoué à suivre simultanément plusieurs aspects d'amélioration ou ont introduit des incohérences qui ont dégradé la qualité.
• Adaptabilité dynamique : Lorsque les préférences de l'utilisateur changeaient dynamiquement (ex. : introduction de nouveaux articles en cours d'interaction ou changement de style de positionnement), les modèles montraient un déclin sévère de performance. Ils échouaient souvent à intégrer les nouvelles informations ou à s'adapter immédiatement aux changements de style, la performance ne se rétablissant pas totalement même après des feedbacks répétés.

Signification

L'article affirme que GREP fournit un cadre d'évaluation robuste et ancré dans le domaine qui comble le fossé entre les métriques automatisées et le jugement d'experts humains dans la rédaction scientifique. En décomposant les tâches d'évaluation complexes en tests localisés semi-objectifs et en utilisant des exemples contrastifs, GREP répond aux problèmes du « quoi juger » et du « comment juger » inhérents aux systèmes actuels de LLM-as-a-judge.

Les auteurs soulignent que leur travail est le premier à conceptualiser l'évaluation automatisée de RW comme une tâche de domaine experte dotée d'utilités spécifiques au domaine. Le cadre offre un substitut fiable au jugement humain, réduisant le coût de l'expérimentation avec l'humain dans la boucle tout en soutenant le développement d'outils de rédaction collaborative humain-IA réalistes. L'étude met en évidence que les LLM de pointe actuels, malgré leurs capacités de raisonnement, luttent encore avec les contraintes nuancées de la synthèse de la littérature scientifique, particulièrement en ce qui concerne la fidélité des citations et l'adaptation dynamique des préférences.