Résumé technique : Concevoir des prompts de LLM pour extraire des scores à partir de textes désordonnés

Définition du problème

L'article traite d'un défi spécifique en traitement du langage naturel (NLP) : la conception de prompts pour les modèles de langage de grande taille (LLM) afin d'extraire avec précision des scores numériques de qualité de recherche à partir de rapports textuels non structurés et « désordonnés ». Bien que les LLM soient fréquemment utilisés pour générer des évaluations textuelles (par exemple, noter des dissertations ou évaluer la qualité de la recherche), leurs résultats sont souvent incohérents. Ils peuvent intégrer des scores au sein d'explications étendues, omettre totalement les scores, fournir des formats invalides (par exemple, des pourcentages ou des échelles non standard), ou ne pas respecter strictement les contraintes de sortie.

La tâche spécifique consiste à traiter des rapports générés par des LLM qui évaluent des articles de revues selon l'échelle du UK Research Excellence Framework (REF) (de 1* à 4*). La difficulté fondamentale réside dans deux exigences simultanées :

1. Précision de l'extraction : Identifier correctement le score global ou calculer la moyenne de scores de composantes (Originalité, Signification, Rigueur) lorsqu'un score global est absent.
2. Contrainte de sortie : Garantir que le LLM ne renvoie que le score numérique (et un astérisque optionnel) ou un code de valeur manquante spécifique (-1), sans texte explicatif, sans erreur de ponctuation ou de formatage.

Méthodologie

Pour faciliter la recherche sur ce problème, l'auteur introduit un ensemble de données partagé et un défi structuré.

Construction du jeu de données

Le jeu de données se compose de 1 446 textes courts dérivés de rapports générés par trois LLM de taille moyenne : Magistral, Llama 4 Scout et Gemma3 27b. Ces modèles ont été chargés de noter des articles de revues sur la base de titres et de résumés.

• Filtrage des sources : Le processus a débuté avec des centaines de milliers de réponses brutes. Une suppression des doublons a été effectuée d'abord au sein des sorties de chaque modèle, puis entre les modèles.
• Curation manuelle : Pour maximiser la difficulté et la variété, le grand ensemble restant a été filtré manuellement dans Excel. Des rapports similaires ont été supprimés pour garantir que l'ensemble final contienne une grande variété de styles, incluant des textes avec des scores manquants, des scores invalides et des formats ambigus.
• Référence (Gold Standard) : Un expert humain (l'auteur) a jugé manuellement le score correct pour chaque texte. Cette « référence » inclut le score spécifique (1*–4*) ou -1 si le score est peu clair ou manquant. Dans les cas où trois scores de composantes étaient présents sans score global, la moyenne a été calculée comme étant la référence.

La tâche du défi

Les participants sont chargés de concevoir un prompt de LLM pour traiter les 1 446 textes. La sortie doit strictement respecter un format spécifique :

• Sorties valides : Un nombre (entier ou décimal) suivi optionnellement d'un astérisque (ex. : 3*, 2.667, 4 *) ou du code -1.
• Sorties invalides : Toute réponse contenant d'autres caractères que des chiffres, des espaces, des astérisques ou le signe moins (ex. : « Score : 3* », « World-leading » ou « 3* parce que... »).
• Logique de notation : Le système doit renvoyer le score global rapporté si disponible. Si ce n'est pas le cas, et si les scores d'Originalité, de Signification et de Rigueur sont tous présents, il doit renvoyer leur moyenne. Si le texte manque d'un score clair ou contient des données invalides, il doit renvoyer -1.

Évaluation

L'article fournit une solution de base utilisant un prompt spécifique avec ChatGPT 4.1-mini via API. Les résultats sont évalués en comparant la sortie du LLM par rapport à la référence, en autorisant une faible tolérance d'arrondi (dans une limite de 0,005 de la valeur exacte).

Résultats clés

L'expérience de base a produit les statistiques suivantes :

• Éléments totaux : 1 446
• Réponses correctes : 1 050
• Précision : 72,61 %

L'article note que le prompt de base échoue souvent de deux manières :

1. Violations de format : Le modèle inclut du texte explicatif ou des symboles incorrects.
2. Erreurs d'extraction : Le modèle échoue à calculer la moyenne des scores de composantes ou interprète mal des échelles invalides (par exemple, traiter une échelle de 5 points comme valide pour le système REF à 4 points).

Signification et contributions

L'article apporte trois contributions principales au domaine de l'information et du NLP :

1. Une ressource partagée : Il fournit un jeu de données « désordonné » et curaté de 1 446 rapports de qualité de recherche avec une référence vérifiée, permettant une comparaison directe des performances entre différentes stratégies d'ingénierie de prompt sans les coûts de création de données.
2. Un défi de benchmark : Il établit une tâche claire et mesurable pour permettre à la communauté de s'améliorer par rapport à la ligne de base de 72,61 %. Le défi encourage le développement de prompts capables de gérer simultanément l'extraction numérique complexe et les contraintes de formatage strictes.
3. Un aperçu des capacités des LLM : En se concentrant sur une tâche qui semble transparente (extraire un nombre) mais qui contient des complexités cachées (échelles ambiguës, valeurs manquantes et bruit de formatage), le défi vise à approfondir la compréhension des limites des LLM et des nuances d'un design de prompt efficace pour les tâches numériques.

L'auteur positionne ce travail comme une stratégie pratique pour accroître l'efficacité de la recherche, permettant à plusieurs équipes de générer des solutions pour une tâche commune, et suggère que le défi est adapté tant aux chercheurs qu'aux projets étudiants.