Résumé technique : Génération automatique de points saillants pour les articles académiques via l'apprentissage par incitation (Prompt-based Learning)

Énoncé du problème

La littérature académique augmente rapidement en volume et en diversité, créant des défis importants pour les chercheurs qui tentent de localiser, de lire et d'analyser efficacement les travaux pertinents. Bien que les « Points saillants » (Highlights) — des résumés condensés des découvertes critiques — soient reconnus comme un outil efficace pour une compréhension rapide et l'optimisation pour les moteurs de recherche, de nombreuses revues ne les fournissent pas. Les solutions existantes pour la génération automatique de points saillants reposent sur des méthodes d'apprentissage supervisé qui nécessitent des ensembles de données d'entraînement à grande échelle et spécifiques à un domaine. Ces approches traditionnelles font face à deux limitations principales : elles nécessitent des ressources informatiques substantielles pour entraîner plusieurs modèles pour différents domaines, et elles exigent un temps et des efforts considérables pour construire de vastes corpus d'entraînement, détournant ainsi l'attention de l'optimisation des modèles.

Méthodologie

Cette étude propose un cadre d'apprentissage par incitation (Prompt-based Learning) pour générer des points saillants d'articles académiques directement à partir des résumés (abstracts), visant à réduire la dépendance aux grands ensembles de données d'entraînement tout en maintenant des performances élevées.

Collecte de données

Les chercheurs ont utilisé trois ensembles de données existants couvrant des domaines distincts :

• CSPubSum : Informatique.
• AIPubSum : Intelligence Artificielle.
• BioPubSum : Biomédical.
  Ces ensembles de données fournissaient des résumés d'articles et les points saillants correspondants rédigés par les auteurs. Les auteurs ont extrait les liens Elsevier originaux pour récupérer le texte intégral des résumés et des points saillants, en nettoyant les données pour supprimer les enregistrements vides et les problèmes de formatage.

Conception de l'incitation (Prompt Design)

Le cœur de la méthodologie consiste à transformer l'entrée (le résumé) en un format adapté aux modèles de langage pré-entraînés via des modèles d'incitation (templates).

• Construction de modèles d'incitation : Neuf modèles d'incitation distincts ont été conçus, variant dans la formulation (ex: « Résumer », « Extraire », « Affiner ») et les contraintes (ex: spécifier le nombre de points saillants ou demander des listes à puces).
• Apprentissage en contexte (In-Context Learning) : Pour le modèle ChatGPT, les auteurs ont implémenté une approche d'« Apprentissage en contexte ». Cela a impliqué l'ajout d'une section « Démonstration » à l'incitation, contenant $k$ exemples de paires résumé-point saillant provenant de l'ensemble d'entraînement. Le nombre de démonstrations a été limité à six pour respecter la limite de jetons (tokens) du modèle (4096 tokens) tout en laissant de l'espace pour l'entrée d'inférence.
• Sélection d'échantillons : Pour optimire le contenu des démonstrations, l'étude a comparé la sélection d'échantillons aléatoires à deux stratégies basées sur la pertinence : la similitude sémantique utilisant les vecteurs text-embedding-ada-002 et le chevauchement de N-grammes au niveau de la surface.

Modèles de langage

Cinq modèles ont été évalués :

1. GPT-2 : Un modèle de type décodeur uniquement, pré-entraîné.
2. T5 : Un modèle transformer de type texte-vers-texte.
3. Flan-T5 : Une version de T5 ajustée pour les instructions (instruction-tuned).
4. BART : Un modèle d'auto-encodeur débruiteur.
5. ChatGPT (gpt-3.5-turbo-0613) : Un modèle conversationnel entraîné par renforcement à partir de la rétroaction humaine (RLHF).

Les modèles locaux (GPT-2, T5, Flan-T5, BART) ont été exécutés à l'aide de la bibliothèque Hugging Face Transformers avec un échantillonnage aléatoire pour la génération de jetons. ChatGPT a été accédé via API.

Principales contributions

1. Application novatrice : Il s'agit de la première étude appliquant l'apprentissage par incitation spécifiquement à la tâche de génération de points saillants académiques, en utilisant à la fois des modèles pré-entraînés standards et des grands modèles de langage (LLM) comme ChatGPT.
2. Efficacité des données : La méthode proposée atteint des performances comparables aux modèles supervisés de pointe (SOTA) sans nécessiter un entraînement extensif sur des corpus spécifiques au domaine. Elle fonctionne efficacement dans des scénarios zero-shot et few-shot.
3. Analyse de sensibilité de l'incitation : L'étude examine minutieusement comment le contenu de l'incitation (formulation, contraintes) et le contenu de la démonstration (quantité et stratégie de sélection) impactent la qualité de la génération.
4. Stratégie de sélection de démonstration : La recherche identifie que la sélection d'échantillons de démonstration basée sur le chevauchement du vocabulaire N-gramme produit des performances plus stables et plus élevées que la sélection aléatoire ou la similitude de plongement sémantique profond, particulièrement dans les contextes à faible nombre d'exemples (low-shot).

Résultats expérimentaux

Les modèles ont été évalués à l'aide des métriques ROUGE-N et ROUGE-L (spécifiquement les scores F1) à travers les trois ensembles de données.

• Performance Zero-Shot : Sans aucun échantillon d'entraînement, le modèle ChatGPT couplé à des modèles d'incitation optimisés a atteint des performances comparables aux précédentes méthodes d'apprentissage supervisé. Notamment, il a surpassé le SOTA sur les ensembles de données AIPubSum et BioPubSum.
• Performance Few-Shot : Lorsqu'un petit nombre d'échantillons d'entraînement (démonstrations) ont été ajoutés aux incitations, la performance du modèle ChatGPT s'est considérablement améliorée, dépassant les approches SOTA sur deux des trois ensembles de données.
• Comparaison des modèles :
  • ChatGPT et Flan-T5 ont montré les gains de performance les plus spectaculaires lors de l'ajout d'incitations, probablement en raison de leur ajustement par instructions.
  • GPT-2 et BART ont montré peu ou pas d'amélioration avec l'incitation ; BART a obtenu les meilleurs résultats dans la condition « sans incitation » parmi les modèles locaux.
  • Impact de l'incitation : L'incitation 8 (« Affinez 4 à 5 points innovants... sous forme de liste à puces sans explication supplémentaire ») a systématiquement donné les meilleurs résultats.
• Étude de cas : Une analyse qualitative de articles spécifiques a révélé que les points saillants générés par le modèle présentaient un rappel (recall) élevé, couvrant efficacement les points clés mis en avant par les auteurs humains. Cependant, la précision était plus faible, les sorties générées contenant occasionnellement des informations non pertinentes ou redondantes.

Signification et affirmations

Les auteurs affirment que cette étude offre une solution pratique et largement applicable pour la génération automatique de points saillants pour les articles qui en sont actuellement dépourvus. En éliminant la nécessité d'un entraînement sur des corpus spécifiques au domaine, la méthode abaisse la barrière à l'application de la génération de points saillants dans divers domaines académiques.

L'étude souligne que, bien que les grands modèles de langage possèdent des capacités intrinsèques puissantes, leur performance sur des tâches spécifiques dépend fortement des informations fournies dans les modèles d'incitation. La méthode proposée fournit un support de données pour la recherche ultérieure en fouille de texte et en bibliométrie en permettant l'analyse des informations de points saillants pour un éventail plus large de la littérature académique.

Les auteurs maintiennent un ton modeste concernant les limites, reconnaissant que :

• L'ingénierie manuelle des incitations est chronophage et repose sur l'intuition de l'expert.
• Le contenu généré peut encore nécessiter un post-traitement (filtrage) pour éliminer la redondance.
• L'analyse approfondie de la sensibilité de l'incitation au niveau du modèle est contrainte par l'accès API aux modèles fermés comme ChatGPT.