💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

Cet article démontre que le passage à l'échelle de l'apprentissage en contexte à des centaines d'exemples permet aux grands modèles de langage d'égaler ou de surpasser les performances de BERT en apprentissage supervisé complet pour la reconnaissance d'entités nommées, tout en servant également de cadre d'annotation de données efficace qui améliore considérablement les modèles de reconnaissance d'entités nommées à faibles ressources.

Auteurs originaux : Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à lire en lui montrant des exemples

Imaginez que vous avez un robot très intelligent (un grand modèle de langage, ou LLM) qui sait lire, mais qu'on ne lui a jamais appris spécifiquement à trouver les noms de personnes, de lieux ou d'organisations dans une phrase. Habituellement, pour enseigner cette compétence à un robot, il faut embaucher une équipe de professeurs humains pour écrire des milliers d'exemples, les étiqueter parfaitement, puis passer des semaines à « entraîner » le robot sur ces exemples. C'est coûteux et lent.

Ce document propose une approche différente : Montrer, plutôt que de simplement dire.

Au lieu de réentraîner le cerveau du robot, les chercheurs lui montrent simplement des centaines d'exemples juste avant qu'il ne lise une nouvelle phrase. C'est ce qu'on appelle l'Apprentissage en Contexte (In-Context Learning ou ICL). Le papier pose la question suivante : Que se passe-t-il si nous montrons au robot non pas 5 exemples, mais 100, 200 ou même 500 exemples d'un coup ?

La découverte principale : Plus d'exemples = Un robot plus intelligent

Les chercheurs ont découvert une tendance surprenante : plus ils montraient d'exemples au robot, meilleur il devenait.

L'ancienne méthode (Few-Shot) : Montrer 5 exemples au robot, c'était comme donner une petite fiche de révision à un étudiant. Cela aidait, mais l'étudiant faisait encore des erreurs.
La nouvelle méthode (Many-Shot) : Montrer plus de 100 exemples au robot, c'était comme donner un chapitre entier de manuel scolaire à l'étudiant pour qu'il l'étudie juste avant l'examen. Le robot ne se contentait pas de mieux « deviner » ; il apprenait si bien les schémas qu'il performait aussi bien, voire mieux, que des robots entraînés pendant des semaines sur des milliers d'exemples étiquetés par des humains.

L'analogie : Pensez au robot comme à un nouvel employé.

Le Fine-Tuning (L'ancienne méthode) : Vous engagez un formateur pour passer un mois à enseigner chaque règle du métier à l'employé.
Le Many-Shot ICL (La nouvelle méthode) : Vous asseyez l'employé, vous lui donnez une pile de 100 formulaires remplis, et vous dites : « Regardez comment ils ont été faits, puis remplissez celui-ci. » L'employé comprend instantanément sans avoir besoin d'un mois de formation.

Le problème : Le robot est lent et coûteux à utiliser

Bien que la méthode « Many-Shot » ait été excellente pour obtenir des réponses, elle avait un inconvénient. Chaque fois que vous vouliez qu'un robot lise une nouvelle phrase, vous deviez lui fournir à nouveau ces 100+ exemples.

L'analogie : C'est comme demander à un bibliothécaire de trouver un livre. Si vous devez remettre au bibliothécaire un livre d'histoire de 100 pages à chaque fois que vous demandez un livre, cela prend beaucoup de temps et coûte très cher. On ne peut pas faire cela en temps réel pour des milliers de documents.

La solution : L'« Usine d'annotation » (ICA)

Pour résoudre le problème de vitesse et de coût, les chercheurs ont construit un cadre appelé Annotation en Contexte (In-Context Annotation ou ICA).

Au lieu d'utiliser le robot pour lire des documents en temps réel, ils l'ont utilisé comme un ouvrier d'usine hors ligne.

La configuration : Ils ont donné au robot un petit « noyau » d'environ 100 exemples étiquetés par des humains (le « noyau » est comme le plan de construction).
L'usine : Le robot a utilisé ces 100 noyaux pour lire des milliers de documents non étiquetés et les étiqueter lui-même.
Le contrôle qualité : Parfois, le robot fait des erreurs. Les chercheurs ont ajouté une étape de « Contrôle Qualité » où le robot vérifie son propre travail, corrige les erreurs et vote pour la meilleure réponse (comme un comité de robots qui examinent leur propre travail).
Le résultat : Ils disposent désormais d'une énorme pile de données de haute qualité et étiquetées.
Le déploiement : Ils prennent ces nouvelles données et entraînent un petit robot, rapide et peu coûteux (comme BERT) sur celles-ci.

L'analogie :

Étape 1 : Vous engagez un expert hautement qualifié et lent (le grand LLM) pour étiqueter 2 000 documents. Vous lui donnez quelques exemples pour commencer.
Étape 2 : L'expert fait le travail, vérifie ses propres erreurs, et vous remet un ensemble de données parfait.
Étape 3 : Vous licenciez l'expert coûteux. Vous prenez ce jeu de données parfait et vous apprenez à un stagiaire rapide et bon marché (le petit modèle BERT) comment faire le travail.
Étape 4 : Désormais, quand vous avez besoin de lire un nouveau document, vous utilisez le stagiaire rapide et bon marché. C'est instantané et cela ne coûte presque rien.

Conclusions clés en langage simple

Le passage à l'échelle fonctionne : Plus on montre d'exemples au grand robot, plus il devient intelligent. Environ 100 exemples est le « point idéal » où il devient incroyablement précis.
L'effort humain est faible : Vous n'avez besoin que d'environ 100 exemples étiquetés par des humains pour faire fonctionner l'ensemble du système. C'est un travail infime comparé aux milliers habituellement requis.
Meilleur que les meilleurs : Le petit robot entraîné sur les données « fabriquées en usine » a performé environ 10 % mieux que les meilleures méthodes actuelles pour les tâches à faibles ressources.
Le raffinement est crucial : Les étapes de « Contrôle Qualité » (où le robot corrige ses propres erreurs) ont été déterminantes. Plus précisément, une méthode appelée « Raffinement sensible aux erreurs » (où le robot apprend à chercher des types d'erreurs spécifiques comme des « noms manquants » ou des « mauvais noms ») a fait la plus grande différence.

Résumé

Ce document montre que nous n'avons pas besoin de passer des mois à entraîner des robots sur des ensembles de données massifs. Au lieu de cela, nous pouvons utiliser un grand robot intelligent comme un enseignant temporaire. En lui montrant des centaines d'exemples, il peut générer des données d'entraînement de haute qualité pour un petit robot rapide. Ce petit robot devient alors celui que nous utilisons réellement dans le monde réel, offrant une haute performance avec très peu d'efforts humains et un coût faible.

Résumé Technique : Mise à l'échelle de la performance et annotation à faibles ressources avec l'apprentissage en contexte à de multiples exemples (Many-Shot In-Context Learning) pour la reconnaissance d'entités nommées

Énoncé du problème

La reconnaissance d'entités nommées (NER - Named Entity Recognition) est une tâche fondamentale d'extraction d'informations qui repose traditionnellement sur des modèles entièrement supervisés (par exemple, BERT affiné) nécessitant de grands volumes de données étiquetées par l'humain. Bien que les grands modèles de langage (LLM) offrent une alternative prometteuse via l'apprentissage en contexte (ICL - In-Context Learning) sans mise à jour des paramètres, des recherches antérieures indiquent que les LLM dans des configurations standard de "few-shot" (quelques exemples) sont souvent moins performants que les modèles de base supervisés. De plus, les études existantes sur l'ICL pour la NER se sont principalement concentrées sur des scénarios de "few-shot" (typiquement <100 exemples), laissant largement inexploré le potentiel de mise à l'échelle vers des centaines de démonstrations (« many-shot ICL »). En outre, l'utilisation des LLM pour l'inférence en temps réel est souvent coûteuse en calcul et lente, ce qui limite leur déploiement pratique dans des environnements à ressources contraintes.

Méthodologie

1. Apprentissage en contexte à multiples exemples (Many-Shot ICL) pour la NER

Les auteurs formulent la NER comme un problème de génération conditionnelle où le modèle génère une sortie annotée de style XML (par exemple, <entity type="Location">Canada</entity>). Ce format marque explicitement les limites et les types d'entités, améliorant ainsi la sensibilité aux frontières.

Expériences de mise à l'échelle : L'étude évalue sept LLM (incluant Qwen-2.5, LLaMA-3.1, GPT-4o et DeepSeekV3) à travers quatre domaines (MIT-Restaurant, MIT-Movie, CoNLL2003, WNUT 2017).
Stratégies de démonstration : Deux stratégies de sélection d'exemples en contexte sont comparées :
- Échantillonnage aléatoire (Random Sampling) : Un ensemble fixe de $k$ exemples est réutilisé pour toutes les entrées de test.
- Basée sur la recherche (Retrieval-Based) : Les $k$ exemples les plus similaires sont récupérés dynamiquement pour chaque entrée de test via BM25.
Observation : La performance s'améliore systématiquement à mesure que le nombre de démonstrations augmente de 0 à 500, les méthodes basées sur la recherche plafonnant plus tôt (autour de 100 exemples) tandis que l'échantillonnage aléatoire montre des gains constants jusqu'à 500 exemples.

2. Le cadre d'annotation en contexte (ICA - In-Context Annotation)

Pour remédier au coût d'inférence des LLM, les auteurs proposent d'utiliser le many-shot ICL non pas comme un moteur d'inférence directe, mais comme un outil d'annotation de données hors ligne pour entraîner des petits modèles efficaces (par exemple, BERT).

Flux de travail :
1. Données de base (Seed Data) : Un petit ensemble d'exemples étiquetés par l'humain (par exemple, 100) est utilisé comme démonstrations fixes en contexte.
2. Annotation : Un LLM annote un large corpus de données non étiquetées (par exemple, 2 000 phrases) en utilisant ces démonstrations.
3. Raffinement : Pour améliorer la qualité, trois stratégies sont appliquées aux échantillons à faible confiance :
  - Auto-cohérence (Self-Consistency) : Plusieurs prédictions avec des ordres de démonstration variés sont agrégées via un vote majoritaire.
  - Auto-correction (Self-Correction) : Le LLM est invité à examiner et à réviser sa propre sortie.
  - Raffinement sensible aux erreurs (Error-Aware Refinement - EAR) : Une approche modulaire utilisant trois prompts distincts pour corriger séquentiellement des types d'erreurs spécifiques : entités spécieuses, entités manquantes et types d'entités incorrects.
4. Entraînement en aval (Downstream Training) : Les données raffinées et de haute qualité sont utilisées pour affiner un modèle NER basé sur BERT.
Configuration expérimentale :
- Jeux de données : Le cadre ICA est évalué sur le benchmark CrossNER (IA, Littérature, Musique, Politique, Science) dans des contextes de faibles ressources (100–200 exemples de base étiquetés par l'humain).
- Modèles de référence (Baselines) : Les comparaisons incluent l'augmentation de données traditionnelle (DAGA, NERDA), l'augmentation basée sur les LLM (ProgGen) et les méthodes de NER à faibles ressources/trans-domaines de pointe (ex: DTrans-MPrompt, GLiNER).

Résultats clés

Performance du Many-Shot ICL

Effet de mise à l'échelle : L'augmentation du nombre d'exemples en contexte conduit à des gains de performance de manière monotone. Avec environ 100 à 500 exemples, les LLM atteignent des performances comparables ou supérieures aux modèles BERT entièrement supervisés entraînés sur des milliers d'exemples.
Efficacité : L'échantillonnage aléatoire avec des centaines d'exemples produit des résultats compétitifs, approchant la performance des méthodes de recherche plus coûteuses, tout en exigeant moins d'effort d'annotation.

Performance du cadre ICA

Supériorité sur l'état de l'art (SOTA) : Sur le benchmark CrossNER, le cadre ICA (spécifiquement avec EAR) atteint une amélioration moyenne absolue du F1 d'environ 10 points par rapport aux approches précédentes de faible ressource de pointe.
Comparaison avec l'ICL direct : La conversion des prédictions du LLM en données d'entraînement pour BERT surpasse l'inférence directe par many-shot ICL (ICL-MS) de plus de 5 points F1, démontant la valeur de la distillation de la connaissance du LLM vers des modèles efficaces.
Impact du raffinement : La stratégie de raffinement sensible aux erreurs (EAR) surpasse systématiquement les autres variantes, ajoutant en moyenne 1,79 point F1 par rapport à l'ICA standard en traitant explicitement les erreurs d'annotation courantes.
Efficacité des données : La méthode atteint une haute performance en utilisant seulement environ 100 exemples de base étiquetés par l'humain pour générer environ 2 000 échantillons annotés, réduisant considérablement les coûts d'annotation humaine.

Analyse des exigences

Échelle d'annotation : La performance sature après l'annotation d'environ 1 500 à 2 500 phrases ; l'ajout de données supplémentaires produit des rendements décroissants.
Taille des données de base (Seed Size) : Environ 75 à 100 exemples étiquetés par l'humain suffisent pour guider un ICA efficace ; augmenter au-delà de ce seuil apporte des gains marginaux.
Choix du modèle : Les modèles plus grands (ex: GPT-4o, Qwen-72B) produisent des annotations de meilleure qualité que les modèles plus petits (ex: Qwen-7B), bien que les modèles open-source mis à l'échelle puissent être compétitifs.

Signification et contributions

L'article présente quatre contributions principales :

Étude empirique : Il fournit la première investigation systématique du many-shot ICL pour la NER, démontrant des gains de performance constants à mesure que le nombre de démonstrations augmente sur plusieurs jeux de données et modèles.
Proposition de cadre : Il introduit le cadre d'annotation en contexte (ICA), qui exploite un nombre modeste d'étiquettes humaines pour générer des données d'entraînement de haute qualité pour des modèles en aval efficaces, découplant ainsi le coût de l'inférence du LLM du déploiement.
Validation expérimentale : Les expériences montrent que l'ICA surpasse significativement les méthodes de NER à faibles ressources actuelles (par ~10 points F1) ainsi que les techniques traditionnelles d'augmentation de données.
Analyse de la scalabilité : L'étude offre des perspectives pratiques sur les compromis entre la taille des données de base, le volume d'annotation et le choix du modèle, établissant que le many-shot ICL est un paradigme viable et rentable pour construire des jeux de données NER dans des domaines à ressources limitées.

Les auteurs concluent que bien que des limites existent concernant la nécessité de labels de base et la surcharge de calcul durant la phase d'annotation, le cadre ICA offre une solution pratique pour réduire les coûts d'annotation et améliorer l'efficacité des données dans les tâches de NER.