Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction

Résumé Technique : L'information sémantique structurée aide à récupérer de meilleurs exemples pour l'apprentissage en contexte appliqué à l'extraction de relations à faible échantillonnage

Définition du Problème
L'extraction de relations (RE - Relation Extraction) est une tâche fondamentale du traitement du langage naturel (NLP) impliquant l'identification de relations entre des paires d'entités (par exemple, des paires sujet-objet). Alors que la RE supervisée traditionnelle nécessite des centaines ou des milliers d'exemples d'entraînement par relation, la RE à faible échantillonnage (FSRE - Few-Shot Relation Extraction) vise à accomplir cette tâche en ne disposant que du nom d'une relation, d'une brève description et de quelques exemples (typiquement 1-shot). Les approches existantes de FSRE reposent souvent sur la classification par prototypes ou sur des méthodes de plus proches voisins basées sur les plongements (embeddings), qui peuvent manquer de flexibilité face aux changements de domaine ou de relation. Bien que l'apprentissage en contexte (ICL - In-Context Learning) avec les grands modèles de langage (LLM) offre une alternative prometteuse, la stratégie optimale pour sélectionner des exemples supplémentaires afin de compléter l'unique exemple « gold » reste peu explorée. Plus précisément, il n'est pas clair comment équilibrer le besoin d'exemples sémantiquement similaires à l'exemple gold avec le besoin de diversité dans les structures de phrases et les choix lexicaux pour éviter le surapprentissage à un motif unique.

Méthodologie
Le document propose un cadre pour transformer automatiquement une configuration de RE 1-shot en une configuration 5-shot ou 10-shot en générant ou en récupérant des exemples supplémentaires. L'approche évalue trois stratégies principales et une combinaison hybride :

1. Génération basée sur les LLM :

   • Paraphrase : La phrase de support gold est paraphrasée par un LLM tout en préservant le sujet, l'objet et la relation.
   • Génération : De nouveaux exemples sont générés en étant conditionnés par le nom de la relation et sa définition en langage naturel, encourageant des lexicalisations et des structures de phrases alternatives.

2. Récupération à partir de corpus non annotés :

   • Les auteurs récupèrent des exemples à partir d'un sous-ensemble important du corpus UMBC WebBase (2,3 millions de phrases).
   • Référence SBERT : Des plongements de phrases standards sont utilisés pour trouver des phrases sémantiquement similaires.
   • Représentations de règles syntactico-sémantiques (Nouveauté) : Au lieu des plongements de phrases complets, la méthode extrait des règles lexico-syntaxiques représentant le chemin de dépendance le plus court entre les entités sujet et objet. Ces règles encodent les éléments lexicaux, les relations de dépendance, la directionnalité et les types d'entités nommées.
   • Appariement sémantique : Un modèle auto-supervisé (SoftMatcher) apprend les représentations sémantiques de ces règles. La récupération est effectuée sur la base de la similitude cosinus entre la représentation de la règle de l'exemple gold et les phrases candidates. Cette approche se concentre sur le contexte spécifique indicatif de la relation plutôt que sur le sens général de la phrase.

3. Amélioration de la diversité :

   • Pour éviter la redondance, les exemples candidats sont regroupés (en utilisant k-means ou k-means++) sur la base de leurs représentations sémantiques.
   • Des exemples représentatifs sont sélectionnés à partir des clusters pour garantir un mélange de similitude avec l'exemple gold et de diversité structurelle.

4. Stratégie Hybride :

   • Le cadre combine des exemples provenant de la génération par LLM et de la récupération dans le corpus. Un prompt est utilisé pour sélectionner un ensemble final d'exemples supplémentaires (4 ou 9) à partir du pool combiné, visant à équilibrer la haute similitude des exemples générés par LLM avec la diversité réaliste des exemples récupérés.

5. Formulation de la tâche :

   • La tâche 5-way 1-shot est reformulée en cinq tâches de classification binaire indépendantes (une par relation) en utilisant l'ICL.
   • Un filtre de reconnaissance d'entités nommées (NER) est appliqué avant l'ICL pour écarter les relations candidates qui sont incompatibles avec les types d'entités dans la phrase de requête, réduisant ainsi considérablement le coût computationnel.

Contributions Clés

• Nouvelle stratégie de récupération : L'introduction de l'utilisation de représentations de règles syntactico-sémantiques structurées (plutôt que des plongements de phrases de surface) pour récupérer des exemples pour l'ICL dans la FSRE. Cette méthode capture la structure relationnelle centrale entre les entités.
• Mécanismes de diversité : La proposition de clustering explicite et d'ingénierie de prompt pour garantir que les exemples sélectionnés offrent des choix de mots et des structures de phrases diversifiés tout en maintenant la fidélité de la relation.
• Cadre Hybride : La démonstration que la combinaison d'exemples générés par LLM (pour la similitude) et d'exemples récupérés (pour la diversité) produit une représentation plus holistique de la relation que l'une ou l'autre méthode seule.
• Performance de l'état de l'art : L'établissement de nouveaux résultats de l'état de l'art sur le jeu de données FS-TACRED, particulièrement pour les petits modèles de langage, sans nécessiter de réglage fin (fine-tuning) du modèle ou d'annotations gold supplémentaires.

Résultats
Le cadre a été évalué sur deux jeux de données (FS-TACRED et un sous-ensemble personnalisé de FS-FewRel) en utilisant quatre LLM (Qwen3-4B, Qwen3-14B, Gemma3-4B et Gemma3-12B).

• Performance : L'approche hybride a systématiquement surpassé les bases de référence, y compris l'ICL 1-shot, la génération par LLM seul et la récupération basée sur SBERT. Sur FS-TACRED, la méthode hybride a atteint un score F1 de 27,6 avec Qwen3-4B (surpassant les méthodes de fine-tuning antérieures comme SoftRules qui atteignaient 24,8) et 37,8 avec Qwen3-14B.
• Efficacité des règles sémantiques : Les exemples récupérés à l'aide de règles syntactico-sémantiques ont systématiquement donné de meilleurs résultats que ceux récupérés via SBERT ou paraphrasés par des LLM. Les exemples basés sur les règles se sont révélés plus fidèles à la relation et plus diversifiés.
• Sensibilité du modèle : Les bénéfices de la stratégie de récupération ont été plus prononcés dans les modèles plus petits (4 milliards de paramètres). Les modèles plus grands (12B) ont montré des gains inconsistants, certaines stratégies dégradant même la performance par rapport à la base de référence 1-shot, suggérant que les modèles plus grands possèdent déjà une connaissance interne suffisante ou sont sensibles à l'augmentation de prompt.
• Efficacité : L'approche hybride ajoute un surcoût computationnel négligeable (environ 0,5 % d'augmentation du temps d'exécution par épisode) par rapport à la génération par LLM seule, car les étapes de récupération et de clustering reposent sur des plongements précalculés et sont indépendantes de la taille du LLM.

Signification et Revendications
L'article affirme que l'information sémantique structurée est critique pour une sélection efficace d'exemples dans l'apprentissage en contexte pour l'extraction de relations à faible échantillonnage. En allant au-delà de la similitude de surface (SBERT) ou de la simple génération, la méthode proposée récupère des exemples qui sont à la fois réalistes (provenant de corpus non annotés) et structurellement fidèles à la relation cible.

Les auteurs soulignent que leur approche :

1. Se transfère bien à travers différents jeux de données et familles de LLM sans fine-tuning spécifique à la tâche.
2. Atteint l'état de l'art (SOTA) sur FS-TACRED, démontrant que l'ajout d'exemples réels et récupérés peut surpasser les modèles dédiés au few-shot qui reposent sur le fine-tuning de petites architectures.
3. Équilibre similitude et diversité, montrant que la performance optimale de l'ICL provient d'un « juste milieu » où les exemples sont assez similaires pour définir la relation mais assez diversifiés pour empêcher le surapprentissage à un motif syntaxique unique.

Le travail met en évidence que, bien que les LLM soient puissants, leurs capacités d'apprentissage en contexte pour la RE peuvent être considérablement améliorées en ancrant la sélection d'exemples dans la structure syntactico-sémantique sous-jacente du langage, particulièrement lorsque les ressources computationnelles ou les données d'entraînement sont limitées.