🤖 machine learning

Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Cet article propose ACSESS, une méthode automatique combinant diverses stratégies de sélection d'échantillons qui surpasse systématiquement les approches individuelles et les bases de référence spécifiques à l'apprentissage en contexte pour améliorer les performances en apprentissage peu fourni.

Auteurs originaux : Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Publié 2026-04-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Problème : Apprendre avec très peu de livres

Imaginez que vous devez apprendre une nouvelle langue ou un nouveau métier, mais vous n'avez qu'un seul manuel d'instructions et quelques exemples. C'est le défi de l'apprentissage "Few-Shot" (peu d'exemples).

Dans le monde de l'Intelligence Artificielle (IA), les modèles sont souvent entraînés sur des montagnes de données. Mais dans la vraie vie, les données sont rares, chères ou privées. L'IA doit donc apprendre très vite avec très peu d'exemples.

Le problème ? La qualité des exemples compte plus que la quantité.
Si vous donnez à un élève 5 exemples pour apprendre à reconnaître un chat, mais que l'un d'eux est un chien déguisé en chat, l'élève sera perdu. Si vous lui donnez 5 exemples parfaits, il apprendra vite. Le choix des exemples est donc crucial.

🔍 La Situation Actuelle : Des recettes trop spécifiques

Jusqu'à présent, les chercheurs ont créé des "recettes" (stratégies) pour choisir ces exemples.

Certaines recettes disent : "Choisis les exemples les plus similaires à ce que tu vas tester."
D'autres disent : "Choisis les exemples les plus différents pour couvrir tous les cas."
D'autres encore disent : "Choisis les exemples les plus difficiles à comprendre."

Le hic, c'est que chaque recette est conçue pour une situation très précise. C'est comme avoir un couteau suisse qui ne sert qu'à couper du pain. Si vous voulez couper du fromage, ça ne marche pas. De plus, avec l'arrivée des "Grands Modèles de Langage" (comme ChatGPT), on a tendance à inventer de nouvelles recettes sur mesure, en oubliant les vieilles méthodes éprouvées.

💡 La Solution : ACSESS (Le Chef Cuisinier Automatique)

Les auteurs de cet article proposent une nouvelle méthode appelée ACSESS.

Imaginez que vous avez une cuisine remplie de 23 épices différentes (les 23 stratégies de sélection). Au lieu de choisir une seule épice au hasard, ACSESS est un chef cuisinier intelligent qui :

Goûte à toutes les épices pour voir lesquelles fonctionnent bien.
Mélange les meilleures épices ensemble pour créer un plat parfait.
Ajuste les quantités (les poids) de chaque épice selon ce qu'il prépare (par exemple, plus de sel pour la viande, plus de sucre pour le gâteau).

En langage technique : ACSESS combine automatiquement plusieurs stratégies de sélection (comme la similarité, la diversité, la difficulté d'apprentissage) pour trouver le mélange idéal qui permet à l'IA d'apprendre le mieux possible.

🧪 Ce qu'ils ont découvert (Les Résultats)

Les chercheurs ont testé cette méthode sur des tas de tâches (reconnaissance d'images, analyse de texte) et avec différents modèles d'IA. Voici ce qu'ils ont appris :

Le mélange est toujours meilleur que l'ingrédient seul : En combinant les stratégies, ACSESS bat presque toujours les méthodes qui n'utilisent qu'une seule stratégie. C'est comme si un orchestre jouait mieux qu'un seul musicien, même si ce musicien est très talentueux.
La "facilité d'apprentissage" est la clé : Ils ont découvert que ce qui compte le plus, ce n'est pas de choisir les exemples les plus "intéressants" ou "représentatifs", mais ceux que l'IA peut apprendre le mieux (ou ceux qu'elle n'oublie pas facilement). C'est comme choisir des élèves qui ont une bonne mémoire plutôt que des élèves qui posent juste beaucoup de questions.
Moins c'est parfois plus (mais pas trop) :
- Si vous avez très peu d'exemples (1 ou 2), choisir les bons est vital. C'est comme choisir les 3 meilleurs joueurs pour une équipe de 5.
- Si vous avez beaucoup d'exemples (30 ou 40), choisir les meilleurs devient moins important. L'IA apprendra presque aussi bien avec des exemples choisis au hasard.
- Attention : Ajouter trop d'exemples peut même nuire ! Pour les grands modèles de langage, si on met trop de texte dans la "mémoire" (le contexte), ils se perdent et deviennent confus, comme un étudiant qui lit trop de livres en même temps et ne retient rien.

🚀 Pourquoi c'est important pour tout le monde ?

Cette recherche nous dit deux choses essentielles :

On n'a pas besoin de réinventer la roue : Les vieilles méthodes de sélection d'exemples fonctionnent toujours très bien, il suffit de les combiner intelligemment.
L'efficacité avant la quantité : On peut obtenir d'excellents résultats en utilisant seulement une petite partie des données disponibles (par exemple, 10% ou 25%), à condition de bien choisir lesquelles. Cela économise du temps, de l'argent et de l'énergie pour entraîner les IA.

En résumé : ACSESS est un outil qui aide les ordinateurs à faire leur "devoir de maison" en choisissant les meilleurs exemples pour apprendre, sans avoir besoin de tout lire. C'est une méthode intelligente pour apprendre vite, avec peu, et bien.

1. Problématique

L'apprentissage en peu de données (Few-Shot Learning ou FSL) vise à adapter des modèles à de nouvelles tâches avec un nombre très limité d'échantillons étiquetés. Deux approches principales existent :

L'apprentissage en contexte (In-Context Learning - ICL) : Utilisation de grands modèles de langage (LLM) pré-entraînés sans mise à jour des paramètres, en fournissant quelques exemples dans l'invite (prompt).
L'apprentissage par gradient : Inclut l'apprentissage par méta-apprentissage (meta-learning) et le fine-tuning en peu de données.

Le choix des échantillons (les "shots") utilisés pour l'entraînement ou le contexte est critique. Une mauvaise sélection peut dégrader les performances, tandis qu'une sélection optimale peut les améliorer considérablement. Cependant, la recherche actuelle sur les LLM tend à ignorer les stratégies de sélection éprouvées dans les contextes supervisés classiques (comme l'apprentissage actif), préférant des méthodes spécifiques à l'ICL souvent limitées à des cas d'usage particuliers. De plus, il n'existe pas de consensus sur la meilleure stratégie unique, car les propriétés des échantillons (informativité, représentativité, facilité d'apprentissage) varient en importance selon le modèle et le jeu de données.

2. Méthodologie : ACSESS

Les auteurs proposent ACSESS (Automatic Combination of SamplE Selection Strategies), une méthode visant à combiner automatiquement et optimalement les objectifs de sélection de plusieurs stratégies existantes pour identifier des échantillons aux propriétés complémentaires.

La méthode se déroule en trois étapes principales :

Définition des stratégies à propriétés uniques :
L'étude considère 23 stratégies basées sur trois propriétés fondamentales :
- Informativité : Similarité, diversité, apprentissage actif (Entropie, Marge, Moindre confiance, Perte), sélection de core-sets (CAL, DeepFool, GraNd, Graph-Cut).
- Représentativité : Herding, KCenter, CRAIG, Glister.
- Apprenabilité (Learnability) : Stratégies de "oubli" (Forgetting) et de cartographie des données (Cartography : échantillons faciles, ambigus, difficiles).
Identification d'un sous-ensemble de stratégies pertinentes :
Au lieu de tester toutes les combinaisons (ce qui serait computationnellement prohibitif), ACSESS utilise trois méthodes inspirées de la sélection de caractéristiques (feature selection) et des Datamodels pour identifier les stratégies les plus performantes :
- Sélection ascendante (Forward Selection) : Ajout itératif de stratégies augmentant la performance.
- Sélection descendante (Backward Selection) : Suppression itérative de stratégies nuisant à la performance.
- Sélection par Datamodels : Entraînement d'une régression linéaire (LASSO) pour prédire l'amélioration de performance basée sur la présence de stratégies dans une combinaison.
  Le jeu final de stratégies ( $S_{final}$ ) est l'intersection des résultats de ces trois méthodes, garantissant la robustesse et l'efficacité.
Combinaison pondérée des objectifs :
Une fois les stratégies pertinentes identifiées, un score de sélection est calculé pour chaque échantillon comme une somme pondérée des scores fournis par chaque stratégie :
$score(x) = \sum_{s \in S_{final}} w_s \times objectives(x)$
Deux schémas de pondération sont évalués :
- Uniforme : Tous les poids sont égaux ( $w_s = 1/|S_{final}|$ ).
- Pondérée : Les poids sont déterminés par le modèle LASSO entraîné lors de l'étape de sélection, permettant d'adapter l'importance de chaque stratégie au modèle et au jeu de données spécifiques.

3. Contributions Clés

Étude à grande échelle : Première évaluation comparative de 23 stratégies de sélection sur 5 modèles ICL, 3 approches FSL (Prototypical Networks, MAML, Fine-tuning) et 14 jeux de données (6 textes, 8 images).
Proposition d'ACSESS : Une méthode générique qui dépasse les stratégies spécifiques à l'ICL en combinant les forces de stratégies éprouvées.
Analyse des propriétés : Mise en évidence du fait que l'apprenabilité (facilité ou difficulté d'apprentissage, oubli) est un indicateur de qualité plus fort que la simple informativité ou représentativité pour le FSL.
Recommandations pratiques : Identification de configurations légères (combinaison uniforme de Cartographie, Marge et Oubli) offrant de bons résultats sans coût de calcul supplémentaire.

4. Résultats Expérimentaux

Les résultats démontrent que la combinaison de stratégies via ACSESS surpasse systématiquement les stratégies individuelles et les baselines spécifiques à l'ICL.

Performance :
- ICL : Gain moyen de +2,5 points de pourcentage par rapport aux stratégies individuelles et +0,95 points par rapport aux meilleures baselines spécifiques (LENS, Active Prompt, EXPLORA, CASE).
- FSL par gradient : Gain moyen de +1,8 points de pourcentage.
- La méthode ACSESS pondérée obtient les meilleurs résultats, mais la version uniforme offre un excellent compromis coût/performance.
Impact du nombre de shots (échantillons) :
- L'avantage de la sélection est maximal avec un très petit nombre de shots (1 à 5). Par exemple, l'écart entre ACSESS et la sélection aléatoire peut atteindre 4 à 7 points de précision en 1-shot.
- Au-delà de 30-40 shots, l'impact de la sélection devient négligeable, toutes les stratégies régressant vers une sélection aléatoire.
- Pour l'ICL, augmenter le nombre de shots au-delà de 50 peut même dégrader les performances (limites de la fenêtre de contexte des LLM).
Impact de la taille du jeu de données :
- La sélection reste bénéfique même sur de petits sous-ensembles. Sélectionner 25% des données (50 échantillons/classe) pour l'ICL ou 10% (20 échantillons/classe) pour le FSL par gradient permet d'atteindre des performances similaires à l'utilisation du jeu de données complet.
Observations sur les stratégies :
- Les échantillons "difficiles à apprendre" (ou ceux situés sur la frontière de décision) sont souvent les plus bénéfiques pour l'ICL.
- Pour le FSL par gradient, un mélange d'échantillons "faciles" et "ambigus" qui sont rarement oubliés fonctionne mieux.
- La propriété de représentativité est moins critique que l'apprenabilité dans ce contexte.

5. Signification et Conclusion

Ce travail démontre que les stratégies de sélection de données classiques, souvent ignorées dans l'ère des LLM, peuvent non seulement rivaliser avec, mais surpasser les méthodes conçues spécifiquement pour l'apprentissage en contexte.

L'apport principal réside dans la démonstration qu'aucune stratégie unique n'est universelle, mais que leur combinaison automatique permet d'exploiter la complémentarité des propriétés des échantillons. ACSESS offre une solution robuste et adaptable qui réduit la variance des performances, diminue les coûts de calcul (en permettant d'utiliser moins de données pour un résultat équivalent) et améliore la généralisation, en particulier dans des scénarios de données bruyantes ou déséquilibrées.

Enfin, l'étude fournit des directives claires pour la pratique : privilégier la sélection de haute qualité lorsque le nombre d'échantillons est faible, et accepter que la sélection aléatoire suffise lorsque le nombre d'échantillons est élevé.