🤖 AI

In-Context Multiple Instance Learning

Cet article propose une approche d'apprentissage en contexte pour l'apprentissage par sacs multiples qui exploite une architecture de type Perceiver préentraînée sur des données synthétiques diverses afin d'atteindre des performances solides sur de nouvelles tâches avec un minimum de sacs étiquetés, ne nécessitant qu'une seule passe avant sans mises à jour de gradient.

Auteurs originaux : Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le « Détective aux yeux bandés »

Imaginez que vous êtes un détective essayant de résoudre un crime, mais que vous n'avez le droit de regarder qu'un tas de sacs à preuves. Vous pouvez voir ce qu'il y a dans chaque sac (quelques cheveux, une empreinte digitale, un morceau de tissu), mais vous ne savez pas quel objet spécifique est « l'arme du crime ». Vous ne recevez qu'une étiquette pour l'ensemble du sac : « Coupable » ou « Innocent ».

C'est l'Apprentissage par Instances Multiples (MIL - Multiple Instance Learning). Il est utilisé dans la vraie vie pour des choses comme :

La pathologie : Un médecin regarde une lame entière de tissu (le sac) et dit « Cancer », mais il ne pointe pas précisément la cellule unique qui en est la cause.
L'imagerie satellite : Un satellite prend une photo d'une forêt (le sac) et dit « Feu », mais le feu peut n'être qu'une petite zone de fumée.

Le piège : Habituellement, pour apprendre à un ordinateur à faire cela, il faut des milliers de sacs étiquetés. Mais dans le monde réel, les médecins et les scientifiques n'ont souvent qu'une poignée d'exemples (peut-être 20 ou 30). Si vous essayez d'apprendre à un ordinateur avec si peu d'exemples, il va soit :

Surapprendre (Overfitting) : Il mémorise parfaitement les quelques exemples mais échoue sur les nouveaux (comme un élève qui mémorise le corrigé mais ne sait pas résoudre un nouveau problème de maths).
Être trop rigide : Il utilise une règle simple qui ne correspond pas à la réalité complexe.

La solution : L'« Apprentissage par Instances Multiples en Contexte » (ICMIL)

Les auteurs introduisent une nouvelle méthode appelée ICMIL. Voyez cela comme l'entraînement d'un détective, non pas sur de vrais cas criminels, mais d'abord sur des millions de fausses scènes de crime inventées.

Voici comment cela fonctionne, étape par étape :

1. La « Salle de sport d'entraînement » (Données synthétiques)

Au lieu d'attendre des données réelles, les chercheurs ont construit une « salle de sport » où ils ont généré des millions de faux sacs et d'étiquettes.

Le twist : Ils n'ont pas créé un seul type de fausses données. Ils ont créé deux « saveurs » différentes de fausses données :
- Saveur A (Factorisée) : Suppose que l'étiquette du sac est simplement la somme de ses parties (ex: « S'il y a n'importe quel cheveu rouge dans le sac, il est coupable »).
- Saveur B (Jointe) : Suppose que les parties travaillent ensemble de manière complexe (ex: « Il est coupable uniquement s'il y a un cheveu rouge ET un type de chaussure spécifique ET qu'ils sont proches l'un de l'autre »).
Pourquoi ? En s'entraînant sur les deux, le modèle apprend à être flexible. Il apprend que parfois la réponse est simple, et parfois c'est un puzzle complexe.

2. Le « Cerveau Intelligent » (L'architecture)

Pour gérer ces sacs, ils ont construit un cerveau spécial utilisant une architecture de type Perceiver.

L'analogie : Imaginez une équipe de managers.
- D'abord, chaque manager regarde ses propres membres d'équipe (les instances à l'intérieur d'un sac) et sélectionne les plus importants.
- Ensuite, les managers se parlent pour comparer leurs notes. « Hé, mon équipe a un cheveu rouge, est-ce que la tienne en a un ? »
- Cela se produit en boucle. Ils affinent continuellement leur compréhension en regardant les instances, puis en comparant avec d'autres sacs.
Le bénéfice : Cela permet au modèle d'être intelligent quant aux détails qui comptent, sans qu'on ait besoin de lui dire exactement quoi chercher à chaque fois.

3. Le « Tour de magie » (Inférence)

C'est la partie la plus impressionnante. Une fois que le modèle est entraîné sur les fausses données, il a fini.

Pas de ré-entraînement : Quand vous lui donnez un nouveau problème réel (ex: un nouvel ensemble de lames de tissus), vous n'avez pas besoin de le ré-entraîner, de modifier les paramètres ou de le faire tourner pendant des heures.
One-Shot (En une seule passe) : Vous lui donnez simplement les nouveaux sacs et les quelques exemples étiquetés que vous avez (le « contexte »). Le modèle comprend instantanément la règle et prédit les réponses en un seul passage.
Analogie : C'est comme un chef qui s'est exercé à cuisiner des milliers de faux repas. Quand vous arrivez avec quelques ingrédients et que vous dites : « Faites-moi une soupe », il n'a pas besoin de lire une recette ou de s'exercer ; il cuisine parfaitement immédiatement parce qu'il a déjà vu toutes les variations possibles auparavant.

Qu'ont-ils découvert ?

Les chercheurs ont testé ce « détective entraîné » sur 12 défis du monde réel différents (comme la détection du cancer, l'identification d'animaux sur des photos ou la recherche de lettres spécifiques).

Le résultat : Le modèle ICMIL a battu toutes les méthodes standards qui nécessitent un ré-entraînement sur la tâche spécifique.
La recette secrète : Le modèle entraîné sur le mélange des saveurs de fausses données (à la fois simples et complexes) a obtenu les meilleures performances globales. C'était un « généraliste » capable de gérer presque toutes les situations, alors que les modèles entraînés sur un seul type de fausses données étaient bons pour certaines choses mais mauvais pour d'autres.
Vitesse : Comme il n'a pas besoin de se ré-entraîner ou d'effectuer des vérifications croisées complexes pour chaque nouveau travail, il est beaucoup plus rapide que les méthodes traditionnelles.

Résumé

L'article propose une façon de résoudre les problèmes difficiles de « sac d'objets » lorsque vous avez très peu d'exemples. Au lieu de lutter pour apprendre à partir d'une infime quantité de données réelles, ils pré-entraînent une IA sur une immense bibliothèque de données synthétiques inventées qui couvrent toutes les manières possibles de résoudre un problème.

Lorsqu'un problème réel arrive, l'IA utilise son « expérience » du monde fictif pour comprendre instantanément la nouvelle tâche et la résoudre, sans avoir besoin d'être ré-entraînée. C'est comme donner à un étudiant une bibliothèque contenant tous les types de questions d'examen possibles au monde, afin que lorsqu'arrive le véritable examen, il connaisse déjà les réponses.

Résumé Technique : In-Context Multiple Instance Learning (ICMIL)

Énoncé du Problème

L'apprentissage par instances multiples (Multiple Instance Learning - MIL) traite des scénarios où la supervision n'est disponible qu'au niveau des « sacs » (collections d'instances) plutôt qu'au niveau des instances individuelles. Bien que fructueux dans des domaines tels que la pathologie computationnelle et l'imagerie satellite, les algorithmes de MIL existants peinent dans le régime de faible étiquetage, où les jeux de données réels ne contiennent souvent que quelques dizaines de sacs étiquetés.

Les approches actuelles sont confrontées à un compromis fondamental :

Les modèles flexibles (ex: MIL basé sur l'attention, TransMIL) ont tendance au surapprentissage lorsqu'ils sont entraînés sur des données rares.
Les modèles rigides (ex: pooling moyen/max) encodent des biais inductifs forts qui peuvent ne pas s'aligner avec la tâche spécifique.
Les méthodes de pré-entraînement nécessitent de vastes corpus sources pertinents pour la tâche, qui sont souvent indisponibles.
Les méthodes d'auto-supervision compressent l'information des instances en représentations fixes sans connaissance de la tâche en aval, perdant potentiellement des caractéristiques critiques.

Par conséquent, aucune méthode existante ne permet d'apprendre à partir d'un petit nombre de sacs étiquetés au moment de l'inférence sans nécessiter un large corpus de pré-entraînement ou des mises à jour de gradients spécifiques à la tâche.

Méthodologie

Concept Central : In-Context Multiple Instance Learning (ICMIL)

Les auteurs proposent ICMIL, un cadre basé sur le paradigme des Réseaux Ajustés aux Données Prioritaires (Prior-data Fitted Networks - PFN). Au lieu d'entraîner un modèle pour qu'il s'adapte à un jeu de données spécifique, ICMIL est pré-entraîné sur des données synthétiques structurées en sacs diversifiées pour approximer la distribution prédictive postérieure sur les étiquettes des sacs.

Au moment de l'inférence, le modèle reçoit un jeu de données MIL réel (sacs de contexte étiquetés et un sac de requête non étiqueté) comme entrée et classifie la requête en une seule passe directe (forward pass) sans mise à jour de gradient ni réglage d'hyperparamètres. Le modèle apprend efficacement « à quoi ressemblent les classificateurs de sacs plausibles » à travers des tâches simulées, lui permettant d'inférer la règle d'étiquetage pour des sacs non vus.

Conception Architecturale

Pour adapter les PFN aux entrées d'ensembles hiérarchiques (sacs d'instances), les auteurs abordent trois défis spécifiques à l'aide d'une architecture de type Perceiver :

Évolutivité Computationnelle : L'attention naïve sur toutes les instances à travers tous les sacs présente une complexité quadratique ( $O(N^2I^2)$ ). L'architecture proposée utilise des tokens de sacs apprenables qui collectent de manière itérative des informations de leurs instances et les échangent avec d'autres sacs. Cela réduit la complexité en traitant l'agrégation des instances de manière indépendante par sac avant l'attention inter-sacs.
Compression d'Instances Dépendante de la Tâche : La compression standard se produit avant que le modèle ne voie les étiquettes. ICMIL utilise un mécanisme d'attention itératif où les tokens de sacs alternent entre l'attention portée à leurs propres instances et l'attention entre les sacs et les étiquettes. Cela permet au modèle de décider quelles caractéristiques au niveau de l'instance doivent être préservées en fonction des informations spécifiques à la tâche disponibles dans le contexte.
Invariance par Permutation vs Identité du Sac : L'architecture utilise l'Attention Multi-Têtes (MHA), qui est intrinsèquement invariante par permutation sur les entrées d'instances, tout en préservant l'identité du sac grâce à des tokens de sacs distincts et une attention inter-sacs.

Priors Synthétiques

L'efficacité d'ICML repose sur l'alignement entre le prior d'entraînement et les tâches réelles. Les auteurs conçoivent deux familles de générateurs de données synthétiques :

Priors Factorisés : Ils suivent l'hypothèse classique du MIL où les étiquettes des sacs sont déterminées par une fonction invariante par permutation des instances ( $y = g(\phi(\{f(x_i)\}))$ ). Ils génèrent des instances de manière indépendante et les agrègent via des résumés discrets ou continus.
Priors Joints : Ils abandonnent l'hypothèse de décomposition, définissant une fonction unique sur le sac aplati ( $y = f_S(x_1, ..., x_I)$ ). Cela permet des corrélations inter-instances plus riches au sein d'un sac, que les priors factorisés ne peuvent exprimer.

Les auteurs étudient si l'alignement structurel (Factorisé) ou l'expressivité (Joint) produit de meilleurs résultats et si un mélange de priors crée un généraliste robuste.

Principales Contributions

Cadre ICMIL : Introduction d'une approche d'apprentissage en contexte pour le MIL qui résout de nouvelles tâches à partir d'un petit nombre de sacs étiquetés sans mise à jour de gradient.
Architecture de type Perceiver : Une nouvelle architecture pour les entrées d'ensembles hiérarchiques qui résout les défis d'évolutivité, de compression dépendante de la tâche et d'invariance par permutation.
Analyse des Priors Synthétiques : Identification du fait que les priors Factorisés et Joints capturent des biais inductifs complémentaires. Les priors factorisés excellent sur les tâches de « témoins » (witness) non corrélées, tandis que les priors joints performent mieux sur les tâches avec des corrélations et des interactions intra-sacs.
Modèle Généraliste Robuste : Démonstration qu'un modèle entraîné sur un mélange de ces priors atteint la meilleure performance moyenne sur les benchmarks, héritant des forces des deux familles.

Résultats Expérimentaux

Les auteurs ont évalué ICMIL sur 12 benchmarks MIL (incluant Musk1/2, HEPMASS, TCGA et RSNA-ICH) dans un régime de faible étiquetage (sous-échantillonné à environ 100 sacs).

Performance : Le modèle ICML (entraîné sur un mélange de priors avec une capacité augmentée) a obtenu l'AUROC moyen le plus élevé (84,17) et le meilleur rang moyen (4,08) sur tous les benchmarks.
Comparaison aux Baselines : ICMIL a surpassé les baselines supervisées (MeanLogReg, SVM-Summ, ABMIL) et les variantes de TabPFN « plates ».
- Les baselines supervisées comme ABMIL ont montré une grande variance et une instabilité dues à la difficulté du réglage des hyperparamètres sur de petits jeux de données.
- Les baselines TabPFN plates (aplatissant les sacs en vecteurs) ont été moins performantes, suggérant qu'une architecture sensible aux sacs est nécessaire pour exploiter les informations structurelles.
Efficacité : Contrairement aux méthodes supervisées qui nécessitent une validation croisée et un ré-entraînement pour chaque jeu de données, ICMIF classifie tous les sacs de requête en une seule passe directe. Son temps d'exécution est compétitif avec les baselines linéaires et à noyau simples, évitant la surcharge de calcul du ré-ajustement par split de l'ABMIL.
Variance : ICMIL a démontré une variance plus faible sur les ensembles d'entraînement rééchantillonnés par rapport aux baselines supervisées, indiquant un compromis biais-variance plus favorable dans le régime de faible échantillonnage.

Signification et Revendications

L'article affirme qu'ICML comble avec succès l'écart dans l'apprentissage à partir de sacs étiquetés rares en déplaçant le problème de l'ajustement d'un agrégateur sur des données limitées vers la conception de bons générateurs de données (priors) couvrant l'espace des hypothèses pertinent.

Les revendications clés incluent :

Adaptation Zero-Shot : Le modèle généralise à travers les tâches et les domaines d'application sans ajustement (finetuning) ou données d'entraînement spécifiques à la tâche.
Compromis Biais-Variance : En approximant la moyenne bayésienne des modèles sur les hypothèses cohérentes avec le contexte étiqueté, ICMIL évite la variance associée à l'ajustement d'un agrégateur unique sur des étiquettes rares.
Priors Complémentaires : L'étude souligne qu'aucun prior unique ne domine ; combiner des priors structurellement alignés (Factorisés) et expressifs (Joints) produit un généraliste robuste capable de gérer divers régimes de MIL.

Les auteurs reconnaissent des limites, telles que le curriculum d'entraînement actuel utilisant de petites tailles de sacs (jusqu'à 20 instances) et une classification binaire avec des dimensions de caractéristiques réduites. Ils suggèrent que les travaux futurs pourraient explorer des priors plus riches alignés sur des domaines spécifiques (ex: priors spatiaux pour la pathologie) et un post-entraînement sur des corpus réels pour combler davantage le fossé entre le synthétique et le réel.