💬 NLP

When and How Unlabeled Data Provably Improve In-Context Learning

Cet article démontre théoriquement que si les modèles d'attention linéaire à une seule couche ne parviennent pas à utiliser les données non étiquetées, les transformeurs multicouches ou à boucles peuvent prouver une amélioration de l'apprentissage en contexte en construisant implicitement des estimateurs itératifs semblables à l'algorithme d'espérance-maximisation, une capacité qui se traduit par des gains de performance significatifs pour l'apprentissage tabulaire semi-supervisé lorsqu'elle est appliquée à des modèles de fondation prêts à l'emploi.

Auteurs originaux : Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

Publié 2026-01-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le jeu des « devinettes intelligentes »

Imaginez que vous êtes un détective essayant de résoudre un mystère. Vous avez un carnet de notes (le prompt) rempli d'indices.

Les indices : Certains indices ont des réponses claires écrites à côté (par exemple, « Cette empreinte digitale appartient au Majordome »). Ce sont les données étiquetées (labeled data).
Le mystère : Vous avez un nouvel élément de preuve (une requête/query) et vous devez deviner qui est le coupable.
L'information manquante : Dans le monde réel, on possède souvent beaucoup d'indices, mais beaucoup d'entre eux n'ont pas encore de réponse écrite. (par exemple, « Cette trace de pas... [vide] »). Ce sont les données non étiquetées (unlabeled data).

L'apprentissage en contexte (In-Context Learning - ICL) est comme un détective super intelligent (un modèle Transformer) qui regarde votre carnet de notes et essaie de comprendre le schéma pour résoudre le nouveau mystère, sans avoir besoin d'être réentraîné de zéro.

Le papier pose une question simple : Ce détective peut-il devenir plus intelligent simplement en regardant les indices qui n'ont pas de réponses écrites ?

La découverte principale : La profondeur est cruciale

Les chercheurs ont découvert que la réponse dépend entièrement de la « profondeur » du processus de réflexion du détective. Ils ont testé deux types de détectives :

1. Le détective à une seule couche (Le « lecteur de surface »)

Imaginez un détective qui ne jette un coup d'œil au carnet qu'une seule fois.

Ce qu'il fait : Il regarde les indices avec des réponses, calcule la moyenne, et fait une supposition.
Le problème : S'il voit une pile d'indices sans réponses, il les ignore complètement. Pour lui, une page blanche n'est qu'une page blanche.
La conclusion du papier : Mathématiquement, un modèle à une seule couche apprend la manière parfaite d'utiliser les indices étiquetés, mais il est aveugle à l'information cachée dans les données non étiquetées. C'est comme essayer de résoudre un puzzle en ignorant la moitié des pièces, même si ces pièces sont juste là, sur la table.

2. Le détective à plusieurs couches (Le « penseur profond »)

Maintenant, imaginez un détective capable de regarder le carnet, de faire une supposition approximative, de regarder à nouveau, d'affiner sa supposition, et de regarder encore. C'est un modèle multi-couches ou en boucle (looped).

Ce qu'il fait : Il utilise les indices non étiquetés pour comprendre la forme du puzzle.
- Étape 1 : Il devine la réponse pour un indice vide en se basant sur les indices étiquetés.
- Étape 2 : Il traite cette supposition comme si elle était réelle et l'utilise pour affiner sa compréhension de l'ensemble du groupe.
- Étape 3 : Il répète ce processus, devenant plus intelligent à chaque passage.
La conclusion du papier : Ces modèles plus profonds peuvent efficacement « remplir les blancs ». Ils transforment les données non étiquetées en informations utiles, se rapprochant ainsi de la solution parfaite (le classificateur « Bayes-optimal »).

Le mécanisme magique : L'échelle polynomiale

Comment le détective profond procède-t-il réellement ? Le papier explique cela en utilisant un concept mathématique : les polynômes.

L'analogie : Considérez les données non étiquetées comme une échelle.
- Un modèle à 1 couche ne peut se tenir que sur la première marche (le bas de l'échelle). Il ne peut pas grimper plus haut.
- Un modèle multi-couches peut grimper l'échelle. Chaque couche ajoute une nouvelle marche.
- Le papier prouve qu'avec seulement quelques couches (ou boucles), le modèle peut grimper assez haut pour construire une structure complexe (un polynôme de degré élevé) qui combine parfaitement les données étiquetées et non étiquetées.
Le résultat : Le modèle commence à ressembler à un algorithme célèbre appelé Expectation-Maximization (EM). C'est une méthode standard utilisée en statistiques où l'on devine une valeur manquante, on utilise cette supposition pour mettre à jour son modèle, puis on devine à nouveau. Le papier montre que les Transformers profonds effectuent essentiellement ce cycle de « supposition et vérification » automatiquement, sans y être explicitement programmés.

L'astuce de la « boucle » pour les données réelles

Les chercheurs ne se sont pas arrêtés à la théorie. Ils voulaient voir si cela fonctionne sur des données réelles, spécifiquement sur les Modèles de Fondation Tabulaires (des modèles d'IA conçus pour gérer des données de type tableur, comme des feuilles Excel).

L'expérience : Ils ont pris un modèle pré-entraîné (TabPFN) et lui ont donné un petit ensemble de données avec certaines réponses manquantes.
La stratégie (LoopTabFM) : Au lieu de lancer le modèle une seule fois, ils l'ont exécuté, ont pris ses « suppositions douces » (soft guesses) pour les réponses manquantes, ont réinjecté ces suppositions dans le carnet de notes, et ont relancé le modèle. Ils ont fait cela plusieurs fois (en boucle).
Le résultat : Cette simple stratégie de « boucle » a considérablement amélioré la précision du modèle sur des jeux de données réels. Cela a prouvé qu'en laissant le modèle « relire » ses propres suppositions, il pouvait exploiter les données non étiquetées pour devenir bien plus intelligent.

Résumé des points clés

Une seule couche ne suffit pas : Si vous n'avez qu'un modèle superficiel, ajouter des données non étiquetées est inutile. Le modèle les ignorera.
La profondeur est la clé : Vous avez besoin d'un modèle plus profond (ou de la capacité de faire boucler le modèle) pour débloquer la valeur des données non étiquetées.
C'est comme l'auto-apprentissage : Les modèles profonds imitent naturellement un processus de « deviner les étiquettes manquantes et réapprendre », ce qui leur permet d'utiliser chaque fragment d'information disponible.
Preuve par le monde réel : Ce n'est pas seulement des mathématiques ; cela fonctionne sur des données de type tableur. En faisant simplement boucler un modèle quelques fois, on peut obtenir de meilleurs résultats sans avoir besoin de plus de données étiquetées.

En bref, le papier prouve que la profondeur permet à l'IA de « voir » les motifs cachés dans les données non étiquetées, transformant un tas d'indices vides en un mystère résolu.

Résumé Technique : Quand et comment les données non étiquetées améliorent prouvablement l'apprentissage en contexte

Énoncé du problème

Le papier étudie les capacités des Transformers à réaliser l'Apprentissage en Contexte Semi-Supervisé (SS-ICL). Plus précisément, il traite le scénario où un modèle est sollicité par un ensemble de données contenant des paires caractéristiques-étiquette $(x_i, y_i)$ , mais où une fraction des étiquettes est manquante (définie par 0). L'objectif est de prédire l'étiquette d'une caractéristique de requête $x$ en utilisant uniquement le contexte fourni, sans mise à jour des paramètres du modèle.

Les auteurs se concentrent sur un cadre canonique où les démonstrations sont tirées d'un Modèle de Mélange Gaussien (GMM) binaire. Dans ce cadre, $x_i \sim \mathcal{N}(\mu y_i, \sigma^2 I)$ , où la moyenne de la tâche $\mu$ est échantillonnée à partir d'une distribution a priori. La question centrale est : Quand et comment les Transformers peuvent-ils apprendre en contexte à partir de données non étiquetées ?

Méthodologie

L'étude emploie un cadre théorique rigoureux analysant le paysage d'optimisation et l'expressivité des mécanismes d'attention dans le cadre du SS-ICL.

Modèle de données : Le prompt d'entrée consiste en $n$ démonstrations où $m$ étiquettes sont observées ( $y_i \in \{-1, 1\}$ ) et $n-m$ sont manquantes ( $y_i = 0$ ). La requête $x$ et son étiquette réelle $y$ sont générées de manière similaire.
Architecture du modèle : Les auteurs analysent les modèles d'attention linéaire, définis par le mécanisme $att(Z; W) = (ZW_q W_k^\top Z^\top) M Z W_v$ . Ils étudient les variantes à couche unique et multi-couches (ou en boucle).
Approche théorique :
- Analyse à couche unique : Les auteurs caractérisent le minimum global du paysage de perte pour un modèle d'attention linéaire à couche unique entraîné avec une perte au carré.
- Analyse multi-couches : Ils étudient comment les réseaux plus profonds (ou les réseaux à couche unique en boucle) peuvent construire des estimateurs complexes. Ils dérivent la forme des estimateurs comme étant des polynômes de la matrice de covariance empirique $X^\top X$ .
- Connexion avec les algorithmes classiques : Le papier établit des liens entre les mécanismes d'attention appris et les algorithmes semi-supervisés classiques, spécifiquement l'Espérance-Maximisation (EM) et la Propagation de Croyance (Belief Propagation).

Contributions Clés

1. Limites de l'attention linéaire à couche unique

Le papier démontre que les modèles d'attention linéaire à couche unique ne parviennent pas à utiliser les données non étiquetées, même lorsque les données contiennent des informations sur la distribution des caractéristiques.

Théorème 1 : Sous un a priori de tâche isotrope, le modèle d'attention linéaire à couche unique optimal récupère l'estimateur Supervised Plug-in (SPI) : $\hat{\mu}_s = \frac{1}{|I|} \sum_{i \in I} y_i x_i$ .
Implication : Le modèle ignore effectivement les échantillons non étiquetés (où $y_i=0$ ). L'analyse théorique montre que dans le cadre du méta-apprentissage (moyennage sur des tâches aléatoires), la covariance de l'échantillon des données non étiquetées converge vers un multiple scalaire de la matrice identité, ne fournissant aucun signal spécifique à la tâche pour un modèle à couche unique.

2. La profondeur permet l'apprentissage semi-supervisé

Contra à les modèles à couche unique, l'attention linéaire multi-couches (ou en boucle) peut exploiter efficacement les données non étiquetées.

Expressivité polynomiale : Les auteurs montrent qu'un modèle d'attention linéaire à $L$ couches peut implémenter des estimateurs de la forme :
$\hat{\mu} = \sum_{i=0}^{K} a_i (X^\top X)^i X^\top y$
où $K = O(3^L)$ . Cela permet au modèle de construire des polynômes de degré élevé de la matrice de covariance empirique.
Suffisance de la profondeur logarithmique : Puisque le degré des polynômes exprimables croît exponentiellement avec la profondeur, une profondeur logarithmique ( $O(\log K)$ ) est suffisante pour représenter les monômes de haut degré requis pour une estimation semi-supervisée optimale.
Théorèmes 3 & 4 : Lorsque $n \to \infty$ , les modèles d'attention multi-couches peuvent approximer l'estimateur semi-supervisé optimal (spécifiquement une projection sur le premier vecteur propre de la matrice de covariance), atteignant des erreurs de classification proches de la limite optimale de Bayes.

3. Mécanisme : EM et Propagation de Croyance

Le papier fournit une interprétation de la manière dont ces modèles utilisent les données non étiquetées :

Propagation d'étiquette : La mise à jour itérative des étiquettes dans un réseau multi-couches imite l'algorithme d'Espérance-Maximisation (EM). Chaque couche effectue une étape de "pseudo-étiquetage" (Espérance) suivie d'une ré-estimation de la moyenne de la tâche (Maximisation).
Softmax vs Linéaire : Alors que l'attention linéaire implémente une mise à jour de type EM linéaire, l'attention Softmax implémente une mise à jour pondérée par similitude non linéaire analogue à la Propagation de Croyance.

4. Application aux modèles de fondation tabulaires

Motivés par la découverte théorique que la boucle améliore les performances, les auteurs proposent LoopTabFM, un algorithme qui applique de manière itérative des modèles de fondation tabulaires prêts à l'emploi (ex: TabPFN) pour générer des étiquettes pseudo-douces pour les données non étiquetées.

Algorithme : Le modèle est exécuté en boucle où les données non étiquetées se voient assigner des étiquettes douces, sont ajoutées au prompt, puis le modèle est réévalué. Une métrique de risque de validation est utilisée pour sélectionner la meilleure itération.
Validation empirique : Des expériences sur des jeux de données tabulaires réels montrent que cette stratégie de boucle améliore significativement la précision de test par rapport à l'inférence en un seul passage, particulièrement dans les contextes à peu d'exemples (few-shot).

Résultats

Résultats Théoriques

Couche Unique : La performance est identique à l'estimateur SPI supervisé uniquement. Augmenter le nombre de données non étiquetées n'améliore pas la précision (Figure 1b, 1c).
Multi-couches : La performance s'améliore avec la profondeur. Un modèle à 2 couches surpasse significativement le modèle à 1 couche et s'approche de la performance de l'estimateur SSPI-1 (un plug-in semi-supervisé utilisant la première puissance de la covariance). Un modèle à 5 couches approche le SSPI- $\infty$ (utilisant le premier vecteur propre), rejoignant de près l'erreur optimale de Bayes dans le régime asymptotique.
Comparaison d'architecture : Dans les expériences (Figure 2c), les Transformers (MLP + Softmax) surpassent l'attention linéaire, qui elle-même surpasse l'attention softmax seule. Cependant, toutes les architectures convergent vers la courbe optimale de Bayes à mesure que $n$ augmente.

Résultats Empiriques

Données Synthétiques : Les expériences sur les GMM confirment que les modèles d'attention linéaire à 2 et 5 couches atteignent une précision plus élevée que les modèles à 1 couche à mesure que le nombre de données non étiquetées augmente.
Données Réelles : En utilisant TabPFN-v2 sur des jeux de données OpenML, l'algorithme LoopTabFM (pseudo-étiquetage itératif) a obtenu des améliorations relatives allant jusqu'à 19,38 % par rapport à la ligne de base (passage unique) sur des jeux de données spécifiques (ex: OpenML ID 1464). En moyenne, la méthode a montré une amélioration relative de 6,35 %. La plupart des gains sont survenus au cours des deux premières itérations.

Signification et Revendications

Le papier affirme fournir la première caractérisation théorique de l'apprentissage en contexte semi-supervisé dans les Transformers. Sa principale importance réside dans :

Combler le fossé : Il explique pourquoi les succès empiriques récents du "many-shot" ICL (qui incluent souvent des données non étiquetées ou faiblement étiquetées) fonctionnent : la profondeur permet au modèle d'implémenter implicitement des algorithmes d'apprentissage semi-supervisé comme l'EM sans mise à jour de paramètres.
La profondeur comme ressource : Il établit que la profondeur n'est pas seulement une capacité de représentation, mais qu'elle est cruciale pour extraire un signal des données non étiquetées dans la fenêtre de contexte.
Stratégie Pratique : Il propose une stratégie simple, sans paramètre, (bouclage) pour améliorer les capacités semi-supervisées des modèles de fondation existants, démontant qu'une "quantité modérée de profondeur/bouclage suffit" pour obtenir la majeure partie des bénéfices théoriques.

Les auteurs notent des limites, reconnaissant que leurs résultats théoriques fondamentaux sont spécifiques à l'attention linéaire et que l'estimateur semi-supervisé optimal pour des données générales non isotropes reste un problème ouvert. Ils observent également que si le bouclage aide, les performances peuvent se dégrader sur certains jeux de données réels en raison du bruit ou du déséquilibre des classes, suggérant la nécessité de futurs algorithmes de bouclage tenant compte des données.