Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

Cet article propose SemiCP, une méthode de prédiction conforme semi-supervisée qui améliore la stabilité de la couverture en exploitant des données non étiquetées via un score de non-conformité basé sur l'appariement des plus proches voisins, réduisant ainsi considérablement l'erreur de couverture dans des scénarios à faible étiquetage.

L'essentiel

Voici une explication simple et imagée de la recherche présentée dans cet article, adaptée pour un public francophone.

🎯 Le Problème : Le "Jeu de l'Estimation" avec trop peu de joueurs

Imaginez que vous êtes un chef cuisinier (l'intelligence artificielle) qui doit préparer un plat (une prédiction). Vous voulez être sûr à 95 % que le plat sera bon. Pour vérifier cela, vous avez une recette de test (des données étiquetées) où vous savez exactement ce qui est bon ou mauvais.

Le problème, c'est que dans le monde réel, vous n'avez souvent que très peu d'exemples pour tester votre recette (par exemple, seulement 20 plats testés).

• Si vous testez sur 20 plats, votre résultat peut être très instable : une fois, vous avez 100 % de succès, la fois d'après, seulement 80 %. C'est comme si votre boussole tremblait.
• Pour être sûr à 95 %, vous devez élargir votre filet de sécurité (votre "ensemble de prédiction"), ce qui rend le résultat moins précis et plus large (moins utile).

C'est ce qu'on appelle le Conformal Prediction (Prédiction Conformelle). C'est une méthode mathématique pour dire : "Je suis sûr à 95 % que la bonne réponse est dans cette liste." Mais avec peu de données, cette liste devient soit trop large, soit peu fiable.

---

💡 La Solution : Faire appel à la foule (SemiCP)

Les auteurs de l'article, Xuanning Zhou et son équipe, ont une idée brillante : Et si on utilisait les données que l'on n'a pas étiquetées ?

Dans la vraie vie, vous avez souvent des milliers de photos de chats et de chiens, mais vous n'avez que 20 photos où quelqu'un a écrit "Chat" ou "Chien". Les autres milliers sont là, sans étiquette.

• L'approche classique : Jeter ces milliers de photos à la poubelle pour la calibration.
• L'approche SemiCP : Utiliser ces photos "inconnues" pour stabiliser votre boussole, même si on ne connaît pas leur nom exact.

---

🧩 L'Ingéniosité : La technique du "Double Jeu" (NNM)

Comment utiliser des photos sans étiquette pour vérifier une recette ? C'est là que leur méthode, appelée NNM (Nearest Neighbor Matching), intervient. C'est comme un jeu de "Qui est le plus proche de qui ?".

Voici l'analogie du Détective et du Voisin :

1. Le Doute : Vous avez une photo inconnue (un chat ou un chien ?). Votre modèle IA dit : "Je pense que c'est un chat". Mais vous ne savez pas si c'est vrai.
2. Le Problème : Si vous utilisez juste la réponse de l'IA, vous risquez de vous tromper car l'IA est souvent trop confiante.
3. La Solution NNM :
   • Prenez votre photo inconnue.
   • Regardez vos 20 photos étiquetées (votre petit groupe d'experts).
   • Trouvez celle qui ressemble le plus à votre photo inconnue selon la "confiance" du modèle.
   • Regardez l'erreur commise par l'IA sur cette photo étiquetée (l'expert). "Ah, sur cette photo de chat, l'IA s'est trompée de 0,2 points."
   • L'astuce : Vous supposez que l'erreur sur votre photo inconnue est similaire à celle de son "voisin" étiqueté. Vous ajustez donc votre score de confiance en conséquence.

C'est comme si vous disiez : "Je ne connais pas ce fruit, mais il ressemble beaucoup à cette pomme que j'ai déjà goûtée et qui était un peu trop acide. Donc, je vais aussi m'attendre à ce que ce fruit soit un peu acide."

---

🚀 Les Résultats : Plus stable, plus précis

En utilisant cette méthode, les chercheurs ont montré que :

• La boussole ne tremble plus : Même avec seulement 20 exemples étiquetés, la méthode donne un résultat très stable, presque aussi fiable que si on avait des milliers d'exemples étiquetés.
• Le filet de sécurité se resserre : Au lieu de donner une liste de 10 possibilités pour être sûr à 95 %, on peut souvent se contenter de 2 ou 3. C'est beaucoup plus utile pour prendre une décision.

En résumé :
Imaginez que vous devez deviner le temps qu'il fera demain.

• Méthode classique : Vous regardez seulement 20 jours de météo passés. C'est flou, vous devez dire "Il peut pleuvoir, neiger, ou faire soleil" pour être sûr.
• Méthode SemiCP : Vous regardez ces 20 jours, mais vous observez aussi des milliers de photos de nuages prises par des satellites (sans savoir s'il a plu). Vous comparez vos nuages d'aujourd'hui à ceux des jours passés pour affiner votre estimation. Résultat : vous pouvez dire "Il y a 95 % de chances qu'il pleuve" avec beaucoup plus de précision.

C'est une façon intelligente de transformer un manque de données étiquetées en une opportunité d'utiliser la masse de données disponibles pour rendre l'IA plus fiable et plus sûre.

Résumé technique

Voici un résumé technique détaillé de l'article "Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score" (Prédiction Conformée Semi-Supervisée avec un Score de Non-Conformité sur Données Non Étiquetées).

1. Problématique

La Prédiction Conformée (CP) est un cadre statistique puissant permettant de générer des ensembles de prédiction avec des garanties de couverture (c'est-à-dire que la probabilité que la vraie étiquette soit dans l'ensemble prédit est garantie à un niveau $1-\alpha$). Cependant, la méthode standard, la Prédiction Conformée Split (Split CP), repose sur un ensemble de calibration composé exclusivement de données étiquetées.

Dans de nombreux scénarios réels (médical, financier), les données étiquetées sont rares et coûteuses. Lorsque la taille de l'ensemble de calibration étiqueté est faible :

• La couverture empirique devient instable d'une exécution à l'autre (variance élevée).
• Les ensembles de prédiction tendent à être trop grands (peu informatifs) pour compenser l'incertitude, ou la couverture réelle s'écarte significativement de la cible théorique.
• Les méthodes existantes pour pallier ce manque de données (interpolation, méta-apprentissage) sont souvent heuristiques ou nécessitent des hypothèses restrictives (comme l'échangeabilité de tâches auxiliaires).

L'objectif de cet article est de résoudre ce problème de stabilité et d'efficacité en exploitant la grande quantité de données non étiquetées disponibles, sans compromettre les garanties théoriques de la CP.

2. Méthodologie : SemiCP et NNM

Les auteurs proposent un nouveau paradigme appelé SemiCP (Semi-Supervised Conformal Prediction). L'idée centrale est d'intégrer des données non étiquetées dans l'étape de calibration pour stabiliser l'estimation du seuil de décision.

A. Le Cadre Semi-Supervisé

Le cadre utilise un ensemble de calibration mixte :

• $D_{labeled}$ : $n$ exemples étiquetés.
• $D_{unlabeled}$ : $N$ exemples non étiquetés (où $N \gg n$).

Le défi majeur est de calculer un score de non-conformité pour les données non étiquetées, car la vraie étiquette $y$ est inconnue.

B. Le Score de Non-Conformité : Nearest Neighbor Matching (NNM)

Pour estimer le score des données non étiquetées, les auteurs rejettent la méthode naïve (utiliser simplement l'étiquette pseudo-prédite par le modèle), car cela introduit un biais systématique (les scores sont sous-estimés car le modèle est confiant dans sa propre prédiction).

Ils introduisent le score NNM (Nearest Neighbor Matching) :

1. Pseudo-étiquetage : Pour un exemple non étiqueté $\tilde{x}$, le modèle pré-entraîné $f$ génère une pseudo-étiquette $\hat{y}$.
2. Calcul du biais local : Le biais entre le score réel (avec la vraie étiquette) et le score pseudo (avec l'étiquette prédite) est estimé en trouvant, dans l'ensemble étiqueté, l'exemple $x_j$ dont le score de non-conformité pseudo est le plus proche de celui de $\tilde{x}$.
   • $j = \arg\min |S(\tilde{x}, \hat{y}) - S(x_j, \hat{y}_j)|$
3. Correction du biais : Le score final pour l'exemple non étiqueté est obtenu en ajoutant le biais observé de l'exemple étiqueté voisin au score pseudo de l'exemple non étiqueté :
   $$\tilde{S}_{nnm}(\tilde{x}) = S(\tilde{x}, \hat{y}) + [S(x_j, y_j) - S(x_j, \hat{y}_j)]$$

Cette approche permet d'approximer la distribution réelle des scores de non-conformité sans connaître les vraies étiquettes, en s'appuyant sur la similarité locale dans l'espace des scores.

C. Algorithme

1. Calculer les scores pour les $n$ données étiquetées.
2. Estimer les scores pour les $N$ données non étiquetées via NNM.
3. Calculer le seuil quantile $\hat{\tau}$ sur l'ensemble mixte de $n+N$ scores.
4. Construire l'ensemble de prédiction pour un test en utilisant ce seuil.

3. Contributions Clés

1. Paradigme SemiCP : Introduction d'une méthode unifiée utilisant à la fois des données étiquetées et non étiquetées pour la calibration, résolvant le problème de l'instabilité en cas de données étiquetées limitées.
2. Score NNM : Développement d'un score de non-conformité pour données non étiquetées qui corrige le biais de la prédiction naïve par une correspondance de voisins les plus proches dans l'espace des scores.
3. Garanties Théoriques :
   • Démonstration que l'ajout de données non étiquetées réduit l'écart de couverture moyen (Average Coverage Gap) à un taux de $O(1/\sqrt{N})$.
   • Preuve que l'erreur de biais introduite par l'utilisation de pseudo-étiquettes peut être contrôlée et rendue négligeable si le score NNM est bien conçu, assurant ainsi une couverture valide asymptotiquement.
4. Généralité : La méthode est compatible avec diverses fonctions de score (THR, APS, RAPS), des architectures de modèles variés (ResNet, ViT, etc.) et s'étend aux prédictions conditionnelles (par classe ou par groupe).

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10, CIFAR-100 et ImageNet.

• Stabilité et Efficacité : Avec seulement 20 exemples étiquetés et 4000 exemples non étiquetés, SemiCP réduit l'écart de couverture moyen de 77 % par rapport à la méthode standard (Split CP) sur CIFAR-10.
• Taille des ensembles : La méthode produit des ensembles de prédiction plus petits (plus informatifs) tout en maintenant la couverture cible, se rapprochant des performances de l'oracle (qui aurait accès aux vraies étiquettes des données non étiquetées).
• Robustesse :
  • La méthode fonctionne bien avec différentes architectures de modèles (10 modèles testés sur ImageNet).
  • Elle est efficace même avec un très petit nombre de données non étiquetées (ex: $N=10$).
  • Elle s'intègre parfaitement avec d'autres méthodes d'amélioration de la CP comme l'interpolation et ClusterCP.
• Limites : La méthode dépend de la qualité des pseudo-étiquettes. Si la précision du modèle pré-entraîné est trop faible, les performances de SemiCP peuvent se dégrader, bien qu'elle reste généralement supérieure à la baseline.

5. Signification et Impact

Cet article représente une avancée significative pour la fiabilité des systèmes d'apprentissage automatique dans des contextes à données limitées.

• Pratique : Il offre une solution simple, sans entraînement supplémentaire ("training-free"), pour stabiliser la quantification de l'incertitude lorsque les annotations sont rares.
• Théorique : Il établit un lien formel entre l'utilisation de données non étiquetées et la réduction de la variance de la couverture en prédiction conformée, comblant un vide dans la littérature qui séparait jusqu'alors l'apprentissage semi-supervisé et la CP.
• Applicabilité : La méthode est particulièrement pertinente pour les domaines critiques (santé, finance) où la collecte de données étiquetées est difficile, mais où la garantie de sécurité (couverture) est impérative.

En résumé, SemiCP transforme les données non étiquetées, souvent considérées comme du "bruit" ou inutilisables pour la calibration, en un atout majeur pour stabiliser et améliorer la précision des prédictions conformées.