🤖 machine learning

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

Ce papier propose LoFT, un cadre d'ajustement fin efficace en paramètres basé sur des modèles de fondation pour surmonter les défis de l'apprentissage semi-supervisé à longue traîne, et étend cette approche au scénario LoFT-OW pour gérer les données hors distribution dans des environnements ouverts.

Auteurs originaux : Zhiyuan Huang, Jiahao Chen, Bing Su

Publié 2026-04-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyuan Huang, Jiahao Chen, Bing Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎒 Le Problème : L'École du Monde Réel

Imaginez que vous essayez d'apprendre à un élève (une intelligence artificielle) à reconnaître des animaux.

Le déséquilibre (Long-Tailed) : Dans votre manuel, il y a 1 000 photos de chats, mais seulement 5 photos de lémurs. L'élève va devenir un expert en chats, mais il sera totalement perdu face aux lémurs. C'est le problème des données "en longue traîne".
Le manque de professeurs (Semi-supervisé) : Vous avez beaucoup de photos sans étiquettes (des animaux sauvages pris au hasard). Vous voulez que l'élève apprenne tout seul en regardant ces photos, mais il risque de se tromper et d'apprendre de mauvaises choses.
Le monde ouvert (Open-World) : Le pire, c'est que parmi ces photos sans étiquettes, il y a des choses qui ne sont même pas des animaux ! Des voitures, des paysages, ou des objets bizarres. Si l'élève essaie de les classer comme "chat" ou "lémur", il va devenir confus et faire des erreurs.

Les anciennes méthodes d'IA essayaient d'apprendre de zéro (comme un enfant qui ne connaît rien). Résultat ? Elles étaient trop confiantes dans leurs erreurs et se perdaient facilement.

💡 La Solution : LoFT (L'Apprentissage par Affinage)

Au lieu de faire apprendre l'IA de zéro, les auteurs proposent d'utiliser un génie pré-éduqué (un "Modèle de Fondation" comme CLIP). Imaginez que cet IA est un professeur de biologie qui a déjà lu des milliers de livres et vu des millions d'animaux. Il a déjà une très bonne idée de ce qu'est un animal.

LoFT ne demande pas à ce professeur de tout réapprendre. Il lui demande juste de réajuster légèrement ses lunettes (c'est ce qu'on appelle le Fine-Tuning ou "affinage paramétrique efficace").

1. Pourquoi c'est mieux ? (La Théorie simplifiée)

Moins de bruit, plus de précision : Comme le professeur a déjà une base solide, il n'a pas besoin de chercher dans tout l'univers des possibilités. Il se concentre juste sur ce qui est important. Cela évite qu'il devienne "trop confiant" dans ses erreurs (un problème classique des IA qui apprennent de zéro).
Le filtre anti-bêtise : Grâce à sa formation initiale, ce professeur sait très bien distinguer un vrai animal d'un objet bizarre. Si vous lui montrez une voiture, il dira : "Ce n'est pas un animal, je ne vais pas essayer de le classer".

🛠️ Comment ça marche ? (Les deux versions)

Les auteurs proposent deux outils dans leur boîte à outils :

🦊 LoFT : Pour les situations normales

C'est l'outil pour apprendre avec les photos d'animaux, même s'il y en a très peu pour certaines espèces.

L'analogie : Le professeur regarde une photo floue. S'il est très sûr de lui (ex: "C'est un chat !"), il donne une étiquette ferme à l'élève. S'il est un peu hésitant (ex: "Ça ressemble à un lémur, mais je ne suis pas sûr"), il donne un conseil doux ("C'est probablement un lémur, mais garde l'esprit ouvert").
Résultat : L'élève apprend mieux, surtout sur les animaux rares, car le professeur ne le force pas à deviner quand il ne sait pas.

🌍 LoFT-OW : Pour le "Monde Réel" (Open-World)

C'est la version améliorée pour quand le tas de photos contient des choses qui ne devraient même pas être là (des voitures, des paysages).

Le double filtre :
1. Filtre Zéro-Shot : Avant même d'apprendre, le professeur regarde les photos et dit : "Attends, cette photo ne correspond à aucune de nos catégories d'animaux connues". Il jette ces photos bizarres à la poubelle.
2. Filtre de Confiance : Ensuite, il ne garde que les photos où il est sûr à 100% que c'est un animal.
L'analogie : Imaginez un gardien de zoo très expérimenté. Avant de laisser entrer les nouveaux animaux dans le parc, il vérifie qu'ils sont bien des animaux et non des voitures ou des rochers. Il ne laisse entrer que les vrais animaux, et parmi eux, il ne garde que ceux dont il est certain de l'espèce pour l'entraînement.

🏆 Les Résultats : Pourquoi c'est génial ?

Les tests montrent que cette méthode est supérieure :

Moins d'erreurs : L'IA ne se trompe pas en étant trop confiante.
Moins de données nécessaires : Même avec très peu de photos d'entraînement (10% de ce que les autres utilisent), LoFT bat les records.
Robustesse : Dans un monde chaotique rempli d'objets inconnus, LoFT-OW ne panique pas. Il sait dire "Je ne connais pas ça" au lieu de deviner n'importe quoi.

📝 En résumé

LoFT, c'est comme passer d'un élève qui apprend à lire seul dans une bibliothèque obscure (méthode ancienne) à un tuteur expert qui aide un élève à apprendre. Le tuteur utilise son expérience passée pour corriger les erreurs, ignorer les distractions (les objets bizarres) et s'assurer que l'élève comprend bien les concepts rares (les animaux peu fréquents).

C'est une façon plus intelligente, plus économe et plus sûre d'entraîner les intelligences artificielles pour le monde réel.

1. Problématique

L'apprentissage semi-supervisé à longue traîne (LTSSL) vise à améliorer les performances des modèles sur des distributions de données déséquilibrées (peu d'exemples pour les classes "queue" ou tail, beaucoup pour les classes "tête" ou head) en utilisant une grande quantité de données non étiquetées. Cependant, les méthodes existantes souffrent de deux limitations majeures :

Apprentissage à partir de zéro : La plupart des approches entraînent des réseaux de neurones (CNN) de zéro, ce qui conduit à un manque de confiance (overconfidence) et à des pseudo-étiquettes de mauvaise qualité, surtout pour les classes minoritaires.
Hypothèse de fermeture : Les méthodes supposent que les données non étiquetées proviennent de la même distribution que les données étiquetées. En réalité (scénarios "Open-World"), les données non étiquetées contiennent souvent des échantillons hors distribution (OOD), qui peuvent corrompre l'apprentissage si l'on force leur classification dans les classes connues.

2. Méthodologie : LoFT et LoFT-OW

Les auteurs proposent un nouveau cadre basé sur le Fine-Tuning Économe en Paramètres (PEFT) de modèles de fondation (Foundation Models - FMs), tel que CLIP.

A. Fondements Théoriques

L'article établit trois piliers théoriques justifiant l'approche :

Réduction de la complexité de l'hypothèse : Le PEFT restreint l'espace de recherche des paramètres (seulement les têtes ou les adaptateurs), ce qui resserre la borne de généralisation. Cela compense mathématiquement la pénurie d'échantillons pour les classes à longue traîne.
Minimisation de l'Erreur Postérieure Équilibrée (BPE) : Une meilleure généralisation réduit le risque maximal sur les classes minoritaires, garantissant des pseudo-étiquettes plus fiables et brisant le cycle vicieux des méthodes classiques.
Robustesse Géométrique (Open-World) : Les modèles de fondation possèdent des clusters de caractéristiques compacts. Géométriquement, cela réduit la région d'acceptation pour les échantillons OOD, permettant un rejet natif du bruit sans mécanisme complexe supplémentaire.

B. Architecture de LoFT (Scénario Standard)

LoFT exploite la capacité de calibration supérieure des modèles de fondation :

Perte Supervisée : Utilisation de l'ajustement des logits (Logit Adjustment) sur les données étiquetées pour corriger le biais de classe.
Perte de Régularisation (Données non étiquetées) :
- Les échantillons sont divisés en deux groupes basés sur leur probabilité maximale (MSP).
- Haute confiance : Utilisation de pseudo-étiquettes "dures" (Hard pseudo-labels).
- Basse confiance : Utilisation de pseudo-étiquettes "douces" (Soft pseudo-labels) pour préserver l'incertitude du modèle et éviter le surapprentissage.
Avantage : Contrairement aux méthodes précédentes, LoFT n'a pas besoin de seuils de confiance différents pour les classes tête et queue grâce à la bonne calibration intrinsèque du modèle de fondation.

C. Architecture de LoFT-OW (Scénario Open-World)

Pour gérer les données contenant des échantillons OOD, LoFT-OW introduit un mécanisme de filtrage en deux étapes :

Filtrage Zéro-Shot : Utilisation du modèle de fondation pré-entraîné pour attribuer des scores de confiance. Seuls les échantillons dépassant un seuil élevé ( $t_{HC}$ ) sont conservés.
Filtrage par Détection OOD : Un mécanisme intégré basé sur la densité des caractéristiques (via le MSP) filtre les échantillons restants qui pourraient être hors distribution avant l'optimisation.

Cela permet d'entraîner le modèle uniquement sur des données pertinentes, préservant la pureté de l'apprentissage des représentations.

3. Contributions Clés

Analyse Théorique : Preuve que le PEFT sur les modèles de fondation réduit la complexité de l'hypothèse, resserre les bornes de généralisation et diminue l'erreur BPE, offrant une garantie théorique pour le LTSSL.
Cadre LoFT : Proposition d'une méthode qui utilise la calibration naturelle des modèles de fondation pour générer des pseudo-étiquettes de haute qualité sans nécessiter d'ajustements complexes de seuils.
Extension Open-World (LoFT-OW) : Introduction d'un cadre réaliste capable de détecter et rejeter nativement les échantillons hors distribution, comblant le fossé entre les hypothèses théoriques et la réalité des déploiements.
Performance : Démonstration que ces méthodes surpassent les approches state-of-the-art (SOTA) avec moins d'itérations d'entraînement et moins de données non étiquetées.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks : CIFAR-100-LT, ImageNet-127, et des scénarios Open-World utilisant COCO comme source OOD.

Performance sur CIFAR-100-LT : LoFT (avec OpenCLIP) atteint jusqu'à 83,2 % de précision, surpassant les méthodes basées sur l'entraînement à partir de zéro (ex: FixMatch + ACR) et le PEFT seul. Il reste robuste même avec des distributions non étiquetées inversées ou uniformes.
Performance sur ImageNet-127 : LoFT atteint 73,9 % (OpenCLIP), battant les meilleurs modèles existants (67,8 % pour FixMatch+CCL) avec seulement 10 % des données non étiquetées utilisées par les méthodes comparées.
Robustesse Open-World : LoFT-OW démontre une capacité supérieure à filtrer les échantillons OOD tout en maintenant des performances élevées sur les classes cibles, surpassant même LoFT standard sur les grands ensembles de données complexes.
Calibration : Les diagrammes de fiabilité montrent que LoFT réduit considérablement l'erreur de calibration attendue (ECE), éliminant le surconfiance excessive des classes à longue traîne observée dans les modèles entraînés de zéro.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'apprentissage semi-supervisé à longue traîne :

Fin de l'entraînement "From Scratch" : Il démontre que l'entraînement de modèles de zéro est sous-optimal pour les problèmes de déséquilibre et de bruit, et que le fine-tuning de modèles de fondation est la voie à suivre.
Réalisme : En intégrant la détection OOD nativement, LoFT-OW rend l'apprentissage semi-supervisé applicable à des environnements réels où les données non étiquetées sont imparfaites et hétérogènes.
Efficacité : La méthode offre des performances supérieures avec une efficacité computationnelle accrue (moins d'itérations, moins de données), ce qui est crucial pour les applications à grande échelle.

En résumé, LoFT établit une nouvelle norme pour l'apprentissage déséquilibré robuste en combinant la puissance des modèles de fondation avec des mécanismes de filtrage intelligents pour les scénarios ouverts.