💻 computer science

SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

L'article présente SECOS, une approche novatrice pour l'apprentissage semi-supervisé en monde ouvert qui exploite des connaissances externes pour extraire et aligner des représentations sémantiques, permettant aux modèles de prédire directement des étiquettes textuelles sémantiquement pertinentes pour les classes connues et nouvelles sans post-traitement, surpassant ainsi les méthodes existantes.

Auteurs originaux : Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une école pour un nouveau type de classification animale. Vous avez un manuel avec des images et des noms d'animaux que vous connaissez déjà (comme les Chiens et les Chats). Cependant, vous avez aussi un énorme tas de photos mystères provenant d'un safari. Certaines de ces photos montrent des animaux que vous connaissez, mais beaucoup montrent des animaux nouveaux et inconnus (comme une Méduse ou un Kangourou) qui ne figurent pas dans votre manuel.

Votre objectif est d'enseigner à un élève (le modèle d'IA) à regarder n'importe quelle photo et à dire immédiatement : « C'est un Chien », « C'est un Kangourou » ou « C'est une Méduse », en utilisant les noms corrects d'une liste maîtresse.

Le Problème : Le « Jeu de Devinettes » des anciennes méthodes

Les méthodes précédentes tentaient de résoudre ce problème, mais elles jouaient à un jeu truqué.

L'Entraînement : Elles se concentraient tellement sur les détails visuels des animaux qu'elles connaissaient (le manuel) qu'elles ignoraient les animaux mystères.
Le Test : Lorsque l'élève recevait une photo d'un Kangourou, il pouvait deviner « Animal n°3 ». Comme l'enseignant ne savait pas ce que signifiait « Animal n°3 », il utilisait une astuce appelée Appariement Hongrois. C'est comme un jeu de « Chaises Musicales » où, après le test, vous réorganisez les réponses pour faire paraître le score parfait.
- Exemple : L'élève a deviné « Animal n°3 » pour un Kangourou. L'enseignant dit : « D'accord, faisons comme si 'Animal n°3' signifiait en réalité 'Kangourou'. »
- Le Défaut : Dans le monde réel, vous ne pouvez pas réorganiser les réponses après coup. Vous avez besoin que l'élève connaisse le vrai nom (« Kangourou ») immédiatement. Les anciennes méthodes consistaient essentiellement à regrouper les animaux en catégories sans savoir comment ces catégories s'appelaient.

La Solution : SECOS (Le « Traducteur Sémantique »)

Les auteurs ont créé un nouveau système appelé SECOS (Capture Sémantique pour l'Apprentissage Semi-Supervisé en Monde Ouvert). Au lieu de simplement deviner des nombres, SECOS agit comme un traducteur qui relie directement les images aux mots.

Voici comment SECOS fonctionne, en trois étapes simples :

1. La « Devinette Confiante » (Compensation Sémantique des Classes Nouvelles)

Puisque l'élève n'a pas de manuel pour les nouveaux animaux, SECOS utilise un enseignant pré-entraîné ultra-intelligent (une IA massive qui connaît déjà le monde) pour jeter un coup d'œil rapide aux photos mystères.

L'enseignant dit : « Je suis à 90 % sûr que cela ressemble à un Kangourou. »
SECOS ne prend que les photos où l'enseignant est très confiant et crée un mini-manuel pour les nouveaux animaux. Cela équilibre l'apprentissage afin que l'élève n'ignore pas les nouveaux animaux.

2. La « Double-Vérification » (Recapture Sémantique par Lot)

Parfois, une photo est piégeuse. Est-ce un Chien ou un Loup ?

SECOS examine un lot entier de photos à la fois. Il vérifie deux choses :
1. Cette photo ressemble-t-elle à un animal spécifique ? (Instance vers Classe)
2. D'autres photos de ce lot ressemblent-elles aussi à cet animal ? (Classe vers Instance)
Si une photo passe les deux vérifications (par exemple, elle ressemble à un Kangourou, et d'autres photos du groupe ressemblent aussi à des Kangourous), SECOS lui attribue une « étoile d'or » et une étiquette solide. Cela filtre les devinettes confuses et floues pour ne garder que les exemples clairs et de haute qualité.

3. Le « Pont » (Adaptateur pour l'Alignement des Caractéristiques Sémantiques)

Maintenant, l'élève a un tas de photos et un tas de noms, mais ils parlent des langues différentes (pixels contre mots).

SECOS construit un pont spécial (appelé Adaptateur) entre la partie visuelle du cerveau et la partie verbale.
Ce pont apprend à dire : « Quand je vois ces motifs de pixels spécifiques, cela signifie le mot 'Kangourou'. »
Crucialement, ce pont permet au modèle de sortir directement le mot « Kangourou » au lieu d'un nombre aléatoire comme « Classe 5 ».

Pourquoi Cela Compte

L'article affirme que SECOS est le premier à résoudre véritablement le problème de la « Classification Rigoureuse ».

Pas de Réorganisation : Il n'a pas besoin de mélanger les réponses après le test pour obtenir un score élevé. Il donne le bon nom du premier coup.
Meilleurs Résultats : Même comparé aux anciennes méthodes qui avaient le droit d'utiliser l'astuce des « Chaises Musicales » (appariement hongrois) pour gonfler leurs scores, SECOS les bat toujours avec une marge significative (jusqu'à 5,4 % de mieux).
Prêt pour le Monde Réel : Parce qu'il prédit des noms réels, il fonctionne dans des scénarios réels où vous ne pouvez pas revenir en arrière pour corriger les étiquettes plus tard.

L'Essentiel

Pensez aux anciennes méthodes comme à un élève capable de trier un tas de jouets mélangés en piles ordonnées, mais qui ne peut pas vous dire comment s'appellent les jouets. SECOS est un élève capable de trier les jouets et de crier immédiatement les bons noms (« Balle ! », « Ours en peluche ! », « Robot ! ») sans avoir besoin d'une triche ou d'une deuxième tentative. Il y parvient en utilisant un enseignant intelligent pour combler les lacunes et un pont spécial pour relier les images aux mots.

1. Définition du Problème : Le Déficit de l'Apprentissage Semi-Supervisé en Monde Ouvert (OWSSL)

Contexte :
L'Apprentissage Semi-Supervisé en Monde Ouvert (OWSSL), également appelé Découverte de Classes Généralisée (GCD), consiste à entraîner des modèles sur des données étiquetées provenant de classes « connues » et sur des données non étiquetées contenant à la fois des classes « connues » et « nouvelles » (précédemment invisibles).

La Limite Fondamentale :
Les méthodes OWSSL existantes échouent à réaliser une Classification Rigoureuse (RC-OWSSL).

Absence d'Ancrage Sémantique : Les méthodes actuelles se concentrent fortement sur le regroupement des caractéristiques visuelles, mais ignorent les informations sémantiques latentes reliant ces caractéristiques visuelles aux significations linguistiques.
Dépendance à l'Appariement Post-Hoc : Lors de l'évaluation, les méthodes existantes s'appuient sur l'appariement de Hungarian pour aligner les IDs de clusters prédits avec les noms de classes de vérité terrain. Il s'agit d'une étape de post-traitement qui gonfle artificiellement la précision en réaffectant les étiquettes pour maximiser le recouvrement, indépendamment du fait que le modèle ait réellement appris la correspondance sémantique correcte.
Impossibilité Pratique : Dans un déploiement réel, un ensemble de test étiqueté pour l'appariement de Hungarian n'est pas disponible. Par conséquent, les méthodes existantes ne peuvent pas prédire directement l'étiquette textuelle correcte (par exemple, « Chien » ou « Chat ») pour un échantillon nouveau ; elles ne produisent qu'un indice de cluster.

Objectif :
L'article définit la RC-OWSSL, une tâche où le modèle doit prédire directement l'étiquette textuelle sémantiquement la plus pertinente parmi un ensemble de candidats (connus + nouveaux) sans aucune réaffectation d'étiquette post-hoc.

2. Méthodologie : Le Cadre SECOS

Les auteurs proposent SECOS (SEmantic Capture for Open-world Semi-supervised learning), un cadre conçu pour combler le fossé entre les caractéristiques visuelles et les sémantiques textuelles en utilisant des connaissances externes (CLIP). SECOS se compose de trois modules principaux :

A. Compensation Sémantique des Classes Nouvelles (Niveau Global)

Problème : Déséquilibre sévère de la supervision ; les classes connues ont des étiquettes, les classes nouvelles n'en ont pas, ce qui entraîne un biais fort vers les classes connues.
Solution : Construction d'un Ensemble de Données Nouvelles Pseudo-Étiqueté Global ( $D_N$ ).
1. Un modèle « Enseignant » CLIP figé attribue des pseudo-étiquettes dures aux données non étiquetées.
2. Les échantillons sont regroupés selon ces pseudo-étiquettes.
3. Les $\phi\%$ d'échantillons les plus confiants pour chaque classe nouvelle sont sélectionnés pour former $D_N$ .
4. Amélioration Sémantique : Un Grand Modèle de Langage (LLM) génère des prompts descriptifs pour les noms de classes afin de créer des représentations sémantiques plus riches, utilisées pour affiner le processus de pseudo-étiquetage.
Résultat : Cela équilibre la force de supervision entre les classes connues et nouvelles au niveau global.

B. Recapture Sémantique par Lot (Niveau Local/Instance)

Problème : La compensation globale est grossière ; elle manque les nuances sémantiques fines au sein de lots spécifiques et de classes connues.
Solution : Un mécanisme de filtrage de confiance à double perspective appliqué aux lots de données non étiquetées ( $B$ $B$ ).
1. Intra-instance : Pour un échantillon spécifique, accumuler les scores de confiance à travers les classes jusqu'à ce qu'un seuil ( $\tau$ ) soit atteint.
2. Inter-instance : Pour une classe spécifique, déterminer un seuil ( $\theta$ ) basé sur la distribution de confiance de tous les échantillons du lot.
3. Sélection : Un échantillon est sélectionné comme instance pseudo-étiquetée de haute qualité uniquement s'il satisfait les deux critères et que l'intersection des étiquettes candidates résulte en exactement une étiquette.
Résultat : Cela filtre les échantillons ambigus et capture des informations sémantiques fines, fournissant des signaux de supervision de haute précision.

C. Adaptateur pour l'Alignement des Caractéristiques Sémantiques

Problème : Même avec des pseudo-étiquettes, le modèle doit aligner son espace de caractéristiques visuelles avec l'espace sémantique des étiquettes textuelles pour effectuer une classification directe.
Solution : Un mécanisme d'Adaptateur léger inséré dans un encodeur visuel CLIP figé.
1. Architecture : Des adaptateurs parallèles sont insérés après les blocs d'attention dans l'encodeur visuel. L'encodeur textuel reste figé.
2. Alignement : Le modèle calcule la similarité entre les caractéristiques visuelles (traitées par l'adaptateur) et les caractéristiques sémantiques des étiquettes textuelles candidates (générées à partir des descriptions de classes).
3. Entraînement : Seuls les paramètres de l'adaptateur et du projecteur sont mis à jour. La perte est une perte d'Entropie Croisée standard entre le logit prédit et la pseudo-étiquette (ou la vérité terrain).
Résultat : Le modèle apprend à mapper les entrées visuelles directement vers les étiquettes textuelles, permettant une classification rigoureuse sans appariement de Hungarian.

3. Contributions Clés

Définition de la RC-OWSSL : L'article identifie formellement l'écart intrinsèque entre l'OWSSL existant (regroupement) et l'exigence pratique de la Classification Rigoureuse (prédiction textuelle directe), soulignant l'échec des méthodes actuelles à atteindre un ancrage sémantique.
Cadre SECOS : Propose un cadre novateur qui exploite des connaissances externes (CLIP + LLM) pour extraire et aligner des représentations sémantiques. Il aborde de manière unique le manque de supervision pour les classes nouvelles grâce à la compensation globale et à la recapture par lot.
Performance Supérieure : Démontre que SECOS surpasse les méthodes de l'État de l'Art (SOTA) même lorsque ces méthodes sont évaluées dans le cadre tolérant de l'« appariement post-hoc », tandis que SECOS opère dans le cadre plus strict de la « classification directe ».

4. Résultats Expérimentaux

Ensembles de Données :
Évalué sur 7 ensembles de données : 3 génériques (CIFAR-10, CIFAR-100, ImageNet-100) et 4 à granularité fine (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

Points Forts de la Performance :

Comparaison Directe : SECOS réalise des améliorations significatives par rapport aux méthodes SOTA (par exemple, TextGCD, TP-OWSSL, SimGCD) bien que SECOS n'utilise pas l'appariement de Hungarian.
Gains Quantitatifs :
- Sur les ensembles de données génériques, SECOS améliore la précision des classes Nouvelles jusqu'à 7,37 % et la précision Globale de 5,35 % par rapport aux meilleures méthodes existantes.
- Sur les ensembles de données à granularité fine, il montre des améliorations de 1,78 % (Nouvelles) et 1,95 % (Globale) par rapport à TP-OWSSL.
- Dans l'ensemble, SECOS dépasse les méthodes existantes jusqu'à 5,4 % sur les métriques de classification rigoureuse.
Études d'Ablation :
- Le retrait de l'un ou l'autre des modules de Compensation Globale ou de Recapture par Lot entraîne une chute drastique de la précision des classes Nouvelles (par exemple, passant de 82,6 % à 14,4 % sur CIFAR-100 sans aucune capture sémantique).
- La méthode est robuste aux variations de la taille des lots et aux dimensions de sous-échantillonnage de l'adaptateur.
Auto-Apprentissage : SECOS peut fonctionner efficacement même sans un modèle « Enseignant » séparé (en utilisant un étudiant mis à jour par EMA), ne montrant qu'une légère baisse de performance (~0,83 %) tout en surpassant toujours les bases dépendantes d'un enseignant.

5. Signification et Impact

Changement de Paradigme : L'article défie la communauté à s'éloigner de l'évaluation « basée sur le regroupement » (appariement de Hungarian) vers une évaluation « basée sur la classification », qui est la seule approche viable pour un déploiement réel où les étiquettes de vérité terrain pour les classes nouvelles sont inconnues.
Ancrage Sémantique : Il établit qu'un OWSSL réussi nécessite un alignement explicite entre les structures visuelles et les sémantiques linguistiques, et pas seulement un regroupement de caractéristiques visuelles.
Applicabilité Pratique : En permettant une prédiction textuelle directe, SECOS rend l'apprentissage en monde ouvert applicable à des scénarios réels (par exemple, conduite autonome, diagnostic médical) où les modèles doivent identifier et nommer de nouvelles catégories à la volée sans ré-étiqueter l'ensemble de test.
Efficacité : L'utilisation d'adaptateurs légers permet au modèle d'exploiter les connaissances puissantes de CLIP pré-entraîné sans le coût computationnel d'un fine-tuning complet.

En résumé, SECOS résout le goulot d'étranglement critique de l'apprentissage en monde ouvert en introduisant un mécanisme pour « capturer » les sémantiques latentes, permettant aux modèles de classifier rigoureusement les objets nouveaux dans leurs catégories textuelles correctes directement.