Energy-Based Open-Set Active Learning for Object Classification

1. Problématique : L'Apprentissage Actif en Environnement Ensemble Ouvert (OSAL)

L'apprentissage actif (Active Learning - AL) vise à réduire les coûts d'annotation en sélectionnant les échantillons les plus informatifs parmi un pool de données non étiquetées. Cependant, la majorité des méthodes d'AL existantes opèrent sous l'hypothèse d'un ensemble fermé (closed-set), où toutes les classes présentes dans les données non étiquetées sont déjà connues et présentes dans l'ensemble d'entraînement.

Dans des scénarios réels, cette hypothèse échoue souvent : les données non étiquetées contiennent fréquemment des classes inconnues (unknown classes). Ce problème est défini comme l'Apprentissage Actif en Ensemble Ouvert (OSAL).

• Le défi : Les méthodes d'AL traditionnelles, basées sur l'incertitude ou la diversité, tendent à sélectionner des échantillons provenant de classes inconnues car ces derniers génèrent souvent des prédictions très incertaines.
• La conséquence : Cela conduit à un gaspillage du budget d'annotation sur des données non pertinentes pour la tâche cible, dégradant potentiellement les performances du modèle sur les classes connues.

2. Méthodologie : Le Framework EB-OSAL

Les auteurs proposent EB-OSAL, un cadre novateur en deux étapes basé sur des Modèles Basés sur l'Énergie (Energy-Based Models - EBMs). L'idée centrale est d'utiliser le paysage énergétique pour distinguer les classes connues (basse énergie) des inconnues (haute énergie).

Le framework se compose de deux modules spécialisés :

A. Séparateur Connu/Inconnu basé sur l'Énergie (EKUS)

• Rôle : Filtrer le pool de données non étiquetées pour éliminer les échantillons appartenant probablement à des classes inconnues.
• Fonctionnement : EKUS apprend à assigner une énergie faible aux échantillons des classes connues et une énergie élevée aux échantillons inconnus.
• Stratégie d'entraînement :
  • Ancrage énergétique : Les échantillons étiquetés (connus) sont ancrés dans des régions de basse énergie.
  • Apprentissage négatif (Negative Learning) : Pour les données non étiquetées, le modèle est entraîné à éviter d'attribuer des probabilités élevées à des classes connues de manière aléatoire, favorisant ainsi des énergies plus élevées pour les données qui ne correspondent pas à la structure des classes connues.
  • Ensemble de pseudo-inconnus : À chaque cycle, les échantillons non étiquetés avec les énergies les plus élevées (top-ρ%) sont traités comme un ensemble de "pseudo-inconnus" pour renforcer la séparation via une fonction de perte à marge (hinge loss) et une perte contrastive.
• Résultat : Seuls les échantillons ayant une énergie inférieure à un seuil donné sont conservés comme "probablement connus".

B. Scoreur d'Échantillons basé sur l'Énergie (ESS)

• Rôle : Évaluer l'informativité des échantillons "probablement connus" restants pour sélectionner les meilleurs à annoter.
• Fonctionnement : ESS affine les frontières de décision entre les classes connues.
• Stratégie de sélection : Le score d'informativité $S_{ESS}(x)$ combine deux métriques :
  1. L'incertitude prédictive (entropie des prédictions).
  2. Le score d'énergie par rapport aux frontières des classes connues.
  • Formule : $S_{ESS}(x) = U(x) + \beta \cdot E_{ESS}(x)$.
• Objectif : Sélectionner les échantillons qui sont à la fois proches des frontières de décision (pour améliorer la classification) et bien ancrés dans la distribution des classes connues.

3. Contributions Clés

1. Framework Dual-Stage : Une architecture originale combinant EKUS (filtrage) et ESS (sélection) spécifiquement conçue pour l'OSAL.
2. Extension aux Données 3D : C'est la première étude à appliquer l'apprentissage actif en ensemble ouvert à la classification d'objets 3D (nuages de points), un domaine où les coûts d'annotation sont particulièrement élevés.
3. Utilisation des EBMs : Démonstration de l'efficacité des modèles basés sur l'énergie pour séparer les inconnus et évaluer l'informativité, surpassant les méthodes probabilistes classiques (comme la confiance softmax).
4. Nouveaux Benchmarks : Établissement de résultats de référence sur des datasets 2D (CIFAR-10, CIFAR-100, TinyImageNet) et 3D (ModelNet40) avec différents taux de désaccord (mismatch ratios).

4. Résultats Expérimentaux

Les expériences ont été menées sur des datasets 2D et 3D avec des ratios de classes inconnues variant de 20% à 40%.

• Performance Globale : EB-OSAL surpasse systématiquement les méthodes de base (Random, Entropy, MQ-Net, LfOSA, BUAL, EOAL) en termes de précision de classification sur les classes connues.
• Comparaison avec les Méthodes Traditionnelles :
  • Les méthodes d'AL traditionnelles (comme l'entropie) se sont révélées moins performantes que le choix aléatoire dans des scénarios ouverts. En effet, elles sélectionnent trop souvent des échantillons inconnus à cause de leur forte incertitude.
  • EB-OSAL évite ce piège en filtrant d'abord les inconnus, garantissant que le budget d'annotation est consacré uniquement aux données pertinentes.
• Données 3D : Sur ModelNet40, le framework démontre une robustesse similaire, prouvant son adaptabilité aux données structurées spatialement (nuages de points) en utilisant PointNet comme backbone.
• Efficacité : La méthode atteint une meilleure précision avec moins d'échantillons annotés, maximisant l'impact de chaque itération d'apprentissage.

5. Signification et Impact

Ce travail est significatif car il adresse une lacune majeure dans l'apprentissage automatique : la gestion réaliste des données non étiquetées contenant des classes non vues.

• Pragmatisme : Il propose une solution pratique pour les applications réelles où l'hypothèse d'ensemble fermé est irréaliste.
• Innovation 3D : En étendant ces concepts au domaine 3D, il ouvre la voie à des applications plus complexes comme la robotique, la conduite autonome et la reconnaissance de scènes 3D, où la présence d'objets non catalogués est fréquente.
• Robustesse : La méthode améliore la robustesse des modèles face aux données hors-distribution (OOD) tout en optimisant les coûts d'annotation, un enjeu critique pour le déploiement de systèmes de vision par ordinateur à grande échelle.

En résumé, EB-OSAL représente une avancée majeure en combinant la théorie des modèles basés sur l'énergie avec des stratégies d'apprentissage actif pour créer un système capable de "savoir ce qu'il ne sait pas" et de se concentrer uniquement sur ce qui est utile à l'apprentissage.