A Baseline Study and Benchmark for Few-Shot Open-Set Action Recognition with Feature Residual Discrimination

Cet article propose une nouvelle méthode basée sur un discriminateur de résidus de caractéristiques (FR-Disc) pour la reconnaissance d'actions en régime few-shot et en ensemble ouvert, établissant un nouvel état de l'art sur cinq jeux de données vidéo tout en fournissant un benchmark complet.

L'essentiel

Imaginez que vous apprenez à un ami à reconnaître des actions humaines (comme "courir", "sauter" ou "danser") en lui montrant seulement deux ou trois exemples de chaque action. C'est ce qu'on appelle la reconnaissance d'actions "Few-Shot" (peu d'exemples).

Jusqu'à présent, la plupart des systèmes d'intelligence artificielle fonctionnaient comme un élève très strict : si on lui montrait une action qu'il n'avait jamais vue (par exemple, "faire du skateboard" alors qu'il ne connaît que le "saut"), il essayait de force de l'associer à l'une des actions qu'il connaissait. Il disait : "Ah, c'est sûrement du saut !" et se trompait. C'est ce qu'on appelle un faux positif.

Dans le monde réel, nous avons besoin de systèmes qui disent : "Je ne connais pas ça, je refuse de répondre" plutôt que de deviner au hasard. C'est le défi de la reconnaissance "Open-Set" (ensemble ouvert).

Voici l'histoire de cette recherche, racontée simplement :

1. Le Problème : L'élève qui devine trop vite

Les chercheurs ont constaté que les modèles actuels, même très performants pour reconnaître des actions connues, échouent souvent quand ils rencontrent quelque chose d'inconnu. Ils sont trop confiants.

• L'analogie : C'est comme un garde de sécurité qui a appris à reconnaître 5 visages. Si un inconnu arrive, au lieu de dire "Stop, je ne vous connais pas", le garde dit : "Ah, c'est sûrement Jean !" parce que le visage ressemble un peu à Jean. C'est dangereux !

2. La Solution : Le "Détective des Residus" (FR-Disc)

Les auteurs de l'article ont créé une nouvelle méthode appelée FR-Disc (Feature-Residual Discriminator). Pour comprendre comment ça marche, utilisons une métaphore :

Imaginez que vous comparez deux photos.

• La méthode classique (Softmax) : Elle regarde juste si les deux photos se ressemblent un peu. Si oui, elle dit "C'est le même !".
• La méthode FR-Disc (Le Détective) : Elle ne se contente pas de regarder la ressemblance. Elle regarde ce qui ne colle pas.
  • Elle prend l'action inconnue (le suspect).
  • Elle la compare à l'action la plus proche qu'elle connaît (le suspect idéal).
  • Elle calcule la différence (le "résidu") entre les deux.
  • Si la différence est trop bizarre, trop étrange, le détective dit : "Attends, il y a un détail qui ne va pas. Ce n'est pas l'une de nos actions connues. Rejeté !"

C'est comme si, au lieu de demander "Est-ce que tu ressembles à un chat ?", le système demandait "Est-ce que tu as exactement les mêmes oreilles, la même queue et le même pelage que mes chats connus ? Si tu as une queue de chien, je te rejette."

3. Les Résultats : Un nouveau record

Les chercheurs ont testé cette idée sur cinq bases de données différentes (des milliers de vidéos de gens qui font des actions).

• Le constat : Les méthodes classiques (qui essaient juste de mieux noter la confiance) améliorent à peine les résultats.
• La victoire : La méthode FR-Disc est la championne. Elle réussit à rejeter les actions inconnues beaucoup mieux que les autres, sans pour autant devenir moins bonne pour reconnaître les actions connues.
• L'analogie : C'est comme si vous ajoutiez un filtre de sécurité à votre maison. Avant, le filtre laissait entrer n'importe qui qui ressemblait vaguement à un membre de la famille. Maintenant, le filtre vérifie les détails fins. Il ne laisse plus entrer les intrus, mais il laisse passer tout le monde de la famille sans ralentir l'entrée.

4. Pourquoi c'est important ?

Aujourd'hui, l'IA est souvent testée dans des laboratoires contrôlés (comme un examen avec des questions connues). Mais dans la vraie vie (une usine, un hôpital, une rue), il y a toujours des surprises.
Ce travail est important car il crée le premier "terrain de jeu" standardisé pour tester comment l'IA réagit aux surprises dans les vidéos. Il prouve que l'on peut rendre l'IA plus prudente et plus sûre, sans la rendre moins intelligente.

En résumé :
Les chercheurs ont créé un nouveau "filtre anti-erreur" pour l'IA. Au lieu de deviner quand elle ne sait pas, elle sait maintenant dire "Je ne sais pas" avec précision, grâce à une méthode qui compare minutieusement les détails des vidéos pour repérer les imposteurs. C'est un pas de géant vers des robots et des caméras de surveillance plus sûrs et plus fiables.

Résumé technique

1. Problématique

L'article aborde un défi critique dans la reconnaissance d'actions vidéo : le passage d'un scénario fermé (closed-set) à un scénario ouvert (open-set) dans un contexte Few-Shot (apprentissage avec peu d'exemples).

• Contexte : La reconnaissance d'actions par apprentissage profond (FS-AR) a fait des progrès grâce à l'apprentissage de représentations spatio-temporelles. Cependant, la plupart des modèles supposent un ensemble de classes connu à l'entraînement, ce qui est irréaliste pour des applications réelles où des actions inconnues peuvent apparaître.
• Le Défi : Dans un scénario Few-Shot Open-Set (FSOS), le modèle doit non seulement reconnaître les nouvelles classes avec très peu d'exemples (support set), mais aussi rejeter les échantillons d'entrée qui ne correspondent à aucune classe connue (faux positifs).
• Lacune actuelle : Bien que le FSOS soit bien étudié pour les images, son extension aux données vidéo (qui impliquent des dynamiques temporelles complexes) est sous-exploitée. La seule approche existante se limitait aux données squelettiques, laissant le domaine vidéo (RGB) sans benchmark complet.

2. Méthodologie

Les auteurs proposent une étude comparative approfondie et une nouvelle architecture pour résoudre ce problème.

A. Benchmark et Protocole

• Ensembles de données : Ils ont adapté cinq jeux de données vidéo standards (HMDB51, UCF101, SSv2, NTURGBD, Diving48) en conditions "open-set" en divisant les classes en ensembles d'entraînement (connus) et de test (connus + inconnus).
• Modèles de base : Deux modèles FS-AR fermés de l'état de l'art sont utilisés comme base :
  • SAFSAR : Un modèle 3D basé sur VideoMAE, utilisant des priors sémantiques textuels.
  • STRM : Un modèle 2D basé sur des Transformers.
• Métriques : Évaluation via l'accuracy en closed-set (FS ACC), l'accuracy en open-set (OS ACC), l'AUC-ROC, l'AUPR et le taux de classification en open-set (OSCR) qui mesure le compromis entre détection d'inconnus et précision sur les connus.

B. Techniques d'Open-Set Évaluées

Les auteurs comparent plusieurs stratégies d'adaptation :

1. Lignes de base implicites :
   • MSS (Maximum Softmax Score) : Utilise la probabilité maximale après normalisation Softmax.
   • MLS (Maximum Logit Score) : Utilise la valeur du logit brut (non normalisée), préservant l'information sur la magnitude.
   • EOS (Entropic Open-Set) : Ajoute une pénalité d'entropie à la fonction de perte pour forcer les prédictions sur les tâches inconnues vers une distribution uniforme.
2. Techniques explicites :
   • Classe "Ordures" (Garbage Class - GC) : Ajout d'une classe "inconnue" apprenable dans le support set.
   • Discriminateur à Résidus de Caractéristiques (FR-Disc) : C'est la contribution principale. Il s'agit d'un réseau auxiliaire léger entraîné à distinguer les requêtes connues des inconnues. Il prend en entrée le résidu (la différence) entre les caractéristiques de la requête vidéo et les caractéristiques de la classe connue la plus proche (prototype).

3. Contributions Clés

1. Premier Benchmark Complet FSOS-AR : Création d'une suite de benchmarks standardisée sur cinq datasets vidéo, comblant le vide entre les méthodes d'images et les données vidéo.
2. Analyse des Métriques de Score : Démonstration que, comme pour les images, le MLS (Logits bruts) surpasse le MSS (Softmax) pour rejeter les inconnus, car la normalisation Softmax masque l'information de magnitude cruciale pour l'estimation de l'incertitude.
3. Architecture FR-Disc : Adaptation réussie du discriminateur à résidus (initialement pour les squelettes) aux données vidéo haute dimensionnelle. Cette méthode modélise les écarts entre la requête et le prototype, s'avérant supérieure aux métriques basées uniquement sur les logits.
4. Corrélation Performance/Robustesse : Mise en évidence d'une forte corrélation linéaire entre la précision en closed-set et la capacité de rejet en open-set. Un modèle bien entraîné pour les classes connues généralise mieux pour rejeter les inconnues.

4. Résultats Expérimentaux

Les résultats, présentés dans les tableaux 1 et 2, montrent que :

• Performance des Lignes de Base : Les modèles fermés (SAFSAR/STRM) avec une simple ligne de base (MLS/MSS) obtiennent déjà des performances correctes, confirmant que la qualité de l'apprentissage des caractéristiques discriminatives est primordiale.
• Limites des Méthodes Existantes :
  • La méthode Garbage Class (GC) montre une instabilité. Elle fonctionne sur certains datasets complexes (SSv2) mais dégrade fortement les performances sur des datasets plus petits ou spatiaux (HMDB51, UCF101) en provoquant un surapprentissage (overfitting) de la classe "inconnue".
  • La méthode EOS apporte des améliorations modestes mais constantes, offrant un bon compromis simplicité/efficacité.
• Supériorité du FR-Disc :
  • Le FR-Disc surpasse systématiquement toutes les autres méthodes (y compris les lignes de base) sur tous les datasets, tant en précision closed-set qu'en métriques open-set (OSCR, AUROC).
  • Il améliore l'OSCR de 3,48 % à 5,89 % sur SAFSAR (5-Shot) et est la seule méthode à améliorer systématiquement l'OSCR sur STRM sans sacrifier la précision closed-set.
  • Visualisation (t-SNE) : Les visualisations montrent que FR-Disc produit des clusters de caractéristiques plus compacts et une meilleure séparation inter-classe. De plus, il réduit significativement la "confiance excessive" (over-confidence) du modèle sur les échantillons inconnus, contrairement à la ligne de base Softmax qui les classe souvent à tort comme connus.

5. Signification et Conclusion

Cette étude établit une fondation solide pour la recherche en FSOS-AR. Elle démontre que :

1. Les techniques d'open-set développées pour les images peuvent être adaptées aux vidéos, mais nécessitent des ajustements pour gérer la complexité temporelle.
2. L'approche par discrimination de résidus de caractéristiques (FR-Disc) est actuellement l'état de l'art pour rejeter les actions inconnues dans un contexte Few-Shot vidéo, sans compromettre la précision sur les classes connues.
3. La communauté doit désormais se concentrer sur des scénarios ouverts réalistes plutôt que sur des hypothèses fermées, car la robustesse aux inconnus est intrinsèquement liée à la qualité de l'apprentissage des représentations fermées.

Le code, les benchmarks et les résultats sont disponibles publiquement, facilitant les travaux futurs dans ce domaine.