Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition

Cet article propose SSL-V3, une méthode d'apprentissage auto-supervisé combinant un Vision Transformer et une évaluation de la qualité vidéo sans référence pour améliorer la classification vidéo en ajustant les cartes de caractéristiques via un score de qualité, démontrant ainsi son efficacité sur des ensembles de données de soins de santé.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si nous en parlions autour d'une tasse de café.

🎬 Le Problème : Un Caméra Floue Gâche le Film

Imaginez que vous essayez de deviner l'humeur d'une personne en regardant une vidéo d'elle. Si la vidéo est nette et claire, vous voyez chaque micro-expression : un sourcil qui se lève, un sourire timide. C'est facile de dire : "Ah, elle est contente !"

Mais si la vidéo est floue, tremblante ou mal éclairée, c'est comme essayer de lire un livre sous la pluie avec une lampe torche faible. Même si la personne sourit, votre cerveau (ou l'intelligence artificielle) peut se tromper et penser qu'elle est triste ou en colère, simplement à cause de la mauvaise qualité de l'image.

Les chercheurs Jian Sun et Mohammad Mahoor ont remarqué ce problème dans le domaine médical. Ils essayaient de détecter des troubles cognitifs légers (MCI) chez des personnes âgées via des interviews vidéo. Résultat ? L'IA était excellente avec les vidéos nettes (100% de réussite) mais se trompait souvent avec les vidéos floues (seulement 58% de réussite).

💡 La Solution : Le "Critique de Cinéma" Intégré

Au lieu de simplement jeter les vidéos floues ou d'essayer de les "réparer" (ce qui est difficile), ils ont eu une idée brillante : donner à l'IA un "critique de cinéma" interne.

Ils ont créé un nouveau système appelé SSL-V3. Voici comment cela fonctionne, avec une analogie simple :

1. Le Chef Cuisinier et le Dégustateur

Imaginez que votre IA est un Chef Cuisinier (le modèle de classification) qui doit préparer un plat (identifier si la personne a un trouble cognitif ou non).

• Avant : Le Chef goûtait le plat et décidait tout de suite. S'il y avait un grain de sable (une vidéo floue), il se trompait.
• Maintenant (SSL-V3) : Avant que le Chef ne donne son verdict final, un Dégustateur (le module d'évaluation de la qualité vidéo) passe devant.
  • Le Dégustateur regarde l'assiette et dit : "Hé, ce plat est un peu sale, la qualité est moyenne. Je vais ajuster la confiance du Chef."
  • Si la vidéo est excellente, le Dégustateur dit : "Goûtez bien, vous êtes sûr !" (Le Chef augmente sa confiance).
  • Si la vidéo est mauvaise, le Dégustateur dit : "Attention, c'est flou, ne soyez pas trop confiant, vérifiez deux fois !" (Le Chef baisse sa confiance).

2. L'Entraînement "Sans Professeur" (Apprentissage Auto-Supervisé)

Le gros problème, c'est que pour entraîner ce Dégustateur, il faudrait normalement un humain pour noter chaque vidéo (ex: "Note 8/10"). Mais annoter des milliers de vidéos prend des années et coûte une fortune.

Alors, comment font-ils ? Ils utilisent une astuce de magie mathématique appelée Contrastive Learning (Apprentissage par contraste).

• Imaginez que vous montrez deux photos du même chien à votre IA. L'une est floue, l'autre est nette.
• L'IA apprend par elle-même : "Attends, ces deux images sont du même chien, donc elles doivent avoir des points communs, même si l'une est floue."
• En comparant les vidéos entre elles (comme un jeu de "trouvez la différence"), l'IA apprend à comprendre la qualité de l'image sans avoir besoin d'un professeur humain. C'est comme si l'IA apprenait à conduire en regardant d'autres voitures rouler, sans avoir de moniteur à côté.

3. La Boucle de Rétroaction (Le Cercle Vertueux)

C'est là que ça devient génial. Les deux parties s'aident mutuellement :

• Le Dégustateur aide le Chef à mieux classer les vidéos (en ajustant la confiance).
• Le Chef, en apprenant à mieux classer, aide le Dégustateur à devenir plus précis sur ce qui est "important" dans une vidéo.
• C'est une boucle vertueuse : plus l'un est bon, plus l'autre s'améliore.

🏆 Les Résultats : Un Succès Retentissant

Ils ont testé ce système sur deux terrains très différents :

1. La Santé (I-CONECT) : Pour détecter les troubles cognitifs chez les seniors. Résultat : L'IA a atteint 94,87% de précision, ce qui est énorme, surtout pour des vidéos réelles souvent imparfaites.
2. La Sécurité (Hockey Fight) : Pour détecter les bagarres dans des matchs de hockey (souvent floues à cause de la vitesse). Résultat : 98,6% de précision.

🚀 En Résumé

Ce papier nous dit une chose simple mais puissante : Ne regardez pas seulement le contenu de la vidéo, regardez aussi la qualité de la vidéo.

En donnant à l'intelligence artificielle la capacité de se dire "Tiens, cette vidéo est floue, je vais être plus prudent dans mon jugement", ils ont créé un système beaucoup plus robuste, capable de fonctionner dans le monde réel (où tout n'est pas parfait) sans avoir besoin de milliers d'humains pour annoter chaque image.

C'est comme donner des lunettes à votre IA pour qu'elle voie non seulement ce qui se passe, mais aussi comment cela est filmé.

Résumé technique

Voici un résumé technique détaillé de l'article « Contrastive Learning-based Video Quality Assessment-jointed Video Vision Transformer for Video Recognition » (SSL-V3), rédigé en français.

1. Problématique

La classification vidéo est une tâche fondamentale en vision par ordinateur, mais ses performances sont fortement dégradées par la qualité variable des vidéos d'entrée (flou, éclairage médiocre, bruit). Les auteurs ont observé ce phénomène dans le contexte de la détection du Trouble Cognitif Léger (MCI) via des entretiens vidéo : un modèle basé sur ViViT (Video Vision Transformer) atteignait 100 % de précision sur des vidéos de haute qualité, mais chutait à 58,33 % sur des vidéos de mauvaise qualité.

Le défi principal réside dans l'absence de scores de qualité vidéo (VQA) étiquetés (ground truth) dans la plupart des jeux de données vidéo. Les méthodes traditionnelles d'évaluation de la qualité vidéo sans référence (NR-VQA) reposent souvent sur des scores d'opinion moyenne (MOS), dont la collecte est coûteuse, longue et laborieuse. De plus, l'application directe de l'apprentissage auto-supervisé (SSL) à la fois pour la classification et l'évaluation de la qualité se heurte au manque d'étiquettes pour la tâche de régression de la qualité.

2. Méthodologie : Le modèle SSL-V3

Les auteurs proposent SSL-V3, une architecture qui intègre une évaluation de la qualité vidéo sans référence (NR-VQA) au sein d'un processus de classification vidéo, le tout guidé par un mécanisme d'apprentissage auto-supervisé.

Architecture Globale

Le modèle repose sur un backbone ViViT (Video Vision Transformer) avec un encodeur factorisé (Factorised Encoder - FE) pour extraire des caractéristiques spatio-temporelles. L'architecture comprend deux branches parallèles partageant les mêmes poids :

1. Branche supérieure : Traite les clips vidéo originaux.
2. Branche inférieure : Traite les mêmes clips mais mélangés (shuffled) au sein du mini-lot pour l'apprentissage contrastif.

Composants Clés

• Tête VQA (Video Quality Assessment) :

  • Régresseur de score de séquence (SSR) : Calcule un score de qualité pour chaque séquence temporelle en pondérant les caractéristiques spatio-temporelles. Il utilise un réseau d'estimation de poids apprenable pour se concentrer sur les séquences les plus informatives.
  • Régresseur de score vidéo (VSR) : Agit au niveau du clip complet. Il intègre trois canaux :
    1. Effet de mouvement temporel (influence des séquences passées).
    2. Score global (compréhensif).
    3. Effet d'hystérésis temporel (influence de la séquence actuelle sur les futures).
  • Ces scores sont fusionnés pour produire un score de qualité vidéo final (VQS).

• Module Tune-CLS :
  Ce module utilise le score de qualité vidéo (VQS) comme facteur de pondération pour ajuster les prédictions de classification. Si la qualité est élevée, la confiance dans la prédiction est amplifiée ; si elle est faible, la confiance est atténuée. Cela permet d'ajuster dynamiquement les caractéristiques apprises avant l'application de la fonction Softmax.

• Mécanisme Combined-SSL :
  C'est le cœur de l'innovation. Il résout le problème du manque d'étiquettes de qualité vidéo en combinant :

  1. Tâche prétexte (VQA) et tâche descendante (Classification) : La régression de la qualité est traitée comme une tâche prétexte.
  2. Apprentissage par la règle de la chaîne : Le score de qualité (VQS) sert de pont. Bien qu'il n'y ait pas d'étiquette de qualité, le gradient de la tâche de classification (qui possède des étiquettes) remonte via le score de qualité pour optimiser les paramètres de la tête VQA. Ainsi, la tâche de classification supervise indirectement la tâche de régression de la qualité.
  3. Apprentissage Contrastif : Une structure parallèle identique permet de générer des paires positives/négatives (basées sur la similarité des catégories) pour renforcer la distinction des caractéristiques et améliorer la généralisation.

• Fonction de Perte (CBS Loss) :
  Une nouvelle fonction de perte combine trois composantes pour optimiser le modèle aux niveaux du lot (batch) et du sujet :

  • Focal Loss (FL) : Pour gérer les déséquilibres inter-classes.
  • Perte Contrastive (CL) : Pour gérer les déséquilibres intra-classes et rapprocher les représentations de même classe.
  • Perte d'Entropie Croisée Binaire (BCE) au niveau du sujet : Calculée uniquement sur le dernier lot d'une époque, elle agrège les prédictions par sujet pour une évaluation plus robuste.

3. Contributions Principales

1. Cadre Combined-SSL : Une contribution théorique exploitant la relation réciproque entre la tâche VQA et l'apprentissage contrastif pour classifier des vidéos de manière objective sans étiquettes de qualité explicites.
2. Modèle SSL-V3 : Une implémentation concrète combinant ViViT, NR-VQA et SSL.
3. Tête VQA Hiérarchique : Conception d'un régresseur à deux niveaux (SSR et VSR) capable de régresser la qualité de la séquence au clip entier, en tenant compte des effets temporels.
4. Fonction de Perte CBS : Une nouvelle fonction de perte gérant simultanément les déséquilibres de classes et les spécificités au niveau des sujets.
5. Validation Empirique : Démonstration sur deux jeux de données hétérogènes (santé et surveillance) prouvant l'efficacité de l'approche.

4. Résultats Expérimentaux

Les auteurs ont validé SSL-V3 sur deux jeux de données :

• I-CONECT (Santé - Détection de MCI) :

  • Dataset d'entretiens vidéo avec des sujets âgés (MCI vs Cognition Normale).
  • SSL-V3 a atteint une précision de 94,87 % sur le thème "School Subjects", surpassant le modèle ViViT standard (90,63 %) et d'autres approches multimodales.
  • L'ablation study montre que l'ajout de la tête VQA améliore la précision de plus de 8,5 % par rapport à un modèle sans VQA.

• Hockey Fight Detection (Surveillance - Détection de violence) :

  • Dataset de vidéos de matchs de hockey (bagarres vs non-bagarres).
  • SSL-V3 a atteint une précision moyenne de 98,6 % avec un écart-type très faible (0,8 %), surpassant des modèles de pointe comme SepConvLSTM-C (99,5 % mais sur des conditions différentes) et démontrant une grande robustesse.

Analyse d'ablation :

• La suppression de la structure contrastive fait chuter la précision de plus de 12 %.
• L'utilisation combinée de SSR et VSR est supérieure à l'utilisation d'un seul module.
• La fonction de perte CBS (incluant FL, CL et BCE) est supérieure à n'importe quelle combinaison partielle.

5. Signification et Conclusion

L'article démontre que l'intégration de l'évaluation de la qualité vidéo (VQA) dans la classification vidéo est cruciale, surtout pour les données réelles et bruitées.

• Innovation Méthodologique : La méthode Combined-SSL offre une solution élégante au problème de la pénurie d'étiquettes de qualité vidéo en utilisant la tâche de classification comme superviseur indirect pour la régression de la qualité.
• Généralisation : Le modèle fonctionne efficacement dans des domaines très différents (médical et surveillance), prouvant sa capacité à s'adapter à divers types de bruit vidéo.
• Efficacité : Contrairement aux méthodes prétextes traditionnelles qui nécessitent un pré-entraînement long, SSL-V3 intègre les tâches de manière end-to-end sans étape de fine-tuning séparée.

En conclusion, SSL-V3 établit un nouveau standard pour la classification vidéo dans des conditions réelles, en prouvant que la prise en compte explicite de la qualité de l'image, même sans étiquettes de qualité, améliore significativement la fiabilité des modèles d'apprentissage profond.