Résumé technique : PriorNet – Estimation de l'engagement guidée par des a priori à partir de vidéos de visage

1. Énoncé du problème

L'estimation de l'engagement des utilisateurs à partir de vidéos de visage est une tâche critique pour des applications telles que l'analyse de l'apprentissage en ligne, les réunions virtuelles et l'interaction humain-robot. Cependant, cette tâche fait face à trois défis persistants dans des conditions pratiques :

1. Preuves faciales incomplètes : Dans les flux vidéo réels, les utilisateurs regardent souvent ailleurs, tournent la tête ou sortent partiellement du cadre. Les pipelines conventionnels traitent généralement ces événements de « visage manquant » comme des échecs de prétraitement ou des corruptions parasites à rejeter, perdant ainsi des signaux potentiellement significatifs sur le comportement (par exemple, le détournement du regard).
2. Pénurie de données et surapprentissage : Les benchmarks d'engagement sont modestes en taille par rapport aux modèles de base vidéo modernes. Les approches standard reposent souvent sur un ajustement fin complet ou une simple extraction de caractéristiques, ce qui risque de provoquer un surapprentissage ou d'écraser des représentations préentraînées robustes.
3. Étiquettes subjectives et ambiguës : Les annotations d'engagement sont souvent grossières, subjectives et dépendantes du protocole. Les objectifs de classification standard ne parviennent pas à modéliser adéquatement l'ambiguïté et l'incertitude inhérentes à ces étiquettes.

L'article soutient que la robustesse dans ce domaine est mieux obtenue en injectant explicitement des a priori pertinents pour la tâche à des étapes complémentaires du pipeline, plutôt que de compter uniquement sur la mise à l'échelle de l'architecture du modèle ou en espérant que la robustesse émerge implicitement.

2. Méthodologie : Le cadre PriorNet

PriorNet est un cadre unifié qui injecte des a priori à trois étapes spécifiques : le prétraitement, l'adaptation du modèle et la conception de l'objectif.

2.1 Prétraitement : Modélisation explicite des événements de visage manquant

Au lieu de rejeter les images où la détection de visage échoue, PriorNet convertit ces échecs en marqueurs de place nulle explicites (zero-frame placeholders).

• Mécanisme : La vidéo est échantillonnée en une séquence de longueur fixe (par exemple, 16 images). Si un détecteur de visage (OpenCV SSD avec ResNet-10) échoue à détecter un visage dans une image échantillonnée, cette image est remplacée par un tenseur entièrement nul ($0_{224\times224\times3}$) plutôt que d'être supprimée.
• Raison d'être : Cela préserve la structure temporelle de la séquence d'entrée. Le modèle apprend si l'absence de visibilité faciale (causée par le détournement du regard, le mouvement de la tête ou l'occlusion) est un indice comportemental informatif pour l'engagement, plutôt que de la traiter comme un manque de données.

2.2 Adaptation du modèle : Adaptation à faible rang guidée par des a priori (Prior-LoRA)

Pour adapter une puissante architecture préentraînée à la tâche spécifique d'estimation de l'engagement sans surapprendre sur de petits ensembles de données, PriorNet emploie Prior-LoRA.

• Architecture de base : Le cadre utilise SVFAP (Percepteur d'affect facial vidéo auto-supervisé), une architecture préentraînée sur la dynamique de l'affect dans les vidéos de visage via un auto-encodage masqué.
• Mécanisme : Les poids de SVFAP sont maintenus figés. Des mises à jour résiduelles à faible rang entraînables ($\Delta W$) sont insérées dans les projections de requête, de clé et de valeur de certaines couches d'attention auto-organisée.
• Efficacité : Cette approche spécialise les représentations spatio-temporelles pour l'engagement avec moins de 1 % des paramètres de l'architecture de base entraînables, préservant les a priori affectifs préentraînés tout en s'adaptant à la tâche spécifique.

2.3 Conception de l'objectif : Apprentissage conscient de l'incertitude

Pour gérer l'ambiguïté des étiquettes d'engagement, PriorNet utilise une fonction de perte composite qui combine l'apprentissage par évidence avec un rééquilibrage pondéré par l'incertitude.

• Terme Dirichlet-Évidentiel : Le modèle produit des preuves ($e_i$) pour chaque classe, paramétrant une distribution de Dirichlet. Cela permet au modèle de représenter à la fois la préférence de classe et l'incertitude prédictive dans un cadre déterministe. La perte inclut un terme de données et un régularisateur de divergence KL.
• Terme de type Focal pondéré par l'incertitude : Pour éviter un apprentissage trop confiant sur des échantillons ambigus, l'objectif attribue des poids d'optimisation plus élevés aux échantillons ayant une faible preuve totale (forte incertitude). Le facteur de modulation est dynamique, basé sur l'incertitude de l'échantillon plutôt que sur un hyperparamètre fixe.
• Objectif combiné : La perte finale combine le terme évidentiel, le terme pondéré par l'incertitude et un terme auxiliaire d'entropie croisée sur des étiquettes dures pour la stabilité.

3. Contributions clés

L'article énonce cinq contributions principales :

1. Cadre de robustesse guidé par des a priori : Une approche unifiée injectant des a priori aux niveaux du prétraitement, de l'adaptation et de l'objectif.
2. Modélisation explicite du visage manquant : Conversion des échecs de détection en marqueurs de place nulle pour traiter l'absence comme une preuve informative.
3. Spécialisation économe en paramètres : Introduction de Prior-LoRA pour adapter SVFAP avec un nombre minimal de paramètres entraînables (<1 %).
4. Apprentissage conscient de l'incertitude : Un objectif Dirichlet-évidentiel et pondéré par l'incertitude conçu pour une supervision ambiguë et subjective.
5. Validation inter-ensembles de données : Améliorations cohérentes sur quatre benchmarks hétérogènes (EngageNet, DAiSEE, DREAMS, PAFE) et ablations au niveau des composants.

4. Résultats expérimentaux

PriorNet a été évalué sur quatre ensembles de données en utilisant leurs protocoles d'évaluation natifs.

• EngageNet : PriorNet a atteint une précision de 73,58 %, surpassant le meilleur résultat antérieur (Ordinal ST-GCN à 71,24 %) de 2,34 points de pourcentage.
• DAiSEE : PriorNet a atteint une précision de 69,06 %, dépassant le meilleur antérieur listé (67,48 %) de 1,58 point de pourcentage.
• DREAMS : PriorNet a obtenu un F1 pondéré de 0,515, une amélioration substantielle par rapport au meilleur antérieur (0,434).
• PAFE : PriorNet a atteint un F1 pondéré de 0,780, dépassant le meilleur antérieur (0,740) de 0,040.

Études d'ablation :
Les ablations de composants sur EngageNet et DAiSEE ont révélé que les trois composants proposés contribuent positivement.

• Les marqueurs de place nulle ont fourni le gain le plus important pour un seul composant (par exemple, +2,24 % sur EngageNet), confirmant que la préservation des événements de visage manquant est cruciale.
• Prior-LoRA et l'objectif avancé ont fourni des améliorations plus petites mais cohérentes.
• Le modèle complet (combinant les trois) a produit les performances les plus élevées, démontrant que les gains proviennent de l'interaction complémentaire de ces a priori plutôt que d'une modification isolée unique.
• Analyse diagnostique : Une analyse ultérieure a montré que l'avantage des marqueurs de place nulle augmente à mesure que le taux d'échecs de détection de visage augmente, fournissant les gains les plus significatifs dans les scénarios à forte absence (+7,1 % de précision dans le groupe à forte absence).

5. Signification et revendications

L'article revendique que l'injection explicite d'a priori est un principe de conception plus efficace pour l'estimation de l'engagement à partir de vidéos de visage que la seule mise à l'échelle de l'architecture. Plus précisément, PriorNet démontre que :

• La robustesse peut être améliorée en traitant les données « manquantes » comme un signal plutôt que comme du bruit.
• L'adaptation économe en paramètres (Prior-LoRA) permet aux architectures de base préentraînées puissantes de se spécialiser pour l'engagement sans surapprentissage.
• Des objectifs conscients de l'incertitude sont nécessaires pour gérer la subjectivité inhérente des étiquettes d'engagement.

Limites et modestie :
Les auteurs déclarent explicitement que leurs résultats sont limités par :

• Dépendance au détecteur : Le mécanisme de marqueur de place repose sur le comportement du détecteur de visage ; les gains peuvent refléter à la fois des indices comportementaux et des motifs d'échec du détecteur.
• Hétérogénéité des protocoles : Les quatre ensembles de données diffèrent considérablement par leurs étiquettes et leurs partitions, de sorte que les résultats représentent une amélioration directionnelle cohérente à travers des contextes divers plutôt qu'un seul classement unifié.
• Signal de supervision : La modélisation de l'incertitude est effectuée sous une supervision par étiquettes dures plutôt que par des distributions complètes de votes des annotateurs.

L'article conclut que si l'estimation de l'engagement n'est pas « résolue », PriorNet fournit un cadre méthodologiquement cohérent pour améliorer la robustesse dans des conditions de preuves visuelles manquantes, de budgets d'adaptation limités et d'annotation subjective.