Résumé Technique : CONFER

Énoncé du Problème

La reconnaissance d'émotions multimodale (MER) repose traditionnellement sur des scores de valence et d'éveil auto-rapportés comme supervision de vérité de terrain (ground-truth). Cependant, l'article soutient que ces étiquettes sont intrinsèquement peu fiables (« observations faibles ») en raison des habitudes d'évaluation individuelles, des biais cognitifs, des distorsions de la mémoire et du contexte expérimental. De plus, les méthodes existantes négligent souvent le conflit cross-modal — les désaccords entre les prédictions de différentes modalités (par exemple, facial, audio, physiologique).

Les approches actuelles traitent généralement l'hétérogénéité des modalités via des mécanismes d'attention ou de porte (gating), mais unifient de force les conflits par des poids de fusion sans déterminer quelle modalité devrait influencer l'autre pour un échantillon spécifique. De même, les méthodes d'étiquetage faible estiment la fiabilité de la supervision en se basant sur des statistiques globales ou des scores de confiance, échouant ainsi à exploiter l'accord par paires et le conflit parmi les prédictions spécifiques à chaque modalité. Ce décalage empêche une orchestration efficace du passage d'informations et un apprentissage robuste à partir de rapports personnels bruités.

Méthodologie : Le Cadre CONFER

Les auteurs proposent CONFER (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision), un cadre unifié basé sur les graphes qui modélise les experts de modalités comme des nœuds dans un graphe de négociation dynamique. Le cadre opère en trois étapes principales :

1. Construction des Experts de Modalité

Chaque modalité est traitée comme un expert indépendant.

• Représentation : Les encodeurs cartographient les fenêtres temporelles en plongements (embeddings). Un constructeur agrège ces derniers en représentations au niveau de l'essai via un pooling moyen global, une attention parcimonieuse top-$k$ et une dispersion temporelle.
• Génération d'Évidence : Chaque expert produit une croyance prédictive ($\mu$) et un score d'incertitude basé sur la frontière ($u$), où l'incertitude augmente à mesure que la prédiction approche de la frontière de décision.
• Fiabilité en Temps Réel : La fiabilité ($c$) est estimée en combinant les performances historiques Out-of-Fold (OOF) avec l'incertitude de l'échantillon actuel. Cela garantit que la fiabilité est spécifique à l'échantillon plutôt que statique.

2. Négociation d'Évidence Sensible au Conflit

Les experts interagissent via un graphe dynamique pour résoudre les conflits de manière itérative.

• État du Nœud : Défini par la croyance prédictive, l'incertitude et la fiabilité en temps réel.
• Compatibilité et Poids des Arêtes : La compatibilité par paire ($A_{mn}$) est calculée sur la base du désaccord de prédiction normalisé par l'incertitude. Un fort désaccord entre des experts confiants génère une faible compatibilité.
• Passage de Messages Asymétrique : La compatibilité est convertie en poids d'arêtes directionnels spécifiques au récepteur ($\gamma_{m \leftarrow n}$). Cela permet aux émetteurs fiables d'influencer les récepteurs moins fiables, tandis que la propre fiabilité du récepteur dicte à quel point il concède d'informations aux messages entrants.
• Itération : Le processus s'exécute pour deux tours ($\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$), mettant à jour les croyances sur la base d'une agrégation soutenue par les pairs.

3. Supervision Calibrée par Régime

Le résultat de la négociation caractérise l'échantillon dans l'un des trois régimes suivants pour calibrer la fonction de perte :

• Consensus : Accord élevé et conflit résiduel faible.
• Dissentiment : Désaccord persistant après négociation.
• Ambiguïté : Incertitude globale élevée.
• Pondération des Échantillons : Les probabilités de régime inférées déterminent le poids ($\omega_i$) de la contribution de chaque échantillon à la perte de l'étiquette faible. Les échantillons dans le régime « Consensus » reçoivent un poids complet, tandis que les échantillons de « Dissentiment » et d'« Ambiguïté » sont pondérés à la baisse (mais pas écartés) pour éviter que le modèle ne fasse du surapprentissage sur une supervision peu fiable.

Le cadre est entraîné en trois phases : (A) entraînement des encodeurs pour les croyances initiales, (B) calibration OOF pour estimer les priors de fiabilité et les coefficients de régime, et (C) optimisation conjointe du module de négociation et de la lecture de prédiction (readout).

Contributions Clés

1. Cadre Unifié : CONFER intègre l'estimation de la fiabilité des modalités, la négociation cross-modale et la calibration de l'étiquetage faible dans une architecture unique basée sur les graphes.
2. Mécanisme de Négociation Dynamique : Il introduit une méthode pour convertir la compatibilité sensible à l'incertitude en un passage de messages asymétrique dirigé par la fiabilité, permettant au conflit cross-modal de guider à la fois la coordination des experts et l'estimation de la fiabilité de la supervision.
3. Calibration par Régime : En définissant les régimes de Consensus, de Dissentiment et d'Ambiguïté, la méthode ajuste dynamiquement la contribution des étiquettes faibles en fonction de la résolution des conflits spécifiques à l'échantillon, plutôt que de traiter toutes les étiquettes comme également fiables ou peu fiables.

Résultats Expérimentaux

Les auteurs ont évalué CONFER sur trois benchmarks : AMIGOS, MAHNOB-HCI et DEAP, en utilisant à la fois une validation croisée 10-fold dépendante du sujet et des protocoles stricts de Leave-One-Subject-Out (LOSO).

• Performance : CONFER a obtenu des résultats compétitifs, atteignant notamment une précision de 0,873 et un F1 de 0,879 sur AMIGOS-V (Valence) et une précision de 0,854 sur MAHNOB-V sous évaluation LOSO stricte, surpassant les bases de référence comme Late Fusion, TFN, MISA et diverses méthodes de routage d'experts (MoE).
• Robustesse : Le modèle a démontré une robustesse supérieure face à la corruption synthétique des étiquettes faibles. Sous une corruption symétrique des étiquettes de 30 %, CONFER a maintenu une précision de 0,723, surpassant nettement les bases de référence.
• Analyse de Conflit : Les études d'ablation ont confirmé que la suppression de la négociation, de la fiabilité de l'émetteur ou de la concession du récepteur dégradait les performances. L'analyse montre que la négociation apporte les gains les plus importants (5,4–8,9 points) sur les échantillons à haut conflit, corrigeant les mauvaises prédictions bien plus souvent qu'elle ne perturbe les prédictions correctes.
• Détection de la Supervision : Les régimes de conflit inférés (Consensus, Dissentiment, Ambiguïté) se sont révélés être des indicateurs efficaces de l'inconsistance de la supervision, surpassant l'entropie prédictive pour détecter les étiquettes peu fiables.

Signification et Revendications

L'article affirme que CONFER démontre que le conflit cross-modal n'est pas simplement une source d'erreur, mais un signal d'information utile. En modélisant explicitement la négociation entre les modalités, le cadre peut :

1. Coordonner les Modalités : Mettre à jour sélectivement les prédictions des experts en fonction de la fiabilité et de la compatibilité relatives, plutôt que de forcer une fusion uniforme.
2. Estimer la Fiabilité de la Supervision : Utiliser la résolution (ou l'absence de résolution) du conflit cross-modal pour calibrer la fiabilité des étiquettes auto-rapportées sur une base par échantillon.

Les auteurs concluent que leur approche offre un mécanisme plus robuste pour l'apprentissage à partir de la supervision faible dans les contextes multimodaux, particulièrement lorsqu'il s'agit de gérer l'imprévisibilité inhérente des états émotionnels auto-rapportés et l'hétérogénéité des données sensorielles.