An Enhanced Source-Free Unsupervised Domain Adaptation Framework for Cross-Dataset EEG Emotion Recognition via Predictive Coding and Test-Time Training

Résumé Technique : Un cadre d'adaptation de domaine non supervisé sans source amélioré pour la reconnaissance des émotions par EEG inter-jeux de données

Énoncé du problème
La reconnaissance des émotions basée sur l'électroencéphalogramme (EEG) fait face à des défis importants de généralisation entre différents jeux de données en raison des décalages de domaine causés par la variabilité inter-sujets, les différences de dispositifs d'enregistrement, les configurations d'électrodes et les protocoles expérimentaux. Bien que l'adaptation de domaine non supervisée (UDA) ait été explorée pour atténuer ces décalages, les méthodes conventionnelles nécessitent l'accès aux données du domaine source pendant l'adaptation, ce qui est souvent impraticieux dans les applications réelles de santé et d'interface cerveau-machine (BCI) en raison de contraintes de confidentialité, de stockage et d'éthique. L'adaptation de domaine non supervisée sans source (SF-UDA) répond à cela en adaptant un modèle source pré-entraîné à un domaine cible non étiqueté sans les données sources. Cependant, les méthodes SF-UDA existantes peinent face aux écarts de domaine importants, à l'accumulation d'erreurs provenant de pseudo-étiquettes bruitées et à une adaptation instable, particulièrement dans le contexte de la reconnaissance des émotions par EEG inter-jeux de données.

Méthodologie
Les auteurs proposent un cadre SF-UDA amélioré comprenant quatre étapes distinctes : pré-entraînement, calcul, adaptation de la cible et inférence.

1. Pré-entraînement par codage prédictif non contrastif :
   Contrairement aux travaux précédents reposant sur un entraînement supervisé de la source, ce cadre introduit une stratégie de pré-entraînement auto-supervisée. Un modèle de codage prédictif, utilisant une architecture encodeur-décodeur, est entraîné pour reconstruire la densité spectrale de puissance (PSD) de futurs segments d'EEG basés sur l'activité passée. Cette approche non contrastive apprend des représentations temporelles prédictives robustes sans nécessiter de paires négatives ou d'objectifs contrastifs. L'objectif de pré-entraînement combine la perte de classification, la perte de divergence du classificateur et la perte de codage prédictif pour assurer un apprentissage de caractéristiques discriminantes et temporellement cohérentes.

2. Adaptation de la cible (Stratégie à deux étapes) :
   Une fois le modèle source pré-entraîné, le cadre s'adapte au domaine cible non étiqueté via un processus en deux étapes :

• Régularisation adaptative multi-pertes (MLAR) : Cette étape estime la structure du domaine cible via un regroupement par classe (clustering). Elle génère des pseudo-étiquettes en assignant les échantillons aux centroïdes de clusters les plus proches. Pour stabiliser l'entraînement et réduire le bruit, la MLAR utilise un masque d'échantillon fiable basé sur la confiance de la prédiction et l'accord entre les pseudo-étiquettes basées sur les clusters et les prédictions du modèle. L'optimisation minimise la perte d'accord des pseudo-étiquettes, la perte de divergence du classificateur (divergence de Jensen-Shannon entre deux classificateurs parallèles), l'entropie de prédiction et un terme d'équilibrage de la distribution cible.
• Apprentissage de cohérence localisée (LCL) : Cette étape impose la cohérence des prédictions parmi les voisins fiables. Les voisins sont sélectionnés sur la base de l'intersection de la similitude dans l'espace des caractéristiques et de la similitude de sortie du classificateur, garantissant que le modèle aligne les prédictions au sein des voisinages locaux tout en filtrant les voisins non fiables.

3. Entraînement au moment du test léger (TTT) :
   Lors de l'inférence, le cadre implémente un mécanisme de mise à jour en ligne basé sur l'incertitude. Les échantillons sont évalués à l'aide de l'entropie de prédiction et de l'erreur de reconstruction prédictive. Seuls les échantillons incertains (ceux dépassant les seuils basés sur les quantiles pour ces deux métriques) sont sélectionnés pour l'adaptation. Pour ces échantillons, une mise à jour légère est effectuée sur les couches de normalisation et les modules de porte d'attention en utilisant une combinaison de minimisation de l'entropie et de perte de reconstruction prédictive. Cette mise à jour sélective améliore la robustesse contre les décalages de distribution tout en maintenant l'efficacité computationnelle en évitant les mises à jour pour les prédictions confiantes.

Contributions clés

• Cadre amélioré : Les auteurs proposent un cadre SF-UDA complet spécifiquement conçu pour la reconnaissance des émotions par EEG inter-jeux de données, traitant l'absence de données sources et les défis des décalages de domaine.
• Pré-entraînement auto-supervisé : Introduction d'une stratégie de codage prédictif non contrastive qui apprend des représentations temporelles d'EEG robustes sans dépendre de données sources étiquetées ou d'objectifs contrastifs.
• Mécanismes d'adaptation robustes : La conception d'une stratégie d'adaptation à deux étapes (MLAR et LCL) qui améliore la stabilité et la cohérence du voisinage sous des pseudo-étiquettes bruitées.
• Raffinement efficace au moment du test : Un mécanisme TTT léger qui met à jour sélectivement le modèle pour les échantillons incertains, équilibrant robustesse et efficacité computationnelle.

Résultats expérimentaux
Le cadre a été évalué sur trois jeux de données publics, DEAP, SEED et DREAMER, en utilisant des configurations inter-jeux de données (par exemple, entraînement sur DEAP et test sur SEED).

• Performance : La méthode proposée surpasse systématiquement les bases SF-UDA de l'état de l'art (incluant les méthodes d'Ahmed et al., Du et al., Ragab et al., et Zhao et al.) ainsi que le travail précédent de l'auteur en SF-UDA.
  • Sur le jeu de données SEED (entraîné sur DEAP), la méthode a atteint 69,56 % de précision pour la classification binaire et 57,08 % pour la classification multi-classe.
  • Sur le jeu de données DREAMER (entraîné sur DEAP), elle a atteint 63,03 % de précision pour la classification binaire.
  • Lorsqu'elle est entraînée sur SEED et testée sur DEAP, elle atteint 61,38 % (binaire) et 53,87 % (multi-classe).
• Signification statistique : Des tests t pour échantillons appariés ont confirmé que les améliorations par rapport aux méthodes concurrentes sont statistiquement significatives.
• Études d'ablation : Les expériences ont démontré que le retrait du pré-entraînement par codage prédictif, du module MLAR ou de l'entraînement au moment du test entraînait des chutes de performance significatives, validant la nécessité de chaque composant.
• Interprétabilité : L'analyse SHAP a révélé que le modèle repose fortement sur les caractéristiques des bandes gamma et bêta des régions occipitales, préfrontales et fronto-centrales, ce qui correspond aux marqueurs neurophysiologiques connus de l'émotion.

Signification et affirmations
L'article affirme que le cadre proposé combine efficacement l'apprentissage auto-supervisé prédictif, l'adaptation de domaine sans source et le raffinement au moment du test pour parvenir à une reconnaissance robuste des émotions par EEG sous des décalages de domaine sévères. En éliminant le besoin de données sources et en traitant l'instabilité des pseudo-étiquettes grâce à une approche multi-étape pilotée par la cohérence, la méthode offre une solution pratique pour les applications de l'informatique affective sensibles à la confidentialité. Les auteurs positionnent ce travail comme une étape importante pour combler le fossé entre les jeux de données expérimentaux contrôlés et le déploiement réel, où le partage de données est restreint et la variabilité de domaine est élevée. Les directions futures identifiées par les auteurs incluent l'exploration de l'adaptation continue pour les distributions cibles évolutives et l'extension du cadre à d'autres signaux physiologiques et à la fusion multimodale.