Résumé Technique : Distillation de Prior Génératif par Diffusion pour le Transfert de Connaissances en Contexte Long

1. Énoncé du Problème

Les classificateurs de séries temporelles traditionnels supposent généralement l'accès à des séquences complètes lors de l'inférence. Cependant, des contraintes pratiques telles que la latence, le coût ou la perte de données des capteurs limitent souvent les entrées à des préfixes partiels. Cette « observabilité partielle » crée un écart de généralisation significatif :

• Ambiguïté : Les étapes temporelles précoces d'une série temporelle manquent souvent de motifs discriminants pour la classe, rendant la vraie classe ambiguë jusqu'à des étapes ultérieures de la séquence.
• Apprentissage Spuriaire : L'entraînement de classificateurs uniquement sur des données partielles avec une supervision par étiquettes dures peut conduire à un surapprentissage sur des indices précoces spurius et à des frontières de décision instables.
• Le Défi de la Distillation : Bien que la distillation de connaissances (KD) soit couramment utilisée pour transférer des connaissances d'un enseignant à haute capacité vers un étudiant, les méthodes KD standard échouent lorsque l'enseignant est entraîné sur des séquences de longueur complète et l'étudiant sur des séquences partielles.
  • Écart Représentationnel : L'appariement direct des caractéristiques de l'étudiant (contexte partiel) aux caractéristiques de l'enseignant (contexte complet) submerge l'étudiant, car les caractéristiques de l'enseignant contiennent des informations que l'étudiant ne peut physiquement pas observer.
  • Manque de Diversité : Un seul enseignant fournit une seule perspective, ce qui peut être insuffisant pour les entrées ambiguës et dégradées rencontrées par l'étudiant.
  • Fidélité : Les incohérences entre les données d'entraînement (complet vs partiel) rendent difficile pour les étudiants de reproduire fidèlement la distribution prédictive de l'enseignant.

2. Méthodologie : Distillation de Prior Génératif par Diffusion (GDPD)

Les auteurs proposent la Distillation de Prior Génératif par Diffusion (GDPD), un cadre qui reformule les caractéristiques partielles de l'étudiant comme des « observations dégradées » des caractéristiques de contexte complet de l'enseignant. Au lieu de forcer un appariement point à point direct, le GDPD traite la relation comme un problème inverse soluble via des modèles de diffusion.

Concepts Clés

• Prior Génératif : Un modèle de diffusion est entraîné sur les caractéristiques de contexte complet de l'enseignant ($z_{long}$) pour apprendre la distribution statistique $p(z_{long})$. Cela agit comme un « réservoir » de connaissances plausibles à long terme.
• Échantillonnage Postérieur : Pendant l'entraînement, les caractéristiques de contexte court de l'étudiant ($z_{short}$) sont traitées comme une mesure dégradée d'une caractéristique sous-jacente propre. Le prior de diffusion est utilisé pour échantillonner des représentations d'enseignant cibles ($\hat{z}_{long}$) qui expliquent au mieux les caractéristiques actuelles de l'étudiant tout en adhérant à la distribution apprise des caractéristiques de contexte complet valides.
• Supervision Progressive : Plutôt qu'une cible statique, l'étudiant est guidé vers une distribution de signaux d'enseignant plausibles. L'étudiant apprend à produire des caractéristiques qui, lorsqu'elles sont passées à travers l'échantillonneur postérieur de diffusion, reconstruisent des représentations de contexte complet valides.

Procédure d'Entraînement

Le processus d'entraînement comporte deux phases séparées par une période de préchauffage ($E_{warm}$) :

1. Phase de Préchauffage : Le prior de diffusion est entraîné sur les caractéristiques de l'enseignant tandis que l'étudiant est initialisé sur la tâche de classification partielle.
2. Phase de Distillation : L'étudiant est optimisé en utilisant une perte combinée :
   $$\mathcal{L}_{train} = \lambda_{Task} \mathcal{L}_{Task}(\theta) + \lambda_{KD} \mathcal{L}_{GDPD}(\theta)$$
   Où $\mathcal{L}_{GDPD}$ est une perte d'entropie croisée calculée sur les caractéristiques reconstruites :
   $$\mathcal{L}_{GDPD}(\theta) = \mathbb{E}_{(x,y)} \left[ \ell_{CE} \left( S_{head}(\hat{z}_{long}), y \right) \right]$$
   Ici, $\hat{z}_{long} \sim \tilde{p}_{diff}(z_{long} | z_{short})$ est un échantillon issu du postérieur de diffusion, conditionné par les caractéristiques actuelles de l'étudiant.

Stratégie de Conditionnement

Contrairement à la diffusion guidée standard qui utilise des mesures fixes, le GDPD utilise un conditionnement basé sur l'initialisation. Le processus de diffusion inverse est initialisé en fusionnant les caractéristiques de l'étudiant avec du bruit gaussien ($z_{long, T} = \alpha z_{short} + (1-\alpha)\epsilon$). Cela permet au processus de diffusion d'explorer la variété des caractéristiques en partant de l'état actuel de l'étudiant, convergeant vers une caractéristique propre plausible cohérente avec les informations partielles de l'étudiant.

3. Contributions Clés

1. Distillation Plein-Vers-Partiel Pionnière : Ce travail établit une direction pour doter les classificateurs de séries temporelles précoces (fonctionnant sur des données partielles) des capacités de généralisation des classificateurs de longueur complète.
2. Connaissances Distributionnelles Génératives : C'est la première approche à modéliser les connaissances de l'enseignant non pas comme une cible ponctuelle unique, mais comme une distribution générative. Cela formule la relation entre les caractéristiques de l'enseignant et de l'étudiant comme un problème inverse mal posé.
3. Nouveau Cadre KD (GDPD) : Introduit un cadre fournissant des connaissances dynamiques, diversifiées et collectives :
   • Dynamique : Les cibles s'adaptent aux capacités actuelles de l'étudiant.
   • Diversifiée : Génère plusieurs complétions stochastiques des informations manquantes, évitant un engagement excessif envers une seule interprétation.
   • Collective : Agrège les connaissances de la variété de l'enseignant pour reconstruire des indices optimaux à long terme.
4. Évaluation Complète : Fournit une analyse approfondie à travers divers réglages de précocité, jeux de données (UCR, UEA, PhysioNet) et architectures, validant la robustesse de la méthode.

4. Résultats Expérimentaux

Des expériences ont été menées sur 12 jeux de données univariés UCR, 12 jeux de données multivariés UEA et le jeu de données de mortalité PhysioNet.

• Gains de Performance : Le GDPD surpasse constamment les méthodes KD de base (Logit-KD, Feature-KD/FitNets, RKD, Attention, etc.) à tous les niveaux de précocité ($0.2L$ à $0.8L$). Par exemple, à $e=0.5L$, le GDPD a atteint une AUC-PRC moyenne de 84,64 % contre 78,14 % pour Base-KD et 77,28 % pour FitNets.
• Fidélité : Les étudiants GDPD ont démontré une fidélité plus élevée (accord top-1 avec l'enseignant) que les méthodes de base, indiquant qu'ils reproduisent plus fidèlement le comportement de l'enseignant malgré l'incohérence des données.
• Robustesse :
  • Partielité par Canal : Le GDPD est resté efficace lorsque la moitié des canaux ont été supprimés.
  • Compression de Modèle : Le GDPD a transféré avec succès des connaissances vers des modèles étudiants significativement plus petits (par exemple, réduction des paramètres de plusieurs ordres de grandeur).
  • Enseignants Faibles : Sous une supervision d'enseignant dégradée (données réduites/bruit), le GDPD a dégradé plus gracieusement que les autres méthodes.
  • Tâche Transversale / Données Déséquilibrées : Dans l'étude de cas PhysioNet, le GDPD a surpassé les méthodes de base dans la distillation transversale de tâches (prédiction de mortalité vs survie) et dans des contextes déséquilibrés.
• Transférabilité : Les caractéristiques apprises par le GDPD ont montré une forte transférabilité aux entrées suffixes (zero-shot et sonde linéaire), prouvant l'acquisition de connaissances temporelles à long contexte.
• Efficacité : Le GDPD engendre une surcharge d'entraînement modeste (~0,24 s/époque) par rapport à Base-KD mais n'offre aucune augmentation du coût d'inférence.

5. Signification et Revendications

L'article revendique l'ouverture d'une nouvelle direction de recherche en traitant les connaissances de l'enseignant comme une forme efficace de prior génératif.

• Résolution de l'Écart de Généralisation : Les auteurs soutiennent que le GDPD comble efficacement l'écart entre les données partielles et complètes en considérant la tâche de l'étudiant comme la récupération d'informations à long terme manquantes à partir d'une distribution apprise, plutôt que comme une simple imitation d'un signal statique.
• Connaissances Fidèles et Diversifiées : En modélisant les connaissances comme une distribution, le GDPD aborde les limites de la KD à perspective unique, fournissant aux étudiants un ensemble de cibles plus riche et plus robuste qui tient compte de l'ambiguïté des observations partielles.
• Applicabilité Pratique : La méthode est validée non seulement sur des benchmarks synthétiques mais aussi sur un jeu de données réels de soins critiques (PhysioNet), démontrant son potentiel pour des applications à haut risque où la prise de décision précoce est cruciale.

Les auteurs restent modestes quant à la portée, notant que si l'implémentation actuelle se concentre sur la classification, le cadre de prior génératif pourrait théoriquement s'étendre à la prévision ou à l'apprentissage multimodal avec des modalités manquantes dans les travaux futurs. Ils reconnaissent également que, bien que le GDPD soit plus coûteux en calcul que la KD basée sur les logit, il reste comparable aux méthodes de distillation basées sur les caractéristiques établies.