A statistical perspective on transformers for small longitudinal cohort data

1. Problématique

L'analyse de données de cohortes longitudinales implique souvent des dépendances temporelles complexes entre plusieurs variables. Bien que l'architecture Transformer (initialement conçue pour le langage et la vision) soit très performante pour modéliser ces séquences grâce à son mécanisme d'attention, son application aux données longitudinales médicales ou épidémiologiques se heurte à deux obstacles majeurs :

• Le besoin de grandes quantités de données : Les Transformers standards nécessitent des ensembles de données massifs pour éviter le surapprentissage (overfitting) et généraliser correctement.
• La complexité et l'interprétabilité : Dans les petits jeux de données (peu d'individus et peu de points temporels), les modèles complets sont trop paramétrés. De plus, l'interprétation des scores d'attention classiques reste difficile et leur validité statistique pour identifier des motifs contextuels n'est pas établie.

L'objectif de l'article est de concevoir une architecture Transformer adaptée aux petites données (small data), capable de capturer des dépendances temporelles non linéaires tout en restant interprétable et statistiquement testable.

2. Méthodologie : Le MiniTransformer

Les auteurs proposent une architecture simplifiée, le MiniTransformer, qui part d'un modèle statistique établi (un modèle autorégressif vectoriel linéaire, VAR) et y intègre les principes essentiels des Transformers (attention multi-têtes et déclin temporel) avec un nombre minimal de paramètres.

A. Architecture du Modèle

Le modèle fonctionne en plusieurs étapes pour prédire un vecteur de résultats futurs $y$ à partir d'une séquence d'observations passées $x_{t_1}, \dots, x_{t_T}$ :

1. Mécanisme d'Attention Kernelisé (Multi-head) :
   Contrairement aux Transformers standards qui utilisent des couches d'embedding et des matrices de projection complexes, le MiniTransformer transforme chaque observation $x_{t_i}$ en valeurs scalaires $\tilde{x}^{(h)}_{t_i}$ pour chaque tête d'attention $h$.
   Cette transformation utilise une fonction noyau $g$ qui combine :

   • Une attention basée sur les valeurs : $x'_{t_i} w_{query} \cdot x'_{t_l} w_{key}$.
   • Un déclin temporel : Un terme exponentiel $e^{-(w_{dist} \cdot |t_i - t_l|)^\gamma}$ qui réduit l'influence des observations anciennes.
   • Le résultat est une moyenne pondérée des observations passées, où les poids dépendent à la fois de la similarité des caractéristiques et de la distance temporelle.

2. Cumul et Agrégation :
   Les valeurs transformées de toutes les têtes ($H$) sont agrégées en un vecteur de cumulants $z$ de dimension réduite ($C < q$). Cette étape permet de capturer différents types de motifs contextuels. Un second déclin temporel est appliqué par rapport à l'horizon de prédiction.

3. Prédiction :
   Les cumulants $z$ sont utilisés comme entrées dans un modèle de régression linéaire standard pour prédire les valeurs futures $\hat{y}$.

Différences clés avec les Transformers standards :

• Pas de couche d'embedding : Les données quantitatives sont utilisées directement (avec un terme constant ajouté).
• Réduction des paramètres : Les projections Query/Key/Value réduisent les représentations à des scalaires plutôt que des vecteurs de haute dimension.
• Encodage positionnel simplifié : Utilisation d'un encodage positionnel relatif paramétré par seulement trois paramètres ($w_{dist}, w_{horizon}, \gamma$) au lieu de matrices d'encodage complexes.
• Gain de complexité : La réduction du nombre de paramètres est d'au moins $O(p^2H^2)$, rendant le modèle viable pour de petits échantillons.

B. Cadre de Test Statistique (Permutation)

Pour pallier le manque d'interprétabilité des poids d'attention, les auteurs proposent une procédure de test par permutation :

• Principe : On compare les prédictions faites avec un contexte complet (historique) versus une prédiction basée sur une seule observation sans contexte.
• Mesure : On calcule la différence de contribution ($\Delta$) d'une variable spécifique $j$ sur la prédiction finale lorsque l'on modifie sa valeur dans le contexte par rapport à une observation de référence.
• Test d'hypothèse : En permutant les rôles des variables dans le contexte, on génère une distribution nulle pour calculer des p-values. Cela permet d'identifier statistiquement quelles variables passées influencent significativement les prédictions futures (motifs contextuels).

3. Résultats

A. Étude de Simulation

• Données : Séquences binaires générées avec une structure de dépendance latente complexe (une variable cible dépend d'un motif spécifique de deux autres variables dans le passé).
• Performance : Le MiniTransformer a surpassé les approches de régression linéaire et de moyenne simple, même avec un très petit nombre d'individus (100 séquences). Il a réussi à retrouver la structure latente sous-jacente ($z_t$) via les cumulants appris.
• Test Statistique : L'approche par permutation a correctement identifié les variables impliquées dans le motif de dépendance (faibles p-values pour les variables clés), même avec un échantillonnage limité des permutations.

B. Application aux Données Réelles (Étude LORA)

• Contexte : Données longitudinales sur la résilience psychologique (stress micro/macros et santé mentale) avec environ 880 individus et jusqu'à 20 points temporels.
• Performance Prédictive : Le MiniTransformer a obtenu les erreurs quadratiques moyennes (MSE) les plus faibles par rapport aux modèles de régression, à l'approche "carry-forward" et à la moyenne, tant pour la variable cible que pour l'ensemble des variables.
• Découvertes Cliniques :
  • Le test de permutation a identifié des motifs contextuels significatifs. Par exemple, la tâche ménagère (housekeeping) et les longues heures de travail ont été identifiées comme des contextes majeurs influençant la détresse psychologique.
  • Une analyse de sensibilité a confirmé que l'arrêt des tâches ménagères augmentait la prédiction de détresse, ce qui est cohérent avec la littérature sur l'environnement et le bien-être mental.
  • L'absence de contexte significatif pour les événements de vie graves (ex: maladie grave) suggère que ceux-ci ne sont pas déclenchés par les tracas quotidiens, validant l'intuition clinique.

4. Contributions Clés

1. Architecture MiniTransformer : Une adaptation minimaliste des Transformers conçue spécifiquement pour les petits jeux de données longitudinales, réduisant drastiquement le nombre de paramètres tout en conservant la capacité de modéliser des dépendances temporelles complexes.
2. Fondement Statistique : Une approche qui part d'un modèle VAR pour intégrer l'attention, offrant une interprétabilité théorique plus solide que les "boîtes noires" profondes.
3. Cadre d'Inférence : Introduction d'un test de permutation pour quantifier l'importance statistique des motifs contextuels, permettant d'identifier quelles variables passées influencent les prédictions futures.
4. Validation Empirique : Démonstration que les Transformers peuvent être compétitifs et interprétables dans des contextes de "small data" biomédicaux, là où les méthodes traditionnelles échouent souvent à capturer des dynamiques non linéaires.

5. Signification et Perspectives

Ce travail démontre que les architectures de type Transformer ne sont pas réservées aux "Big Data". En les simplifiant statistiquement et en y intégrant des mécanismes de déclin temporel explicites, il est possible de les appliquer à des cohortes cliniques réalistes (peu de patients, suivi espacé).

La capacité du modèle à unir performance prédictive et interprétabilité statistique est cruciale pour les sciences biomédicales, où comprendre pourquoi un modèle fait une prédiction (les mécanismes temporels sous-jacents) est aussi important que la prédiction elle-même. Les auteurs suggèrent que cette approche pourrait être généralisée à d'autres données séquentielles en biomédecine, ouvrant la voie à une nouvelle génération de modèles d'IA interprétables pour la recherche longitudinale.