Résumé technique : Apprentissage multimodal à double flux pour la prévision de l'influenza à long terme

1. Définition du problème

L'article traite du défi de la prévision à long terme de l'activité des syndromes grippaux (ILI), plus précisément la prédiction de 12 semaines de tendances futures de l'ILI à partir d'une fenêtre historique de 36 semaines. La difficulté fondamentale réside dans la fusion efficace de deux modalités de données distinctes disponibles à la même origine de prévision :

1. Signaux numériques : Données de surveillance épidémiologique hebdomadaires structurées (ex. : pourcentages d'ILI par groupes d'âge).
2. Signaux textuels : Titres de l'actualité et résumés de recherche hebdomadaires, bruités et peu structurés, décrivant les symptômes, les virus circulants et les observations de santé publique.

Les approches existantes traitent souvent ces modalités comme des caractéristiques fixes, les concaténant après un encodage indépendant ou utilisant le texte comme un signal de conditionnement unidirectionnel. Cela échoue à modéliser explicitement l'interaction dynamique où l'état d'une modalité doit influencer l'interprétation de l'autre (ex. : utiliser le texte pour contextualiser un pic numérique, ou utiliser les tendances numériques pour déterminer la pertinence épidémiologique d'un signal textuel). De plus, les signaux textuels sont souvent décalés ou indirectement liés aux tendances à court terme, ce qui nécessite une conception architecturale rigoureuse pour éviter la propagation du bruit.

2. Méthodologie : Attention à double flux (DSA)

Les auteurs proposent l'Attention à double flux (Dual-Stream Attention - DSA), un cadre d'apprentissage profond multimodal conçu pour permettre aux flux numériques et textuels de se conditionner mutuellement avant l'agrégation temporelle. L'architecture se compose de cinq composants clés :

2.1. Encodeur numérique

L'historique numérique ($\mathbf{X}_{num} \in \mathbb{R}^{36 \times 14}$) est projeté vers une taille cachée et traité par un encodeur Transformer à 4 couches. Notamment, les auteurs omettent l'encodage positionnel à ce stade, s'appuyant plutôt sur le masquage causal appliqué plus tard dans le modèle temporel pour préserver l'ordre, car l'ajout d'un encodage positionnel précoce dégradait les performances dans leurs expériences.

2.2. Encodeur de titres (Headline Encoder)

Les extraits textuels hebdomadaires sont tokenisés et encodés à l'aide de BioLinkBERT-base, un modèle de langage préentraîné sur des textes biomédicaux.

• Adaptation : Seules les 8 dernières couches sont dégelées pendant l'entraînement pour équilibrer l'adaptation et le surapprentissage.
• Agrégation (Pooling) : Au lieu d'utiliser un jeton [CLS], le modèle emploie une agrégation moyenne masquée (masked mean pooling) sur les représentations des jetons pour générer les plongements hebdomadaires ($\mathbf{e}_t$).
• Attention inter-hebdomadaire : Ces plongements passent par une couche d'auto-attention pour permettre à la représentation textuelle à la semaine $t$ d'incorporer le contexte des autres semaines avant la fusion.

2.3. Module d'attention croisée (CMA)

Il s'agit de l'innovation centrale de la DSA. Plutôt qu'une simple concaténation, le CMA implémente un mécanisme d'attention bidirectionnel :

• Numérique $\to$ Texte : Le flux numérique interroge le flux textuel pour interpréter la manière dont le texte doit être lu compte tenu de l'état épidémiologique actuel.
• Texte $\to$ Numérique : Le flux textuel interroge le flux numérique pour interpréter la manière dont la tendance numérique doit être lue compte tenu du contexte textuel.
• Fusion : Les sorties des deux directions d'attention sont concaténées, projetées et réajoutées aux flux normalisés via des connexions résiduelles, suivies d'une normalisation de couche (Layer Normalization). Cela permet à la représentation de chaque modalité d'être repondérée en fonction de l'autre.

2.4. Modèle temporel causal

La représentation fusionnée est transmise à un Transformer causal à 2 couches. Un masque d'attention strict garantit que le modèle ne peut porter attention qu'aux positions actuelles et passées au sein de la fenêtre de regard arrière, empêissant la fuite d'informations des étapes temporelles futures. L'état caché final du dernier pas de temps est agrégé pour la prévision.

2.5. Régresseur

Un perceptron multicouche (MLP) à deux couches projette la représentation temporelle finale directement vers l'horizon de prévision de 12 semaines. Le modèle est entraîné de bout en bout en utilisant l'erreur quadratique moyenne (MSE).

3. Contributions clés

1. Architecture : Introduction de la DSA, qui modélise explicitement le conditionnement par attention croisée bidirectionnelle entre l'historique épidémiologique numérique et le texte hebdomadaire concomitant, allant au-delà de la simple concaténation non conditionnelle.
2. Évaluation rigoureuse : Une évaluation multi-graines (10 graines aléatoires) contre des bases unimodales fortes (iTransformer, DLinear, PatchTST), augmentées de texte (TaTS) et basées sur les LLM (GPT4MTS). L'étude inclut des analyses de risque de queue, de performance par horizon, de robustesse stratifiée par phase et d'ensembles de modèles de confiance (Model Confidence Sets).
3. Analyse d'ablation : Expériences contrôlées démontrant que le gain de performance provient principalement du mécanisme de fusion bidirectionnelle plutôt que du réglage fin du modèle de langue ou du choix spécifique de l'encodeur.
4. Analyse de fidélité : Analyse de perturbation par masquage montrant que l'attention croisée apprise est fonctionnellement informative, avec un effet plus marqué observé dans la direction Texte $\to$ Numérique.

4. Résultats expérimentaux

Évalué sur le jeu de données Time-MMD Health_US (36 semaines de regard arrière, 12 semaines de prévision) :

• Précision : La DSA a atteint une MSE médiane de test de 0,416, surpassant de manière significative iTransformer (0,668), TaTS (0,607) et GPT4MTS (0,851). Cela représente des réductions d'erreur moyenne de 54,95 %, 37,29 % et 67,23 % respectivement.
• Robustesse et risque de queue : La DSA a démontré une erreur de fenêtre maximale (Max MSE) et une MSE P90 nettement inférieures à toutes les bases. Elle s'est classée première dans 100 % des tirages de bootstrap, alors que GPT4MTS s'est classé dernier dans 74,6 % des tirages malgré des erreurs moyennes compétitives.
• Performance stratifiée par phase :
  • Phase de pic : La DSA a obtenu la marge la plus claire sur toutes les bases durant le pic épidémique, le régime le plus critique sur le plan opérationnel.
  • Autres phases : La DSA est restée compétitive lors des phases hors saison, de montée et de descente, bien qu'elle ait été légèrement surpassée par TaTS lors de la phase de montée et par GPT4MTS lors de la phase de descente.
• Généralisation : Sur un jeu de données externe (Time-MMD Health_Africa), la DSA s'est à nouveau classée première parmi les neuf bases évaluées.
• Ablations :
  • Le retrait du masque causal a augmenté la MSE de manière significative (1,09 $\to$ 1,71).
  • Le gel de l'encodeur de texte (pas de réglage fin) restait supérieur à la meilleure base de fusion (TaTS), indiquant que le mécanisme de fusion est le principal moteur d'amélioration.
  • L'attention bidirectionnelle a surpassé les variantes unidirectionnelles (Texte $\to$ Num seul ou Num $\to$ Texte seul).
  • Remplacer BioLinkBERT par un BERT de domaine général ou des modèles plus petits (MiniLM) a causé une légère baisse de performance mais n'a pas fait s'effondrer l'efficacité du modèle, suggérant que l'avantage repose davantage sur l'architecture de fusion que sur le préentraînement spécifique.

5. Signification et affirmations

L'article affirme que la DSA offre une architecture globale robuste pour la prévision de l'influenza à long terme plutôt qu'un modèle qui domine sous chaque condition épidémiologique spécifique. Sa principale signification réside dans :

• Interaction explicite : Réussir à modéliser comment le texte de surveillance bruité et temporellement décalé doit informer les tendances numériques sans être cru inconditionnellement.
• Valeur opérationnelle : En maintenant une compétitivité constante à travers toutes les phases épidémiques (particulièrement la phase critique de pic) et en minimisant le risque de queue (erreurs de cas extrêmes), la DSA fournit une valeur pratique supérieure pour l'allocation des ressources de santé publique par rapport aux modèles qui excellent uniquement dans des régimes spécifiques ou des cas moyens.
• Insight méthodologique : Démontrer que l'attention croisée bidirectionnelle est supérieure au conditionnement unidirectionnel ou à la simple concaténation dans la prévision de séries temporelles multimodales, particulièrement lorsque les modalités ont des fiabilité et des échelles temporelles différentes.

Les auteurs concluent que bien que la DSA ne soit pas universellement dominante dans chaque phase (ex. : phase de descente), sa cohérence à travers les graines aléatoires, les phases et les zones géographiques en fait un choix supérieur pour les systèmes de prévision déployés où la phase épidémiologique future est inconnue.