From Text to Forecasts: Bridging Modality Gap with Temporal Evolution Semantic Space

Ce papier propose TESS, une méthode qui comble le fossé modal entre le texte et les séries temporelles en introduisant un espace sémantique d'évolution temporelle intermédiaire pour transformer les descriptions textuelles en primitives numériques interprétables, réduisant ainsi l'erreur de prévision jusqu'à 29 % par rapport aux méthodes de l'état de l'art.

L'essentiel

🌧️ Le Problème : Le Prévisionniste qui a peur de la pluie

Imaginez que vous êtes un prévisionniste météo (c'est le modèle de prédiction). Votre travail consiste à regarder les chiffres passés (la température, l'humidité, le vent) pour deviner s'il va pleuvoir demain.

• L'approche classique : Vous regardez uniquement les courbes de température des 100 derniers jours. C'est bien, mais si une tempête soudaine arrive ou si un ouragan se forme, vos courbes ne vous disent rien. Vous êtes pris au dépourvu.
• L'approche moderne (avec du texte) : On vous donne aussi les journaux et les tweets : "Un ouragan se forme dans l'Atlantique !", "Le vent tourne au nord-est". C'est une excellente idée ! Mais il y a un gros problème : le langage est flou.

Le texte dit "le vent va s'intensifier", mais votre modèle de chiffres a besoin de savoir : "Le vent va augmenter de 15 km/h".
De plus, les journaux sont remplis de bruit : "Il fait beau ce matin, mais l'ouragan arrive...". Votre modèle se perd dans ces détails inutiles et ne sait pas distinguer l'information cruciale du bavardage. C'est ce que les chercheurs appellent le "fossé entre les modes" (le texte vs les chiffres).

🛠️ La Solution : TESS, le Traducteur Expert

Les auteurs de ce papier (Li, Wang, et al.) ont créé un outil appelé TESS. Imaginez-le non pas comme un traducteur de mots, mais comme un chef d'orchestre expert ou un interprète de crise.

Au lieu de donner le texte brut au prévisionniste, TESS passe par une étape intermédiaire qu'ils appellent "l'Espace Sémantique Temporel".

Voici comment cela fonctionne en 3 étapes simples :

1. Le Filtre Intelligent (Le Détective)

Le texte arrive, plein de bruit. TESS utilise une intelligence artificielle très puissante (un LLM) pour lire le texte et se poser la question : "Est-ce que ce texte contient une info utile pour les chiffres ?".

• Si le texte dit juste "Il fait beau", TESS dit : "Oublie ça, c'est du bruit."
• Si le texte dit "Les marchés s'effondrent à cause d'une nouvelle loi", TESS dit : "Attention, c'est important !"

2. La Traduction en "Langage des Chiffres" (Le Dictionnaire)

C'est la partie la plus brillante. Au lieu de donner le texte entier, TESS le transforme en 4 concepts simples que le prévisionniste comprend parfaitement :

1. Le Décalage (Mean Shift) : Est-ce que la tendance va monter ou descendre ? (Ex: "Hausse forte").
2. La Volatilité : Est-ce que ça va être calme ou chaotique ? (Ex: "Turbulences").
3. La Forme : Est-ce que ça va monter en flèche, descendre doucement ou faire des montagnes russes ? (Ex: "Pic puis chute").
4. Le Délai (Lag) : Est-ce que l'effet est immédiat ou va-t-il durer longtemps ? (Ex: "Impact immédiat qui s'estompe").

C'est comme si le traducteur prenait un roman de 500 pages et en résumait l'histoire en 4 mots-clés précis : "Montée forte, chaos, pic, immédiat".

3. Le Contrôle de Confiance (Le Gardien)

Parfois, même l'intelligence artificielle peut se tromper ou mal interpréter un texte ambigu. TESS a un gardien de sécurité.

• Si le traducteur est très sûr de lui (99% de confiance), le gardien laisse passer l'info.
• Si le traducteur hésite (50/50), le gardien réduit le volume de l'information pour ne pas perturber le prévisionniste. C'est comme un chef d'orchestre qui baisse le volume d'un musicien qui joue faux.

🏆 Le Résultat : Une Prédiction Plus Juste

Grâce à ce système, les chercheurs ont testé TESS sur des données réelles (comme les cours de la Bourse, la consommation d'électricité, etc.).

• Avant : Les modèles se perdaient dans les détails des articles de presse et faisaient des erreurs.
• Avec TESS : Le modèle comprend exactement comment un événement va changer les chiffres.

Le résultat est impressionnant : TESS a réduit les erreurs de prédiction de jusqu'à 29 % par rapport aux meilleures méthodes actuelles. C'est comme passer d'un prévisionniste qui devine à l'aveugle à un expert qui voit l'avenir avec une clarté cristalline.

En résumé

Ce papier nous dit : "Ne donnez pas un roman à un mathématicien. Donnez-lui un résumé structuré, vérifié et traduit dans son langage." TESS est ce traducteur qui transforme le chaos des mots en la précision des chiffres.

Résumé technique

1. Problématique : Le Fossé Modal et la Non-Stationnarité

Le papier aborde le défi majeur de l'intégration d'informations textuelles (articles de presse, réseaux sociaux) dans les modèles de prévision de séries temporelles. Bien que les données textuelles puissent aider à anticiper les changements de régime causés par des événements exogènes (accidents, météo extrême, sentiment), leur fusion directe avec des données numériques pose deux problèmes fondamentaux :

• Le fossé modal (Modality Gap) : Les séries temporelles sont quantitatives, ordonnées chronologiquement et explicites. À l'inverse, le texte est qualitatif, non structuré et exprime les impacts temporels de manière implicite et diffuse (ex: "une forte hausse" vs "+15,3%").
• Échec des méthodes existantes : Les expériences semi-synthétiques montrent que les modèles actuels, qui fusionnent directement les embeddings textuels et numériques, souffrent de deux limitations critiques :
  1. Distraction par le bruit : Les mécanismes d'attention se focalisent excessivement sur des tokens redondants ou non pertinents plutôt que sur les signaux prédictifs.
  2. Incompatibilité de représentation : Même en éliminant le bruit, les modèles peinent à décoder les expressions qualitatives du texte en signaux numériques exploitables, entraînant une instabilité de l'optimisation et une dégradation des performances.

2. Méthodologie : TESS (Temporal Evolution Semantic Space)

Pour combler ce fossé, les auteurs proposent TESS, un cadre en deux étapes qui introduit un espace intermédiaire appelé Espace Sémantique de l'Évolution Temporelle. Cet espace agit comme un goulot d'étranglement informationnel qui transforme le texte en primitives temporelles interprétables et numériquement fondées.

A. L'Espace Sémantique de l'Évolution Temporelle

Au lieu de mapper le texte directement aux prévisions, TESS extrait quatre types de Primitives Sémantiques Temporelles (TSP) définies par des experts :

1. Déplacement de la distribution (Mean Shift) : Capture les changements de niveau moyen (hausse/baisse forte ou modérée).
2. Changement de volatilité (Volatility Shift) : Mesure les variations de la variance ou de l'instabilité.
3. Forme (Shape) : Décrit la morphologie de la tendance (ascension, descente, pic, creux, oscillation) à l'échelle de "patches" temporels.
4. Retard et Décroissance (Lag & Decay) : Localise le moment de l'impact (début précoce, milieu, tardif) et sa persistance (décroissance rapide ou persistante).

Ces primitives sont exprimées sous forme de catégories verbales (ex: "STRONG-RISE", "EARLY-FADE") qui peuvent être vérifiées numériquement sur les données réelles.

B. Extraction et Filtrage (Texte → Espace Sémantique)

• Extraction par LLM : Un Grand Modèle de Langage (LLM) figé est utilisé avec un prompting structuré pour classer le texte d'entrée dans les catégories de primitives définies.
• Porte de Confiance (Confidence-Aware Gating) : Reconnaissant que les LLM peuvent faire des erreurs d'extraction, un réseau de porte (gating network) apprend à estimer la fiabilité de chaque primitive extraite.
  • Il utilise l'écart de log-probabilité entre les deux meilleures classes prédites par le LLM comme indicateur d'incertitude.
  • Une porte $g_{t,k} \in [0, 1]$ pondère l'embedding sémantique : les primitives à haute confiance sont amplifiées, tandis que les erreurs potentielles sont supprimées.

C. Prévision Conditionnée (Espace Sémantique → Espace Numérique)

Les primitives filtrées sont injectées dans un modèle de prévision de séries temporelles (basé sur l'architecture PatchTST) sous forme de "tokens de préfixe". Le modèle combine ces signaux sémantiques avec les embeddings historiques des séries temporelles pour produire la prévision finale.

3. Contributions Clés

1. Diagnostic du fossé modal : Identification par des expériences contrôlées que les méthodes actuelles échouent à la fois à ignorer le bruit textuel et à décoder les signaux qualitatifs en signaux quantitatifs.
2. Architecture TESS : Proposition d'un espace intermédiaire qui distille le texte en primitives temporelles interprétables, servant de conditionnement exogène robuste pour les prévisionneurs.
3. Mécanisme de filtrage : Introduction d'une porte de confiance apprenable qui atténue l'impact des erreurs d'extraction des LLM, garantissant la robustesse du système.
4. Validation théorique et empirique : Démonstration que cette approche réduit l'écart entre la distribution empirique et la population, améliorant la généralisation.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données réels (deux financiers : FNSPID, Bitcoin ; deux généraux : Electricity, Environment).

• Performance globale : TESS surpasse les modèles unimodaux (ex: PatchTST, TimesNet) et multimodaux de l'état de l'art (ex: TimeLLM, ChatTime).
  • Réduction de l'erreur quadratique moyenne (MSE) allant jusqu'à 29,1 % sur le jeu de données Bitcoin par rapport au meilleur modèle de base.
  • Améliorations significatives sur les scénarios de non-stationnarité (changements de forme, de volatilité, de moyenne).
• Analyse d'ablation :
  • La suppression de l'espace sémantique (TESS) entraîne une dégradation massive (augmentation du MSE de ~46 % sur Bitcoin), prouvant que la transformation textuelle est cruciale.
  • La suppression de la porte de confiance entraîne une baisse modérée mais notable, confirmant son rôle dans le filtrage du bruit.
• Stabilité de l'entraînement : Les courbes de perte montrent que TESS converge plus rapidement et plus lissément que la fusion textuelle directe, indiquant une optimisation plus stable.
• Études de cas : Les visualisations montrent que TESS capture correctement des motifs complexes (ex: un creux suivi d'une persistance) que les modèles de base manquent.

5. Signification et Impact

Ce travail est significatif car il propose une solution élégante au problème de l'hétérogénéité des modalités dans la prévision temporelle. Au lieu de forcer une fusion brute, TESS traduit le langage naturel en un langage mathématique intermédiaire (les primitives temporelles) que les modèles de séries temporelles peuvent comprendre et utiliser efficacement.

Cela ouvre la voie à des systèmes de prévision plus robustes face aux événements imprévus et non stationnaires, en exploitant la richesse sémantique des données textuelles sans sacrifier la précision quantitative des modèles numériques. La méthode est particulièrement pertinente pour les domaines sensibles aux chocs exogènes comme la finance, l'énergie et la logistique.