💬 NLP

Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models

Ce document propose un cadre de compression de jetons adaptatif pour les modèles de langage de séries temporelles qui exploite les propriétés spectrales distinctes des données de séries temporelles et l'influence décroissante des invites à travers les couches pour parvenir à une accélération significative de l'inférence et à des améliorations de performance.

Auteurs originaux : Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang

Publié 2026-06-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant très intelligent, mais légèrement surchargé de travail (le Large Language Model ou LLM), qui essaie de comprendre deux choses très différentes en même temps : un rapport météorologique long et complexe (la Série Temporelle) et un ensemble d'instructions écrites sur un post-it (le Prompt).

D'habitude, cet assistant traite chaque mot du rapport météo et chaque mot des instructions avec la même importance. Il les traite tous à la même vitesse, un par un. L'article soutient que cela est une perte de temps et d'énergie.

Voici la décomposition simple de ce que les auteurs ont découvert et construit :

1. Le Problème : Le « Taille unique » est un gaspillage

Les auteurs ont réalisé que les deux types d'informations se comportent de manière très différente :

Le Rapport Météorologique (Série Temporelle) : Il est rempli de motifs. Certaines parties ne sont que du bruit de fond ou des boucles répétitives (comme le lever du soleil chaque jour). D'autres parties sont les moments critiques (comme une tempête soudaine). Traiter les boucles répétitives avec la même intensité que la tempête est inefficace.
Le Post-it (Prompt) : Les instructions sont cruciales au tout début pour dire à l'assistant ce qu'il doit faire. Mais alors que l'assistant commence à réfléchir et à analyser les données, il n'a pas besoin de relire l'intégralité du post-it encore et encore. Les instructions sont « absorbées » rapidement, et les garder dans la mémoire de travail pour le reste du processus n'est que de l'encombrement.

2. La Solution : « TokenDecouple »

L'équipe a construit un nouveau système appelé TokenDecouple qui gère ces deux entrées différemment, comme un gestionnaire de trafic intelligent dirigeant deux types de voitures différents.

Partie A : Compresser le Rapport Météorologique (Fusion dans le domaine fréquentiel)

Au lieu de regarder le rapport météo seconde par seconde (domaine temporel), le système le regarde comme un égaliseur musical (domaine fréquentiel).

L'Analogie : Imaginez une chanson. La plupart du temps, ce n'est qu'un battement de tambour régulier (redondant). Occasionnellement, il y a un solo de guitare (information critique).
La Correction : Le système scanne l'« égaliseur ». Il voit que beaucoup de « notes » (tokens) ne sont que la répétition du même battement de tambour. Il regroupe ces notes répétitives et les fusionne en une seule note représentative. Il garde les « solos de guitare » (les fréquences critiques) séparés et intacts.
Le Résultat : L'assistant doit lire une version beaucoup plus courte et plus propre du rapport météo, mais il n'a pas perdu les détails importants.

Partie B : Réduire le Post-it (Décroissance pyramidale)

Le système a également réalisé que les instructions n'ont pas besoin de rester volumineuses éternellement.

L'Analogie : Pensez aux instructions comme à une grande carte que vous utilisez pour commencer un voyage. Une fois que vous connaissez la destination et l'itinéraire, vous n'avez pas besoin de garder toute la carte géante ouverte sur la table ; vous avez juste besoin d'un petit coin pour vous souvenir du virage.
La Correction : À mesure que l'assistant s'enfonce dans son processus de réflexion (à travers les couches du modèle), le système réduit agressivement le post-it.
- Couche 1 : Carte complète (100 % des instructions).
- Couche 2 : Un quart de la carte (25 %).
- Couche 3 : Un minuscule coin (6 %).
- Couches Profondes : Presque rien (moins de 1 %).
Le Résultat : L'assistant arrête de gaspiller sa puissance cérébrale à relire des instructions qu'il a déjà comprises.

3. Le Résultat : Plus Rapide et Plus Intelligent

En faisant ces deux choses séparément (découplage), le système a obtenu des résultats impressionnants :

Vitesse : Il a rendu l'assistant 7,68 fois plus rapide dans certains cas.
Précision : Étonnamment, il n'est pas seulement devenu plus rapide ; il est aussi devenu meilleur pour certaines tâches dans environ 78 % des tests.
Tâches : Ils ont testé cela pour la prédiction de l'avenir (prévision), la détection d'erreurs (détection d'anomalies), le remplissage de données manquantes (imputation) et le tri par catégories (classification).

Résumé

L'article dit essentiellement : « Arrêtez de traiter chaque donnée de la même manière. »

Pour les nombres (séries temporelles), regroupez les parties ennuyeuses et répétitives afin de ne vous concentrer que sur les motifs intéressants.
Pour le texte (prompts), lisez les instructions une fois, apprenez-les, puis laissez-les s'estomper pendant que vous faites le travail réel.

Cette approche permet à l'IA d'être beaucoup plus efficace sans perdre son intelligence, rendant possible l'exécution de ces modèles puissants sur du matériel plus rapide et moins coûteux.

Résumé technique : Au-delà des jetons uniformes : Compression adaptative pour les modèles de langage de séries temporelles

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus appliqués à l'analyse de séries temporelles (TS) en modélisant les observations numériques et les invites textuelles via une interface de jetons (tokens) partagée. Cependant, les approches existantes traitent les jetons TS et les jetons d'invite de manière uniforme, ignorant leurs différences structurelles fondamentales. Ce traitement uniforme entraîne une inefficacité pour deux raisons principales :

Redondance de l'information TS : Les jetons TS présentent souvent des contributions spectrales hautement inégales. De grands groupes de jetons partagent des motifs fréquentiels redondants, tandis qu'un sous-ensemble restreint porte l'essentiel des preuves temporelles critiques. La fusion standard dans le domaine temporel ne parvient pas à séparer efficacement ces composantes fonctionnelles.
Rétention inefficace des invites : Les invites textuelles fournissent des directives de haut niveau, mais leur influence s'atténue rapidement à mesure que la profondeur du modèle augmente. Conserver l'intégralité des jetons d'invite à travers toutes les couches engendre un surcoût computationnel substantiel sans gain de performance proportionnel, car l'information textuelle est généralement absorbée et transférée aux jetons TS au cours des premières couches peu profondes.

Méthodologie : TokenDecouple

Les auteurs proposent TokenDecouple, un cadre unifié qui découple les stratégies de compression pour les jetons TS et les jetons d'invite en se basant sur leurs structures d'information distinctes.

1. Fusion des jetons TS dans le domaine fréquentiel

Au lieu de fusionner les jetons selon la proximité temporelle, la méthode opère dans le domaine fréquentiel pour identifier et éliminer la redondance spectrale.

Analyse spectrale : Les jetons TS d'entrée sont transformés via la transformée de Fourier discrète (DFT). La méthode identifie que les signaux TS du monde réel concentrent l'énergie dans des bandes de fréquences spécifiques, contrairement au bruit blanc qui possède un spectre uniforme.
Sélection de jetons actifs : Pour chaque composante de fréquence, l'algorithme sélectionne un sous-ensemble minimal de jetons dont la magnitude spectrale cumulative représente au moins 95 % de l'énergie totale.
Budget de fusion adaptatif : La granularité de la fusion est déterminée par l'identifiabilité spectrale, estimée par l'information de Fisher. Les jetons qui permettent d'obtenir des pics plus nets ou des motifs périodiques à faible bruit contribuent davantage à la compréhension du modèle. Un budget adaptatif est calculé pour déterminer le nombre de jetons à fusionner pour chaque bande de fréquence.
Graphe d'affinité locale : Au sein de l'ensemble actif sélectionné, les jetons sont regroupés en clusters locaux basés sur la similitude spectrale. Une moyenne pondérée est calculée pour chaque groupe afin de générer des représentants fusionnés, qui sont ensuite transformés à nouveau dans le domaine temporel via la transformée de Fourier discrète inverse (IDFT).

2. Compression pyramidale des jetons d'invite

Le cadre introduit une stratégie de « décroissance pyramidale » pour les jetons d'invite, reconnaissant que leur utilité diminue avec la profondeur du modèle.

Décroissance par couche : Le nombre de jetons d'invite est réduit géométriquement à chaque couche (spécifiquement, $P_{l+1} = \lceil 0.25 P_l \rceil$ ).
Préservation des résidus : Pour éviter la perte d'information lors de la compression, la méthode calcule un résumé résiduel global (via MeanPool) des jetons d'invite à chaque couche et l'ajoute à la représentation compressée transmise à la couche suivante.
Résultat : Dès la quatrième couche, le nombre de jetons d'invite devient négligeable (tombant à environ 0,4 % de l'original), réduisant considérablement les coûts d'attention dans les couches plus profondes.

Principales contributions

Perspective du domaine fréquentiel : L'article fournit la première analyse systématique des jetons TS sous l'angle du domaine fréquentiel, révélant que différentes composantes fréquentielles contribuent de manière inégale à l'information au niveau des jetons, justifiant ainsi la fusion basée sur la fréquence.
Effet de décroissance pyramidale : Les auteurs découvrent que l'influence des jetons d'invite décroît rapidement avec la profondeur du modèle, démontant que la rétention complète des invites est inutile et qu'une compression agressive dans les premières couches est sans danger.
Cadre TokenDecouple : Ils proposent un cadre de compression découplé qui fusionne simultanément les jetons TS via la structure du domaine fréquentiel et compresse les jetons d'invite via la décroissance pyramidale. Cette approche permet d'obtenir des gains d'efficacité significatifs tout en maintenant ou en améliorant les performances.

Résultats expérimentaux

Le cadre a été évalué sur quatre modèles avancés de type LLM pour les séries temporelles (OFA, TimeLLM, CALF, S2IP) et 27 jeux de données couvrant sept tâches : imputation, classification, détection d'anomalies, prévision, et trois niveaux de raisonnement (déterministe simple, déterministe complexe et probabiliste).

Performance : TokenDecouple a surpassé les modèles originaux dans 78 % des configurations évaluées. Dans les cas où la performance a chuté, la dégradation était minimale (par exemple, une augmentation maximale de l'MAE de 0,008 pour l'imputation, ou une baisse de précision de 1,3 % pour la classification).
Efficacité : La méthode a permis une accélération de l'inférence allant jusqu'à 7,68× (spécifiquement pour le modèle TimeLLM). Pour l'ensemble des modèles et des tâches, les accélérations moyennes variaient de 3,43× à 7,68×.
Réduction des jetons : Même pour les tâches les plus complexes, au moins 50 % des jetons TS ont pu être fusionnés. Le surcoût des jetons d'invite a été réduit d'environ 89 % pour les modèles de 12 couches et de 94 % pour les modèles de 24 couches.
Comparaison : TokenDecouple a nettement surpassé les méthodes de fusion de jetons de référence (fusion globale, locale et dynamique) tant en termes de rétention de performance que d'accélération de l'inférence.

Signification et affirmations

L'article affirme que TokenDecouple offre une solution évolutive pour les modèles de fondation de séries temporelles en traitant les inefficacités spécifiques liées au traitement uniforme des séries temporelles et du texte. Les auteurs soulignent que leur approche n'est pas une compression arbitraire, mais une réduction principled de la redondance basée sur la structure spectrale et le flux d'information par couche.

Le travail met en évidence que :

Compromis Efficacité-Performance : Il est possible de réduire drastiquement les coûts de calcul (latence d'inférence et mémoire) sans sacrifier, et souvent en améliant, les performances du modèle.
Robustesse des tâches : La méthode reste efficace à travers diverses dynamiques temporelles, incluant des variations de stationnarité, de saisonnalité et de bruit, suggérant qu'elle n'est pas excessivement dépendante des schémas statistiques spécifiques des jeux de données.
Principe de conception : Les conclusions plaident pour une conception « consciente des jetons » (token-aware) dans l'intégration séries temporelles-langage, où les stratégies de compression sont adaptées à la structure d'information spécifique de la modalité de données (domaine fréquentiel pour les TS, dépendance à la profondeur pour les invites).

Les auteurs notent modestement certaines limites, précisant que l'étude n'évalue pas systématiquement l'applicabilité dans des conditions hautement non stationnaires ou à échantillonnage irrégulier, et n'examine pas les interactions avec d'autres techniques d'efficacité comme la quantification ou l'élagage structuré. Ils recommandent d'utiliser la méthode comme un composant d'amélioration de l'efficacité plutôt que comme un système de décision autonome pour les applications critiques de sécurité.