Résumé technique : Chat-TS : Améliorer le raisonnement multimodal sur les données de séries temporelles et de langage naturel

Définition du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines tels que la santé, la finance et les transports, où les données de séries temporelles sont fondamentales. Cependant, les LLM actuels manquent de la capacité à effectuer un raisonnement qui intègre simultanément les données de séries temporelles et le contenu textuel correspondant. Les approches existantes convertissent souvent les séries temporelles en formats textuels ou les intègrent dans les poids du modèle, ce qui compromet fréquemment la compréhension du langage naturel (NLU) et les capacités de raisonnement intrinsèques du modèle. De plus, le domaine souffre d'une pénurie de données d'entraînement multimodales et d'un manque de benchmarks à grande échelle pour évaluer le raisonnement sur les séries temporelles.

Méthodologie

Les auteurs proposent Chat-TS, un cadre conçu pour permettre aux LLM de raisonner sur des données de séries temporelles et textuelles sans dégrader leurs capacités linguistiques fondamentales. La méthodologie se compose de trois composantes principales :

1. Expansion du vocabulaire via la tokenisation discrète

Au lieu d'utiliser des connecteurs pour mapper les représentations de séries temporelles aux plongements (embeddings) textuels, Chat-TS étend le vocabulaire du LLM pour inclure des tokens de séries temporelles.

• Tokenizer : Un tokenizer discret léger est introduit pour convertir les valeurs numériques continues des séries temporelles en tokens discrets. Il quantifie les plages de séries temporelles normalisées $[-s, s]$ en $K-1$ bacs (avec $K=8192$) et utilise un token spécial pour marquer la fin des canaux.
• Avantage : Cette approche permet une reconstruction quasi parfaite des données de séries temporelles (particulièrement pour les séquences de moins de 1 000 points) sans nécessendre l'entraînement d'architectures encodeur-décodeur complexes qui pourraient souffrir de problèmes de distribution hors domaine (out-of-distribution).

2. Stratégie d'entraînement

Le cadre emploie une stratégie d'entraînement en deux phases pour préserver les capacités de NLU tout en acquérant des compétences de raisonnement sur les séries temporelles :

• Phase 1 (Pré-entraînement) : Le modèle est pré-entraîné sur des tokens de séries temporelles. Deux méthodes d'initialisation sont explorées : l'initialisation par la moyenne (définir les nouveaux embeddings comme la moyenne des tokens textuels existants) et le pré-entraînement de séries temporelles (ne débloquer que l'embedding et les couches linéaires finales).
• Phase 2 (Ajustement d'instructions) : Une stratégie de double jeu de données est utilisée. Le modèle est affiné sur une combinaison de :
  • TS-Instruct : Un jeu de données multimodal associant des données de séries temporelles avec des instructions textuelles.
  • Open-Orca : Un vaste corpus de données d'instructions en langage naturel pur.
    Cet entrelacement garantit que le modèle conserve ses forces de raisonnement linguistique général tout en apprenant à suivre des instructions impliquant des séries temporelles.

3. Curation des données

Pour remédier à la rareté des données, les auteurs contribuent avec trois nouveaux jeux de données :

• Jeu de données d'entraînement TS Instruct : Un jeu de données multimodal diversifié généré via GPT-4o-mini, associant des séries temporelles réelles (issues de LOTSA et du Time-Series Classification Archive) à des instructions conversationnelles synthétiques couvrant le raisonnement, la classification, la prise de décision et l'analyse mathématique.
• Benchmark Gold de QA TS Instruct : Un ensemble de 1 056 questions à choix multiples validées par des humains, conçu pour évaluer les capacités de raisonnement multimodal.
• Ensemble de sondage quantitatif TS Instruct : Un sous-ensemble pour l'évaluation quantitative incluant des tâches mathématiques et de prise de décision.

Principales contributions

1. Nouveaux jeux de données : La publication du jeu de données d'entraînement TS Instruct et du benchmark Gold de QA TS Instruct comble une lacune critique dans la littérature concernant l'entraînement et l'évaluation multimodale des séries temporelles.
2. Architecture : Une approche novatrice qui intègre directement les tokens de séries temporelles dans le vocabulaire du LLM, éliminant le besoin de connecteurs intermédiaires et préservant les capacités originales de génération de texte et de raisonnement du modèle.
3. Performance : La méthode proposée atteint des performances de pointe dans les tâches de raisonnement multimodal tout en maintenant une forte compétence en langage naturel.

Résultats expérimentaux

Les expériences ont été menées en utilisant le modèle Llama 3.1-8B comme base.

• Raisonnement sur les séries temporelles : Sur le benchmark Gold de QA TS Instruct, Chat-TS a obtenu un score de 67,22 %, surpassant le Llama 3.1-8B de base (54,22 %) et d'autres bases de référence comme Phi-3-medium-4k (64,64 %). Cela représente une amélioration moyenne d'environ 13 % par rapport aux autres bases de référence de l'état de l'art.
• Généralisation : Testé sur le jeu de données MCQ2TS (un jeu de données synthétique avec des tâches de raisonnement contrefactuel distinctes des données d'entraînement), Chat-TS est passé de 36,5 % (modèle de base) à 47,6 %, démontant que les gains de performance ne sont pas dus à une contamination du jeu de données.
• Préservation du NLU : Les études d'ablation sur les benchmarks MMLU-Pro, Big-Bench-Hard et GPQA ont montré que toutes les variantes de Chat-TS ont maintenu leurs performances à ±2 % du modèle Llama 3.1-8B de base. Cela confirme que l'intégration du raisonnement sur les séries temporelles n'entraîne pas de dégradation des capacités de langage naturel du modèle.
• Analyse d'ablation : Les modèles entraînés uniquement sur des données de séries temporelles (sans texte entrelacé) ont eu des difficultés à suivre les instructions. La meilleure performance a été obtenue par les modèles entraînés avec un mélange de données textuelles Open-Orca et de données multimodales TS-Instruct (PreOrcaTS), soulignant la nécessité d'entrelacer les modalités.

Signification et limites

L'article affirme que Chat-TS établit une base solide pour le raisonnement multimodal, démontant que les LLM peuvent être efficacement augmentés pour l'analyse de séries temporelles sans sacrifier leurs compétences linguistiques fondamentales. Le travail fournit un cadre unifié pour gérer le texte et les séries temporelles, soutenu par des modèles, des jeux de données et du code en open-source.

Les auteurs reconnaissent des limites spécifiques :

• Génération de séries temporelles : Les modèles peinent actuellement pour la prévision et la génération précises de séries temporelles, ceant les applications dans des domaines comme la météo ou la prédiction financière.
• Classification Zero-Shot : La performance sur la classification de séries temporelles en zero-shot est faible, résultant souvent en des devinettes ou des répétitions.
• Mise à l'échelle (Scaling) : Les expériences ont été limitées à un modèle de 8 milliards de paramètres pour l'accessibilité ; les auteurs suggèrent que l'augmentation du volume de données et de la taille du modèle produirait probablement de nouvelles améliorations.

L'article conclut que bien que Chat-TS fasse progresser l'état de l'art du raisonnement sur les séries temporelles, les travaux futurs doivent aborder les capacités de génération et la robustesse de la classification pour réaliser pleinement le potentiel des LLM multimodaux dans les domaines des séries temporelles.