Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents

Cet article propose une approche neuro-symbolique novatrice, baptisée « Grammar of the Wave », qui utilise des arbres de logique d'événements (ELT) pour permettre à des agents VLM de détecter des événements dans des séries temporelles multivariées à partir de descriptions textuelles avec peu de données, tout en générant des explications fiables et en réduisant les hallucinations.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si on en discutait autour d'un café.

🌊 Le Problème : Trouver une aiguille dans une botte de foin (mais qui parle)

Imaginez que vous avez un enregistrement audio d'une tempête (c'est votre série temporelle, une suite de données qui changent avec le temps). Votre but est de trouver exactement le moment où un coup de tonnerre précis a eu lieu.

Le problème, c'est que dans le monde réel (comme dans les usines pétrolières ou les hôpitaux), on n'a pas des milliers d'exemples étiquetés pour entraîner un ordinateur. C'est comme essayer d'apprendre à un chien à chasser un animal qu'il n'a jamais vu, sans lui montrer de photo.

De plus, les humains ne font pas que dire "il y a un problème". Ils disent : "Le niveau d'eau monte doucement, puis il y a une chute brutale, et en même temps, la pression reste stable."
Les ordinateurs classiques sont très mauvais pour comprendre cette logique et ces relations entre les événements. Ils voient des chiffres, pas une histoire.

💡 La Solution : Le "Grammaire des Vagues" (Event Logic Tree)

Les auteurs ont inventé une nouvelle façon de faire, qu'ils appellent SELA. Pour le comprendre, utilisons une analogie : un chef cuisinier et un inspecteur de cuisine.

Au lieu d'essayer de deviner tout d'un coup, ils utilisent deux agents (des assistants intelligents) qui travaillent ensemble :

1. L'Analyste de Recette (Logic Analyst) :

   • C'est le chef. Il lit la description en langage naturel (ex: "La pression doit remonter après une chute").
   • Il ne cherche pas encore les données. Il transforme cette phrase en un arbre de logique (un plan détaillé).
   • Analogie : C'est comme dessiner le schéma d'un gâteau : "D'abord le biscuit, puis la crème, et enfin le glaçage, le tout doit tenir ensemble."

2. L'Inspecteur de Signal (Signal Inspector) :

   • C'est l'inspecteur qui va dans la cuisine. Il regarde les données réelles (le gâteau en cours de fabrication).
   • Il utilise des outils pour zoomer sur les courbes, comme si on regardait une carte au microscope.
   • Il vérifie : "Est-ce qu'il y a bien un biscuit ici ? Est-ce que la crème est posée dessus ?"
   • Il remonte les informations à l'Analyste.

🌳 L'Arbre de Logique (ELT) : Le Plan de Construction

C'est le cœur du système. Imaginez que l'événement que vous cherchez est un Lego.

• Les briques sont les petits motifs simples (ex: "une ligne qui monte").
• Les connexions sont les règles logiques (ex: "la brique B doit être après la brique A", ou "les briques A et B doivent être en même temps").

L'ordinateur ne devine pas au hasard. Il construit l'événement brique par brique, en vérifiant à chaque étape si cela correspond à la description. Si une brique ne colle pas, il la retire et réessaie.

🤖 Pourquoi c'est génial ? (Moins d'hallucinations)

Les gros modèles d'intelligence artificielle (comme ceux qui écrivent des poèmes) ont un défaut : ils hallucinent. Ils peuvent inventer des faits pour faire joli.

• Sans ce système : L'IA regarde une courbe et dit : "Ah, ça ressemble à une explosion !" (Même si ce n'est pas le cas).
• Avec SELA : L'IA doit prouver son dire. Elle doit dire : "Je vois une explosion parce que j'ai trouvé une montée (brique 1), suivie d'une chute (brique 2), et c'est en même temps que la pression a baissé (brique 3)."

C'est comme si un détective ne pouvait pas accuser quelqu'un sans montrer les preuves une par une sur le tableau blanc.

📊 Les Résultats : Comme un expert humain

Les chercheurs ont testé leur système sur de vraies données de forage pétrolier (très complexes).

• Les méthodes classiques (qui apprennent par cœur avec des exemples) ont échoué car elles n'avaient pas assez d'exemples.
• Les IA classiques (qui lisent les chiffres) se sont perdues.
• SELA (notre système) a obtenu des résultats proches de ceux d'un ingénieur humain expert, même sans avoir jamais vu ces données avant.

En résumé

Ce papier propose de ne plus demander à l'ordinateur de "deviner" ce qui se passe dans les données. Au lieu de cela, on lui donne une recette logique (l'arbre ELT) et on lui laisse les outils pour vérifier chaque ingrédient.

C'est comme passer d'un devin qui lance des dés à un architecte qui construit un pont brique par brique, en s'assurant que chaque pierre tient bien avant de poser la suivante. Résultat : moins d'erreurs, plus de confiance, et une explication claire de pourquoi l'ordinateur a pris sa décision.

Résumé technique

Voici un résumé technique détaillé de l'article "Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents", rédigé en français.

1. Problématique : Détection d'événements guidée par la connaissance (K-TSED)

L'article aborde le défi de la Détection d'Événements sur les Séries Temporelles (TSED). Contrairement aux tâches classiques de classification (attribuer une étiquette à une séquence entière) ou à la détection d'anomalies (repérer des dérives statistiques), la TSED vise à localiser des segments temporels précis où des événements sémantiques complexes se produisent.

Les limitations des approches actuelles sont identifiées comme suit :

• Dépendance aux données étiquetées : Les méthodes inductives (apprentissage profond supervisé) nécessitent de grandes quantités de données annotées, souvent indisponibles dans des domaines à haute responsabilité (santé, énergie).
• Manque d'explicabilité : Les modèles "boîte noire" ne fournissent pas de preuves logiques vérifiables par les experts humains, ce qui nuit à la confiance nécessaire dans ces domaines.
• Hallucinations des LLM/VLM : Les modèles de langage (LLM) ou vision-langage (VLM) appliqués directement aux séries temporelles souffrent d'hallucinations sémantiques, peinant à aligner correctement la morphologie du signal avec les descriptions textuelles.

L'objectif est de définir un nouveau cadre, le K-TSED (Knowledge-Guided TSED), où le modèle doit localiser des événements dans des signaux multivariés en se basant uniquement sur une description textuelle naturelle de l'événement, sans données d'entraînement spécifiques (setting zero-shot).

2. Méthodologie : SELA et l'Arbre de Logique d'Événements (ELT)

Pour répondre à ce défi, les auteurs proposent une approche neuro-symbolique combinant la flexibilité des VLM avec la rigueur logique d'une représentation symbolique.

A. Représentation Symbolique : Event Logic Tree (ELT)

Le cœur de la méthode est le ELT, un cadre de représentation des connaissances qui transforme les descriptions textuelles non structurées en structures arborescentes hiérarchiques.

• Structure : L'ELT modélise les événements comme des arbres composés de :
  • Primitives (Feuilles) : Des motifs atomiques sur des canaux physiques spécifiques (ex: "augmentation linéaire rapide du volume").
  • Composites (Nœuds internes) : Des relations logico-temporelles entre les primitives.
• Opérateurs Logiques : Le système utilise quatre opérateurs fondamentaux basés sur l'algèbre des intervalles d'Allen :
  • SEQ (Séquence) : B suit A.
  • SYNC (Synchronisation) : A et B se produisent simultanément.
  • GUARD (Contenance) : A est contenu dans B.
  • OR (Disjonction) : A ou B.
• Axiomes : Le système impose des contraintes de cohérence (ex: exclusivité physique des canaux, compacité temporelle) pour éviter les interprétations erronées et réduire l'espace de recherche.

B. Architecture Multi-Agents : SELA

Le système SELA (Time Series Event Logic Agents) est un agent neuro-symbolique composé de deux rôles collaboratifs :

1. Logic Analyst (Analyste Logique) : Un agent VLM qui analyse la description textuelle de l'événement et génère le schéma ELT (l'arbre logique) correspondant. Il identifie les primitives et leurs relations hiérarchiques.
2. Signal Inspector (Inspecteur de Signal) : Un agent qui utilise des outils de visualisation active (zoom, tracé de marqueurs) pour parcourir les données temporelles. Il instancie les nœuds du schéma ELT en trouvant les intervalles temporels réels qui correspondent aux primitives, en calculant un score de cohérence sémantique.

Fonctionnement itératif :
Les agents interagissent via une interface unifiée. L'Inspecteur affine les intervalles détectés en se basant sur la structure de l'arbre fournie par l'Analyste. Les scores de confiance sont propagés de bas en haut (des primitives vers la racine) en utilisant des opérateurs logiques flous (T-normes) pour valider la détection globale de l'événement.

3. Contributions Clés

1. Nouveau Cadre de Problème (K-TSED) : Introduction d'un paradigme de détection d'événements guidé par la connaissance, éliminant le besoin de données d'entraînement étiquetées.
2. Framework ELT : Proposition d'une représentation symbolique capable de capturer la hiérarchie, la quantification sémantique et l'élasticité topologique (déformation du temps) des événements, comblant le fossé entre le langage naturel et les données temporelles.
3. Système SELA : Développement d'un agent neuro-symbolique capable de raisonner sur des séries temporelles complexes en combinant la perception visuelle (VLM) et la logique symbolique.
4. Benchmark KITE : Création du premier jeu de données réel pour le K-TSED, issu du domaine de l'énergie (tests de pression dans l'industrie pétrolière), avec des annotations d'experts et des descriptions textuelles rigoureuses.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données KITE (divisé en KITE-easy et KITE-hard) et comparées à plusieurs baselines :

• Modèles Supervisés : CNN, Transformer, et modèles fondationnels (Timer, Moment, Chronos) fine-tunés.
• Approches LLM/VLM : Méthodes zero-shot et few-shot (GPT-4.1, GPT-5) utilisant soit des données numériques brutes, soit des visualisations (VL-Time).
• Experts Humains : Data scientists du domaine.

Principaux résultats :

• Performance Supérieure : SELA (basé sur GPT-5) surpasse significativement toutes les méthodes zero-shot et few-shot existantes. Il atteint un score F1@0.5 de 83,33% sur KITE-easy et 79,31% sur KITE-hard, se rapprochant des performances des experts humains (88,33% et 85,06%).
• Précision de Localisation : L'utilisation de l'ELT double la précision de localisation (F1@0.9) par rapport aux méthodes VLM standard sans logique symbolique.
• Réduction des Hallucinations : L'étude d'ablation montre que sans ELT, les VLMs tendent à halluciner ou à se fier uniquement à des motifs locaux, échouant sur des événements complexes hiérarchiques. L'ELT force une cohérence globale.
• Efficacité : Le système fonctionne en zero-shot, nécessitant très peu de tokens et quelques tours d'interaction (moyenne de 5,2 tours).

5. Signification et Impact

Cet article marque une avancée significative dans l'analyse des séries temporelles pour les applications critiques :

• Explicabilité par conception : Contrairement aux modèles d'apprentissage profond, SELA produit non seulement une détection, mais aussi un "arbre d'explication" instancié, permettant aux experts humains de vérifier chaque étape du raisonnement (quels sous-motifs ont déclenché la détection).
• Adaptabilité aux domaines à faible données : La méthode permet de déployer des systèmes de détection d'événements dans des industries où l'annotation de données est coûteuse, en s'appuyant sur l'expertise métier exprimée en langage naturel.
• Fusion Neuro-Symbolique : Le travail démontre que l'intégration de structures logiques rigides (ELT) aux capacités de perception des grands modèles multimodaux est une voie prometteuse pour résoudre les problèmes de raisonnement temporel complexe et réduire les hallucinations.

En conclusion, "Grammar of the Wave" propose une solution robuste et interprétable pour transformer la description textuelle d'événements physiques en détections précises sur des signaux réels, comblant le fossé entre l'intelligence artificielle générative et l'expertise humaine spécialisée.