🤖 AI

ChronoState: Hidden Elapsed-Time Conditioning for Temporal-State Action Selection in Frozen-Backbone Language Models

L'article ChronoState démontre qu'un modèle de langage gelé peut composer efficacement un temps écoulé caché, non tokenisé, avec un état de tâche symbolique pour sélectionner des actions temporelles sous supervision directe, atteignant une précision élevée sur des benchmarks spécifiques tout en échouant à se généraliser à des familles inédites ou à surpasser les simples bases de référence de timestamp injectées par prompt.

Auteurs originaux : Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Amin Mohamed El-Amin Diab, Benjamin M. Rodriguez

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Amin Mohamed El-Amin Diab, Benjamin M. Rodriguez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot très intelligent qui a lu presque tout ce qui est écrit sur Internet. Ce robot est excellent pour suivre des instructions, mais il a un drôle de point aveugle : il ne sait pas réellement quelle heure il est. Pour le robot, une minute semble exactement la même chose qu'une année, à moins que vous n'écriviez explicitement « Il est 15h00 » dans le chat. C'est un problème pour les tâches du monde réel. Si un robot gère une bibliothèque, il doit savoir quand un livre est en retard. S'il gère un système de sécurité, il doit savoir si un mot de passe a expiré. Habituellement, nous indiquons l'heure au robot en la tapant dans le chat, comme un humain donnant un indice. Mais et si nous pouvions murmurer l'heure directement dans le cerveau du robot sans qu'il voie les mots ? C'est la grande question que cet article explore. Il demande : peut-on injecter un signal temporel « caché » directement dans le cerveau d'un robot figé pour qu'il prenne de meilleures décisions, même si le robot ne peut pas lire l'heure sous forme de texte ?

Les chercheurs derrière cette étude, dirigés par Sam Siavoshian et ses collègues de l'Université Johns Hopkins, ont construit un test spécial appelé ChronoState pour répondre à cela. Ils voulaient voir s'ils pouvaient injecter un signal temporel « caché » dans un modèle de langage (le cerveau du robot) qui ne faisait pas partie du texte visible. Voyez cela comme ceci : habituellement, si vous voulez qu'un robot sache depuis combien de temps il attend, vous devez taper : « Vous attendez depuis 5 minutes ». Dans cette expérience, les chercheurs ont essayé un tour différent. Ils ont gardé le texte exactement le même, mais ont injecté secrètement un nombre représentant « 5 minutes » directement dans le câblage interne du robot. Ils ont appelé cela l'Injection Chronométrique. C'est comme donner au robot une oreillette secrète que lui seul peut entendre, lui disant exactement combien de temps s'est écoulé depuis un événement spécifique, comme le début d'une tâche ou le remplissage d'un cache.

L'équipe a utilisé un type spécifique de cerveau de robot appelé Qwen2.5-3B-Instruct. Ils ont « figé » la partie principale de son cerveau, ce qui signifie qu'ils ne l'ont pas laissé apprendre de nouveaux faits ou modifier ses connaissances fondamentales. Au lieu de cela, ils ont ajouté un petit « adaptateur » entraînable (un petit patch de nouveau câblage) capable d'écouter ce signal temporel secret. Ils ont testé le robot sur six scénarios différents, comme décider si un cache informatique est toujours frais, si une tâche de fond est terminée, ou si la session d'un utilisateur est trop ancienne pour être fiable. Le robot devait choisir entre des actions telles que « Réutiliser », « Attendre », « Rafraîchir » ou « Demander une confirmation ».

Les résultats sont un mélange de succès impressionnants et de limites claires. Lorsque le robot recevait le bon signal temporel caché, il donnait les bonnes réponses environ 93 % du temps. C'est un bond énorme par rapport aux 55 % obtenus lorsqu'il manquait le signal temporel ou que celui-ci était réglé sur zéro. Plus intéressant encore, lorsque les chercheurs ont mélangé les signaux temporels (donnant au robot le mauvais temps, comme lui dire que 5 minutes s'étaient écoulées alors qu'en réalité 2 heures s'étaient écoulées), la précision du robot est tombée à environ 33 %. Crucialement, le robot n'a pas simplement ignoré le mauvais temps ; il a réellement suivi le mauvais signal et a pris la mauvaise décision en conséquence. Cela prouve que le robot « écoutait » vraiment le signal caché et l'utilisait pour calculer sa réponse, plutôt que de simplement deviner.

Cependant, l'article prend grand soin de ne pas présenter cela comme une solution miracle. Les chercheurs ont constaté que, bien que l'astuce du temps caché fonctionne bien, ce n'était pas la meilleure façon de donner le temps au robot. Lorsqu'ils tapaient simplement l'heure dans le chat (comme un prompt normal) et entraînaient le robot sur cela, le robot l'obtenait correctement 99 % du temps. Ainsi, le signal caché n'est pas une « victoire » en termes de précision brute. Au contraire, sa valeur réside dans le fait qu'il s'agit d'un canal séparé et contrôlable. Cela permet à un système de tester la réaction du robot au temps sans que le temps ne soit visible dans le texte, ce qui pourrait être utile pour la sécurité ou pour tester comment le robot gère les informations contradictoires.

L'étude a également découvert où le cerveau du robot atteint un mur. Bien qu'il soit devenu très bon pour gérer de nouveaux modèles et différentes durées temporelles, il a eu du mal lorsqu'on lui a demandé d'appliquer ce qu'il avait appris à un type de tâche totalement nouveau (spécifiquement, une tâche de réinitialisation de « quota »). Il a réussi cela environ 50 % du temps, ce qui revient pratiquement à un pile ou face. Cela suggère que le robot a appris à suivre les règles pour les tâches spécifiques qu'il a vues, mais n'a pas pleinement compris le concept abstrait de « limites de temps » pour l'appliquer à des situations totalement nouvelles.

En fin de compte, l'article conclut que oui, on peut injecter avec succès le temps dans le cerveau figé d'un robot, et il utilisera ce murmure pour prendre des décisions. C'est une interface fonctionnelle et contrôlable. Mais cela ne signifie pas que le robot a développé son propre sens du temps, ni que cette méthode cachée est meilleure que de simplement dire l'heure au robot à voix haute. C'est un tour de main ingénieux pour permettre aux chercheurs d'étudier comment les robots traitent le temps, mais pour construire des systèmes du monde réel, l'ancienne méthode consistant à simplement écrire l'heure dans le prompt reste le champion le plus fiable. Les auteurs suggèrent que cette méthode est un excellent outil pour l'IA de défense et de sécurité, où vous pourriez vouloir contrôler le timing d'un robot sans exposer ce timing dans les journaux de texte, mais ils avertissent qu'il faut tout de même faire attention et vérifier les sources de temps, car si le signal secret est erroné, le robot fera avec assurance le mauvais choix.

Résumé Technique : ChronoState – Conditionnement de l'Élaps de Temps Caché pour la Sélection d'Actions Temporelles d'État

1. Énoncé du Problème

Les systèmes de modèles de langage (LM) déployés interagissent souvent avec des états externes où les décisions dépendent à la fois de l'état symbolique de la tâche (ex: « cache rempli », « travail démarré ») et du temps écoulé réel (ex: « il y a 5 minutes », « réinitialisation du quota demain »). Dans de nombreux scénarios, tels que les flux de travail de défense et de sécurité, l'écriture de horodatages explicites dans le prompt visible est sous-optimale ou risquée : cela peut divulguer la chronométrie du système, se mélanger à du texte non fiable ou être noyé dans de longs contextes.

La question de recherche centrale est de savoir si un modèle de langage à squelette gelé (frozen-backbone) peut utiliser un scalaire côté système, non-token, représentant le temps écoulé ( $\tau$ ) pour se composer avec l'état symbolique visible ( $s$ ) pour la sélection d'actions temporelles. L'article examine si ce temps « caché » (caché du flux de tokens mais accessible au calcul du modèle) peut piloter de manière déterministe des décisions sans exiger que le modèle suive le temps de manière autonome ou remplace les contrôleurs symboliques.

2. Méthodologie

2.1 Interface d'Injection Chronométrique (CI)

L'interface proposée, l'Injection Chronométrique, encode les secondes écoulées en un vecteur de caractéristiques continu et l'injecte dans le flux résiduel d'un squelette de LM gelé.

Encodage temporel : Le temps écoulé $\tau$ est mappé vers un vecteur de caractéristiques fixe de 31 dimensions $\chi(\tau)$ en utilisant un encodage sinusoïdal plus logarithmique :
$\chi(\tau) = [\sin(\tau/T_1), \cos(\tau/T_1), \dots, \sin(\tau/T_{15}), \cos(\tau/T_{15}), \log(1 + \tau)]^\top$
où $T_k$ sont des diviseurs spécifiques allant de 2 à 604 800 secondes.
Modulation : Le vecteur de temps encodé module les états cachés résiduels $h_\ell$ à la couche de transformateur $\ell$ via une modulation linéaire par caractéristiques (FiLM) à porte (gated FiLM) :
$h'_\ell = h_\ell + \alpha_\ell \odot (\gamma_\ell \odot h_\ell + \beta_\ell)$
Ici, $\gamma_\ell$ et $\beta_\ell$ sont des transformations affines de $\chi(\tau)$ , et $\alpha_\ell$ est une porte apprise par canal.
Initialisation : Les projecteurs de conditionnement sont initialisés à zéro ( $\alpha_\ell=0$ , poids=0, biais=1 pour l'échelle) afin qu'au début de l'entraînement, le modèle se comporte exactement comme le squelette gelé, évitant ainsi des changements brusques de distribution.
Adaptation : Une surface LoRA de rang 8 est appliquée aux projections d'attention et à la tête du modèle de langage pour apprendre la politique de sélection d'actions sur les états modulés. Les paramètres du squelette restent gelés.

2.2 Le Benchmark ChronoState

ChronoState est un benchmark à choix forcé conçu pour évaluer le raisonnement d'état temporel.

Tâche : Étant donné un prompt visible décrivant l'état symbolique $s$ et un scalaire caché $\tau$ , le modèle doit sélectionner une action parmi un ensemble fini : $\{ \text{RÉUTILISER, ATTENDRE, RÉCUPÉRER, RAFRAÎCHIR, ATTENTE QUOTA, ÉCHÉANCE MANQUÉE, DEMANDER CONFIRMATION} \}$ .
Familles : Le benchmark couvre six familles : Cache (TTL), Travail (durée), Échéance (marge), Quota (réinitialisation), Obsolescence (âge de la session) et Multi-contraintes (composition de priorité).
Oracle : Une politique déterministe $\pi(s, \tau)$ génère l'étiquette de référence basée sur des règles strictes (ex: si $\tau \ge \text{TTL}$ , alors RAFRAÎCHIR).
Splits : Le jeu de données inclut des ensembles de test standards et des divisions tenues à l'écart pour les templates, les durées (interpolation), les compositions (multi-contraintes) et les familles (quota pur, qui est exclu de l'entraînement).

2.3 Contrôles Expérimentaux

Pour établir la dépendance causale vis-à-vis du scalaire caché, l'étude utilise plusieurs contrôles :

No-time (Pas de temps) : $\tau$ est défini à zéro.
Shuffled-time (Temps mélangé) : $\tau$ est remplacé par le scalaire d'un autre exemple (en conservant l'étiquette originale).
Prompt Timestamp (Horodatage du prompt) : Le temps est écrit sous forme de texte dans le prompt (temps caché $\tau=0$ ).
Conflict (Conflit) : Le texte visible et le scalaire caché sont en désaccord.
Baselines (Références) : Comprend LoRA-only (pas de canal temporel), Vanilla (pas de LoRA), et Prompt+LoRA (entraîné sur des horodatages textuels).

3. Résultats Clés

3.1 Performance sur les Tâches Standards

En utilisant Qwen2.5-3B-Instruct comme squelette gelé :

CI de temps caché : A atteint une précision de 0,9305 ± 0,0134 et une précision équilibrée de 0,9410 ± 0,0103 sur le test standard.
Baseline Prompt+LoRA : A surpassé l'approche par temps caché avec 0,9893 ± 0,0052 de précision.
Contrôle No-Time : La précision est tombée à 0,5511, indiquant que le modèle dépend du scalaire temporel.
Contrôle Shuffled-Time : La précision est tombée à 0,3323, avec une forte Cohérence de l'État Erroné (WSC) (~0,91). Cela confirme que le modèle recompute causalement les actions basées sur le scalaire injecté, même lorsque le scalaire est incorrect.

3.2 Généralisation et Limites

Forte Généralisation : Le modèle s'est bien généralisé aux templates tenus à l'écart (0,9357), aux durées (0,8375) et aux compositions multi-contraintes (0,8652).
Faible Transfert : La performance s'est effondrée sur la famille de quota pure tenue à l'écart (0,5065). Bien que la logique de quota apparaisse dans les exemples d'entraînement multi-contraintes, le modèle n'a pas réussi à abstraire le prédicat de quota pur lorsqu'il était isolé.
Gestion des Conflits : Dans les scénarios de conflit, le modèle a fortement suivi le scalaire caché (suivi du scalaire ~0,90) plutôt que le texte visible, démontant la dominance du canal caché mais un manque de gestion sécurisée du désaccord.

3.3 Diagnostics Linéaires

Des modèles linéaires utilisant des caractéristiques d'état ingénierées plus l'encodage temporel ( $\chi(\tau) + s$ ) ont atteint une haute performance (ex: 0,9230 sur les tests standards), prouvant que la tâche est soluble avec des caractéristiques explicites. Le modèle neural a capturé une grande partie de cette structure mais n'a pas réussi à égaler la performance du baseline linéaire sur le split du quota pur.

4. Revendications et Signification

L'article fait une revendication étroite et intentionnelle :

Faisabilité : Un scalaire de temps écoulé caché et non-token peut être composé causalement avec un état symbolique visible dans un squelette de LM gelé pour sélectionner des actions temporelles sous supervision directe.
Utilité de l'Interface : L'interface d'Injection Chronométrique fournit un canal côté système contrôlable, qui peut être mis à zéro, mélangé ou mis en conflit avec le texte visible, ce qui en fait un objet de recherche précieux pour l'étude des interfaces d'état système.
Absence de Supériorité : L'article ne prétend pas explicitement que le conditionnement par temps caché est supérieur aux horodatages par prompt (la baseline Prompt+LoRA est plus forte).
Pas de Suivi Autonome : Le modèle ne possède pas de perception temporelle autonome ; il dépend entièrement du scalaire fourni de l'extérieur. Si le scalaire est faux, le modèle produit des actions fausses.
Pas d'Abstraction Large : L'échec sur la famille de quota pure tenue à l'écart indique que le modèle n'atteint pas une abstraction large pour tous les types de prédicats non vus.

Conclusion : ChronoState valide un motif architectural spécifique pour le support de décision conscient du temps dans des environnements sécurisés ou contraints où le temps doit influencer le routage sans entrer dans le flux de tokens visible. Il sert de benchmark et de protocole d'évaluation pour le conditionnement par temps caché, plutôt que de démonstration d'intelligence temporelle générale ou de remplacement des contrôleurs symboliques déterministes.