💬 NLP

Your LLM Agents are Temporally Blind: The Misalignment Between Tool Use Decisions and Human Time Perception

Ce papier identifie la « cécité temporelle » des agents LLM, qui ignorent le temps écoulé entre les messages, et propose la création du jeu de données TicToc ainsi que des techniques d'alignement post-entraînement pour améliorer la concordance de leurs décisions d'utilisation d'outils avec la perception humaine du temps.

Auteurs originaux : Yize Cheng, Arshia Soltani Moakhar, Chenrui Fan, Parsa Hosseini, Kazem Faghih, Zahra Sodagar, Wenxiao Wang, Soheil Feizi

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yize Cheng, Arshia Soltani Moakhar, Chenrui Fan, Parsa Hosseini, Kazem Faghih, Zahra Sodagar, Wenxiao Wang, Soheil Feizi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕰️ Le Problème : Les Agents IA sont "Aveugles au Temps"

Imaginez que vous engagez un assistant virtuel très intelligent, capable de consulter des horaires de train, de vérifier la météo ou de réserver un restaurant. C'est ce qu'on appelle un Agent LLM (un modèle de langage).

Le problème découvert par les chercheurs est que cet assistant a un défaut majeur : il est aveugle au temps qui passe.

Pour un humain, le temps est une évidence. Si vous demandez "Quelle est la météo ?" à 8h00, et que votre ami vous pose la même question à 16h00, vous savez instinctivement qu'il faut vérifier à nouveau. La météo a changé.

Mais pour l'IA, le temps n'existe pas vraiment. Elle voit une conversation comme une suite de blocs de texte statiques. Elle ne "ressent" pas l'écoulement des heures entre deux messages.

🌊 Deux Types d'Erreurs (La Métaphore du Surfeur)

L'article utilise l'exemple du surf pour illustrer deux façons dont l'IA se trompe à cause de cette "cécité temporelle" :

La Sur-confiance (Over-reliance) : "L'IA qui ignore la marée"
- Scénario : À 8h00, l'IA regarde la mer et dit : "C'est parfait pour le surf !"
- Le problème : À 16h00, l'utilisateur demande à nouveau si c'est bon pour le surf. L'IA, aveugle au fait qu'il s'est écoulé 8 heures, répond : "Oui, c'est toujours parfait !"
- La réalité : La marée a changé, il y a peut-être une tempête. L'IA a utilisé une information périmée (comme si elle lisait un vieux journal de la semaine dernière pour décider de son dîner d'aujourd'hui).
La Sous-confiance (Under-reliance) : "L'IA paranoïaque"
- Scénario : À 8h00, l'IA vérifie le rayon de la Terre (une information qui ne change jamais).
- Le problème : À 8h02, l'utilisateur demande à nouveau le rayon de la Terre. L'IA, ne sachant pas que cette info est stable, pense : "Oh non, ça a peut-être changé ! Je vais appeler mon outil de recherche pour vérifier."
- La réalité : C'est une perte de temps et d'énergie. L'IA fait un travail inutile pour une information qui est stable (comme vérifier si 2+2 fait toujours 4).

📊 L'Expérience : Le Jeu de "TicToc"

Pour prouver ce problème, les chercheurs ont créé un jeu appelé TicToc (un clin d'œil à la montre).

Le terrain de jeu : Ils ont créé 1 800 conversations fictives dans 76 situations différentes (météo, stocks, trains, etc.).
Le test : Ils ont injecté des horodatages précis (ex: "Il s'est écoulé 3 minutes" vs "Il s'est écoulé 3 jours").
La question : Devant un humain, on sait quand il faut vérifier à nouveau et quand on peut se fier à l'ancien souvenir. Devant l'IA ?

Le résultat est décevant : Même en donnant l'heure exacte à l'IA, les meilleurs modèles ne réussissent qu'à 65% à prendre la bonne décision (comme un élève qui a du mal à appliquer une règle de base). Sans l'heure, ils font à peu près n'importe quoi (comme un tirage au sort).

🧠 Pourquoi l'IA échoue-t-elle ?

Les chercheurs ont regardé "dans la tête" de l'IA (son processus de réflexion) et ont trouvé deux causes principales :

Elle oublie l'heure : Même quand on lui donne l'heure, elle l'ignore souvent dans son raisonnement interne. C'est comme si un cuisinier avait un minuteur sur la table, mais qu'il cuisait toujours le steak pendant 10 minutes, peu importe si le minuteur sonne à 2 minutes.
Elle confond "longue conversation" avec "vieille info" : Plus la conversation est longue (beaucoup de messages), plus l'IA a tendance à penser qu'il faut tout re-vérifier, même si le temps réel écoulé est court. Elle utilise le nombre de mots comme indicateur de temps, ce qui est faux.

💡 La Solution : L'Entraînement Spécial

L'article teste deux méthodes pour corriger ce défaut :

Le "Prompting" (Les instructions) : On essaie de dire à l'IA : "N'oublie pas le temps qui passe !".
- Résultat : Ça ne marche presque pas. C'est comme dire à quelqu'un qui a le vertige de "ne pas avoir peur". L'IA ne comprend pas vraiment le concept.
Le "Post-entraînement" (L'éducation) : On prend l'IA et on la fait réviser avec des exemples précis de ce qu'un humain ferait dans ces situations (quand il faut vérifier, quand non).
- Résultat : C'est la clé ! Après cet entraînement ciblé, l'IA s'améliore massivement. Elle apprend enfin à "sentir" le temps comme un humain.

🎯 Conclusion en une phrase

Les agents IA actuels sont comme des voyageurs qui regardent une carte, mais qui ont oublié de regarder leur montre : ils peuvent être très intelligents, mais ils prennent des décisions basées sur un monde qui n'existe plus. Pour qu'ils soient vraiment utiles, il faut les éduquer spécifiquement pour qu'ils comprennent que le temps change tout.

1. Problématique : L'Aveuglement Temporel (Temporal Blindness)

Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus utilisés pour exécuter des tâches dynamiques en interagissant avec des outils externes (moteurs de recherche, bases de données, API). Cependant, l'article identifie une limitation critique souvent négligée : l'aveuglement temporel.

Définition : Par défaut, les agents LLM supposent un contexte statique. Ils ne parviennent pas à intégrer le temps réel écoulé entre les messages de l'utilisateur et les actions de l'agent dans leur processus de décision.
Conséquences : Ce manque de perception temporelle entraîne deux types d'erreurs majeures :
1. Sur-reliance (Over-reliance) : L'agent s'appuie sur un contexte obsolète et saute un appel d'outil nécessaire, produisant des réponses erronées (ex: donner des conditions de surf périmées après plusieurs heures).
2. Sous-reliance (Under-reliance) : L'agent manque de confiance dans un contexte stable et effectue des appels d'outils redondants, gaspillant des ressources et augmentant la latence (ex: vérifier à nouveau les horaires d'un bus qui ne changent pas).
Le Défi : Même lorsque des informations temporelles explicites (horodatages) sont fournies, les agents actuels échouent à aligner leurs décisions d'appel d'outils avec les préférences humaines concernant l'écoulement du temps.

2. Méthodologie et Dataset : TicToc

Pour étudier systématiquement ce problème, les auteurs ont créé TicToc (Time-aware conversational Tool-calling), un dataset diversifié conçu pour évaluer l'alignement des décisions d'outils avec la perception humaine du temps.

Structure du Dataset :
- 1864 trajectoires de conversations multi-tours (utilisateur-agent) générées synthétiquement.
- 76 scénarios distincts couvrant trois niveaux de sensibilité temporelle :
  - Faible sensibilité (29) : Informations statiques (règlements, spécifications).
  - Sensibilité moyenne (25) : Changements occasionnels (réservations, prévisions météo).
  - Haute sensibilité (22) : Environnements dynamiques rapides (marchés boursiers, trafic en temps réel).
- Variations temporelles : Chaque trajectoire est générée avec trois versions de l'intervalle de temps ( $\Delta t$ ) avant la dernière question de l'utilisateur (Petit, Moyen, Grand), adaptés à la sensibilité du scénario.
Collecte des préférences humaines :
- Pour chaque échantillon, des annotateurs humains ont jugé si l'agent devait appeler un outil (pour obtenir des informations à jour) ou répondre directement (en utilisant le contexte existant).
- Les annotations ont été agrégées pour créer une préférence de référence (Direct vs Tool).
Évaluation :
- Métrique principale : Taux d'alignement normalisé (NAR - Normalized Alignment Rate), mesurant la concordance entre la décision du modèle et la préférence humaine. Un score de 50 % équivaut à un tirage aléatoire.
- Modèles testés : 18 modèles LLM (propriétaires comme GPT-4o, o3, et open-weight comme Qwen, Llama, Ministral).
- Conditions : Évaluation avec et sans horodatages explicites dans le prompt.

3. Résultats Clés

Les expériences révèlent un désalignement significatif entre les agents actuels et la perception humaine du temps :

Performance Globale Faible :
- Sans informations temporelles, les modèles performent à peine mieux que le hasard (NAR ~55 %).
- Même avec des horodatages explicites, aucun modèle n'atteint un NAR supérieur à 65 %. Les modèles les plus avancés (GPT-4.1, o3) montrent une amélioration modeste, mais restent loin de l'alignement idéal.
Biais d'Essai (Attempt Rate) :
- L'ajout d'horodatages ne corrige pas le comportement : la plupart des modèles augmentent leur taux d'appel d'outils pour tous les cas (qu'il faille appeler ou non), indiquant une incapacité à utiliser l'information temporelle pour filtrer les appels inutiles.
Impact de la Longueur de Conversation :
- Il existe une corrélation positive entre la longueur de la conversation (nombre de tours) et la fréquence des appels d'outils. Les modèles semblent utiliser le nombre de tours comme un indicateur de "vieillissement" de l'information plutôt que de se fier aux timestamps explicites.
Rôle du Raisonnement (Chain-of-Thought) :
- L'activation du mode de raisonnement (CoT) n'améliore pas significativement l'alignement.
- Analyse des traces : Les modèles omettent fréquemment les horodatages dans leurs raisonnements internes (< 4 % des traces).
- Incohérences Pensée-Réponse : Une grande partie des erreurs (Faux Positifs) provient de modèles qui raisonnent correctement (concluant qu'un appel n'est pas nécessaire) mais qui finissent par appeler l'outil dans la réponse finale (mismatch "Think-Answer").
Efficacité des Stratégies d'Alignement :
- Prompting : Les rappels généraux ou les exemples few-shot ont un impact limité, sauf pour les modèles de raisonnement les plus avancés (o3, o4-mini).
- Post-entraînement (DPO) : L'application de l'optimisation directe des préférences (DPO) sur un sous-ensemble de TicToc a permis des gains massifs d'alignement (NAR augmentant considérablement), démontrant que l'alignement temporel nécessite un apprentissage ciblé plutôt que de simples ajustements de prompt.

4. Contributions Principales

Identification de l'Aveuglement Temporel : Mise en lumière d'une limitation critique des agents LLM dans les interactions multi-tours, où ils échouent à gérer la dynamique temporelle du monde réel.
Dataset TicToc : Introduction d'une ressource standardisée de 1800+ trajectoires couvrant divers scénarios et sensibilités temporelles, avec des préférences humaines annotées pour l'évaluation.
Analyse Empirique et Diagnostic : Démonstration que les modèles actuels, même avec des indices temporels, ne s'alignent pas bien avec les humains, et identification des causes (oubli des timestamps dans le raisonnement, incohérences décisionnelles).
Validation du Post-entraînement : Preuve que le fine-tuning ciblé (via DPO) est une voie viable et nécessaire pour corriger ce désalignement, surpassant largement les méthodes basées uniquement sur le prompting.

5. Signification et Perspectives

Cet article établit que la "conscience du temps" est une compétence fondamentale manquante pour les agents LLM fiables dans des environnements dynamiques. Sans cette capacité, les agents risquent soit de fournir des informations obsolètes (dangereux pour la sécurité ou la précision), soit d'être inefficaces (latence et coûts élevés).

Les résultats suggèrent que l'alignement des agents avec les attentes humaines ne se limite pas à la compréhension du langage ou à la précision des outils, mais inclut une compréhension contextuelle du temps. L'étude ouvre la voie au développement d'agents plus robustes, capables de décider intelligemment quand utiliser un outil en fonction de l'écoulement du temps, un pas essentiel vers des assistants IA véritablement autonomes et fiables.