🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

Ce papier présente le Processus d'Engagement (PE), un nouveau formalisme d'interaction qui découple les actions et les observations en flux d'événements continus pour modéliser explicitement des dynamiques temporelles complexes telles que la latence de délibération et les retours différés, surmontant ainsi les limites des interfaces à pas fixes traditionnelles dans les scénarios à agent unique et multi-systèmes.

Auteurs originaux : Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de gérer une cuisine animée tout en donnant un cours particulier à un élève par vidéoconférence. Dans l'ancienne façon de concevoir le fonctionnement des ordinateurs (ou des « agents »), le processus ressemble à un jeu strict et rigide de « tour de rôle ».

L'ancienne méthode : Le jeu « Stop-and-Go »
Dans le modèle traditionnel (appelé POMDP), l'agent doit tout arrêter pour réfléchir, faire un mouvement, attendre le résultat, et ensuite réfléchir à nouveau.

Le problème : La vie réelle n'est pas comme ça. Pendant que vous faites mijoter un ragoût (une action qui prend du temps), le minuteur peut sonner (une observation). Pendant que vous rédigez un long courriel (réflexion), un nouveau message urgent peut apparaître.
Le défaut : Si l'ordinateur est forcé d'attendre que le courriel soit entièrement rédigé avant de pouvoir « voir » le nouveau message, ce dernier pourrait devenir obsolète ou manquer une échéance. C'est comme essayer de conduire une voiture où vous ne pouvez regarder la route que lorsque la voiture est complètement à l'arrêt.

La nouvelle idée : Le « Processus d'Engagement » (EP)
Les auteurs de cet article proposent une nouvelle façon de décrire comment un agent interagit avec le monde, qu'ils appellent le Processus d'Engagement (EP).

Pensez à l'EP non pas comme un jeu de tours, mais comme deux canaux radio distincts s'écoulant sur la même chronologie :

Le canal d'action : C'est l'agent qui émet des commandes (comme « commencer à cuisiner », « appeler cet outil » ou « écrire cette phrase »). Ces actions prennent du temps pour se dérouler.
Le canal d'observation : C'est le monde qui renvoie des informations (comme « le minuteur a sonné », « l'outil a terminé » ou « un nouveau courriel est arrivé »). Ces messages peuvent arriver à n'importe quel moment, même pendant que l'agent est encore occupé par la première action.

Analogies créatives pour expliquer le concept

Le chef d'orchestre vs Le soliste :
- Ancienne méthode : Le chef d'orchestre (l'agent) lève son bâton, attend que tout l'orchestre joue une note, s'arrête, écoute, puis lève le bâton pour la note suivante. Si un violoniste tousse soudainement (une observation) pendant la note, le chef ne l'entend pas avant le prochain « tour ».
- Méthode EP : Le chef d'orchestre dirige une pièce de musique fluide. Le violoniste tousse pendant que la musique joue. Le chef l'entend immédiatement et peut ajuster le tempo ou le volume sur-le-champ, sans arrêter la musique. L'« action » (diriger) et l'« observation » (entendre la toux) se produisent simultanément sur la même chronologie.
Le chef occupé :
- Ancienne méthode : Un chef met une casserole sur le feu puis s'assoit sur une chaise, fixant le mur, attendant que l'eau bouille avant de pouvoir faire quoi que ce soit d'autre. Si le téléphone sonne, il ne peut pas répondre tant que l'eau ne bout pas.
- Méthode EP : Le chef met la casserole sur le feu (une action qui prend du temps). Pendant que l'eau chauffe, le téléphone sonne (une observation). Le chef l'entend, répond, puis retourne vérifier la casserole. La « cuisson » et l'« appel téléphonique » se chevauchent.

Ce que l'article a réellement découvert

Les auteurs ont testé cette idée de trois manières différentes pour voir si cela aide réellement :

Le test du « temps de réflexion » (expériences simplifiées) :
Ils ont créé un jeu où un agent devait décider combien de temps réfléchir avant de répondre.
- Résultat : Les anciens agents « Stop-and-Go » étaient bloqués. Ils réfléchissaient trop longtemps car, dans leur entraînement, la réflexion ne coûtait aucun temps. Ils continuaient à choisir l'option « la plus lente et la plus précise » et manquaient le temps imparti.
- Résultat EP : Les agents EP ont appris que la réflexion prend du temps. Ils ont appris à arrêter de réfléchir plus tôt si l'échéance était serrée, équilibrant bien mieux rapidité et précision.
Le test de « l'assistant occupé » (expériences avec des LLM) :
Ils ont simulé un assistant numérique essayant de rédiger un long rapport tandis que des courriels continuaient d'arriver.
- Résultat : Les anciens agents (qui ne vérifiaient les courriels qu'à la fin d'un paragraphe) manquaient de nombreux courriels urgents ou répondaient trop tard.
- Résultat EP : Les agents EP pouvaient mettre leur rédaction en pause, traiter le courriel urgent, puis reprendre l'écriture exactement là où ils s'étaient arrêtés. Ils manquaient beaucoup moins d'échéances et répondaient plus vite.
Le test du « robot en cuisine » (expériences incarnées) :
Ils ont simulé un robot essayant de donner un cours particulier à un élève tout en cuisinant plusieurs plats nécessitant une attention à des moments différents.
- Résultat : Les anciens agents étaient trop rigides. Si un plat était prêt à être sorti du four, le robot l'ignorait jusqu'à ce qu'il ait terminé la phrase de tutorat en cours.
- Résultat EP : L'agent EP pouvait voir le signal du « minuteur du four » pendant qu'il parlait, décider de mettre le tutorat en pause, sortir le plat, puis reprendre la leçon. Cela sauvait la nourriture et maintenait le tutorat en cours.
Le test de « l'apprentissage pour gagner du temps » :
Ils ont entraîné une IA à résoudre des problèmes de mathématiques avec une limite stricte sur le nombre de mots (tokens) qu'elle pouvait utiliser.
- Résultat : L'entraînement standard rendait l'IA plus intelligente en mathématiques, mais elle n'apprenait pas à être concise. Elle utilisait trop de mots même lorsqu'on lui demandait d'être rapide.
- Résultat EP : L'IA entraînée par EP apprenait à « parler » différemment selon la limite de temps. Si elle avait peu de temps, elle donnait des réponses courtes et directes. Si elle avait plus de temps, elle expliquait davantage. Elle apprenait à adapter sa « vitesse de réflexion » à la situation.

La conclusion

L'article soutient que nous devons arrêter de traiter le temps comme un détail caché dans la façon dont nous construisons l'IA. Au lieu de cela, nous devrions construire un système où les actions et les observations sont des flux d'événements distincts qui peuvent se produire en même temps.

En faisant cela, les agents IA deviennent plus comme les humains : ils peuvent effectuer plusieurs tâches simultanément, gérer les interruptions et prendre de meilleures décisions lorsque le temps presse, plutôt que de rester coincés dans un cycle rigide de « réfléchir, agir, attendre, réfléchir, agir, attendre ».

Résumé technique : Processus d'Engagement (EP)

Énoncé du problème

Les récents progrès des modèles de langage de grande taille (LLM), de l'intelligence incarnée et des agents augmentés par des outils ont permis une opération dans des environnements numériques et physiques de plus en plus réalistes. Cependant, un décalage fondamental existe entre la structure temporelle des actions et des observations dans ces contextes. Les formalismes d'interaction traditionnels, tels que les processus de décision de Markov partiellement observables (POMDP), reposent sur des époques de décision fixes où une observation est appariée à une action instantanée unique. En réalité, les agents font souvent face à :

Problèmes de temporisation côté action : Latence de délibération (par exemple, temps de raisonnement des LLM), actions persistantes (par exemple, commandes de navigation) et appels d'outils avec des résultats différés.
Problèmes de temporisation côté observation : Arrivées asynchrones ou espacées de messages, d'alarmes et de réponses d'outils, parallèlement à des retours de capteurs continus ou multi-débit.

Les approches actuelles traitent souvent ces phénomènes temporels comme des détails d'implémentation ou les gèrent via des correctifs externes (par exemple, intervalles de sondage fixes ou règles d'interruption conçues à la main). Cela obscurcit la structure temporelle nécessaire pour que les agents adaptent leur comportement aux coûts temporels explicites, conduisant à des politiques sous-optimales qui peuvent trop délibérer, manquer des événements urgents ou échouer à interrompre efficacement les processus en cours.

Méthodologie : Le Processus d'Engagement (EP)

Les auteurs proposent le Processus d'Engagement (EP), un nouveau formalisme d'interaction qui hérite de la structure décisionnelle des POMDP mais repense fondamentalement l'interface temporelle.

Définition de base

Un EP est défini sur une séquence discrète de ticks $T = \{0, 1, 2, \dots\}$ (extensible au temps continu) et spécifié par $E = (S, A, Y, F, O, U)$ :

État ( $S$ ) : Résume l'environnement, les processus en cours et les conditions d'interface. Il peut encoder les effets persistants des actions et l'accès aux observations dépendant de l'état.
Actions en tant qu'interventions : Contrairement aux POMDP standards où une action est un contrôle par défaut à chaque tick, l'EP traite les actions comme des interventions temporelles. L'agent sélectionne un ensemble d'interventions $A_t \subseteq A$ (qui peut être vide ou contenir plusieurs actions atomiques simultanées).
Observations en tant qu'événements : Les observations sont générées à partir du processus d'état sous forme d'événements d'information $Y_t \subseteq Y$ , indépendamment des étapes de décision. Elles peuvent arriver de manière asynchrone, être vides ou contenir plusieurs événements.
Dynamique : L'état évolue selon $s_{t+1} \sim F(\cdot | s_t, A_t)$ . Crucialement, le système évolue même lorsque $A_t = \emptyset$ , permettant la modélisation de processus persistants.
Utilité : L'utilité instantanée $u_t$ peut représenter les récompenses de tâche ainsi que les coûts pour l'exécution d'actions, la perception, les interruptions et le temps de délibération.

Distinctions clés

Découplage : L'EP sépare le processus de décision interne de l'agent de la temporisation externe des observations et des interventions. L'agent maintient un état d'information $w_t$ basé sur l'historique des ensembles d'interventions et des ensembles d'événements d'observation, lui permettant de suivre les calculs en attente, les appels d'outils et les délais.
Réutilisation compositionnelle : L'interface prend en charge l'organisation hiérarchique. Les sous-systèmes au sein d'un agent peuvent être modélisés eux-mêmes comme des processus de type EP, où les appels de module sont des interventions et les messages retournés des observations, le tout partageant la même interface abstraite.
Relation avec les modèles existants :
- POMDP : Récupérés comme un cas spécial synchronisé où chaque tick a exactement une action et une observation.
- SMDP/Options : Représentés comme des EP restreints où les interventions créent des composants « actifs » dans l'état, mais l'EP permet aux observations d'entrer dans l'interface pendant l'exécution de ces options, et non seulement à la terminaison.

Contributions clés

Interface temporelle explicite : L'EP fournit un langage unifié pour les phénomènes temporels (latence de délibération, retours différés, actions persistantes, interruptions, observations multi-débit) qui sont souvent traités séparément ou cachés dans la conception de l'état.
Séparation des préoccupations : Il découple l'interface externe action-observation de l'organisation interne de l'agent, permettant à des composants opérant à différentes fréquences (par exemple, planificateurs de haut niveau vs contrôleurs de bas niveau) de coordonner sur une chronologie partagée.
Formalisme unifié : Il offre une interface homogène pour l'interaction agent-environnement et l'interaction interne module-module, facilitant la conception compositionnelle sans nécessiter d'interfaces séparées pour chaque frontière.

Résultats expérimentaux

Les auteurs évaluent l'EP dans trois contextes :

1. Expériences simplifiées

Délibération consciente de l'urgence : Dans des tâches où la précision du raisonnement s'améliore avec le temps mais consomme un délai, les politiques entraînées par EP apprennent à équilibrer la profondeur de calcul face à l'urgence. En revanche, les politiques entraînées par étapes (qui traitent la délibération comme instantanée) abusent du mode le plus lent et le plus précis, entraînant des taux d'expiration élevés (79,0 % contre 0,0 % pour l'EP dans des configurations à tâche unique).
Patrouille hiérarchique avec interruptions : Dans une tâche de patrouille avec des alarmes asynchrones, l'EP permet à l'agent d'interrompre immédiatement les routines de navigation ou de traitement en cours dès l'arrivée d'une alarme.
- Niveau module : L'EP résout 90,9 % des alarmes contre 51,5 % pour une base de référence qui ne décide qu'aux frontières des modules.
- Niveau état : L'EP surpasse les correctifs manuscrits et les bases de référence basées sur les frontières en apprenant les compromis entre l'urgence, la distance, l'avancement de la phase et les coûts d'interruption, atteignant des retours significativement plus élevés et des taux d'expiration plus faibles.

2. Expériences basées sur les LLM

Assistant numérique (emails asynchrones) : Un agent doit accomplir une tâche principale tout en gérant des emails sensibles au temps.
- EP traite la génération de la tâche principale comme une action interruptible, permettant à l'agent de trier les emails à mesure qu'ils arrivent.
- Bases de référence : AgentLoop (synchronisé) manque de nombreuses échéances ; Periodic Poll s'améliore mais est limité par des intervalles fixes.
- Résultat : L'EP atteint la plus haute utilité et des scores équilibrés, réduisant les taux d'expiration des emails d'environ 40 % par rapport à AgentLoop et réduisant la latence de première réponse de près de moitié.
Planification incarnée : Un agent coordonne des processus de tutorat et de cuisine.
- EP expose immédiatement les signaux de cuisine pendant le tutorat, permettant à l'agent de décider d'interrompre, de différer ou de continuer.
- Résultat : L'EP atteint la plus haute utilité et les taux de réussite des plats critiques, surpassant les bases de référence basées sur le sondage et les réflexes côté moteur, en particulier dans les scénarios multi-plats avec des échéances qui se chevauchent.

3. Entraînement de LLM conscient du temps

Les auteurs ont entraîné des modèles de raisonnement (Qwen3-8B) sur des problèmes de mathématiques avec des budgets de tokens explicites et des instructions d'urgence.
Entraînement conscient de l'EP : Des récompenses sont accordées uniquement si la réponse est correcte et dans le budget de tokens.
Résultat : Les modèles conscients de l'EP apprennent à adapter la longueur de génération au budget (par exemple, générant ~420 tokens pour un budget de 1k contre ~1400 pour un budget de 8k). En revanche, les modèles RL basés uniquement sur la justesse (RLVR) améliorent la précision mais ne respectent pas les budgets, générant souvent beaucoup plus de tokens que autorisé.

Importance et affirmations

L'article affirme que le Processus d'Engagement ne cherche pas une expressivité d'espace d'états supérieure aux POMDP augmentés. Au contraire, sa contribution principale est une interface temporelle explicite qui découple les actions et les observations sur une chronologie partagée.

Portée modeste : L'EP est présenté comme un formalisme d'interaction, et non comme une architecture d'agent spécifique ou un algorithme d'apprentissage. Il laisse la gestion de la mémoire, la planification et l'apprentissage de politiques aux systèmes construits dessus.
Valeur centrale : En rendant le temps explicite à l'interface, l'EP expose des structures temporelles (comme la latence de délibération et les retours asynchrones) qui sont souvent cachées dans les formulations standard basées sur des étapes. Cela permet aux agents de s'adapter aux coûts temporels explicites, de gérer les interruptions de manière plus flexible et de composer des sous-systèmes avec des dynamiques temporelles hétérogènes sans dépendre de correctifs externes ou de calendriers de sondage rigides.
Travaux futurs : Les auteurs suggèrent que les directions futures incluent des architectures conscientes de l'EP, des formulations de temps continu plus riches et des évaluations à plus grande échelle dans des contextes incarnés, hiérarchiques et multi-agents.