🤖 AI

Unified Agent: Managing Interactions across Devices

Le document présente « Unified Agent », un système à état qui gère efficacement les interactions inter-appareils et inter-temporelles en maintenant un état compact et prêt à l'action, démontrant une performance supérieure et robuste par rapport aux conceptions d'agents existantes grâce à un benchmark nouvellement construit.

Auteurs originaux : Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen

Publié 2026-08-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le chef d'un orchestre très occupé et très intelligent. Dans cet orchestre, les musiciens ne se contentent pas de jouer d'instruments ; ils sont votre téléphone, votre ordinateur portable, votre tablette et même un aspirateur robot. C'est le monde des agents IA — des programmes informatiques qui ne se contentent pas de répondre à des questions, mais qui font réellement des choses pour vous, comme réserver une table ou envoyer un message.

D'habitude, ces agents sont comme des musiciens qui n'entendent que la personne debout juste devant eux. Si vous murmurez une requête à votre téléphone, l'agent sur votre ordinateur portable n'en a aucune idée. Mais et si vous vouliez un agent qui agisse comme un véritable chef d'orchestre, écoutant toute la salle et se souvenant de ce que vous avez fait sur votre téléphone il y a dix minutes, même si vous tenez maintenant votre tablette ? C'est le défi de l'interaction multi-appareils. La grande question est : comment apprendre à une IA à se souvenir de l'« histoire » de votre journée à travers tous vos gadgets sans être submergée par trop d'informations ? Si l'IA oublie quel appareil vous utilisiez, elle pourrait demander : « Quel téléphone était-ce ? » au lieu de simplement accomplir la tâche. Ce document explore comment construire un agent qui conserve une mémoire parfaite et compacte de vos interactions afin qu'il puisse agir de manière fluide, peu importe l'appareil que vous saisirez ensuite.

Le Problème : L'Agent « Amnésique »

Imaginez ceci : vous cherchez un nouveau restaurant. Vous parcourez des menus sur votre téléphone, puis vous passez sur votre ordinateur portable pour lire des avis, et enfin vous vérifiez l'emplacement sur votre tablette. Plus tard, vous vous asseyez avec votre téléphone et dites : « Réserve une table dans le restaurant que je regardais tout à l'heure. »

Si vous parlez à un agent IA standard aujourd'hui, il pourrait paniquer. Il ne voit que votre téléphone en ce moment même. Il ne sait pas que vous regardiez un restaurant sur votre ordinateur portable il y a cinq minutes. Il pourrait demander : « Sur quel appareil étiez-vous ? » ou « Quel restaurant ? ». C'est comme un serveur qui se souvient de la commande que vous venez de passer, mais qui a oublié tout ce que vous avez dit en entrant dans le restaurant.

Les auteurs de ce document soutiennent que les systèmes d'IA actuels sont dépourvus d'un ingrédient crucial : un état porté compact. La plupart des agents essaient soit de tout se souvenir (ce qui est trop lourd et lent), soit ils oublient tout une fois le moment passé. Ils ont besoin d'un moyen de porter un « sac à dos » contenant juste la bonne quantité d'informations — assez pour se souvenir de ce que vous faisiez, mais assez léger pour se déplacer rapidement.

La Solution : L'« Agent Unifié »

Les chercheurs ont construit un nouveau type d'IA appelé l'Agent Unifié. Voyez cet agent comme un assistant personnel super organisé qui porte un carnet de notes spécial.

Au lieu d'essayer de se souvenir de chaque mot que vous avez jamais dit ou de chaque écran que vous avez regardé, ce carnet ne note que trois choses spécifiques :

Preuve d'engagement : « Qui l'utilisateur touchait-il ? Quel appareil a-t-il regardé le plus longtemps ? » (ex : « L'utilisateur a passé 5 minutes sur le téléphone. »)
Faits énoncés : « Quels faits l'utilisateur a-t-il mentionnés ? » (ex : « Ils ont mentionné une heure précise pour le dîner. »)
La requête en cours : « Que l'utilisateur essaie-t-il de faire actuellement ? » (ex : « Ils veulent réserver une table. »)

Chaque fois que vous regardez un écran ou que vous dites quelque chose, l'agent met à jour ce carnet. Lorsque vous demandez plus tard : « Réserve le restaurant que je regardais », l'agent n'a pas besoin de deviner. Il ouvre son carnet, voit que vous étiez le plus engagé avec votre téléphone, et sait exactement de quel restaurant vous parliez. Il n'a pas besoin de demander : « Quel appareil était-ce ? » car la réponse est déjà dans sa poche.

L'Expérience : Un Monde de Jeu Vidéo en 3D

Pour tester si cette idée fonctionne réellement, les chercheurs n'ont pas seulement émis des hypothèses ; ils ont construit un monde semblable à un jeu vidéo appelé UA-BENCH. Imaginez une maison virtuelle en 3D avec un ordinateur, un ordinateur portable, un téléphone et même un robot. Ils ont créé 100 scénarios différents où une personne virtuelle interagit avec ces appareils dans différents ordres.

Dans ces scénarios, l'« utilisateur » peut regarder un ordinateur portable, puis passer à une tablette, et enfin demander à l'agent de faire quelque chose sans préciser quel appareil il utilise. Les chercheurs ont ensuite opposé leur Agent Unifié à quatre autres types de conceptions d'IA :

Agents sans état (stateless) : qui ne regardent que l'instant présent.
Systèmes multi-agents : où différentes IA essaient de voter sur ce qu'il faut faire.
Systèmes à mémoire lourde : qui essaient de se souvenir de chaque détail.

Les Résultats : Le Sac à Dos Compact Gagne

Les résultats ont été clairs. L'Agent Unifié a nettement surpassé tous les autres systèmes. Dans le test par défaut, il a obtenu un score global de 0,668, tandis que le système suivant (un système à « Contexte Complet » qui essayait de tout se souvenir) n'a obtenu que 0,613.

Voici la magie : l'Agent Unifié n'a pas seulement gagné parce qu'il était plus intelligent ; il a gagné parce qu'il était efficace.

La mémoire du système à « Contexte Complet » grossissait comme une boule de neige dévalant une colline, devenant 11 fois plus grande au fil de la conversation.
La mémoire de l'Agent Unifié est restée petite et bornée, peu importe la durée de l'interaction. Il ne gardait que les faits qui comptaient.

Les chercheurs ont testé cela avec différents « cerveaux » (différents modèles d'IA) et différents niveaux de puissance de réflexion. Dans chaque cas, l'Agent Unifié est resté en tête. Il a prouvé que posséder un état compact et bien organisé est plus important que d'avoir une mémoire plus grande et plus complexe.

Pourquoi Cela Importe

Ce document suggère que l'avenir de l'IA ne consiste pas à construire des cerveaux plus gros et plus lourds qui essaient de tout se souvenir. Il s'agit plutôt de construire de meilleurs organisateurs.

En conservant un résumé « compact et prêt pour l'action » de ce que vous avez fait et de l'endroit où vous l'avez fait, une IA peut enfin agir comme un véritable partenaire à travers tous vos appareils. Elle cesse de demander : « Quel téléphone était-ce ? » et commence à dire : « Compris, je réserve la table sur votre téléphone. » Elle transforme une collection de gadgets déconnectés en une expérience unique et fluide, tout cela grâce à un peu d'organisation intelligente.

Résumé Technique : Agent Unifié – Gérer les Interactions à travers les Appareils

1. Formulation du Problème

Le document traite du défi consistant à permettre à un agent IA unique de gérer des tâches pour un utilisateur sur plusieurs appareils hétérogènes au fil du temps. Les systèmes d'agents grand public actuels font face à une limitation critique dans ce scénario : les observations sont dispersées entre les appareils et les moments, pourtant les architectures existantes ne sont pas conçues pour gérer efficacement cette dispersion.

Le Défi Central : Lorsqu'un utilisateur fait une requête ultérieurement (ex: « Réserve une table dans le restaurant que je regardais ») sans spécifier d'appareil, les indices décisionnels (ex: regard, pointage, engagement sur l'écran) issus des interactions précédentes peuvent ne plus être visibles.
Limites des Approches Existantes :
- Systèmes Sans État (Stateless) ou à Agent Unique : Traitent les appareils comme des outils mais manquent d'une gestion efficace de l'état à travers le temps. Une fois qu'un indice passe, la preuve pertinente est perdue, forçant l'agent à poser des questions de clarification (ex: « Sur quel appareil était-ce ? »).
- Systèmes Multi-Agents : Coordonnent les actions entre agents mais échouent souvent à maintenir le « état porté compact » requis pour les requêtes inter-appareils et inter-temporelles. Ils résolvent généralement les cibles en fonction de la requête présente ou d'endpoints statiques plutôt que sur l'accumulation de preuves d'engagement.
L'Objectif : L'agent doit maintenir un état bien organisé qui intègre les preuves d'engagement, les faits énoncés et les requêtes en cours à travers les appareils et le temps, lui permettant d'agir sur des requêtes non spécifiées par appareil même lorsque les indices originaux ont disparu.

2. Méthodologie : Agent Unifié

Les auteurs proposent l'Agent Unifié, une architecture d'agent avec état conçue pour transporter les preuves d'interaction à travers les appareils et les moments.

2.1 L'État Porté ( $S_t$ )

Contrairement aux systèmes qui conservent l'historique brut (qui croît linéairement et entre en compétition avec l'espace de la fenêtre de contexte), l'Agent Unifié maintient un état compact et prêt pour l'action ( $S_t$ ) mis à jour à chaque instant $t$ . Cet état est organisé en trois flux distincts :

Preuves d'Engagement : Accumule les indices d'interaction associés aux appareils (ex: pointage, regard, contact manuel) au fil du temps pour soutenir l'identification de l'appareil pertinent.
Faits Énoncés : Préserve les informations fournies par l'utilisateur par sujet et, lorsqu'ils sont identifiables, par appareil. Cela garantit que les faits restent distinguables entre différents appareils.
Requête en Cours : Conserve la dernière action demandée.

2.2 Le Pipeline Percevoir–Replier–Agir (Perceive–Fold–Act)

L'agent opère via une boucle continue (Figure 3) :

Observer : L'agent reçoit une observation locale ( $O_t$ ) provenant de la caméra d'un appareil et l'énoncé actuel de l'utilisateur.
Mettre à jour (Replier) : L'agent replie l'observation actuelle dans l'état précédent ( $S_{t-1}$ ) pour produire un état mis à jour ( $S_t = U(S_{t-1}, O_t)$ ). Ce processus accumule les preuves, enregistre les faits et met à jour la requête en cours sans stocker l'intégralité de la transcription.
Agir : L'agent décide de la prochaine action ( $a_t$ $a_{t}$ ) en lisant à la fois l'état mis à jour ( $S_t$ $S_{t}$ ) et l'observation actuelle ( $O_t$ $O_{t}$ ) ( $a_t = D(S_t, O_t)$ $a_{t} = D (S_{t}, O_{t})$ ).
- L'état fournit le contexte historique (ex: quel appareil présentait le plus fort engagement).
- L'observation fournit le contexte immédiat.
- L'agent utilise cet apport combiné pour inférer l'intention, se rappeler les faits pertinents et router la requête vers l'appareil (ou les appareils) approprié via une interface de langage partagée.

3. Benchmark : UA-BENCH

Pour évaluer les conceptions d'état, les auteurs ont construit UA-BENCH, un benchmark reproductible pour l'interaction inter-appareils.

Environnement : Une scène domestique 3D rendue contenant des appareils à écran (ordinateur, ordinateur portable, téléphone) et potentiellement un robot de transport (fetch robot).
Structure : Les épisodes suivent une progression temporelle conçue :
1. L'observation initiale établit la scène.
  1. Une interaction antérieure établit l'engagement utilisateur-appareil via des indices visuels/linguistiques.
2. Une requête non spécifiée par appareil ultérieure et des questions de rappel testent si le système peut récupérer des informations lorsque les preuves visuelles immédiates ont changé.
Vérité Terrain (Ground Truth) : Les cibles d'évaluation sont dérivées directement de la spécification contrôlée de l'épisode (et non d'annotations générées par un modèle), garantissant une vérité terrain exacte pour l'identité des objets, la visibilité et l'état de l'écran.
Tâches : Le benchmark évalue six tâches : Détecter l'utilisateur/les appareils, Identifier l'appareil engagé (Eng), Inférer l'intention (Int), Rappeler l'information (Inf), Choisir l'appareil répondant (Rsp), et Décider de la prochaine action (Nxt).

4. Résultats Expérimentaux

Les auteurs ont évalué l'Agent Unifié par rapport à des contrôles d'état (ex: Contexte Complet, Auto-notes) et des bases de référence publiées (ex: Mixture-of-Agents, Mem0, MM-DST) à travers quatre configurations de Modèles de Langage Multimodaux (MLLM).

4.1 Comparaison des Performances

Supériorité Globale : L'Agent Unifié a nettement surperformé tous les systèmes comparés dans le réglage par défaut (GPT-5.6-Luna, faible effort de raisonnement), atteignant un score global de 0,668 contre le second meilleur (Full Context à 0,613).
Gains Spécifiques : Les avantages les plus importants ont été observés dans la Prochaine Action (Nxt) et le Rappel (Inf), où l'Agent Unifié a maintenu ses performances tandis que les autres systèmes chutaient significativement lorsque les indices étaient supprimés.
Efficacité : Bien que le "Contexte Complet" (conservant tout l'historique brut) ait performé de manière raisonnable, sa taille d'état croissait linéairement, atteignant 11 fois la taille de l'état de l'Agent Unifié. L'état de l'Agent Unifié est resté borné, évoluant selon les appareils et les faits observés plutôt que selon la longueur de l'interaction.

4.2 Études d'Ablation

Les auteurs ont testé des éléments clés de conception pour comprendre leurs contributions :

Preuves d'Engagement : La suppression des indices de comptage ou de pointage a considérablement dégradé la capacité à identifier l'appareil engagé (Eng).
État Précédent : La suppression de l'état précédent a considérablement dégradé la capacité à rappeler l'information (Inf).
Capacités des Appareils : La suppression des clauses de capacité par appareil a dégradé les décisions de routage (Rsp).
Conclusion : Différentes tâches nécessitent différents flux d'informations ; l'état unifié intègre efficacement ces rôles complémentaires.

4.3 Généralisation et Validation en Conditions Réelles

Robustesse des MLLM : L'avantage de performance de l'Agent Unifié a persisté à travers différentes familles de MLLM (Gemini 3.1 Flash-Lite, GPT-5.6-Luna, GPT-5.6-Sol) et des efforts de raisonnement variables.
Photographies Réelles : Dans une étude de cas utilisant des photographies réelles d'un utilisateur interagissant avec un ordinateur portable, une tablette et un téléphone, l'Agent Unifié a réussi à identifier l'appareil présentant le plus fort engagement cumulé et à rappeler l'heure correcte pour un « restaurant sur lequel je travaillais », surpassant les bases de référence qui ont échoué à rappeler le fait spécifique à l'appareil.

5. Contributions Clés

Formulation du Problème : Définition du défi spécifique de l'interaction utilisateur-agent à travers le temps et les appareils lorsque les indices disparaissent.
Agent Unifié : Introduction d'un agent doté d'un état qui maintient un état compact de preuves d'engagement, de faits énoncés et de requêtes en cours, agissant sur cet état plus les observations actuelles.
UA-BENCH : Construction d'un benchmark avec une vérité terrain exacte pour évaluer l'interaction inter-appareils et inter-temporelle.
Validation Empirique : Démonstration qu'une architecture d'état bien conçue surpasse significativement les adaptations de designs publiés et les bases de référence de mémoire, avec une robustesse à travers les réglages MLLM.

6. Signification et Revendications

Le papier affirme que le principal avantage de l'Agent Unifié provient de la manière dont l'état est représenté et utilisé, plutôt que d'une complexité système ajoutée ou de mécanismes de mémoire appris.

Le Design de l'État comme Complément : Les résultats soulignent qu'une conception d'état efficace est un complément crucial à la puissance du modèle pour les agents inter-appareils.
Résumé Prêt pour l'Action : En organisant les preuves sous une forme compacte et prête pour l'action, l'agent peut résoudre les références (ex: « le restaurant que je regardais ») même lorsque l'indice visuel original a disparu, sans avoir besoin d'interroger l'utilisateur pour clarification.
Confidentialité et Efficacité : La conception offre une alternative respectueuse de la vie privée à la rétention de l'historique brut. En gardant un enregistrement explicite et compact de l'engagement et des faits plutôt que la transcription complète de l'interaction, le système minimise la rétention de données tout en restant inspectable et révisable.

Les auteurs concluent que l'Agent Unifié démontre que le maintien d'un état structuré et borné permet aux agents de gérer efficacement les interactions à travers les appareils et le temps, comblant ainsi une lacune dans les systèmes d'agents grand public actuels.