Résumé Technique : MIRAGE (Mobile Agents with Implicit Reasoning and Generative World Models)

1. Énoncé du Problème

Les agents mobiles, qui opèrent des applications quotidiennes à partir de captures d'écran et d'objectifs linguistiques, sont confrontés à un compromis critique entre capacité de raisonnement et efficacité de déploiement. Les systèmes de pointe actuels (par exemple, UI-TARS, MAI-UI) reposent sur une Chaîne de Pensée (CoT) explicite, où les modèles génèrent de longs rationnels textuels avant d'exécuter des actions. Bien que cela améliore la prise de décision, cela introduit un surcoût significatif :

• Inefficacité : La génération de longs raisonnements textuels augmente la latence de décodage et la consommation de jetons (tokens), ralentissant le contrôle interactif.
• Coût : La supervision nécessite des données de rationnel écrites par l'humain ou synthétiques, ce qui augmente les coûts d'entraînement.
• Contraintes de Déploiement : Dans les scénarios mobiles réels, chaque jeton supplémentaire retarde le retour d'information, rendant le raisonnement explicite peu pratique pour les applications à faible latence.

Le défi central est de préserver les capacités de raisonnement multi-étapes et de prédiction d'état futur de la CoT explicite tout en éliminant le coût de décodage des pensées intermédiaires en texte visible.

2. Méthodologie

MIRAGE répond à cela en déplaçant le raisonnement du flux de jetons visibles vers un espace latent continu. Le cadre utilise un pipeline d'entraînement en deux étapes et introduit deux composants novateurs : l'Approximation de Raffinement Latent Parallèle (APLR) et une tête de Modèle de Monde Q-Former.

2.1 Formulation de la Pensée Latente

Au lieu de générer une séquence de jetons textuels $\tau_t$ suivie d'une action $a_t$, MIRAGE génère une séquence de variables latentes continues $z_t = (z_{t,1}, \dots, z_{t,N})$ au sein du contexte du décodeur. Ces slots latents représentent les « pensées » internes de l'agent (observation, rationnel et prédiction future) sans être détokenisés. Le processus d'inférence ne décode que les jetons d'action finaux, réduisant drastiquement la longueur de la sortie.

2.2 Approximation de Raffinement Latent Parallèle (APLR)

Pour entraîner le modèle à raisonner efficacement dans l'espace latent sans le coût prohibitif de la génération sérielle, MIRAGE introduit l'APLR.

• Concept : La CoT latente traditionnelle nécessite un raffinement sériel (une étape à la fois), ce qui est coûteux en termes de calcul. L'APLR traite le bloc de pensée comme $N$ slots et les raffine en parallèle sur $K$ cycles (style Jacobi).
• Mécanisme : À chaque cycle $k$, tous les slots latents $z_i^{(k+1)}$ sont mis à jour simultanément en utilisant les valeurs du cycle $k$.
• Garantie Théorique : La méthode fournit une borne prouvable sur l'erreur d'approximation. Après $K$ cycles, les $K$ premiers slots latents correspondent exactement à la solution sérielle, tandis que les slots restants (« queue ») conservent une erreur bornée.
• Efficacité : Cela réduit le coût d'entraînement de $N$ passages sériels à un petit nombre de passages synchrones ($K \ll N$), typiquement $K=3$.

2.3 Alignement du Modèle de Monde via Q-Former

Une limitation du raffinement parallèle est que les slots latents de la « queue » (qui contiennent souvent des prédictions d'états futurs) peuvent ne pas être suffisamment supervisés par une perte basée uniquement sur l'action. Pour y remédier, MIRAGE intègre une perspective de Modèle de Monde :

• Objectif : Le modèle est entraîné pour prédire les caractéristiques visuelles de la prochaine capture d'écran ($x_{t+1}$) basée sur l'état de raisonnement latent actuel.
• Architecture : Une tête Q-Former légère aligne les états latents raffinés avec les caractéristiques visuelles (avec arrêt du gradient) extraites de la capture d'écran suivante par un encodeur de vision gelé.
• Bénéfice : Cela force les slots latents à encoder la dynamique de l'environnement et les prédictions de transition, empêissant l'effondrement de la représentation et fournissant une supervision dense pour la dimension de « prédiction » du processus de pensée.

2.4 Pipeline d'Entraînement en Deux Étapes

1. Étape 1 (Échauffement de la CoT Explicite) : Le modèle est entraîné sur des traces textuelles structurées contenant des blocs <THOUGHT> (observation, rationnel, prédiction) et <ACTION>. Cela enseigne au modèle l'espace d'action mobile et les schémas de raisonnement.
2. Étape 2 (Distillation Latente) : Le bloc de texte <THOUGHT> est remplacé par des slots latents. Le modèle est entraîné en utilisant l'APLR pour le raffinement et la tête Q-Former pour l'alignement du modèle de monde. La fonction de perte conjointe combine la perte de l'entropie croisée de l'action ($L_{ce}$) et la perte d'alignement du modèle de monde ($L_{wm}$).

3. Contributions Clés

L'article revendique trois contributions principales :

1. Cadre MIRAGE : Un agent mobile qui raisonne entièrement dans l'espace latent, atteignant les performances d'une CoT explicite avec 3 à 5 fois moins de jetons décodés et une latence d'inférence nettement inférieure.
2. APLR : Une procédure de raffinement parallèle de style Jacobi qui approxime la CoT latente sérielle complète à une fraction du coût d'entraînement, avec une borne théorique sur l'erreur d'approximation des slots de la queue.
3. Tête de Modèle de Monde Q-Former : Un mécanisme qui aligne les états de raisonnement latent avec les caractéristiques de la capture d'écran future, permettant à l'agent d'anticiper les transitions d'état de l'interface GUI et d'améliorer ses capacités sans générer de pixels ou de texte lors de l'inférence.

4. Résultats Expérimentaux

MIRAGE a été évalué sur AndroidControl (suivi d'instructions et précision des actions) et AndroidWorld (accomplissement de tâches dynamiques sur appareil).

• AndroidControl :

  • MIRAGE-4B a amélioré l'Exact Match (EM) de 68,48 % à 7 de 77,59 % et l'exactitude des actions de 75,15 % à 91,09 % par rapport à la ligne de base Qwen3-VL-4B.
  • Réduction des Jetons : Le nombre moyen de jetons générés par étape est passé d'environ 115 à environ 19 (une réduction de 83 %).
  • Latence : La latence du premier au dernier jeton a été réduite de 1,8$\times$ à 2$\times$ par rapport aux lignes de base robustes.

• AndroidWorld :

  • MIRAGE-4B a atteint un taux de succès de tâche (SR) de 52,6 %, surpassant la ligne de base Qwen3-VL-4B (42,9 %) de 9,7 points de pourcentage.
  • MIRAGE-8B a atteint un SR de 57,8 %, soit une amélioration de 10,2 points par rapport à sa ligne de base.
  • Efficacité : Malgré des taux de succès plus élevés, les modèles MIRAGE ont généré environ 70 à 75 % de jetons en moins que leurs lignes de base.

• Études d'Ablation :

  • Le retrait de l'objectif du Modèle de Monde (APLR uniquement) a entraîné une performance moindre (48,2 % SR contre 52,6 % pour le MIRAGE complet), confirmant la nécessité de l'alignement de l'état futur pour affiner les slots latents de la queue.
  • Réduire le nombre de slots latents de 9 à 3 a considérablement dégradé les performances, soulignant le besoin d'une capacité continue suffisante pour représenter un raisonnement complexe.

5. Signification et Revendications

L'article positionne MIRAGE comme une solution au « goulot d'étranglement du raisonnement » des agents mobiles. Il affirme que :

• Le Raisonnement Implicite est Viable : Un raisonnement de haute qualité ne nécessite pas de sorties textuelles verbeuses ; il peut être efficacement compressé dans des états latents.
• Efficacité sans Sacrifice : En découplant le calcul du raisonnement du flux de jetons, les agents peuvent atteindre la robustesse d'une CoT explicite tout en respectant les contraintes strictes de latence et de budget de jetons du déploiement mobile.
• Prédiction de l'État Futur : L'intégration d'objectifs de modèle de monde directement dans le processus de raisonnement latent permet aux agents d'anticiper les changements d'interface, une capacité auparavant difficile à maintenir dans des représentations latentes compactes.

Les auteurs reconnaissent des limites, notant que l'approche actuelle repose sur un entraînement supervisé, utilise une modélisation de monde au niveau des caractéristiques (plutement qu'au niveau des pixels) et nécessite des garde-fous de confidentialité et de sécurité avant un déploiement réel.