🤖 machine learning

AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving

AOSpec est un cadre sans perte qui réduit la latence de service des agents en co-spéculant les actions et les observations via le décodage de la valeur attendue et la vérification conjointe action-état, brisant ainsi le compromis entre anticipation et précision et réalisant des réductions significatives de la latence de bout en bout à travers divers benchmarks.

Auteurs originaux : Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le chef d'orchestre d'un orchestre massif et rapide où les musiciens sont des ordinateurs ultra-intelligents (des modèles de langage étendus ou LLM) et la scène est un monde complexe et vivant rempli d'outils, de fichiers et de programmes. Dans cette symphonie numérique, l'ordinateur conçoit une note musicale (une action), puis la scène doit physiquement jouer cette note (exécuter l'outil), et ce n'est qu'ensuite que l'ordinateur peut entendre le résultat et décider de la note suivante. Pendant longtemps, ce processus était une course de relais stricte : l'ordinateur devait attendre en silence que la scène joue la note avant de pouvoir même penser à la suivante. À mesure que les ordinateurs deviennent plus rapides pour réfléchir, le temps d'attente pour que la scène joue les notes est devenu le goulot d'étranglement, ralentissant toute la performance. Les scientifiques ont essayé de résoudre cela en devinant la note suivante à l'avance (spéculation d'action) ou en devinant quel sera le son (spéculation d'observation), mais ces conjectures solitaires échouent souvent car la scène est imprévisible, et deviner une séquence entière de notes conduit généralement à une cacophonie d'erreurs.

Ce document présente une nouvelle technique de chef d'orchestre appelée AOSpec (Co-Spéculation d'Action et d'Observation). Au lieu de deviner une seule chose, AOSpec lance une répétition parallèle intelligente où il devine à la fois le prochain mouvement et le son résultant en même temps, mais avec un filet de sécurité. Il utilise une stratégie intelligente pour concentrer ses conjectures sur les parties les plus lentes et les plus chronophages du spectacle, et il met en place des « zones de sécurité » (des bacs à sable isolés) où il peut tester des mouvements risqués sans perturber la véritable scène. Si la conjecture s'avère exacte, le spectacle avance instantanément ; si elle est erronée, la répétition est discrètement écartée, et le vrai spectacle continue sans accroc. Les auteurs ont mesuré cela sur une variété de tâches complexes et ont constaté que cette méthode peut réduire le temps d'attente total jusqu'à 32,5 % en moyenne, et pour les délais les plus lents et les plus frustrants, elle peut réduire le temps de près de 43 %, permettant à l'orchestre numérique de jouer beaucoup plus vite sans manquer un seul temps.

Le Problème : Le jeu de l'attente

Imaginez que vous jouiez à un jeu vidéo où votre personnage est un stratège de génie. Chaque fois que vous tapez une commande comme « ouvrir le coffre au trésor », votre personnage doit s'arrêter de réfléchir et attendre que le moteur du jeu ouvre réellement le coffre, vérifie ce qu'il contient et vous montre l'or. Si l'ouverture du coffre prend 10 secondes, votre personnage reste là pendant 10 secondes, ne faisant rien.

À mesure que les puces informatiques deviennent plus rapides, votre personnage commence à réfléchir en millisecondes. Mais l'ouverture du coffre (l'« exécution de l'outil ») prend toujours des secondes. Cela crée un écart frustrant : le penseur est fulgurant, mais l'exécuteur est lent. Le document souligne que la majeure partie du temps d'attente provient de quelques actions très lentes, comme l'ouverture d'un immense coffre-fort, tandis que de nombreuses autres actions sont rapides. Les anciennes méthodes tentaient de deviner la commande suivante pour gagner du temps, mais elles se trompaient souvent car elles ne tenaient pas compte du fait que certains résultats (comme le contenu d'un coffre) ne peuvent pas être prédits sans l'ouvrir réellement.

La Solution : La stratégie de la « Répétition Sécurisée »

Les auteurs de ce document, travaillant à l'Imperial College London, ont construit un système appelé AOSpec pour résoudre ce problème. Voyez cela comme un directeur qui ne se contente pas d'attendre que l'acteur termine une scène avant de planifier la suivante. Au lieu de cela, le directeur lance une « répétition sécurisée » dans un univers parallèle.

Voici comment les trois principales astuces fonctionnent :

Le parieur intelligent (Décodage de la valeur attendue) :
Toutes les conjectures ne se valent pas. Deviner le résultat d'une commande rapide comme « bonjour » est facile mais permet d'économiser très peu de temps. Deviner le résultat d'une commande comme « télécharger un film » est difficile, mais si vous réussissez, vous économisez un temps d'attente énorme. AOSpec utilise une méthode appelée Décodage de la Valeur Attendue (EVD). Au lieu de simplement deviner l'issue la plus probable, il devine l'issue qui offre les plus grands gains de temps. C'est comme un parieur qui ignore les petits paris sûrs pour se concentrer uniquement sur les coups à haut risque et haute récompense. Si la conjecture est correcte, le système saute l'attente entièrement.
Le bac à sable sécurisé (Forks isolés) :
Certaines choses ne peuvent tout simplement pas être devinées. On ne peut pas savoir si un fichier est corrompu ou si un serveur est hors service avant d'essayer de l'ouvrir. Pour gérer cela, AOSpec crée un « bac à sable sécurisé » ou un univers parallèle. Il lance l'action risquée (comme l'ouverture du fichier) dans cette copie isolée du monde. Si l'action est erronée, le bac à sable est simplement jeté, et le monde réel reste intact. Si l'action est correcte, le système récupère le résultat et l'utilise immédiatement. Cela permet au système de « pré-jouer » des actions dangereuses ou lentes sans risquer de faire planter le vrai spectacle.
La double vérification (Vérification conjointe Action-État) :
Le plus grand problème consistant à deviner une longue chaîne d'actions futures est qu'une seule petite erreur ruine toute la chaîne. Si vous devinez les étapes 1, 2 et 3, et que l'étape 2 est fausse, les étapes 1 et 3 deviennent inutiles. AOSpec évite cela en ne devinant pas toute la chaîne. Au lieu de cela, il devine uniquement l'action cible (celle qui permettra de gagner le plus de temps) et vérifie si l'« état initial » du bac à sable correspond au monde réel. C'est comme vérifier si la scène est correctement installée avant que l'acteur n'y entre. Si la scène correspond, l'action pré-jouée est valide. Si ce n'est pas le cas, le système écarte la conjecture et repart de zéro. Cela brise le compromis « précision contre vitesse », permettant au système de regarder loin devant sans avoir besoin d'une boule de cristal parfaite pour chaque étape intermédiaire.

Ce qu'ils ont trouvé

Les chercheurs ont testé AOSpec sur un large éventail de tâches, allant de la résolution d'énigmes de codage à la gestion de systèmes informatiques complexes, en utilisant différents types de modèles d'IA et différentes vitesses. Ils ont comparé leur méthode aux techniques existantes qui ne devinent que les actions ou ne devinent que les observations.

Les résultats sont clairs :

Gain de vitesse : AOSpec a réduit le temps total nécessaire pour accomplir les tâches de 11,8 % à 32,5 % en moyenne.
Correction des moments les plus lents : Les plus grands succès sont venus dans la « latence de queue » (tail latency) — les délais les plus lents et les plus frustrants. Pour les 1 % de tâches les plus lentes (p99), AOSpec a réduit le temps d'attente jusqu'à 42,8 %.
Meilleure performance à haute vitesse : À mesure que la vitesse de réflexion de l'IA augmentait (passant de 20 millisecondes par mot à 1 milliseconde), les bénéfices d'AOSpec devenaient encore plus importants. C'est parce que plus l'IA réfléchit vite, plus le temps passé à attendre les outils est considérable, et AOSpec est le meilleur pour masquer ce temps d'attente.
Aucun réentraînement nécessaire : Le système a fonctionné tout aussi bien sur un nouvel ensemble de tâches (SWE-bench) sans nécess avoir été réentraîné, montrant que la méthode est robuste et généralisable.

Pourquoi c'est important

Ce document suggère que l'avenir des agents d'IA rapides ne réside pas seulement dans le fait de rendre l'IA plus rapide pour réfléchir, mais dans le fait de rendre l'ensemble de la boucle de pensée et d'action plus efficace. En combinant une conjecture intelligente avec des tests parallèles sécurisés, AOSpec démontre que nous pouvons masquer le temps de la « salle d'attente » des agents d'IA, les rendant instantanés et réactifs, même lorsqu'ils effectuent des travaux lourds et complexes. Il prouve que vous n'avez pas à choisir entre vitesse et précision ; avec les bons filets de sécurité, vous pouvez avoir les deux.

Résumé Technique : AOSpec – Co-spéculation Action et Observation pour le Service d'Agents à Faible Latence

1. Énoncé du Problème

Les agents de Grands Modèles de Langage (LLM) dépendent de plus en plus d'outils avec état qui inspectent ou modifient des environnements d'exécution évolutifs. Dans les boucles d'agents standards, la génération du modèle et l'exécution des outils sont sérialisées : l'agent doit générer une action, attendre que l'environnement l'exécute et renvoie une observation, puis générer l'étape suivante. À mesure que les vitesses de décodage des modèles s'accélèrent (par exemple, via un matériel spécialisé), le temps passé à attendre l'exécution des outils devient le goulot d'étranglement dominant dans la latence de bout en bout.

Les techniques de spéculation existantes tentent de briser cette sérialisation mais se heurtent à trois barrières fondamentales lorsqu'elles sont appliquées à des charges de travail hétérogènes et avec état :

Concentration de la Latence : Une petite fraction des appels d'outils (environ 17 %) représente la grande majorité du temps d'outil (environ 97 %). Les méthodes de spéculation optimisées pour le taux de réussite (précision) manquent souvent ces appels lents à haute valeur, échouant ainsi à masquer une latence significative.
Dépendance à l'Environnement : De nombreuses observations critiques dépendent d'états d'environnement cachés (par exemple, le contenu de fichiers, les sorties de processus) qui ne peuvent pas être prédits de manière fiable à partir du seul contexte de l'agent. La spéculation d'observation pure échoue ici, tandis que la spéculation d'action pure risque de corrompre l'état engagé si les prédictions sont erronées.
Compromis Anticipation-Précision : Étendre l'horizon de spéculation pour masquer plus de latence nécessite généralement de prédire une chaîne complète d'actions futures. Cependant, la probabilité qu'une chaîne entière soit correcte s'effondre de manière multiplicative avec la profondeur, rendant la spéculation à long terme inefficace.

2. Méthodologie : AOSpec

AOSpec est un cadre sans perte qui co-spécule conjointement les actions et les observations à travers l'ensemble de la boucle agent-environnement. Il opère au sein d'une architecture d'agent dégroupée où l'acteur (LLM) et l'environnement d'exécution sont découplés. Le cadre emploie trois mécanismes clés :

2.1 Décodage de la Valeur Attendue (EVD) pour la Spéculation d'Observation

Pour traiter la concentration de la latence, AOSpec va au-delà de l'optimisation du taux de réussite. Il utilise le Décodage de la Valeur Attendue (EVD) pour sélectionner des candidats d'observation qui maximisent le temps caché attendu.

Mécanisme : L'EVD construit un ensemble de candidats d'observations potentielles et les classe par le produit de leur probabilité prédite et de leur temps d'exécution d'outil estimé ( $V_o(c) = p(c) \cdot \hat{T}(c)$ ).
Exécution : Pendant que l'exécution réelle de l'outil est en attente, l'agent génère des continuations basées sur ces observations spéculatives à haute valeur. Si l'observation réelle correspond à un brouillon, l'agent continue sans attendre ; sinon, le brouillon est rejeté et la génération reprend à partir de la véritable observation.
Entraînement : Un petit modèle d'observation peut être affiné sur des traces historiques pour améliorer la précision de la prédiction, bien que le cadre puisse fonctionner avec des modèles standards si une largeur de candidats suffisante est fournie.

2.2 Exécution d'Action Isolée pour les Résultats Dépendants de l'Environnement

Pour les observations qui ne peuvent pas être prédites en raison d'états d'environnement cachés, AOSpec lance des actions spéculatives dans des forks de bac à sable isolés.

Mécanisme : Les actions cibles critiques en termes de latence sont exécutées en parallèle dans des environnements isolés (utilisant des systèmes de fichiers en copie sur écriture et le forking de processus). Cela permet d'obtenir l'observation réelle plus tôt sans risquer de corrompre l'état engagé de la boucle principale de l'agent.
Sécurité : Si l'action spéculative est incorrecte, le fork est abandonné et la boucle principale exécute l'action à partir de l'état engagé, garantissant une sémantique sans perte.

2.3 Vérification Conjointe Action-État (JASV)

Pour surmonter le compromis anticipation-précision, AOSpec remplace l'exigence d'une correspondance de chaîne complète par la Vérification Conjointe Action-État.

Mécanisme : Un fork spéculatif n'est validé et réutilisé que si deux conditions sont remplies : (1) l'action spéculative correspond à l'action émise par l'acteur, et (2) l'état de l'environnement au moment du lancement du fork correspond à l'état d'environnement engagé actuel.
Avantage : Cela permet au système de spéculer sur une action cible loin dans le futur sans avoir besoin de prédire correctement les actions intermédiaires. Tant que l'état de l'environnement reste stable, la "piste de décollage" pour le chevauchement est étendue sans l'accumulation d'erreurs multiplicatives d'une prédiction de chaîne complète.

3. Principales Contributions

Le document présente trois contributions principales :

Caractérisation des Barrières : Il quantifie la concentration de la latence, les limites d'information de la prédiction d'observation et la tension entre la profondeur d'anticipation et la précision de la prédiction dans les charges de travail d'agents avec état.
Cadre AOSpec : Il introduit un cadre de co-spéculation sans perte combinant l'EVD (pour le brouillage d'observation sensible à la latence), l'exécution d'action isolée (pour les résultats dépendants de l'environnement) et le JASV (pour une anticipation sans perte à long terme).
Validation Empirique : Il démontre des réductions significatives de la latence sur divers benchmarks, modèles et vitesses de service, montrant que l'approche passe à l'échelle avec l'accélération du décodage.

4. Résultats Expérimentaux

Les auteurs ont évalué AOSpec par rejeu de traces sur Terminal-Bench 2.0 (couvrant quatre harnais et cinq modèles d'acteurs) et SWE-bench Verified.

Réduction de la Latence : AOSpec a réduit la latence moyenne de bout en bout de 11,8 % à 32,5 % à travers diverses configurations. Les gains augmentent à mesure que le temps par jeton (TPOT) du modèle diminue (c'est-à-dire à mesure que le décodage s'accélère), atteignant une réduction de 32,5 % à 1 ms de TPOT.
Latence de Queue : Le cadre a considérablement amélioré la latence de queue, réduisant la latence p99 jusqu'à 42,8 %. Cela concorde avec le constat que quelques appels lents dominent la latence totale.
Baselines : AOSpec a surpassé toutes les bases comparatives pratiques, incluant :
- Speculative Actions (prédiction des actions suivantes uniquement).
- SpecHop (spéculation d'observation via mise en cache ou drafting par LLM).
- Oracle-action (plafond de spéculation d'action à une étape).
- Dans 41 des 45 configurations, AOSpec a dépassé le plafond de l'oracle d'action à une étape en exploitant l'anticipation d'action inter-étapes et la spéculation d'observation.
Généralisation : Un modèle d'observation entraîné uniquement sur les traces de Terminal-Bench a été transféré sur SWE-bench Verified sans réentraînement, obtenant 18,9 % d'économies de latence à 1 ms de TPOT.
Ablation : La combinaison de la spéculation d'observation et d'action a produit 17,0 % d'économies à 10 ms de TPOT, contre 12,0 % et 7,1 % pour l'observation seule et l'action seule respectivement.

5. Signification et Revendications

Le document affirme qu'AOSpec représente un changement dans la manière dont la latence de service des agents est optimisée. En passant d'une optimisation du taux de réussite à une optimisation de la valeur attendue et en remplaçant la prédiction de chaîne complète par une anticipation d'action cible vérifiée par l'état, le cadre débloque un chevauchement à long terme sans sacrifier la sémantique sérielle.

Les auteurs soutiennent qu'à mesure que le décodage des modèles continue de s'accélérer, le goulot d'étranglement se déplacera de plus en plus vers l'exécution de l'environnement. AOSpec répond à cela en traitant la boucle agent-environnement comme un système unifié de spéculation, masquant efficacement la latence d'exécution des outils grâce à une approche de co-spéculation sans perte. Les résultats suggèrent que la co-spéculation des sorties du modèle et de l'exécution de l'environnement avec état est une stratégie viable et efficace pour le service d'agents à faible latence.