🤖 machine learning

AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving

AOSpec es un marco de trabajo sin pérdidas que reduce la latencia de servicio de agentes mediante la co-especulación de acciones y observaciones a través de la Decodificación de Valor Esperado y la Verificación Conjunta de Acción-Estado, rompiendo así el compromiso entre anticipación y precisión y logrando reducciones significativas de la latencia de extremo a extremo en diversos benchmarks.

Autores originales: Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el director de una enorme orquesta de alta velocidad donde los músicos son computadoras superinteligentes (Modelos de Lenguaje Extensos) y el escenario es un mundo complejo y vivo lleno de herramientas, archivos y programas. En esta sinfonía digital, la computadora piensa en una nota musical (una acción), luego el escenario tiene que tocar físicamente esa nota (ejecutar la herramienta), y solo entonces la computadora puede escuchar el resultado y decidir la siguiente nota. Durante mucho tiempo, este proceso fue una estricta carrera de relevos: la computadora tenía que esperar en silencio mientras el escenario tocaba la nota antes de poder siquiera pensar en la siguiente. A medida que las computadoras se vuelven más rápidas pensando, el tiempo de espera para que el escenario toque las notas se ha convertido en el cuello de botella, ralentizando toda la actuación. Los científicos han intentado solucionar esto adivinando la siguiente nota por adelantado (especulación de acción) o adivinando cuál será el sonido (especulación de observación), pero estos conjetas en solitario suelen fallar porque el escenario es impredecible, y adivinar una secuencia completa de notas suele derivar en una cacofonía de errores.

Este artículo presenta una nueva técnica de dirección llamada AOSpec (Co-especulación de Acción y Observación). En lugar de adivinar solo una cosa, AOSpec ejecuta un ingenioso ensayo paralelo donde adivina tanto el siguiente movimiento como el sonido resultante al mismo tiempo, pero con una red de seguridad. Utiliza una estrategia inteligente para centrar sus conjeturas en las partes más lentas y laboriosas del espectáculo, y establece "zonas seguras" (sandboxes aislados) donde puede probar movimientos arriesgados sin alterar el escenario real. Si la conjetura resulta ser correcta, el espectáculo avanza instantáneamente; si es errónea, el ensayo se descarta silenciosamente y el espectáculo real continúa sin contratiempos. Los autores midieron esto en una variedad de tareas complejas y descubrieron que este método puede reducir el tiempo total de espera hasta en un 32.5% en promedio, y para los retrasos más lentos y frustrantes, puede recortar casi el 43% del tiempo, haciendo que la orquesta digital toque mucho más rápido sin perder el ritmo.

El Problema: El Juego de la Espera

Imagina que estás jugando a un videojuego donde tu personaje es un estratega genio. Cada vez que escribes un comando como "abrir el cofre del tesoro", tu personaje tiene que dejar de pensar y esperar a que el motor del juego realmente abra el cofre, verifique qué hay dentro y te muestre el oro. Si el cofre tarda 10 segundos en abrirse, tu personaje se queda sentado durante 10 segundos, sin hacer nada.

A medida que los chips de las computadoras se vuelven más rápidos, tu personaje empieza a pensar en milisegundos. Pero la apertura del cofre (la "ejecución de la herramienta") sigue tardando segundos. Esto crea una brecha frustrante: el que piensa es ultrarrápido, pero el que hace es lento. El artículo señala que la mayor parte del tiempo de espera proviene de solo unas pocas acciones muy lentas, como abrir una gran bóveda, mientras que muchas otras acciones son rápidas. Los métodos antiguos intentaban adivinar el siguiente comando para ahorrar tiempo, pero a menudo adivinaban mal porque no tenían en cuenta el hecho de que algunos resultados (como el contenido de un cofre) no pueden predecirse sin abrirlo realmente.

La Solución: La Estrategia del "Ensayo Seguro"

Los autores de este artículo, trabajando en el Imperial College London, construyeron un sistema llamado AOSpec para resolver esto. Piensa en ello como un director que no se limita a esperar a que el actor termine una escena antes de planificar la siguiente. En su lugar, el director dirige un "ensayo seguro" en un universo paralelo.

Así es como funcionan los tres trucos principales:

El Apostador Inteligente (Decodificación de Valor Esperado):
No todas las conjetas valen lo mismo. Adivinar el resultado de un comando rápido de "hola" es fácil pero ahorra muy poco tiempo. Adivinar el resultado de un comando de "descargar una película" es difícil, pero si aciertas, ahorras una cantidad enorme de tiempo de espera. AOSpec utiliza un método llamado Decodificación de Valor Esperado (EVD). En lugar de simplemente adivinar el resultado más probable, adivina el resultado que ofrece el mayor ahorro de tiempo. Es como un apostador que igno las apuestas pequeñas y seguras y se concentra solo en los movimientos de alto riesgo y alta recompensa. Si la conjetura es correcta, el sistema se salta la espera por completo.
El Sandbox Seguro (Forks Aislados):
Hay cosas que simplemente no se pueden adivinar. No puedes saber si un archivo está corrupto o si un servidor está caído hasta que realmente intentas abrirlo. Para manejar esto, AOSpec crea un "sandbox seguro" o un universo paralelo. Lanza la acción arriesgada (como abrir el archivo) en esta copia aislada del mundo. Si la acción es errónea, el sandbox simplemente se desecha y el mundo real permanece intacto. Si la acción es correcta, el sistema toma el resultado y lo utiliza de inmediato. Esto permite al sistema "pre-interpretar" acciones peligrosas o lentas sin el riesgo de colapsar el espectáculo real.
La Doble Verificación (Verificación Conjunta de Acción-Estado):
El mayor problema de adivinar una larga cadena de acciones futuras es que un pequeño error arruina toda la cadena. Si adivinas el paso 1, 2 y 3, y el paso 2 es incorrecto, los pasos 1 y 3 se vuelven inútiles. AOSpec evita esto no adivinando toda la cadena. En su lugar, solo adivina la acción objetivo (la que ahorrará más tiempo) y verifica si el "estado inicial" del sandbox coincide con el mundo real. Es como comprobar si el escenario está preparado correctamente antes de que el actor entre en escena. Si el escenario coincide, la acción pre-interpretada es válida. Si no, el sistema descarta la conjetura y comienza de nuevo. Esto rompe la compensación entre "precisión y velocidad", permitiendo al sistema mirar mucho más allá sin necesidad de tener una bola de cristal perfecta para cada uno de los pasos intermedios.

Lo Que Encontraron

Los investigadores probaron AOSpec en una amplia gama de tareas, desde resolver acertijos de programación hasta gestionar sistemas informáticos complejos, utilizando diferentes tipos de modelos de IA y diferentes velocidades. Compararon su método contra técnicas existentes que solo adivinaban acciones o solo adivinaban observaciones.

Los resultados fueron claros:

Impulso de Velocidad: AOSpec redujo el tiempo total para completar las tareas entre un 11.8% y un 32.5% en promedio.
Solucionando los Momentos más Lentos: Las mayores victorias se dieron en la "latencia de cola" (tail latency) —los retrasos más lentos y frustrantes—. Para el 1% de las tareas más lentas (p99), AOSpec recortó el tiempo de espera hasta en un 42.8%.
Mejor a Altas Velocidades: A medida que la velocidad de pensamiento de la IA aumentaba (de 20 milisegundos por palabra a 1 milisegundo), los beneficios de AOSpec crecían aún más. Esto se debe a que cuanto más rápido piensa la IA, más tiempo se pierde esperando a las herramientas, y AOSpec es mejor ocultando ese tiempo de espera.
Sin Necesidad de Reentrenamiento: El sistema funcionó igual de bien en un conjunto de tareas completamente nuevo (SWE-bench) sin necesidad de ser reentrenado, lo que demuestra que el método es robusto y general.

Por Qué Importa

Este artículo sugiere que el futuro de los agentes de IA rápidos no consiste solo en hacer que la IA piense más rápido, sino en hacer que todo el ciclo de pensamiento y acción sea más eficiente. Al combinar la conjetura inteligente con las pruebas paralelas seguras, AOSpec demuestra que podemos ocultar el tiempo de la "sala de espera" de los agentes de IA, haciendo que se sientan instantáneos y receptivos incluso cuando realizan trabajos pesados y complejos. Demuestra que no tienes que elegir entre velocidad y precisión; con las redes de seguridad adecuadas, puedes tener ambas.

Resumen Técnico: AOSpec – Co-especulación de Acción y Observación para el Servicio de Agentes de Baja Latencia

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) dependen cada vez más de herramientas con estado que inspeccionan o modifican entornos de ejecución en evolución. En los bucles de agentes estándar, la generación del modelo y la ejecución de la herramienta están serializadas: el agente debe generar una acción, esperar a que el entorno la ejecute y devuelva una observación, y luego generar el siguiente paso. A medida que las velocidades de decodificación de los modelos se aceleran (por ejemplo, mediante hardware especializado), el tiempo dedicado a esperar la ejecución de la herramienta se convierte en el cuello de botella dominante en la latencia de extremo a extremo.

Las técnicas de especulación existentes intentan romper esta serialización, pero enfrentan tres barreras fundamentales cuando se aplican a cargas de trabajo heterogéneas y con estado:

Concentración de Latencia: Una pequeña fracción de las llamadas a herramientas (aprox. 17%) es responsable de la gran mayoría del tiempo de la herramienta (aprox. 97%). Los métodos de especulación optimizados para la tasa de acierto (precisión) a menudo pasan por alto estas llamadas lentas de alto valor, fallando al ocultar una latencia significativa.
Dependencia del Entorno: Muchas observaciones críticas dependen de estados ocultos del entorno (por ejemplo, contenidos de archivos, salidas de procesos) que no pueden predecirse de manera fiable únicamente desde el contexto del agente. La especulación de observación pura falla aquí, mientras que la especulación de acción pura corre el riesgo de corromper el entorno comprometido si las predicciones son erróneas.
Compromiso entre Horizonte de Mirada y Precisión: Extender el horizonte de especulación para ocultar más latencia requiere típicamente predecir una cadena completa de acciones futuras. Sin embargo, la probabilidad de que una cadena entera sea correcta colapsa multiplicativamente con la profundidad, lo que hace que la especulación de largo alcance sea ineficaz.

2. Metodología: AOSpec

AOSpec es un marco sin pérdidas que co-especula conjuntamente acciones y observaciones a través de todo el bucle agente-entorno. Opera dentro de una arquitectura de agente desagregada donde el actor (LLM) y el entorno de ejecución están desacoplados. El marco emplea tres mecanismos centrales:

2.1 Decodificación de Valor Esperado (EVD) para la Especulación de Observación

Para abordar la concentración de latencia, AOSpec va más allá de la optimización de la tasa de acierto. En su lugar, utiliza la Decodificación de Valor Esperado (EVD) para seleccionar candidatos de observación que maximicen el tiempo esperado oculto.

Mecanismo: EVD construye un conjunto de candidatos de observaciones potenciales y los clasifica según el producto de su probabilidad predicha y su tiempo estimado de ejecución de la herramienta ( $V_o(c) = p(c) \cdot \hat{T}(c)$ ).
Ejecución: Mientras la ejecución real de la herramienta está pendiente, el agente genera continuaciones basadas en estas observaciones especulativas de alto valor. Si la observación real coincide con un borrador, el agente continúa sin esperar; de lo contrario, el borrador se descarta y la generación se reanuda desde la observación real.
Entrenamiento: Se puede ajustar un pequeño modelo de observación con trazas históricas para mejorar la precisión de la predicción, aunque el marco puede operar con modelos estándar si se proporciona suficiente amplitud de candidatos.

2.2 Ejecución de Acción Aislada para Resultados Dependientes del Entorno

Para observaciones que no pueden predecirse debido a estados ocultos del entorno, AOSpec lanza acciones especulativas en bifurcaciones (forks) de sandbox aisladas.

Mecanismo: Las acciones objetivo críticas de latencia se ejecutan en paralelo dentro de entornos aislados (utilizando sistemas de archivos de copia al escribir y bifurcación de procesos). Esto permite obtener la observación real tempranamente sin arriesgar el estado comprometido del bucle principal del agente.
Seguridad: Si la acción especulativa es incorrecta, la bifurcación se descarta y el bucle principal ejecuta la acción desde el estado comprometido, asegurando una semántica sin pérdidas.

2.3 Verificación Conjunta de Acción-Estado (JASV)

Para superar el compromiso entre el horizonte de mirada y la precisión, AOSpec reemplaza el requisito de una coincidencia de la cadena completa de predicción con la Verificación Conjunta de Acción-Estado.

Mecanza: Una bifurcación especulativa solo se valida y reutiliza si se cumplen dos condiciones: (1) la acción especulativa coincide con la acción emitida por el actor, y (2) el estado del entorno en el momento del lanzamiento de la bifurcación coincide con el estado del entorno comprometido actual.
Beneficio: Esto permite al sistema especular sobre una acción objetivo mucho más adelante en el futuro sin necesidad de predecir correctamente las acciones intermedias. Siempre que el estado del entorno permanezca estable, la "pista de aterrizaje" para el solapamiento se extiende sin la acumulación de errores multiplicativos de la predicción de la cadena completa.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

Caracterización de Barreras: Cuantifica la concentración de latencia, los límites de información de la predicción de observación y la tensión entre la profundidad de la mirada y la precisión de la predicción en cargas de trabajo de agentes con estado.
Marco AOSpec: Introduce un marco de co-especulación sin pérdidas que combina EVD (para el borrador de observación consciente de la latencia), ejecución de acción aislada (para resultados dependientes del entorno) y JASV (para la mirada de largo alcance sin pérdidas).
Validación Empírica: Demuestra reducciones significativas de latencia a través de diversos benchmarks, modelos y velocidades de servicio, mostrando que el enfoque escala a medida que la decodificación se acelera.

4. Resultados Experimentales

Los autores evaluaron AOSpec mediante la reproducción de trazas en Terminal-Bench 2.0 (que abarca cuatro entornos y cinco modelos de actores) y SWE-bench Verified.

Reducción de Latencia: AOSpec redujo la latencia media de extremo a extremo entre un 11.8% y un 32.5% en diversas configuraciones. Las ganancias aumentan a medida que el tiempo por token (TPOT) del modelo disminuye (es decir, a medida que la decodificación es más rápida), alcanzando una reducción del 32.5% con un TPOT de 1 ms.
Latencia de Cola: El marco mejoró significamente la latencia de cola, reduciendo la latencia p99 hasta en un 42.8%. Esto concuerda con el hallazgo de que unas pocas llamadas lentas dominan la latencia total.
Líneas Base: AOSpec superó a todas las líneas base prácticas, incluyendo:
- Acciones Especulativas (predicción de la siguiente acción únicamente).
- SpecHop (observación especulativa mediante caché o borrador de LLM).
- Oracle-action (techo de especulación de acción de un solo paso).
  En 41 de 45 configuraciones, AOSpec superó el techo del oráculo de acción de un paso aprovechando la mirada hacia adelante de la acción trans-paso y la especulación de observación.
Generalización: Un modelo de observación entrenado únicamente con trazas de Terminal-Bench se transfirió a SWE-bench Verified sin reentrenamiento, logrando ahorros de latencia del 18.9% con un TPOT de 1 ms.
Ablación: La combinación de la especulación de observación y de acción produjo ahorros del 17.0% con un TPOT de 10 ms, en comparación con el 12.0% y el 7.1% para la especulación de solo observación y solo acción, respectivamente.

5. Significado y Reivindicaciones

El artículo afirma que AOSpec representa un cambio en la forma en que se optimiza la latencia de servicio de agentes. Al pasar de la optimación de la tasa de aciertos a la optimización del valor esperado y reemplazar la predicción de la cadena completa con la mirada hacia adelante de la acción objetivo verificada por el estado, el marco desbloquea un solapamiento de largo alcance sin sacrificar la semántica serial.

Los autores sostienen que, a medida que la decodificación de los modelos continúe acelerándose, el cuello de botella se desplazará cada vez más hacia la ejecución del entorno. AOSpec aborda esto tratando el bucle agente-entorno como un sistema unificado para la especulación, ocultando eficazmente la latencia de ejecución de herramientas mediante un enfoque de co-especulación sin pérdidas. Los resultados sugieren que la co-especulación de las salidas del modelo y la ejecución de estados es una estrategia viable y efectiva para el servicio de agentes de baja latencia.