💻 computer science

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

MARS es un sistema eficiente y adaptativo de co-planificación que coordina globalmente recursos heterogéneos GPU-CPU para agentes autónomos de LLM al desacoplar la admisión de la ejecución y optimizar la retención del estado, reduciendo así significativamente la latencia de extremo a extremo mientras mantiene un alto rendimiento.

Autores originales: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que gestionas una cocina moderna y muy concurrida. En el pasado, esta cocina solo preparaba platos sencillos y únicos (como una sola respuesta de texto). Los chefs (las GPUs) eran los únicos que importaban, y el objetivo era simplemente cocinar tantos platos por hora como fuera posible.

Pero hoy, la cocina ha cambiado. Ahora ejecuta agentes autónomos—piensa en ellos como superchefs que no solo cocinan un plato, sino que emprenden un viaje complejo para resolver un problema. Podrían cocinar un poco, luego correr a la despensa para agarrar un ingrediente (usando una herramienta), consultar un libro de recetas (leyendo un archivo), volver a la estufa, cocinar un poco más y repetir este bucle docenas de veces hasta que el trabajo esté terminado.

El artículo introduce MARS, un nuevo "Gerente de Cocina" diseñado específicamente para este estilo caótico y multietapa de cocina. Así es como funciona, usando analogías sencillas:

El Problema: La Cocina Antigua Se Estaba Rompiendo

Los antiguos gerentes de cocina (sistemas de IA existentes) estaban diseñados para la era del "plato único". Cuando se enfrentaban a estos nuevos y complejos viajes de agentes, cometían tres grandes errores:

La Trampa de "Parar y Seguir": Cuando un chef dejaba de cocinar para correr a la despensa (ejecución de herramientas en CPU), el antiguo gerente o bien tiraba las notas del chef (caché KV) para ahorrar espacio o las mantenía para siempre, obstruyendo la encimera. Si las notas se tiraban, el chef tenía que reescribir toda la receta desde cero al regresar, desperdiciando enormes cantidades de tiempo.
El Bloqueo del "Pedido Gigante": Si llegaba un pedido enorme y complejo (un contexto largo), se apoderaba de la estufa y bloqueaba todos los pedidos pequeños y rápidos que estaban detrás, incluso si esos pedidos pequeños estaban listos para salir.
El "Punto Ciego": El gerente solo vigilaba la estufa (GPU). No veía que la despensa (CPU) estaba atascada. Así que seguía enviando chefs a la estufa aunque la despensa estuviera llena, causando un atasco donde los chefs permanecían ociosos esperando ingredientes.

La Solución: MARS (El Gerente de Cocina Inteligente)

MARS soluciona esto actuando como un sistema nervioso central que ve todo—tanto la estufa como la despensa—y los coordina perfectamente.

1. El "Flujo Unificado de Información" (El Walkie-Talkie)

En lugar de adivinar, MARS tiene una transmisión en vivo que conecta la estufa y la despensa.

Cómo funciona: Cada vez que un chef se detiene para ir a la despensa, o regresa con un ingrediente, se envía una señal instantáneamente. El gerente sabe exactamente por qué se detuvo el chef y cuándo volverá.
El Beneficio: El gerente nunca tiene que adivinar. Sabe exactamente cuánto espacio en la encimera (memoria) mantener para las notas del chef y cuándo liberar espacio para nuevos pedidos.

2. El "Plano de Control Externo" (El Portero)

Antes de que un nuevo pedido incluso entre a la cocina, MARS verifica si la cocina realmente puede manejarlo.

Cómo funciona: Mira dos cosas: ¿Está libre la estufa? ¿Está libre la despensa? Si la despensa está atascada con tareas de herramientas, MARS dice: "No hay nuevos pedidos por ahora", incluso si la estufa está vacía. Esto evita que la cocina se abrume.
El Beneficio: Evita que la cocina acepte demasiados pedidos a la vez, lo que causaría un colapso total donde nada se terminaría.

3. El "Planificador Interno Centrado en el Agente" (El Despachador Inteligente)

Una vez que los pedidos están dentro, MARS decide quién cocina a continuación. No sigue simplemente una fila de "Primero en llegar, primero en ser servido".

Cómo funciona:
- Prioridad: Si un chef está en medio de un paso rápido e interactivo, MARS lo deja ir primero. Si un chef está atascado en una receta masiva y lenta, MARS podría pausarlo brevemente para dejar que otros terminen, evitando el bloqueo del "pedido gigante".
- El Truco de la "Reanudación Caliente": MARS decide inteligentemente si mantener las notas del chef (caché KV) en la encimera. Si el chef va a volver en 2 segundos, MARS mantiene las notas (ahorrando tiempo). Si se va por 20 minutos, MARS borra las notas para hacer espacio para otros. Solo mantiene las notas cuando realmente ahorra tiempo.

Los Resultados: Más Rápido y Más Suave

El artículo probó MARS en escenarios del mundo real (como un asistente de programación que escribe y prueba software).

Velocidad: MARS hizo que los agentes terminaran sus tareas hasta 5.94 veces más rápido que los sistemas antiguos en pruebas controladas. En una configuración real de programación, aceleró la finalización de tareas en 1.87 veces.
Fiabilidad: Mientras que los sistemas antiguos se obstruían tanto que dejaban de terminar tareas por completo (alta "producción" pero cero "producción útil"), MARS mantenía la cocina funcionando sin problemas, asegurando que las tareas realmente se completaran a tiempo.

Resumen

Piensa en MARS como la diferencia entre un gerente de cocina que solo cuenta cuántas ollas hay en la estufa versus uno que entiende el flujo completo del restaurante. Al vigilar simultáneamente la estufa y la despensa, y tomando decisiones inteligentes sobre quién cocina a continuación y qué notas mantener, MARS asegura que los agentes de IA complejos y multietapa puedan trabajar eficientemente sin quedar atrapados en atascos.

Aquí se presenta un resumen técnico detallado del artículo "MARS: Programación Conjunta Eficiente y Adaptativa para Sistemas Agénticos Heterogéneos".

1. Declaración del Problema

El artículo identifica un cambio fundamental en los paradigmas de servicio de Modelos de Lenguaje Grande (LLM) provocado por el auge de los agentes autónomos. A diferencia de los chatbots tradicionales que realizan inferencia de un solo turno, los agentes ejecutan flujos de trabajo iterativos que involucran bucles de múltiples turnos de generación, invocación de herramientas y actualizaciones de estado. Este cambio introduce dos desafíos críticos que los motores de servicio de LLM existentes (por ejemplo, vLLM, TGI) no logran abordar:

Cambio Temporal (Un solo turno $\to$ Múltiples turnos): Las sesiones ya no son operaciones continuas de la GPU. Se pausan para la ejecución de herramientas (limitadas por la CPU) y se reanudan más tarde. Los sistemas existentes luchan por decidir si mantener la caché KV residente (para una reanudación "caliente" rápida) o expulsarla (para ahorrar memoria), lo que conduce tanto a la inanición de memoria como a costosas recomputaciones de prefijos.
Cambio Espacial (Solo GPU $\to$ GPU-CPU Co-ubicados): Las cargas de trabajo agénticas requieren una ejecución acoplada tanto en GPUs (inferencia) como en CPUs anfitrionas (ejecución de herramientas). Los sistemas existentes se optimizan para el rendimiento de tokens de la GPU de forma aislada, ignorando los cuellos de botella de la CPU. Esto conduce al bloqueo de cabeza de línea (HoL), donde las solicitudes de prefijo largas bloquean continuaciones interactivas cortas, y a la cola acoplada, donde la capacidad de la GPU permanece inactiva mientras espera la ejecución de herramientas de la CPU.

El problema central es la falta de un sistema capaz de visibilidad holística y programación conjunta adaptativa a través de recursos heterogéneos de GPU y CPU para optimizar la finalización del flujo de trabajo de extremo a extremo en lugar de simplemente el rendimiento bruto de tokens.

2. Metodología: Arquitectura MARS

MARS (Programador Adaptativo de Recursos de Múltiples Turnos) es un sistema de programación conjunta diseñado para cerrar la brecha entre la inferencia de GPU y la ejecución de herramientas de CPU. Se basa en tres pilares fundamentales:

A. Flujo de Información Unificado

Para eliminar el "punto ciego" entre los estados de GPU y CPU, MARS introduce una ruta de telemetría de baja sobrecarga que exporta eventos de frontera estructurados.

Plano GPU: Informa sobre la disponibilidad de bloques KV, retrasos en el lanzamiento de prefijos y demanda proyectada de KV.
Plano CPU: Rastrea las invocaciones de herramientas activas y las duraciones de ejecución para cuantificar la congestión del lado del anfitrión.
Función: Este flujo proporciona telemetría de doble presión en tiempo real, permitiendo que el sistema tome decisiones informadas basadas en la contención real de recursos en lugar de heurísticas estáticas.

B. Plano de Control Externo (Control de Admisión)

Este componente desacopla la admisión de la ejecución para evitar la sobresuscripción de recursos.

Equilibrador de Carga Global: Reordena la cola de espera basándose en la presión actual de los recursos. Por ejemplo, bajo una alta carga de CPU, prioriza las sesiones pesadas en GPU para evitar inyectar más llamadas a herramientas; bajo presión de KV, prioriza sesiones más pequeñas.
Controlador de Admisión Adaptativo: Utiliza un bucle de control AIMD (Aumento Aditivo, Disminución Multiplicativa) impulsado por el Flujo de Información Unificado. Ajusta dinámicamente la ventana de admisión ( $W_{adm}$ ) basándose en la presión real de CPU y KV, asegurando que las solicitudes solo ingresen al plano de datos cuando los recursos globales sean suficientes.

C. Programador Interno Centrado en el Agente (Plano de Datos)

Una vez admitidas, el programador gestiona el orden de ejecución y la residencia de KV para minimizar la ruta crítica de extremo a extremo.

Coordinador Consciente de Prioridades: Reemplaza el modelo Primero en Entrar, Primero en Salir (FCFS) con una Cola de Retroalimentación Multinivel. Prioriza las solicitudes basándose en:
1. Huella inicial de KV (más pequeña = mayor prioridad).
2. Servicio acumulado (para evitar la inanición).
3. Tiempo de espera.
  Esto evita que las tareas largas de prefijo bloqueen continuaciones cortas y sensibles a la latencia.
Programador Conjunto Oportunista: Maneja las restricciones de recursos dinámicamente.
- Reducción de Fragmentos: Si un prefijo completo no cabe en la memoria, reduce el tamaño del fragmento de tokens para permitir progreso parcial en lugar de bloquear.
- Retención Inteligente de KV: Decide si mantener una caché KV residente durante la ejecución de herramientas. Solo retiene el estado si el beneficio de la "reanudación caliente" supera el costo de oportunidad de la memoria, evitando el encallamiento de memoria.

3. Contribuciones Clave

Caracterización de la Carga de Trabajo: El artículo identifica formalmente los cambios temporales y espaciales en las cargas de trabajo agénticas y demuestra cómo crean demandas dinámicamente desalineadas a través de la computación de GPU, la capacidad de la caché KV y los recursos de la CPU anfitriona.
Telemetría Unificada: Introducción del Flujo de Información Unificado, que hace explícita la presión de recursos heterogéneos exportando eventos de frontera de ejecución desde los planos de GPU y CPU.
Arquitectura de Control Acoplado: Un diseño novedoso que combina un Plano de Control Externo (para admisión) y un Programador Interno Centrado en el Agente (para ejecución) que optimiza conjuntamente la admisión, la programación y la residencia de KV.
Implementación e Integración: MARS se implementa sobre vLLM y se integra con el marco de agente de codificación OpenHands, demostrando aplicabilidad práctica.

4. Resultados Experimentales

Los autores evaluaron MARS en GPUs H100 y H200 utilizando modelos como Qwen3-Coder-30B y GPT-OSS-120B, en pruebas de referencia que incluyen SWE-bench, GitTaskBench y RepoBench.

Reducción de Latencia: MARS reduce la latencia media de extremo a extremo hasta en 5.94× en comparación con las líneas base más avanzadas (incluyendo FCFS, Autellix, Infercept y Continuum) bajo carga pesada.
Rendimiento y Buen Rendimiento: Mientras mantiene un rendimiento del sistema casi máximo, MARS mejora significativamente el Buen Rendimiento Consciente de SLO Dinámico (la tasa de solicitudes que completan dentro de los objetivos de latencia). Las líneas base a menudo colapsan en buen rendimiento bajo carga, mientras que MARS mantiene altas tasas de finalización.
Despliegue en el Mundo Real: En un despliegue realista con OpenHands, MARS aceleró el tiempo de finalización de tareas de extremo a extremo hasta en 1.87×.
Estudios de Ablación: Eliminar el Coordinador Consciente de Prioridades causó un aumento de latencia de 2×–5× debido al bloqueo HoL. Eliminar el Plano de Control Externo causó una ralentización de 1.5×–3× debido a la acumulación de colas no gestionada.

5. Significado

MARS representa un cambio de paradigma en la infraestructura de servicio de LLM. Se aleja de los modelos centrados en solicitudes y optimizados para el rendimiento del pasado hacia la optimización de flujos de trabajo de extremo a extremo consciente de sesiones.

Impacto Sistémico: Resuelve el problema de la "presión acoplada" donde los recursos de GPU y CPU son interdependientes, un cuello de botella crítico para la próxima generación de agentes autónomos.
Practicidad: Al integrarse con OpenHands y vLLM, demuestra que estos cambios arquitectónicos pueden implementarse en marcos agénticos del mundo real sin reescribir toda la pila.
Dirección Futura: El artículo destaca la necesidad de abstracciones similares a las del sistema operativo en el servicio de LLM para gestionar contextos de múltiples turnos con estado, allanando el camino para sistemas agénticos más robustos y eficientes.

En resumen, MARS proporciona el plano de control y la lógica de programación necesarios para hacer que los sistemas agénticos heterogéneos sean eficientes, escalables y receptivos, abordando la brecha crítica entre la capacidad de hardware bruta y la finalización real del flujo de trabajo.