🤖 AI

HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization

HeraSys es un sistema de servicio de LLM que optimiza el rendimiento de extremo a extremo de flujos de trabajo multitenant concurrentes mediante la eliminación de la redundancia computacional entre flujos de trabajo a través de la fusión estructural de nodos y empleando una política de programación conjunta sensible a la carga para reducir significativamente la latencia de cola mientras aumenta el rendimiento.

Autores originales: Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una cocina bulliciosa donde un equipo de chefs intenta cocinar cientos de platos complejos a la vez. En el mundo de la Inteligencia Artificial, estos "platos" son tareas realizadas por los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés)—los cerebros informáticos súper inteligentes que escriben historias, responden preguntas y resuelven problemas. Usualmente, cuando le pides algo a una IA, se trata como un pedido único y aislado. Pero en el mundo real, las aplicaciones se están convirtiendo en banquetes elaborados: un solo pedido puede implicar buscar información, consultar una base de datos y luego escribir un resumen, todo de una sola vez. Estos se llaman "flujos de trabajo" (workflows).

El problema es que cuando muchas personas piden estos banquetes complejos al mismo tiempo, la cocina se vuelve caótica. Si dos clientes piden que se pique el mismo ingrediente, la cocina podría picarlo dos veces, desperdiciando tiempo y energía. Peor aún, si un cliente pide un estofado masivo y de cocción lenta, los chefs podrían quedarse estancados en él, dejando a todos los demás esperando a que se sirvan sus ensaladas rápidas. Este es el desafío de "servir" la IA: ¿cómo gestionas una inundación de pedidos complejos y superpuestos sin que el sistema se detenga o deje a algunas personas esperando para siempre?

Aquí es donde entra en escena un nuevo sistema llamado HeraSys. Piensa en HeraSys como un revolucionario gerente de cocina que no solo mira un pedido a la vez, sino que observa todo el suelo de la cocina para ver cómo los diferentes pedidos pueden ayudarse entre sí. En lugar de tratar cada solicitud como una isla separada, HeraSys busca superposiciones. Si dos clientes diferentes necesitan que se analice el mismo documento o se use la misma herramienta, HeraSys dice: "¡Oye, hagamos eso una sola vez y compartamos el resultado!". También actúa como un policía de tráfico, asegurándose de que los pedidos rápidos y sencillos no se queden atrapados detrás de los pesados y lentos, y que los lentos no se queden sin atención.

Los investigadores detrás de HeraSys construyeron un sistema que descompone estas tareas complejas de IA en piezas diminutas y de grano fino. Descubrieron que, al fusionar pasos duplicados y programar inteligentemente quién recibe los recursos de la cocina (como potentes chips informáticos), podían hacer que todo el sistema fuera mucho más rápido. En sus pruebas, demostraron que HeraSys podía reducir el tiempo que tardan en completarse las solicitudes más lentas hasta en 2.17 veces (lo que significa que eran más del doble de rápidas) y aumentó el número total de tareas que el sistema puede manejar hasta en 1.85 veces en comparación con los mejores sistemas existentes.

El artículo argumenta en contra de la vieja forma de hacer las cosas, donde los sistemas tratan cada solicitud como un trabajo independiente y aislado. Demuestran que este "aislamiento" crea desperdicio y cuellos de botella innecesarios. En su lugar, proponen un enfoque colaborativo donde el sistema busca activamente el trabajo compartido. También argumentan en contra de reglas de programación simples como "el primero en llegar es el primero en ser atendido", que pueden causar que las tareas largas bloqueen a todos los demás, o "el trabajo más corto primero", que puede hacer que las tareas largas esperen para siempre. HeraSys sugiere una estrategia equilibrada y "consciente de la carga" que reserva algunos recursos para las tareas pesadas mientras prioriza las rápidas, asegurando la equidad y la velocidad para todos.

Los resultados, medidos a través de extensos experimentos en hardware real, sugieren que este enfoque colaborativo y de grano fino es un paso significativo hacia adelante. Al fusionar pasos redundantes y ajustar dinámicamente cómo se agrupan y ejecutan las tareas, HeraSys logra mantener bajo el tiempo de espera promedio mientras evita la "cola" de retrasos lentos y frustrantes que suelen afectar a los sistemas de IA complejos. Es un poco como darse cuenta de que, si organizas a un grupo de amigos para limpiar una casa, no deberías simplemente asignar a cada persona una habitación; deberías notar que dos personas están aspirando el mismo pasillo y hacer que trabajen juntas, mientras te aseguras de que la persona que lava las ventanas no se quede esperando a que termine la aspiradora.

Resumen Técnico: HeraSys

Planteamiento del Problema

La proliferación de los Modelos de Lenguaje de Gran Escala (LLMs) ha desplazado el desarrollo de aplicaciones desde interacciones simples de un solo turno hacia flujos de trabajo agénticos complejos y multi-inquilino representados como Grafos Acíclicos Dirigidos (DAGs). Los sistemas de servicio existentes optimizan principalmente el rendimiento dentro de un único flujo de trabajo o se centran en las dependencias intra-flujo de trabajo (por ejemplo, el procesamiento por lotes de inferencia de LLM). Sin embargo, estos enfoques tratan los flujos de trabajo concurrentes como instancias independientes, lo que conduce a dos ineficiencias críticas en entornos multi-inquilino:

Redundancia Computacional: Las consultas concurrentes suelen compartir similitudes estructurales, como la incrustación (embedding) de los mismos fragmentos de documentos, la recuperación de datos idénticos o la invocación de las mismas herramientas con contextos similares. Los diseños modulares actuales carecen de una visión global para detectar estas superposiciones, lo que obliga al sistema a ejecutar tareas redundantes.
Ineficiencia de Programación e Injusticia: Las cargas de trabajo del mundo real exhiben una alta heterogeneidad, mezclando tareas cortas (por ejemplo, QA simple) con tareas largas (por ejemplo, razonamiento de múltiples rondas). Las políticas de programación tradicionales como el Primero en Llegar, Primero en Ser Servido (FCFS) sufren de bloqueo de Cabecera de Línea (HOL), donde las tareas largas retrasan a las cortas. Por el contrario, priorizar estrictamente las tareas cortas (por ejemplo, el Trabajo Más Corto Primero) puede causar inanición para las tareas largas, degradando la equidad y la latencia de cola.

Metodología

Los autores proponen HeraSys, un sistema de servicio de extremo a extremo de grano fino diseñado para optimizar escenarios concurrentes de múltiples flujos de trabajo mediante una arquitectura de optimización de doble capa.

1. Optimización Pre-Ejecución: Fusión de Grafos Semánticos

HeraSys rompe el aislamiento a nivel de solicitud analizando el contexto global de las consultas entrantes antes de la ejecución.

Firma Semántica de Nodo: El sistema asigna una firma de hash única a cada nodo de tarea basada en su tipo de operador, parámetros, datos de entrada y las firmas de sus predecesores. Esto permite al sistema identificar tareas lógicamente independientes pero computacionalmente equivalentes entre diferentes consultas.
Fusión Topológica: Para consultas concurrentes que llegan en una ventana de tiempo corta, el sistema fusiona los nodos redundantes. Si un nodo en una nueva consulta coincide con un nodo ya presente en la cola de espera, el nuevo nodo se elimina del grafo de ejecución y sus dependencias descendentes se redirigen al nodo existente.
Reutilización de Caché Asíncrona: Para solicitudes fuera de la ventana de tiempo, el sistema reutiliza los resultados de los nodos completados o espera a que los nodos actualmente en ejecución terminen, compartiendo la salida.
Ajuste de Prioridad: Los nodos fusionados se les asigna una mayor prioridad de programación, calculada como la suma de las contribuciones de todos los nodos lógicos fusionados, para acelerar el progreso de múltiples rutas descendentes simultáneamente.

2. Optimización en Tiempo de Ejecución: Programación Conjunta Sensible a la Carga

El programador en tiempo de ejecución gestiona dinámicamente el orden de ejecución y la asignación de recursos para equilibrar la latencia promedio con la equidad para las tareas de cola larga.

Estimación Dinámica del Tiempo Restante: El sistema estima el tiempo de servicio restante ( $\hat{S}_q$ ) para cada consulta combinando el perfilado offline con el progreso de ejecución online. Los operadores de decodificación largos se descomponen en sub-nodos secuenciales para permitir la preemción de grano fino y un seguimiento preciso.
와* Métrica de Contribución de Nodo: Una métrica ( $\phi_v$ ) cuantifica la contribución de un nodo al progreso de la consulta basándose en la carga de trabajo descendente, la longitud del camino y las ramas paralelas.
Sesgo y Partición de Recursos: Para prevenir la inanición, el sistema clasifica las consultas como "largas" o "cortas" basándose en un umbral dinámico derivado de la distribución de los tiempos restantes. Se impone una reserva mínima de recursos para los nodos pesados en consultas largas, asegurando que reciban una parte garantizada de los recursos mientras que las tareas cortas se priorizan para una baja latencia.
Función de Prioridad Conjunta: El programador ordena los nodos listos utilizando una función de prioridad compuesta $\pi_v$ $π_{v}$ que equilibra tres factores:
1. Tiempo Más Corto Restante Dinámico (SRTF): Minimiza la latencia promedio.
2. Contribución Topológica: Prioriza los nodos críticos que desbloquean el trabajo descendente.
3. Anti-Inanición: Aumenta la prioridad de los nodos pesados en tareas largas.
Ejecución Adaptativa: El sistema ajusta dinámicamente los tamaños de lote y la granularidad de la descomposición del pipeline según la carga del sistema. Bajo alta carga, aumenta el procesamiento por lotes para mejorar el rendimiento (throughput); bajo baja carga, aumenta la división del pipeline para explotar el paralelismo de datos y reducir la latencia.

Contribuciones Clave

Arquitectura de Optimización de Doble Capa: HeraSys introduce un sistema que supera el aislamiento tradicional a nivel de solicitud integrando la fusión de grafos pre-ejecución con la programación dinámica en tiempo de ejecución, logrando la optimización conjunta de la utilización de recursos y la eficiencia de programación.
Reutilización de Nodos de Grafo entre Consultas: Un mecanismo para identificar y eliminar subgrafos computacionales redundantes a través de flujos de trabajo mediante el emparejamiento de firmas semánticas, reduciendo significativamente la sobrecarga computacional.
Estrategia de Programación Sensible a la Carga: Una estrategia que integra la clasificación dinámica de tareas, la asignación sesgada de recursos y el procesamiento por lotes adaptativo para reducir eficazmente la latencia de extremo a extremo mientras se garantiza la equidad para las tareas de cola larga.
Implementación y Evaluación: Los autores implementaron HeraSys en un servidor con GPUs NVIDIA RTX 4090 utilizando vLLM como backend y demostraron su efectividad mediante comparaciones extensas con bases de referencia de vanguardia.

Resultados Experimentales

Los autores evaluaron HeraSys contra LangGraph, LlamaIndex y el sistema de vanguardia Ayo bajo diversas cargas de trabajo (RAG con/sin reordenación, Búsqueda Web y escenarios mixtos) bajo niveles de concurrencia variables (6 a 300).

Reducción de Latencia: HeraSys redujo la latencia P99 hasta en 2.17× y la latencia P95 hasta en 1.94× en comparación con las bases de referencia bajo garantías estrictas de latencia. En cargas de trabajo mixtas, logró una mejora de 2.17× en la latencia P99.
Mejora de Rendimiento (Throughput): El sistema aumentó el rendimiento de servicio hasta en 1.85× en comparación con las bases de referencia.
Estudios de Ablación: Los experimentos confirmaron que eliminar el Fuser de Grafos reducía el rendimiento aproximadamente en 1.16×, y usar únicamente la programación SRTF (sin sesgo de recursos) aumentaba la latencia P99 en un 22.3% en comparación con el sistema completo, resaltando la necesidad del enfoque de optimización conjunta.
Equidad: El mecanismo de sesgo de recursos mitigó con éxito los problemas de inanición comunes en las estrategias puras de SRTF, proporcionando un Calidad de Servicio (QoS) más predecible para las tareas largas sin comprometer significativamente la capacidad de respuesta de las tareas cortas.

Significado y Reivindicaciones

El artículo afirma que HeraSys representa un paso significativo adelante en la infraestructura de servicio de LLM al desplazar el enfoque de la optimización de solicitudes aisladas hacia la optimización colaborativa y transversal entre flujos de trabajo. Al explotar las similitudes estructurales de grano fino y equilibrar dinámicamente la contención de recursos, HeraSys aborda las redundancias inherentes y los desafíos de programación en los flujos de trabajo agénticos multi-inquilino. Los autores postulan que este enfoque ofrece conocimientos para construir sistemas de servicio de aplicaciones de LLM más eficientes, escalables y justos, reduciendo finalmente el consumo de recursos computacionales y los costos operativos mientras se mejora la experiencia del usuario.