💻 computer science

HADIS: A Hybrid Architecture for Query-Aware Diffusion Model Serving

HADIS es un sistema de modelos de difusión híbridos que combina el enrutamiento de pregeneración y la discriminación de postgeneración para optimizar dinámicamente la selección de modelos y la asignación de GPU, mejorando significamente la calidad de la respuesta y reduciendo las violaciones de SLO en comparación con los enfoques de cascada existentes.

Autores originales: Qizheng Yang, Tung-I Chen, Siyu Zhao, Ramesh K. Sitaraman, Hui Guan

Publicado 2026-09-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qizheng Yang, Tung-I Chen, Siyu Zhao, Ramesh K. Sitaraman, Hui Guan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, las computadoras han aprendido a pintar. Al estudiar millones de imágenes y las palabras que la gente utiliza para describirlas, los sistemas de inteligencia artificial ahora pueden generar imágenes completamente nuevas a partir de una simple instrucción de texto. Cuando un usuario pide "un paisaje urbano surrealista que represente el tiempo y la memoria", la computadora no simplemente recupera una foto; construye una imagen píxel por píxel, un proceso que requiere una inmensa potencia de cómputo y tiempo. Esta capacidad ha pasado de los laboratorios de investigación a las herramientas cotidianas utilizadas por artistas y diseñadores, pero enfrenta un problema logístico persistente: cómo atender estas solicitudes de manera rápida y económica sin sacrificar la belleza de la imagen final.

La dificultad central radica en la imprevisibilidad de la tarea. Algunas peticiones son sencillas, como "un plátano sobre un plato blanco", que la computadora puede resolver rápidamente. Otras son complejas, requiriendo que la máquina gestione detalles intrincados y conceptos abstractos, un proceso que toma mucho más tiempo. Un enfoque que ejecute cada una de las solicitudes a través de la versión más potente y de alta calidad del software garantizaría un resultado hermoso, pero sería increíblemente lento y costoso, congestionando el sistema con trabajo innecesario. Por el contrario, utilizar una versión más rápida y simple para todo sería eficiente, pero a menudo produciría imágenes borrosas o sin sentido para las solicitudes difíciles. El desafío para los ingenieros es construir un sistema que pueda reconocer instantáneamente qué solicitudes son fáciles y cuáles son difíciles, dirigiéndolas a la herramienta adecuada sin perder tiempo ni dinero.

Investigadores de la Universidad de Massachusetts Amherst han desarrollado un nuevo sistema llamado HADIS para resolver este problema exacto. Su trabajo aborda una falla específica en la forma en que los sistemas actuales manejan estas solicitudes. Los métodos existentes a menudo obligan a que cada solicitud pase primero por una versión rápida y ligera del software, verificando el resultado después para ver si es lo suficientemente bueno. Si el resultado es deficiente, el sistema lo descarta y comienza de nuevo con la versión lenta y potente. Este enfoque desperdicia una cantidad significativa de potencia de cómputo en solicitudes que siempre iban a ser demasiado difíciles para la versión rápida. Es similar a pedirle a un artista principiante que esboce una obra maestra, solo para darse cuenta a mitad del proceso de que la tarea requiere a un maestro, y luego desechar el boceto para empezar de cero.

Para solucionar esto, el equipo diseñó una arquitectura híbrida que combina dos estrategias diferentes. La primera parte es un "enrutador" que observa la instrucción de texto antes de que se genere cualquier imagen. Basándose en las palabras utilizadas, predice si la solicitud es probable que sea fácil o difícil. Si la solicitud parece demasiado compleja, el sistema omite la versión rápida y ligera por completo y envía la solicitud directamente al modelo potente y de alta calidad. Esto ahorra tiempo y recursos al evitar el intento fútil de resolver un problema difícil con una herramienta simple. La segunda parte del sistema es un "discriminador" que actúa como un inspector de calidad. Si una solicitud sí pasa por la versión rápida, este inspector revisa la imagen final. Si la imagen no cumple con el estándar, el sistema detecta el error y la redirige al modelo potente antes de que el usuario vea el mal resultado. Esta red de seguridad de dos pasos asegura que las solicitudes fáciles se gestionen rápidamente, mientras que las difíciles reciban la atención necesaria sin desperdiciar esfuerzo en intentos fallidos.

Los investigadores probaron este sistema en un clúster de dieciséis potentes procesadores gráficos, utilizando datos del mundo real de miles de solicitudes de imágenes. Compararon HADIS contra varios métodos existentes, incluyendo sistemas que solo usan un modelo rápido, sistemas que solo usan un modelo lento, y sistemas que intentan alternar entre ellos sin un enrutador inteligente. Los resultados fueron sorprendentes. Al decidir inteligentemente qué modelo usar y cuándo, HADIS mejoró la calidad de las imágenes generadas hasta en un treinta y cinco por ciento en comparación con los otros sistemas. Al mismo tiempo, redujo el número de solicitudes que no lograron completarse a tiempo en un factor de veintisiete a cuarenta y cinco. Esto significa que el sistema no solo está produciendo mejores imágenes, sino que también es mucho más confiable para cumplir con las expectativas de velocidad de los usuarios.

Un conocimiento clave del estudio fue que añadir más capas de complejidad al sistema era innecesario. Los investigadores descubrieron que una configuración simple de dos etapas —un modelo rápido y un modelo lento, gestionados por su enrutador e inspector híbrido— era tan efectiva como arreglos más complicados con tres o más modelos. Este descubrimiento les permitió simplificar el proceso de toma de decisiones del sistema, haciéndolo más rápido para adaptarse a las demandas cambiantes. El sistema monitorea constantemente el flujo de solicitudes y ajusta sus configuraciones en tiempo real, asegurando que siempre utilice el equilibrio adecuado entre velocidad y calidad.

El éxito de HADIS demuestra que el futuro de la prestación de servicios de inteligencia artificial no reside solo en construir modelos más grandes, sino en construir formas más inteligentes de utilizarlos. Al comprender la naturaleza de la solicitud antes de que sea procesada y verificar el resultado después, el sistema evita el desperdicio que plaga a las tecnologías actuales. Este enfoque permite que las computadoras atiendan a más usuarios con resultados de mayor calidad, utilizando la misma cantidad de energía y hardware. A medida que la IA generativa se integra más en la vida diaria, sistemas como HADIS serán esenciales para asegurar que estas poderosas herramientas sigan siendo rápidas, asequibles y confiables para todos.

Resumen Técnico: HADIS – Una Arquitectura Híbrida para el Servicio de Modelos de Difusión Conscientes de la Consulta

1. Declaración del Problema

El servicio de modelos de difusión de texto a imagen (T2I) enfrenta una tensión fundamental al equilibrar la calidad de la respuesta, el rendimiento (throughput) y los Objetivos de Nivel de Servicio (SLO) de latencia. Los sistemas de cascada existentes conscientes de la consulta (por ejemplo, DiffServe) dirigen todas las consultas a través de un modelo ligero primero, utilizando un discriminador para redirigir las salidas de baja calidad hacia un modelo pesado. Este enfoque sufre de dos ineficiencias críticas específicas de los modelos de difusión:

Computación Desperdiciada en Consultas Difíciles: Todas las consultas, incluidas aquellas que se predicen como difíciles, deben pasar por la etapa ligera antes de que se pueda evaluar la calidad. Dado que las trayectorias de difusión no ofrecen señales intermedias de calidad fiables, las consultas difíciles inevitablemente requieren el modelo pesado, lo que convierte la pasada inicial ligera en un costo hundido.
Incapacidad de Reutilizar el Estado: A diferencia de los Grandes Modelos de Lenguaje (LLM) donde la decodificación especulativa permite la reutilización de tokens, los modelos de difusión carecen de transferencia de estado entre modelos. La heterogeneidad arquitectónica (por ejemplo, UNet vs. DiT) y la naturaleza del proceso de eliminación de ruido impiden la reutilización de estados intermedios de una salida ligera rechazada. Una consulta rechazada obliga al modelo pesado a regenerar desde cero, incurriendo en el costo total de ambas etapas.

Además, los sistemas existentes suelen fijar el par de modelos (ligero/pesado) independientemente de la dinámica de la carga de trabajo. Sin embargo, el análisis empírico muestra que el par de modelos óptimo varía significativamente tanto con el presupuesto de latencia como con la carga de consultas actual, lo que hace que las configuraciones estáticas sean subóptimas.

2. Metodología

HADIS (Arquitectura Híbrida para el Servicio de Modelos de Difusión) aborda estos desafíos mediante una arquitectura de cascada híbrida y una optimización conjunta en tiempo de ejecución.

2.1 Arquitectura de Cascada Híbrida

HADIS combina dos mecanismos complementarios para minimizar la computación desperdiciada y maximizar la calidad:

Enrutador de Pre-Generación: Un analizador de prompts ligero basado en reglas estima la dificultad de la consulta antes de la generación. Las consultas predichas como "difíciles" omiten el modelo ligero por completo y se envían directamente al modelo pesado.
Discriminador de Post-Generación: Un evaluador de imágenes basado en CLIP evalúa la salida del modelo ligero. Si la calidad es insuficiente (un caso de "falso-fácil"), la consulta se redirige al modelo pesado.

Este diseño asegura que las consultas difíciles eviten la inferencia ligera innecesaria, mientras que las consultas fáciles que son clasificadas erróneamente por el enrutador son detectadas antes de ser devueltas como resultados de baja calidad.

2.2 Perspectiva Empírica: Suficiencia de Dos Modelos

El sistema se basa en una observación empírica clave: las cascadas de dos modelos capturan la frontera de Pareto de las cascadas más profundas. Experimentos de perfilado demostraron que añadir una tercera etapa a la cascada ofrece una mejora de calidad insignificante sobre una cascada de dos etapas bien ajustada, pero introduce una sobrecarga de sistema significativa (pasadas de inferencia adicionales, colas y decisiones de enrutamiento). En consecuencia, HADIS restringe su espacio de búsqueda a pares de modelos, reduciendo drásticamente la complejidad del problema de optimización.

2.3 Diseño del Sistema y Optimización

El sistema HADIS consta de un Controlador, un Enrutador de Consultas y Trabajadores (Workers).

Perfilado Offline: El sistema poda el grupo de modelos candidatos y perfila todos los pares de dos modelos válidos a través de una cuadrícula de umbrales de dureza ( $\theta$ ) y calidad ( $\tau$ ). Esto genera una tabla de búsqueda compacta de configuraciones Pareto-óptimas.
Gestión de Recursos Online: En tiempo de ejecución, un Gestor de Recursos resuelve un Programa Lineal Entero Mixto (MILP) periódicamente. El MILP optimiza conjuntamente:
1. Selección del Par de Modelos: Eligiendo el mejor par ligero/pesado de la tabla de búsqueda.
2. Ajuste de Umbrales: Ajustando el umbral de dureza del enrutador y el umbral de calidad del discriminador.
3. Asignación de Recursos: Determinando el número de trabajadores y los tamaños de lote (batch sizes) para cada modelo para satisfacer la demanda dentro del SLO.

El MILP utiliza una media móvil exponencialmente ponderada (EWMA) para estimar la demanda e incorpora retrasos de cola para asegurar el cumplimiento del SLO.

3. Contribuciones Clave

Sistema HADIS: Un sistema de servicio de modelos de difusión que integra el enrutamiento de pre-generación con la verificación de post-generación, selecciona dinámicamente pares de modelos en tiempo de ejecución y optimiza conjuntamente la configuración mediante un MILP en línea.
Reducción de la Frontera de Pareto: Una demostración empírica de que las cascadas de dos modelos son suficientes para alcanzar la frontera de Pareto de las cascadas más profundas, permitiendo una optimización en línea tratable.
Análisis Formal: Una prueba teórica que muestra que, bajo condiciones de precisión moderadas, la arquitectura híbrida domina estrictamente a las alternativas de "solo enrutador" y "solo discriminador" con un costo esperado igual. El análisis define regiones de factibilidad en el espacio ROC donde el enfoque híbrido es robusto a un enrutamiento imperfecto.
Evaluación Exhaustiva: Evaluación en un clúster de 16 GPUs utilizando trazas del mundo real y prompts de ImageNet-1K, demostrando mejoras significativas sobre las líneas base de vanguardia.

4. Resultados Experimentales

Evaluado en un clúster de 16 GPUs (NVIDIA L40S) utilizando trazas reales de Azure Functions y prompts de ImageNet-1K:

Calidad de Respuesta: HADIS mejoró la calidad de la respuesta (medida por la Distancia de Incepción de Fréchet, FID) hasta en un 35% en comparación con las líneas base. En promedio, redujo el FID entre un 7% y un 23% respecto a sistemas como DiffServe, Proteus e INFaaS.
Violaciones de SLO: HADIS redujo las violaciones de SLO de 2.7× a 45× en comparación con las líneas base. Específicamente, superó a DiffServe por 2.7×, a Proteus por 4.2× e INFaaS por 8×.
Estudios de Ablación:
- Híbrido vs. Componente Único: El diseño híbrido superó tanto al diseño de solo enrutador como al de solo discriminador a través del espectro de latencia-calidad.
- Selección Dinámica de Pares: Los sistemas que fijaban el par de modelos (como DiffServe) incurrieron en mayores violaciones de SLO y menor calidad en comparación con la selección dinámica de HADIS.
- Asignación de Recursos: El enfoque MILP en línea superó significativamente a las estrategias de planificación con caché, las cuales sufrieron caídas transitorias de calidad y picos de violaciones durante los cambios de carga.

5. Significancia y Reivindicaciones

El artículo afirma que HADIS resuelve la ineficiencia fundamental en el servicio de cascada donde las consultas difíciles se ven obligadas a pasar por etapas ligeras. Al combinar el bypass de pre-generación con la captura de post-generación, HADIS elimina el escenario de "lo peor de ambos mundos" encontrado en los sistemas de un solo componente.

Los autores enfatizan que la capacidad del sistema para optimizar conjuntamente el par de modelos, los umbrales de enrutamiento y la asignación de GPU es crítica. Fijar cualquier dimensión (como se hace en trabajos previos) conduce a un rendimiento subóptimo. El artículo sostiene que la arquitectura híbrida es robusta ante un enrutamiento imperfecto, siempre que el discriminador sea suficientemente preciso, y que el supuesto de la cascada de dos modelos se sostiene empíricamente para el grupo de modelos evaluado, haciendo que el espacio de optimización sea tratable para la adaptación en tiempo real.

Este trabajo se posiciona como una evolución necesaria para la inferencia de IA generativa, moviéndose más allá de la selección de variantes estática o las cascadas simples hacia un sistema que se adapta tanto a la dinámica de la carga de trabajo como a la dificultad específica de la consulta.