💻 computer science

HADIS: A Hybrid Architecture for Query-Aware Diffusion Model Serving

O HADIS é um sistema de modelo de difusão híbrido que combina roteamento de pré-geração e discriminação de pós-geração para otimizar dinamicamente a seleção de modelos e a alocação de GPU, melhorando significamente a qualidade da resposta e reduzindo violações de SLO em comparação com abordagens de cascata existentes.

Autores originais: Qizheng Yang, Tung-I Chen, Siyu Zhao, Ramesh K. Sitaraman, Hui Guan

Publicado 2026-09-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qizheng Yang, Tung-I Chen, Siyu Zhao, Ramesh K. Sitaraman, Hui Guan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, os computadores aprenderam a pintar. Ao estudar milhões de imagens e as palavras que as pessoas usam para descrevê-las, sistemas de inteligência artificial agora podem gerar imagens inteiramente novas a partir de um simples comando de texto. Quando um usuário pede por "uma paisagem urbana surrealista representando o tempo e a memória", o computador não apenas recupera uma foto; ele constrói uma imagem pixel por pixel, um processo que exige imenso poder computacional e tempo. Essa capacidade passou dos laboratórios de pesquisa para ferramentas cotidianas usadas por artistas e designers, mas enfrenta um problema logístico persistente: como atender a esses pedidos de forma rápida e barata sem sacrificar a beleza da imagem final.

A dificuldade central reside na imprevisibilidade da tarefa. Alguns pedidos são simples, como "uma banana em um prato branco", que o computador pode resolver rapidamente. Outros são complexos, exigindo que a máquina lide com detalhes intrincados e conceitos abstratos, um processo que leva muito mais tempo. Uma abordagem que execute cada pedido através da versão mais poderosa e de alta qualidade do software garantiria um resultado belo, mas seria incrivelmente lenta e cara, sobrecarregando o sistema com trabalho desnecessário. Por outro lado, usar uma versão mais rápida e simples para tudo seria eficiente, mas frequentemente produziria imagens borradas ou sem sentido para pedidos difíceis. O desafio para os engenheiros é construir um sistema que possa reconhecer instantaneamente quais pedidos são fáceis e quais são difíceis, direcionando-os para a ferramenta certa sem desperdiçar tempo ou dinheiro.

Pesquisadores da Universidade de Massachusetts Amherst desenvolveram um novo sistema chamado HADIS para resolver exatamente este problema. O trabalho deles aborda uma falha específica na forma como os sistemas atuais lidam com esses pedidos. Os métodos existentes frequentemente forçam cada pedido a passar primeiro por uma versão rápida e leve do software, verificando o resultado depois para ver se ele é bom o suficiente. Se o resultado for ruim, o sistema o descarta e começa novamente com a versão lenta e poderosa. Essa abordagem desperdiça uma quantidade significativa de poder computacional em pedidos que sempre seriam difíceis demais para a versão rápida lidar. É semelhante a pedir que um artista júnior faça um esboço de uma obra-prima, apenas para perceber no meio do caminho que a tarefa exige um mestre, e então jogar fora o esboço para começar do zero.

Para corrigir isso, a equipe projetou uma arquitetura híbrida que combina duas estratégias diferentes. A primeira parte é um "roteador" que analisa o comando de texto antes que qualquer imagem seja gerada. Com base nas palavras utilizadas, ele prevê se o pedido é provavelmente fácil ou difícil. Se o pedido parecer complexo demais, o sistema ignora a versão rápida e leve inteiramente e envia o pedido diretamente para o modelo poderoso e de alta qualidade. Isso economiza tempo e recursos ao evitar a tentativa fútil de resolver um problema difícil com uma ferramenta simples. A segunda parte do sistema é um "discriminador" que atua como um inspetor de qualidade. Se um pedido passar pela versão rápida, este inspetor verifica a imagem final. Se a imagem não estiver dentro do padrão, o sistema detecta o erro e o redireciona para o modelo poderoso antes que o usuário veja o resultado ruim. Essa rede de segurança de dois passos garante que os pedidos fáceis sejam tratados rapidamente, enquanto os difíceis recebem a atenção necessária sem desperdiçar esforço em tentativas fracassadas.

Os pesquisadores testaram este sistema em um cluster de dezesseis processadores gráficos poderosos, usando dados do mundo real de milhares de pedidos de imagens. Eles compararam o HADIS com vários métodos existentes, incluindo sistemas que usam apenas um modelo rápido, sistemas que usam apenas um modelo lento e sistemas que tentam alternar entre eles sem um roteador inteligente. Os resultados foram impressionantes. Ao decidir inteligentemente qual modelo usar e quando, o HADIS melhorou a qualidade das imagens geradas em até trinta e cinco por cento em comparação aos outros sistemas. Ao mesmo tempo, reduziu o número de pedidos que falharam em terminar a tempo em um fator de vinte e sete a quarenta e cinco. Isso significa que o sistema não está apenas produzindo imagens melhores, mas também é muito mais confiável em atender às expectativas de velocidade dos usuários.

Um insight fundamental do estudo foi que adicionar mais camadas de complexidade ao sistema era desnecessário. Os pesquisadores descobriram que uma configuração simples de dois estágios — um modelo rápido e um modelo lento, gerenciados pelo seu roteador e inspetor híbridos — era tão eficaz quanto arranjos mais complicados com três ou mais modelos. Essa descoberta permitiu que eles simplificassem o processo de tomada de decisão do sistema, tornando-o mais rápido para se adaptar às mudanças de demanda. O sistema monitora constantemente o fluxo de pedidos e ajusta suas configurações em tempo real, garantindo que sempre utilize o equilíbrio certo entre velocidade e qualidade.

O sucesso do HADIS demonstra que o futuro de servir a inteligência artificial não reside apenas em construir modelos maiores, mas em construir formas mais inteligentes de usá-los. Ao compreender a natureza do pedido antes que ele seja processado e verificar o resultado depois, o sistema evita o desperdício que assola as tecnologias atuais. Essa abordagem permite que os computadores atendam a mais usuários com resultados de maior qualidade, utilizando a mesma quantidade de energia e hardware. À medida que a IA generativa se integra à vida cotidiana, sistemas como o HADIS serão essenciais para garantir que essas ferramentas poderosas permaneçam rápidas, acessíveis e confiáveis para todos.

Resumo Técnico: HADIS – Uma Arquitetura Híbrida para o Atendimento de Modelos de Difusão Sensíveis a Consultas

1. Definição do Problema

O atendimento de modelos de difusão de texto para imagem (T2I) enfrenta uma tensão fundamental ao equilibrar qualidade de resposta, vazão (throughput) e Objetivos de Nível de Serviço (SLOs) de latência. Sistemas de cascata existentes sensíveis a consultas (ex: DiffServe) roteiam todas as consultas através de um modelo leve primeiro, usando um discriminador para redirecionar saídas de baixa qualidade para um modelo pesado. Essa abordagem sofre de duas ineficiências críticas específicas para modelos de difusão:

Computação Desperdiçada em Consultas Difíceis: Todas as consultas, incluindo aquelas previstas como difíceis, devem passar pelo estágio leve antes que a qualidade possa ser avaliada. Como as trajetórias de difusão não oferecem sinais intermediários de qualidade confiáveis, as consultas difíceis inevitavelmente exigirão o modelo pesado, tornando a passagem inicial leve um custo perdido.
Incapacidade de Reutilizar o Estado: Ao contrário dos Grandes Modelos de Linguagem (LLMs), onde a decodificação especulativa permite a reutilização de tokens, os modelos de difusão carecem de transferência de estado entre modelos. A heterogeneidade arquitetural (ex: UNet vs. DiT) e a natureza do processo de denoising impedem a reutilização de estados intermediários de uma saída leve rejeitada. Uma consulta rejeitada força o modelo pesado a regenerar do zero, incorrendo no custo total de ambos os estágios.

Além disso, sistemas existentes frequentemente fixam o par de modelos (leve/pesado) independentemente da dinâmica de carga de trabalho. No entanto, a análise empírica mostra que o par de modelos ideal varia significamente tanto com o orçamento de latência quanto com a carga atual de consultas, tornando configurações estáticas subótimas.

2. Metodologia

O HADIS (Arquitetura Híbrida para Atendimento de Modelos de Difusão) aborda esses desafios por meio de uma arquitetura de cascata híbrida e otimização conjunta em tempo de execução.

2.1 Arquitetura de Cascata Híbrida

O HADIS combina dois mecanismos complementares para minimizar a computação desperdiçada e maximizar a qualidade:

Roteador de Pré-Geração: Um analisador de prompt leve, baseado em regras, estima a dificuldade da consulta antes da geração. Consultas previstas como "difíceis" ignoram o modelo leve inteiramente e são enviadas diretamente para o modelo pesado.
Discriminador de Pós-Geração: Um avaliador de imagem baseado em CLIP assessia a saída do modelo leve. Se a qualidade for insuficiente (um caso de "falso-fácil"), a consulta é redirecionada para o modelo pesado.

Este design garante que consultas difíceis evitem a inferência leve desnecessária, enquanto consultas fáceis que foram classificadas incorretamente pelo roteador são detectadas antes de serem retornadas como resultados de baixa qualidade.

2.2 Insight Empírico: Suficiência de Dois Modelos

O sistema baseia-se em uma observação empírica fundamental: cascatas de dois modelos capturam a fronteira de Pareto de cascata mais profundas. Experimentos de perfilamento demonstraram que adicionar um terceiro estágio à cascata oferece melhoria de qualidade negligenciável sobre uma cascata de dois estágios bem ajustada, mas introduz overhead de sistema significativo (passagens de inferência extras, enfileiramento e decisões de roteamento). Consequentemente, o HADIS restringe seu espaço de busca a pares de modelos, reduzindo drasticamente a complexidade do problema de otimização.

2.3 Design do Sistema e Otimização

O sistema HADIS consiste em um Controlador, um Roteador de Consultas e Workers.

Perfilamento Offline: O sistema poda o pool de modelos candidatos e perfila todos os pares de dois modelos válidos através de uma grade de limiares de dificuldade ( $\theta$ ) e qualidade ( $\tau$ ). Isso gera uma tabela de consulta compacta de configurações Pareto-ótimas.
Gerenciamento de Recursos Online: Em tempo de execução, um Gerenciador de Recursos resolve um Programa Linear Inteiro Misto (MILP) periodicamente. O MILP otimiza conjuntamente:
1. Seleção de Par de Modelos: Escolhendo o melhor par leve/pesado da tabela de consulta.
2. Ajuste de Limiar: Ajustando o limiar de dificuldade do roteador e o limiar de qualidade do discriminador.
3. Alocação de Recursos: Determinando o número de workers e tamanhos de lote (batch sizes) para cada modelo para satisfazer a demanda dentro do SLO.

O MILP utiliza uma média móvel exponencialmente ponderada (EWMA) para estimar a demanda e incorpora atrasos de enfileiramento para garantir a conformidade com o SLO.

3. Contribuições Principais

Sistema HADIS: Um sistema de atendimento de modelos de difusão que integra roteamento de pré-geração com verificação de pós-geração, seleciona dinamicamente pares de modelos em tempo de execução e otimiza a configuração conjuntamente via MILP online.
Redução da Fronteira de Pareto: Uma demonstração empírica de que cascata de dois modelos é suficiente para atingir a fronteira de Pareto de cascata mais profundas, permitindo uma otimização online tratável.
Análise Formal: Uma prova teórica mostrando que, sob condições de precisão brandas, a arquitetura híbrida domina estritamente as alternativas de "apenas roteador" e "apenas discriminador" com igual custo esperado. A análise define regiões de viabilidade no espaço ROC onde a abordagem híbrida é robusta à imprecisão do roteamento.
Avaliação Abrangente: Avaliação em um cluster de 16 GPUs usando traços do mundo real e prompts do ImageNet-1K.

4. Resultados Experimentais

Avaliado em um cluster de 16 GPUs (NVIDIA L40S) usando traços reais de Azure Functions e prompts do ImageNet-1K:

Qualidade de Resposta: O HADIS melhorou a qualidade da resposta (medida pela Distância de Inception de Fréchet, FID) em até 35% em comparação com as linhas de base. Em média, reduziu o FID em 7–23% em relação a sistemas como DiffServe, Proteus e INFaaS.
Violações de SLO: O HADIS reduziu as violações de SLO em 2,7× a 45× em comparação com as linhas de base. Especificamente, superou o DiffServe em 2,7×, o Proteus em 4,2× e o INFaaS em 8×.
Estudos de Ablação:
- Híbrido vs. Componente Único: O design híbrido superou tanto o design de apenas roteador quanto o de apenas discriminador através do espectro de latência-qualidade.
- Seleção Dinâmica de Par: Sistemas que fixavam o par de modelos (como o DiffServe) incorreram em maiores violações de SLO e menor qualidade em comparação com a seleção dinâmica do HADIS.
- Alocação de Recursos: A abordagem MILP online superou significativamente as estratégias de planejamento em cache, que sofriam com quedas transientes de qualidade e picos de violação durante mudanças de carga.

5. Significância e Alegações

O artigo alega que o HADIS resolve a ineficiência fundamental no atendimento de cascata onde consultas difíceis são forçadas através de estágios leves. Ao combinar o bypass de pré-geração com a captura de pós-geração, o HADIS elimina o cenário de "pior dos dois mundos" encontrado em sistemas de componente único.

Os autores enfatizam que a capacidade do sistema de otimizar conjuntamente o par de modelos, os limiares de roteamento e a alocação de GPU é crítica. Fixar qualquer dimensão (como feito em trabalhos anteriores) leva a um desempenho subótimo. O artigo afirma que a arquitetura híbrida é robusta à imprecisão do roteamento, desde que o discriminador seja suficientemente preciso, e que a suposição de cascata de dois modelos se sustenta empiricamente para o pool de modelos avaliado, tornando o espaço de otimização tratável para adaptação em tempo real.

O trabalho se posiciona como uma evolução necessária para a inferência de IA generativa, indo além da seleção de variantes estática ou simples cascata para um sistema que se adapta tanto à dinâmica de carga de trabalho quanto à dificuldade específica da consulta.