🤖 machine learning

User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling

Este artigo propõe um sistema de inferência distribuída colaborativa assistida por usuários que combina infraestrutura dedicada com recursos de usuários voluntários para permitir o escalonamento automático consciente de QoS, demonstrando, por meio de um modelo de Markov de alta dimensão e simulações, que esta abordagem melhora significativamente a latência e a conclusão de requisições enquanto reduz o consumo de recursos dedicados à medida que a população de usuários cresce.

Autores originais: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

Publicado 2026-08-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade gigante e movimentada, onde todos estão constantemente pedindo ajuda. Às vezes, eles precisam de uma resposta rápida, mas muitas vezes estão pedindo algo incrivelmente complexo, como pedir a um robô superinteligente para escrever uma história, resolver um problema matemático ou reconhecer um rosto em uma foto. Isso é chamado de "inferência de IA". Atualmente, quase todo esse trabalho pesado é feito em enormes centros de dados centralizados — pense neles como grandes fábricas fortificadas onde milhares de computadores poderosos trabalham juntos. Embora essas fábricas sejam incríveis, elas estão se tornando incrivelmente caras para construir e operar, e usam tanta energia que estão deixando uma pegada de carbono gigante em nosso planeta. É como tentar alimentar os semáforos de uma cidade inteira com um único gerador estrondoso; funciona, mas é barulhento, caro e difícil de acompanhar à medida que mais pessoas entram na estrada.

Para resolver isso, cientistas têm olhado para a "computação de borda" (edge computing), que é como mover parte do trabalho para mais perto das pessoas que precisam dele, talvez para centros de bairro locais. Mas há outra ideia, mais radical: e se pudéssemos pegar emprestado um pouco do poder de computação das próprias pessoas que estão pedindo ajuda? Este é o conceito de "computação voluntária", onde seu telefone, laptop ou tablet empresta um pouco de sua capacidade cerebral ociosa para o grupo quando não estiver ocupado. A grande questão que os pesquisadores estão fazendo é: Podemos misturar esses dois mundos? Podemos manter alguns servidores poderosos para lidar com o básico, enquanto deixamos milhões de usuários comuns contribuírem para lidar com o restante, criando um sistema que escala automaticamente sem a necessidade de construir mais fábricas gigantes?

É exatamente isso que os pesquisadores deste artigo se propuseram a explorar. Eles propõem uma nova maneira de executar serviços de IA chamada "Inferência Distribuída Colaborativa Assistida pelo Usuário". Em vez de depender apenas de servidores centralizados caros, o sistema deles divide o trabalho. Um servidor central atua como o "capitão", lidando com uma quantidade base de trabalho para garantir que tudo corra sem problemas, mas também divide tarefas grandes em "subtarefas" menores e as envia para os dispositivos dos usuários que estão online no momento. Se o telefone de um usuário estiver ocioso, ele pode pegar uma subtarefa, processar os números e enviar o resultado de volta. O sistema é projetado para ser inteligente: se a multidão de usuários for pequena, o servidor faz a maior parte do trabalho; se a multidão crescer muito, o sistema se apoia automaticamente mais fortemente no poder voluntariado de todos esses dispositivos.

Para descobrir se essa ideia realmente funciona sem derrubar todo o sistema, os autores não construíram apenas um protótipo do mundo real e esperaram pelo melhor. Em vez disso, eles construíram um "gêmeo digital" altamente detalhado do sistema — um modelo matemático complexo que simula como usuários, dispositivos e tarefas interagem ao longo do tempo. Eles trataram o sistema como um organismo vivo que muda a cada segundo, com usuários entrando e saindo, dispositivos com diferentes velocidades e tarefas levando tempos diferentes. Eles usaram esse modelo para executar milhares de simulações, testando diferentes cenários: O que acontece se tivermos 100 usuários? E se tivermos 10.000? E se o servidor for pequeno, e se ele for enorme? Eles compararam sua nova abordagem "colaborativa" contra a antiga maneira "apenas centralizada".

Os resultados dessas simulações foram bastante promissores. Os pesquisadores descobriram que, conforme o número de usuários crescia, o sistema colaborativo tornava-se significativamente melhor do que o tradicional. Quando a população de usuários era pequena, o servidor centralizado lidava com as coisas tranquilamente. Mas conforme a multidão aumentava para 10.000 usuários, o sistema centralizado começava a ter dificuldades, com muitas solicitações sendo canceladas ou levando muito tempo para terminar. Em contraste, o sistema colaborativo prosperava. Ao delegar o trabalho para os dispositivos dos usuários, ele conseguiu completar mais solicitações e manteve a "latência de cauda" (o tempo que as solicitações mais lentas levam para terminar) muito mais baixa. Talvez o mais importante, o sistema colaborativo precisava de muito menos poder de servidor dedicado para alcançar esses resultados. As simulações sugeriram que, com uma quantidade moderada de capacidade de servidor — aproximadamente 30 a 50 vezes a unidade base — o sistema poderia lidar com uma demanda massiva apoiando-se nos usuários, enquanto o sistema centralizado precisaria continuar aumentando seu hardware indefinidamente, o que é caro e ineficiente.

No entanto, o artigo é cuidadoso ao notar que isso é uma simulação, não um produto final pronto para o seu telefone hoje. Os pesquisadores testaram diferentes "estratégias" para como o servidor deve distribuir as tarefas. Uma estratégia era simplesmente entregar as tarefas aleatoriamente para qualquer usuário disponível, enquanto outra tentava ser mais inteligente, agrupando tarefas semelhantes no mesmo dispositivo para economizar tempo. A abordagem "aleatória" funcionou surpreendentemente bem, mas a abordagem de "agrupamento inteligente" às vezes causava problemas se o dispositivo de um usuário ficasse offline repentinamente, interrompendo todo um lote de trabalho. O estudo conclui que, embora a ideia seja viável e a matemática pareça boa, ainda há trabalho a ser feito para aperfeiçoar as regras de agendamento e garantir que o sistema seja robusto o suficiente para o mundo real. No final das contas, o artigo sugere que pegar emprestado um pouco do poder da multidão pode ser a chave para tornar os serviços de IA mais baratos, mais verdes e capazes de lidar com a enorme demanda do futuro sem a necessidade de construir novos centros de dados infinitos.

Resumo Técnico: Inferência Distribuída Colaborativa Assistida por Usuário para Escalonamento Automático Eficiente e Consciente de QoS

Definição do Problema
O artigo aborda os crescentes custos operacionais e os encargos ambientais associados aos serviços de inferência de IA centralizados. À medida que a demanda por inferência de IA cresce, os custos da infraestrutura de nuvem centralizada escalam proporcionalmente, levando a despesas proibitivas e consumo significativo de energia (por exemplo, emissões de CO2 e uso de água). Embora a computação de borda (edge) e de névoa (fog) ofereçam soluções parciais ao distribuir a computação, elas frequentemente dependem de infraestruturas dedicadas que ainda enfrentam barreiras econômicas e arquitetônicas para uma adoção generalizada. Por outro lado, a computação voluntária aproveita recursos ociosos de dispositivos de usuários, mas tipicamente carece da estabilidade e das garantias de Qualidade de Serviço (QoS) exigidas para aplicações de IA voltadas ao consumidor, devido à heterogeneidade de recursos e disponibilidade intermitente. O desafio central é projetar um sistema que efetivamente particione a inferência entre servidores dedicados e recursos voluntários de usuários para alcançar um escalonamento automático (autoscaling) escalável e de custo eficiente, mantendo rigorosas restrições de QoS.

Metodologia
Os autores propõem um sistema de inferência distribuída colaborativa onde um servidor central coordena tarefas de inferência através de uma mistura de infraestrutura dedicada e dispositivos de usuários voluntários. O sistema opera em três fases: usuários solicitam inferência, o servidor agenda as subtarefas entre os recursos disponíveis com base em uma política, e o servidor agrega os resultados para retornar as respostas.

Para analisar e otimizar este sistema dinâmico, os autores desenvolvem um modelo de Markov generativo de alta dimensão com fatoração temporal estruturada. Este modelo captura as interações estocásticas entre usuários, recursos, tarefas e políticas. Os componentes principais da metodologia incluem:

Representação do Estado do Sistema: O estado $s_t$ é definido como uma tupla de variáveis de alta dimensão, incluindo disponibilidade de usuário ( $o_t$ ), requisições de inferência ( $q_t$ ), recursos alocados ( $a_t$ ), prontidão de subtarefa ( $x_t$ ), estados de execução de subtarefa ( $y_t$ ) e consumo de recursos ( $c_t$ ).
Modelagem Generativa:
- Disponibilidade: Modelada usando distribuições de sobrevivência paramétricas (Weibull para online, log-normal para offline) para capturar durações de estado e probabilidades de transição.
- Requisições: Modeladas com funções de sobrevivência de Pareto para refletir tempos entre requisições de cauda pesada e paciência do usuário.
- Recursos e Consumo: Utiliza modelos ARMA (Média Móvel Autorregressiva) ajustados a medições empíricas de largura de banda, CPU, memória e armazenamento para simular trajetórias de recursos e padrões de consumo.
- Dinâmica de Execução: As fases de execução de subtarefa (download, execução, upload) são modeladas usando modelos de risco de tempo discreto ajustados a traços de subtarefas de visão computacional sob variações de tamanho de lote (batch size) e largura de banda.
Políticas de Tomada de Decisão: O sistema emprega duas políticas: um escalonador ( $\pi$ $π$ ) no lado do servidor e um executor ( $\varsigma$ $ς$ ) no lado do nó. O estudo avalia três estratégias de escalonamento:
1. Centralizado: Todas as tarefas rodam no servidor dedicado.
2. Uniforme: As tarefas são atribuídas aleatoriamente a nós de usuários online que possuam capacidade suficiente.
3. Baseado em Afinidade: As tarefas são atribuídas a nós que já hospedam execuções ativas da mesma natureza de subtarefa para maximizar a eficiência de agrupamento (batching).
Estrutura de Otimização: O modelo define dois problemas de otimização: maximizar o QoS (minimizar a latência) para um escalonador fixo, e minimizar a alocação de recursos dedicados enquanto satisfaz as restrições de QoS (ex: limiares de latência P99).

Principais Contribuições

Arquitetura do Sistema: Um novo sistema de inferência distribuída colaborativa que particiona as cargas de trabalho entre servidores dedicados e dispositivos de usuários voluntários, permitindo o escalonamento automático sem crescimento proporcional na infraestrutura centralizada.
Modelo Generativo: Um modelo de Markov tratável de alta dimensão com fatoração temporal que captura dependências esparsas entre variáveis do sistema, permitindo simulação, inferência e aprendizado de políticas eficientes.
Avaliação Empírica: Um estudo de simulação abrangente comparando políticas de escalonamento centralizado e distribuído através de diversas populações de usuários, capacidades de recursos e configurações de servidor.

Resultos
O sistema foi avaliado via simulações executadas por aproximadamente 28 horas (100.000 passos de tempo) com populações de usuários variando de 100 a 10.000 e capacidades de servidor variadas. As principais descobertas incluem:

Escalabilidade e Taxas de Conclusão: À medida que a população de usuários cresce, o escalonamento distribuído (Uniforme e Baseado em Afinidade) supera progressivamente o escalonamento centralizado. As políticas distribuídas mantêm taxas de conclusão de requisições mais altas e menores taxas de cancelamento, particularmente quando a capacidade do dispositivo do usuário é duplicada (2x).
Latência (QoS): As políticas distribuídas alcançam significativamente melhor latência P99 (latência de cauda) do que as políticas centralizadas em grandes escalas de usuários (ex: 10.000 usuários). A latência centralizada degrada conforme a demanda satura a capacidade do servidor, enquanto as políticas distribuídas realizam o offload de forma eficaz.
Eficiência de Recursos: O escalonamento distribuído reduz substancialmente o consumo de recursos dedicados. As simulações indicam que uma capacidade de servidor de aproximadamente 30x a 50x o perfil base é suficiente para complementar os recursos voluntários e manter o QoS, enquanto abordagens centralizadas requerem uma capacidade muito maior para atingir desempenho similar.
Comparação de Políticas: A política Uniforme geralmente supera a política Baseada em Afinidade no que diz respeito ao equilíbrio entre taxas de conclusão e riscos de cancelamento. Embora o escalonamento Baseado em Afinidade melhore o agrupamento (batching), ele aumenta o risco de falhas simultâneas de subtarefas devido a saídas de nós ou restrições de recursos.

Significância e Alegações
O artigo afirma demonstrar a viabilidade da inferência colaborativa assistida pelo usuário como uma estratégia viável para o escalonamento automático eficiente em termos de infraestrutura. Estabelece que combinar infraestrutura dedicada com recursos voluntários pode absorver o aumento da demanda sem o crescimento proporcional nos custos centralizados e no impacto ambiental associados ao escalonamento de nuvem tradicional.

Os autores enfatizam que sua principal contribuição é a definição da arquitetura do sistema e o desenvolvimento de um modelo dinâmico para analisá-lo, em vez de um escalonador pronto para produção. Eles afirmam que o modelo proposto fornece uma base necessária para trabalhos futuros na otimização de algoritmos de escalonamento e alocação de recursos conscientes de QoS. O estudo conclui que o escalonamento distribuído oferece um caminho prático para reduzir o consumo de recursos dedicados, ao mesmo tempo em que melhora a conclusão de requisições e a latência de cauda, desde que o sistema seja suportado por um modelo generativo apropriado para análise e otimização.

Mais como este