🤖 AI

Coordinated Networking for On-Device Agent-Augmented Real-Time Communication

Este artigo apresenta o HFS, um framework que utiliza uma abordagem de transporte de fluxo múltiplo guiada por aplicativo para gerenciar efetivamente a contenção de rede entre o tráfego de vídeo ao vivo e o tráfego de contexto do agente em comunicações em tempo real aumentadas por agentes em dispositivos, melhorando significativamente a qualidade do vídeo e reduzindo a latência de resposta do agente.

Autores originais: Goodsol Lee, Juheon Yi, Jinglu Wang, Haowen Xu, Saewoong Bahk, Yan Lu

Publicado 2026-07-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Goodsol Lee, Juheon Yi, Jinglu Wang, Haowen Xu, Saewoong Bahk, Yan Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma festa digital agitada onde todos estão tentando fazer duas coisas ao mesmo tempo: ter uma conversa animada, face a face, e trabalhar juntos em um projeto massivo e complexo com a ajuda de um assistente robô superinteligente. No mundo da ciência da computação, isso é chamado de "Comunicação em Tempo Real" (RTC), a tecnologia que alimenta videochamadas como Zoom ou Teams. Normalmente, essas chamadas são apenas sobre humanos conversando. Mas uma nova onda de tecnologia está introduzindo "agentes de IA" — programas inteligentes que podem ler documentos, encontrar fatos e escrever rascunhos para você enquanto você fala. A grande questão que os cientistas estão fazendo é: o que acontece quando sua videochamada está tentando transmitir seu rosto e seu assistente robô está tentando transmitir uma pilha gigante de dados para fazer o trabalho dele? Se eles lutarem pela mesma conexão de internet, um deles provavelmente ficará travado, fazendo seu vídeo congelar ou o robô demorar uma eternidade para responder.

Este artigo apresenta um novo sistema inteligente chamado HAFS (Human-Agent Flow Scheduling) para resolver esse engarrafamento. Os pesquisadores descobriram que, quando você tenta executar esses agentes de IA diretamente no seu próprio dispositivo (como seu laptop ou celular) em vez de um servidor gigante na nuvem, você obtém melhor privacidade e menores custos, mas cria um novo tipo de caos no tráf-ego de internet. Eles descobriram que, sem um guarda de trânsito, os dados do robô inundam a estrada, fazendo seu vídeo travar e parecer borrado, ou fazendo o robô ficar ocioso enquanto espera seus dados chegarem. O HAFS atua como um controlador de tráfego superorganizado que sabe exatamente quanto espaço o vídeo precisa para permanecer fluido e quanto espaço o robô precisa para trabalhar rápido. Ao equilibrar cuidadosamente os dois, o sistema garante que seu vídeo permaneça cristalino enquanto seu assistente de IA realiza seu trabalho em tempo recorde.

O Problema: Uma Rodovia Digital de Duas Faixas

Imagine sua conexão de internet como uma rodovia de duas faixas. Em uma faixa, você tem o "Vídeo Humano", que é como um fluxo de carros de corrida de alta velocidade. Esses carros precisam se mover suavemente e constantemente; se encontrarem um engarrafamento, o vídeo trava e a conversa é interrompida. Na outra faixa, você tem o "Contexto do Agente", que é como uma frota de caminhões de entrega pesados carregando caixas gigantes de informações. Esses caminhões estão tentando entregar dados para que a IA possa responder a perguntas, como "Resuma este contrato jurídico de 1.000 páginas".

O problema é que, nos sistemas de videochamada atuais, essas duas faixas não se comunicam. Quando os caminhões de entrega (a IA) recebem um grande pedido, eles simplesmente começam a dirigir o mais rápido que podem, preenchendo a rodovia. Isso faz com que os carros de corrida (seu vídeo) fiquem presos em um engarrafamento atrás deles. O sistema de vídeo vê o atraso e entra em pânico, pensando que a estrada está quebrada, então reduz a velocidade dos carros para um passo de tartaruga, tornando seu vídeo pixelado e de baixa qualidade. Enquanto isso, os caminhões da IA ainda estão presos no congestionamento, esperando a estrada liberar.

Os pesquisadores testaram isso em plataformas de videochamada reais, como Zoom e Microsoft Teams. Eles descobriram que, quando tentavam enviar dados de IA junto com uma videochamada, a qualidade do vídeo caía mais da metade. Pior ainda, assim que a IA terminava seu trabalho, o vídeo levava mais de 30 segundos para voltar à velocidade normal. Era uma bagunça desordenada e ineficiente, onde nem os humanos nem os robôs conseguiam fazer seus trabalhos bem.

A Solução: HAFS, o Guarda de Trânsito Inteligente

Para corrigir isso, a equipe construiu o HAFS, um sistema que atua como um guarda de trânsito inteligente sentado diretamente dentro do seu aplicativo de videochamada. Em vez de deixar o vídeo e a IA lutarem por espaço, o HAFS observa a rodovia inteira e decide exatamente a que velocidade cada faixa deve ir.

1. O Vigilante de "Nível de Quadro"
O primeiro trabalho do HAFS é observar a faixa de vídeo muito de perto. Ele não olha apenas para a velocidade média; ele observa as minúsculas lacunas entre cada quadro de vídeo individual (como o espaço entre quadros individuais em um livro de animação/flipbook). O sistema sabe que o vídeo pode tolerar uma pequena espera, mas apenas até um limite específico (cerca cerca de 150 milissegundos). Se os caminhões da IA começarem a empurrar os carros do vídeo para perto desse limite, o HAFS imediatamente diz aos caminhões para diminuírem a velocidade. Mas se houver espaço extra na estrada, o HAFS diz aos caminhões para acelerarem e preencherem as faixas vazias. Dessa forma, o vídeo permanece suave e a IA utiliza cada bit de espaço extra disponível sem causar um acidente.

2. O Programador "Preditivo"
O segundo trabalho é ainda mais inteligente. Às vezes, a IA precisa enviar muitos caminhões de uma vez para responder a uma pergunta. Nos sistemas antigos, esses caminhões formariam filas um por um, como carros em um pedágio, esperando sua vez. Isso é lento. O HAFS, no entanto, olha para o tamanho das caixas que cada caminhão está carregando e adivinha quanto tempo levará para desempacotá-las assim que chegarem. Ele então organiza os caminhões na ordem perfeita para que, assim que um caminhão chegue e comece a ser desempacotado, o próximo já esteja encostando na doca. Isso é chamado de "pipelining" (processamento em pipeline). É como um chef que começa a picar vegetais para o segundo prato enquanto o primeiro ainda está fritando, para que nada fique ocioso.

Os Resultados: Um Futuro Mais Rápido e Claro

Os pesquisadores testaram o HAFS em dispositivos reais, incluindo um MacBook Pro, um Samsung Galaxy e um pequeno computador chamado Jetson. Eles realizaram simulações com diferentes tipos de modelos de IA e velocidades de rede, do Wi-Fi 6 ao 5G.

Os resultados foram impressionantes. Comparado à forma antiga de fazer as coisas, o HAFS tornou a qualidade do vídeo 1,5 vezes melhor. Ao mesmo tempo, reduziu o tempo de resposta da IA em 31%. Em alguns casos, a IA foi capaz de terminar seu trabalho em apenas 16 segundos, em vez dos habituais 105 segundos, simplesmente porque não estava presa no trânsito.

O artigo sugere que esta abordagem é uma maneira promissora de tornar os assistentes de IA uma parte normal de nossas videochamadas sem arruinar a experiência. Ao manter humanos e robôs trabalhando juntos em harmonia, podemos ter videochamadas de alta qualidade onde a IA está sempre pronta para ajudar, bem ali no seu próprio dispositivo, mantendo seus segredos seguros e sua internet funcionando perfeitamente.

Resumo Técnico: Redes Coordenadas para Comunicação em Tempo Real Aumentada por Agentes On-Device

1. Definição do Problema

A emergência de agentes de IA está impulsionando um novo paradigma na Comunicação em Tempo Real (RTC): o RTC Aumentado por Agentes. Neste modelo, agentes de IA rodam localmente nos dispositivos dos usuários para recuperar, analisar e gerar informações de forma autônoma para apoiar a colaboração humana (ex: coautoria de documentos jurídicos ou sumarização de logs de reuniões).

Embora os agentes on-device ofereçam vantagens significativas em privacidade (mantendo dados sensíveis criptografados de ponta a ponta) e custo (desonerando a inferência de GPU da nuvem), eles introduzem um desafio de rede crítico: a contenda entre fluxos de tráfego heterogêneos.

Fluxos de Vídeo Humano: Requerem baixa latência (<150 ms) e alta qualidade, sendo tipicamente gerenciados por controle de congestionamento baseado em atraso (ex: GCC).
Fluxos de Contexto de Agente: Envolvem o streaming de grandes caches de Chave-Valor (KV) (até 80 MB após compressão) para permitir inferência rápida de LLM. Esses fluxos utilizam controle de congestionamento baseado em perda (ex: SCTP) para maximizar o throughput, preenchendo agressivamente os buffers da rede.

O Conflito Central: Quando esses fluxos compartilham uma rede, a natureza agressiva dos fluxos de contexto de agente causa atrasos de enfileiramento para o vídeo humano. Isso aciona os controladores de vídeo baseados em atraso para reduzir drasticamente as taxas de bits (ex: uma queda de 53% nas pontuações VMAF) e recuperar-se lentamente (>30 segundos). Além disso, quando múltiplos agentes realizam o streaming de contextos simultaneamente para uma única consulta, o escalonamento padrão de round-robin leva a atrasos de enfileiramento inflados e recursos computacionais subutilizados, aumentando o tempo de resposta do agente em até 56%.

2. Metodologia: Estrutura HAFS

Os autores propõem o HAFS (Human-Agent Flow Scheduling), uma estrutura de rede coordenada projetada para garantir alta qualidade de vídeo e baixa latência de resposta de agente simultaneamente. O HAFS opera como uma camada de transporte de múltiplos fluxos guiada pelo aplicativo sobre o WebRTC padrão e o llama.cpp, não exigindo modificações na infraestrutura de rede subjacente.

2.1 Arquitetura do Sistema

O HAFS utiliza uma arquitetura de Unidade de Encaminhamento Seletivo (SFU) comum em RTC moderno. Ele introduz dois coordenadores que operam na camada de aplicação tanto no remetente quanto na SFU:

Coordenador de Fluxo Humano-Agente: Controla conjuntamente as taxas de envio de vídeo (RTP) e de contexto de agente (SCTP).
Coordenador de Fluxo Multi-Agente: Escalona a ordem de transmissão de fluxos de agentes concorrentes para minimizar o tempo de resposta total.

2.2 Componentes Principais do Design

A. Coordenação de Fluxo Humano-Agente

Para resolver a contenda entre o tráfego de vídeo e o de agente, o HAFS emprega um mecanismo de controle de taxa consciente de enfileiramento ao nível de frame:

Estimador de Feedback Dual: Ele estima o atraso de enfileiramento combinando o feedback de RTP (atraso de pacote) com os ACKs de SCTP. Os ACKs de SCTP povoam densamente os intervalos ociosos entre os frames de vídeo, permitindo que o sistema meça o enfileiramento causado especificamente pelo tráfego de agente sem interferir no pacing nativo de RTP.
Controle de Taxa Conjunto (MI/AI-MD): O sistema aumenta a taxa de envio agregada até que o atraso de enfileiramento ao nível de frame se aproxime, mas não exceda, o prazo especificado pelo app (ex: 150 ms).
- Aumento Multiplicativo (MI): Aumenta rapidamente a taxa quando a fila está vazia.
- Aumento Aditivo (AI): Aumenta suavemente a taxa quando a fila está sendo construída, mas abaixo do prazo.
- Diminuição Multiplicativa (MD): Reduz a taxa se o prazo for atingido.
Alocação de Largura de Banda: Uma vez determinada a taxa total, o sistema provisiona estritamente a taxa de bits necessária para o vídeo ao vivo e aloca a capacidade de "folga" restante para os fluxos de agente.
Largura de Banda Sondada pelo Agente: Como os fluxos de agente frequentemente sondam taxas superiores ao vídeo, o sistema usa o throughput observado do agente para estimar a largura de banda disponível, permitindo que o controlador de vídeo se recupere rapidamente do congestionamento sem esperar pelos lentos loops de feedback baseados em atraso.

B. Coordenação de Fluxo Multi-Agente

Para lidar com múltiplos streams de contexto simultâneos, o HAFS trata o problema de escalonamento como um problema de fluxo de máquina dupla (transmissão de rede seguida de decodificação de LLM).

Escalonamento Consciente de Pipelining: O sistema prevê o tempo de transmissão ( $T_{net}$ $T_{n e t}$ ) e o tempo de computação ( $T_{comp}$ $T_{co m p}$ ) para cada fluxo. Ele aplica a regra de Johnson para determinar a ordem de transmissão ideal:
- Fluxos onde $T_{net} \le T_{comp}$ são escalonados primeiro (ordenados por $T_{net}$ ascendente).
- Fluxos onde $T_{net} > T_{comp}$ são escalonados por último (ordenados por $T_{comp}$ descendente).
Estratégia de Predição: Como o comprimento da saída do LLM é desconhecido antes da decodificação, o HAFS realiza uma decodificação de passo único leve usando o cache KV pré-construído para prever o comprimento da resposta. Esta predição é usada apenas para ordenação relativa, tornando o sistema robusto a erros absolutos de predição.
Mecanismos de Robustez:
- Atualização Dinâmica de Prioridade: Reavalia as prioridades se a largura de banda da rede flutuar significativamente (>20%).
- Prefill Sobreposto: Se a transferência de rede for mais lenta que o prefill local, o sistema transmite oportunisticamente o contexto de texto bruto à frente do cache KV para manter os recursos computacionais do receptor ocupados.

3. Principais Contribuições

Identificação de um Novo Paradigma de Rede: O artigo destaca os problemas específicos de contenda decorrentes da coexistência de vídeo sensível ao atraso e fluxos de contexto de agente pesados em termos de throughput em RTC on-device, um cenário não abordado por arquiteturas tradicionais de RTC ou de agentes baseados em nuvem.
Transporte de Múltiplos Fluxos Guiado pelo App: O HAFS introduz um orquestrador de camada de aplicação unificado que alcança precisão de nível de rede no escalonamento de fluxos, aproveitando os curtos RTTs de arquiteturas RTC baseadas em SFU, evitando a necessidade de modificações no roteador.
Novo Mecanismo de Controle de Taxa: O design de um estimador de enfileiramento ao nível de frame que utiliza ACKs de SCTP para isolar o enfileiramento induzido pelo agente do tráfego de vídeo, permitindo a otimização simultânea da qualidade de vídeo e do throughput do agente.
Pipelining de Computação-Rede: A formulação do escalonamento de fluxo multi-agente como um problema de fluxo de máquina, utilizando predição leve de LLM para minimizar o tempo de resposta de ponta a ponta.

4. Resultados Experimentais

Os autores prototiparam o HAFS usando WebRTC e llama.cpp, avaliando-o em diversos ambientes (MacBook Pro, Samsung Galaxy S25, NVIDIA Jetson Orin Nano) e redes (Wi-Fi 6, 5G).

Qualidade de Vídeo: O HAFS alcança 1,5× mais qualidade de vídeo (medida por VMAF) em comparação com as bases (Zoom, Teams) quando os fluxos de agente estão ativos, mantendo efetivamente a qualidade de vídeo comparável ao streaming de apenas vídeo.
Latência de Agente: O HAFS reduz o tempo de resposta do agente em 31% em comparação com as bases de estado da arte.
Escalabilidade: O sistema mantém os ganhos de desempenho através de variações no número de fluxos de agentes simultâneos, diferentes modelos de LLM (famílias Qwen, Llama) e condições de rede.
Overhead: A estrutura incorre em overhead negligenciável em consumo de energia, CPU e uso de memória.

5. Significância

O artigo afirma que o HAFS fornece uma solução prática e implantável para a próxima geração de aplicações colaborativas de IA. Ao permitir o RTC aumentado por agentes on-device, ele aborda os desafios duplos de privacidade (evitando a exposição de dados na nuvem) e custo (reduzindo a dependência de GPU na nuvem), enquanto resolve a contenda de rede inerente que tornava tais sistemas inviáveis anteriormente. O trabalho demonstra que, com estratégias de transporte coordenadas e guiadas pelo aplicativo, é possível suportar cargas de trabalho de IA de alta largura de banda e sensíveis ao atraso ao lado da comunicação humana em tempo real sem comprometer a experiência do usuário.