COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

O artigo apresenta o COHORT, um framework baseado em ROS que utiliza uma estratégia híbrida de aprendizado por reforço (offline e online) para otimizar a inferência colaborativa de grandes redes neurais em sistemas multi-robô, reduzindo significativamente o consumo de bateria e aumentando a utilização de GPU enquanto atende a restrições de tempo real.

O essencial

Imagine que você tem um grupo de robôs exploradores (como cães, tanques e veículos terrestres) que precisam trabalhar juntos em uma missão de resgate em um lugar perigoso, como um prédio desabado ou uma floresta após um desastre.

O problema é que eles precisam usar "cérebros" gigantes (chamados de Redes Neurais Profundas) para entender o que veem: identificar pessoas, detectar escombros e responder a perguntas em tempo real. Mas esses "cérebros" consomem muita bateria e exigem computadores potentes.

Aqui está o dilema:

• Se cada robô tentar fazer tudo sozinho, a bateria acaba rápido e eles ficam lentos.
• Se tentarem enviar tudo para a nuvem (internet), não funciona porque em zonas de desastre não há sinal de Wi-Fi ou torres de celular.
• Os robôs são diferentes: um é forte e tem bateria de caminhão (o Husky), outro é médio (o Jackal) e outro é ágil mas tem bateria de celular (o Spot).

A Solução: COHORT

Os autores criaram um sistema chamado COHORT. Pense nele como um "Gerente de Equipe Inteligente" que vive dentro da cabeça de cada robô.

Como funciona a analogia?

Imagine que o trabalho de "ver e entender" é como cozinhar um banquete complexo.

• O Desafio: Você tem ingredientes (os dados da câmera) e precisa fazer pratos difíceis (os modelos de IA).
• A Velha Maneira (Leilão): Antigamente, os robôs faziam um leilão. "Quem consegue fazer essa parte do prato mais barato?" O robô mais barato ganhava. O problema é que esse leilão é lento, gasta energia conversando e não sabe o que vai acontecer no futuro (ex: "Ah, o robô X está prestes a ficar sem bateria").
• A Maneira COHORT (O Mestre de Culinária Experiente): O COHORT usa uma técnica de aprendizado chamada Aprendizado por Reforço Híbrido.

Vamos dividir em duas etapas simples:

1. A Fase de "Treinamento no Papel" (Offline)

Antes de ir para o campo, os robôs simulam milhares de missões. Eles usam uma estratégia de leilão simples para gerar dados. É como se eles lessem um livro de receitas e praticassem em uma cozinha de treinamento.

• Eles aprendem: "Se o robô Spot estiver com pouca bateria, não mande a tarefa pesada para ele."
• Eles aprendem: "Se o Husky estiver com a GPU (o processador gráfico) livre, ele pode fazer a tarefa pesada."
• Eles usam uma técnica chamada AWR (Regressão Ponderada por Vantagem). Imagine que é como um professor corrigindo o caderno dos alunos: ele olha para as decisões que deram certo no passado e diz: "Faça mais disso", e ignora as que deram errado.

2. A Fase "Ao Vivo" (Online)

Agora, os robôs vão para a missão real. Eles não precisam mais ler o livro; eles usam a intuição que ganharam no treino.

• Eles usam uma técnica chamada MAPPO (Otimização de Política Proximal Multi-Agente). Pense nisso como um time de futebol jogando em tempo real. Cada jogador (robô) vê o campo localmente, mas sabe o que os outros estão fazendo sem precisar gritar o tempo todo.
• Se um robô começa a ficar lento ou a bateria cai, o sistema ajusta automaticamente. Ele redistribui a "cozinha" entre os robôs restantes.
• O sistema é tolerante a falhas: Se um robô quebrar ou sair da área, os outros imediatamente pegam o trabalho dele e continuam a missão, sem precisar de um supervisor humano.

Por que isso é incrível? (Os Resultados)

O papel mostra que o COHORT é muito melhor do que as outras tentativas:

• Economia de Bateria: Os robôs gastaram 15% menos bateria. É como se o carro do resgate durasse 15% mais tempo na estrada.
• Mais Eficiência: Eles usaram melhor a força dos robôs fortes, aumentando o uso do processador gráfico em 51%.
• Cumprimento de Prazos: O sistema conseguiu entregar as respostas (imagens e dados) no tempo certo 2,5 vezes mais do que os métodos antigos.

Resumo Final

O COHORT é como dar a cada robô um "instinto de equipe" superpoderoso. Em vez de depender de um chefe central (que não existe em zonas de desastre) ou de um leilão lento, eles aprendem a se ajudar mutuamente. Eles sabem quem está cansado, quem está forte e quem pode fazer o trabalho pesado, garantindo que a missão de resgate continue funcionando, mesmo que a bateria esteja acabando ou que um robô saia do jogo.

É a diferença entre um grupo de pessoas gritando instruções aleatórias e um time de elite que se move em perfeita sincronia para salvar vidas.

Resumo técnico

Resumo Técnico: COHORT

1. Problema e Motivação

O artigo aborda o desafio crítico de executar Grandes Redes Neurais Profundas (DNNs), especificamente modelos de Visão-Linguagem (VLMs) como CLIP e SAM, em sistemas de robôs autônomos colaborativos operando em cenários de missão crítica (ex.: resposta a desastres).

Os principais obstáculos identificados são:

• Restrições de Recursos: Robôs de campo possuem capacidade computacional, memória e bateria limitadas. Modelos VLMs são computacionalmente intensivos e consomem rapidamente a energia dos robôs.
• Ambientes Desconectados: Em cenários de desastre, a conectividade com a nuvem ou servidores centrais é frequentemente indisponível, tornando o offloading tradicional inviável.
• Heterogeneidade e Volatilidade: As equipes de robôs são heterogêneas (diferentes capacidades de CPU/GPU, sensores e baterias) e os recursos flutuam dinamicamente devido à mobilidade, temperatura e carga de trabalho.
• Restrições em Tempo Real: A execução deve atender a taxas de quadros (FPS) e prazos (deadlines) rigorosos para garantir a utilidade da percepção em tempo real.
• Ineficiência de Métodos Atuais: Abordagens baseadas em leilão (auction-based) exigem troca frequente de informações (alto custo de banda) e não se adaptam bem a mudanças dinâmicas. Métodos estáticos falham diante da heterogeneidade dos dispositivos.

2. Metodologia: O Framework COHORT

O COHORT é um framework de execução colaborativa de DNNs construído sobre o ROS (Robot Operating System). Ele utiliza uma estratégia de Aprendizado por Reforço Híbrido (Offline-Online) para distribuir dinamicamente a execução de módulos de DNN entre robôs vizinhos.

Arquitetura do Sistema:

• Pipeline de Percepção: O fluxo de trabalho (ex.: CLIP e SAM) é particionado em 6 módulos modulares (codificadores, decodificadores, detectores, etc.).
• Decisão Descentralizada: Cada robô monitora seu estado local (bateria, uso de CPU/GPU, latência de rede) e decide, via uma política de RL, se executa uma tarefa localmente, a transfere (offload) para um colega ou aceita uma tarefa de outro.
• Comunicação: Minimiza a troca de dados, focando em decisões "one-shot" para economizar largura de banda.

Estratégia de Aprendizado Híbrido (3 Fases):
Para superar a ineficiência de amostragem e os riscos de segurança do aprendizado direto em hardware real, o COHORT emprega um currículo de três fases:

1. Fase A: Clonagem de Comportamento (BC) - Inicialização Segura:
   • Coleta de dados offline usando uma política heurística baseada em leilão (onde os robôs "licitam" o custo de execução).
   • Treinamento inicial da política compartilhada (Actor) para imitar esse leilão, garantindo um desempenho base seguro e evitando exploração aleatória perigosa no início.
2. Fase B: Melhoria Offline via Regressão Ponderada por Vantagem (AWR):
   • Utiliza o mesmo conjunto de dados offline para refinar a política.
   • Aplica AWR para ponderar ações que resultaram em maiores retornos (menor latência, menor consumo de energia) e filtrar ações subótimas do leilão original.
   • Um Critic centralizado é treinado para avaliar a qualidade das ações.
3. Fase C: Ajuste Fino Online com MAPPO (Multi-Agent PPO):
   • Despliegue no sistema real com Aprendizado por Reforço Multiagente (MAPPO) em modo on-policy.
   • Utiliza o conceito CTDE (Treinamento Centralizado, Execução Descentralizada): os robôs tomam decisões baseadas apenas em observações locais, mas o treinamento usa um Critic global para coordenar a equipe.
   • Restrições de Lagrange: Otimização com penalidades dinâmicas para garantir que restrições de energia e latência (deadlines) sejam estritamente respeitadas.

3. Principais Contribuições

1. Framework de Execução Distribuída Consciente de Recursos: Um pipeline de RL de duas etapas que equilibra cargas de trabalho em agentes heterogêneos com comunicação mínima, eliminando a dependência de servidores centralizados.
2. Estratégia de Realocação Tolerante a Falhas: Um mecanismo que realoca tarefas dinamicamente em caso de falhas de recursos, sobrecarga computacional ou depleção de energia, mantendo a estabilidade da precisão da percepção e a responsividade em tempo real.
3. Validação em Cenário Real: Implementação e avaliação em três plataformas robóticas heterogêneas (Husky, Jackal e Spot) com cargas de trabalho reais de VLM (CLIP e SAM). O sistema demonstra escalabilidade ao adicionar/remover robôs sem retreinamento completo (usando masking de políticas).

4. Resultados Experimentais

Os experimentos foram conduzidos em um teste de longa duração (70 minutos) comparando o COHORT (RL) contra:

• Baseline: Execução puramente local (sem colaboração).
• Leilão (Auction): Método heurístico de distribuição de tarefas.
• Algoritmo Genético (GA): Otimização baseada em evolução.

Desempenho Chave:

• Eficiência Energética: Redução de 15,4% no consumo de bateria em comparação com as abordagens de base.
• Utilização de Recursos: Aumento de 51,67% na utilização da GPU, indicando melhor aproveitamento do hardware disponível.
• Satisfação de Restrições: O COHORT atende às restrições de taxa de quadros (FPS) e prazos (deadlines) 2,55 vezes mais frequentemente do que a abordagem de leilão.
• Taxa de Sucesso (QoS):
  • No robô Husky, o RL alcançou 54,0% de sucesso (vs. 21,2% do Baseline e 30,1% do Leilão).
  • No Jackal, alcançou 41,5% (vs. 11,6% do Baseline).
  • No Spot, alcançou 33,2% (vs. 10,3% do Baseline).
• Escalabilidade e Robustez: O sistema manteve desempenho estável ao adicionar um quarto dispositivo (executor Linux) e degradou-se suavemente (graceful degradation) quando um robô foi removido, sem necessidade de retreinamento.

5. Significado e Impacto

O trabalho COHORT representa um avanço significativo na autonomia de sistemas multi-robô para operações em ambientes hostis e desconectados.

• Viabilidade de VLMs na Borda: Demonstra que modelos de IA pesados e complexos podem ser executados eficientemente em robôs de campo através de colaboração inteligente, sem depender de infraestrutura de nuvem.
• Otimização Conjunta: Resolve o dilema clássico entre latência, precisão e consumo de energia, provando que o aprendizado por reforço híbrido (offline + online) é superior a heurísticas estáticas ou algoritmos genéticos em ambientes dinâmicos.
• Resiliência Operacional: Oferece uma solução prática para missões de busca e salvamento (SAR), onde a falha de um robô não deve comprometer a missão inteira, permitindo que a equipe se reconfigure autonomamente para manter a percepção contínua.

Em suma, o COHORT estabelece um novo padrão para a execução colaborativa de IA na borda, transformando limitações de recursos individuais em uma vantagem coletiva através de inteligência distribuída adaptativa.