Resumo Técnico: Controle Robótico Multiagente com Modelos de Linguagem e Visão Embarcados

Declaração do Problema

Modelos de Linguagem e Visão (VLMs) e modelos de Linguagem e Ação e Visão (VLAs) demonstraram potencial no controle robótico, mas enfrentam barreções significativas para a implantação prática em ambientes industriais. Essas limitações incluem:

• Dependências de Computação e Conectividade: Muitas soluções exigem poder computacional externo substancial e conectividade de rede, aumentando os custos operacionais e a latência.
• Explicabilidade e Segurança: A falta de interpretabilidade nas decisões do modelo levanta preocupações éticas e de segurança.
• Problemas de Generalização: Métodos existentes, incluindo aqueles que utilizam técnicas de interpretabilidade ou funções de restrição, frequentemente têm dificuldade em generalizar para dados fora da distribuição.
• Retenção de Contexto: Implantar um único VLM para lidar com tarefas diversas e de longo horizonte (ex: inspeção de segurança, manutenção, busca e interação humana) gera o risco de transbordamento da janela de contexto, onde informações cruciais são perdidas à medida que a variedade de tarefas cresce.

Metodologia

Os autores propõem uma arquitetura de Sistema Multiagente (MAS) projetada para rodar inteiramente em hardware embarcado, eliminando a dependência de servidores em nuvem ou de borda (edge). O sistema controla um manipulador móvel autônomo de propósito geral (RB-KAIROS+) dentro de um ambiente de armazém industrial simulado.

Arquitetura do Sistema

O MAS é construído utilizando o framework RAI e integra-se com ROS 2, MoveIt 2 e Nav2. A arquitetura compreende vários agentes especializados:

1. Megamind (Agente de Orquestração): Um agente supervisor que aborda problemas de retenção de contexto em modelos compactos. Ele opera através de um loop de feedback próprio de dois estados:
   • Estado de Planejamento: Seleciona a próxima tarefa com base no estado do robô e na fila de tarefas, delegando para subagentes.
   • Estado de Análise: Avalia as saídas dos subagentes. Se uma recuperação for necessária, ele gera etapas corretivas e as anexa à fila antes de retornar ao planejamento. Isso externaliza o progresso da tarefa e a lógica de recuperação.
2. Agente de Inspeção: Monitora a câmera frontal para anomalias (caixas fora do lugar, obstruções, derramamentos). Ele utiliza um fluxo de trabalho de duas etapas: gerar uma descrição em linguagem natural e sinalizar problemas, e então categorizá-los (ex: "caixa" para itens pegáveis, "lixo", "outro" ou "nada"). Ele gera um JSON estruturado com tipos de problemas e poses 3D.
3. Agente de Segurança: Realiza o monitoramento contínuo de conformidade regulatória. Ele emprega um pipeline de três estágios:
   • Visão: O VLM identifica potenciais perigos.
   • Recuperação: O agente consulta um banco de dados vetorial (FAISS) contendo as regulamentações OSHA 29 CFR 1910, filtradas para relevância em armazéns. Ele utiliza Qwen3-Embedding-0.6B para indexação e Qwen3-Reranker-0.6B para reclassificação (reranking).
   • Raciocínio: O VLM cruza a cena visual com os trechos regulatórios recuperados para determinar violações, gerando IDs de regulamentação, níveis de severidade e justificativas.
4. Agentes MoveIt e Nav2: Fornecem controle de baixo nível para manipulação e navegação, executando comandos do Megamind.
5. Interface Homem-Robô (HRI): Uma interface gráfica baseada em Qt que permite aos operadores emitir comandos em linguagem natural e visualizar vídeo ao vivo/atualizações de status.

Estratégia de Modelo

• Modelo Base: O sistema utiliza um VLM compacto de 3 bilhões de parâmetros (LFM2-VL-3B) para todas as tarefas visuais (Inspeção, Segurança e Megamind).
• Ajuste Fino via Destilação de Conhecimento: Para abordar a dificuldade do modelo base na verificação da qualidade de pacotes (Tarefa T4), os autores realizaram o ajuste fino do modelo. Eles utilizaram o Qwen3-256B-A22B como modelo professor para gerar dados de treinamento sintéticos (descrições em linguagem natural) a partir de imagens de simulação anotadas. O modelo de 3B foi ajustado por uma época neste conjunto de dados.
• Hardware: Toda a pilha roda em um mini PC AMD Ryzen™ AI (128 GB de RAM unificada, 96 GB alocados para GPU) em uma simulação Hardware-in-the-Loop (HIL).

Principais Contribuições

1. Arquitetura MAS Embarcada: Um sistema multiagente totalmente funcional rodando em hardware local, demonstrando que modelos compactos (3-20 bilhões de parâmetros) podem controlar manipuladores móveis complexos sem computação externa.
2. Gestão de Contexto via Orquestração: O agente "Megamind" mitiga com sucesso as limitações de retenção de contexto de modelos pequenos através de delegação explícita de tarefas e um loop de feedback de recuperação.
3. Pipeline de Segurança Especializado: Uma integração inovadora de VLMs com bancos de dados regulatórios (OSHA) usando técnicas de geração aumentada por recuperação (RAG) (embedding, reranking, raciocínio) para fornecer conformidade de segurança interpretável.
4. Lançamento Open Source: O ambiente de simulação, incluindo o armazém configurável, a plataforma do robô e a pilha de software, é lançado sob a licença Apache 2.0 para facilitar a pesquisa em sistemas de agentes para manipuladores móveis.
5. Otimização de Desempenho: Demonstrou que o ajuste fino de um modelo compacto via destilação de conhecimento melhora significativamente a precisão de tarefas específicas (ex: inspeção de pacotes) mantendo baixos custos de inferência.

Resultados

O sistema foi validado em uma simulação Hardware-in-the-Loop cobrindo cinco categorias de tarefas:

• T1: Inspeção de segurança.
• T2: Manutenção de armazém.
• T3: Busca em armazém.
• T4: Verificação de qualidade de pacotes.
• T5: Responder a solicitações humanas.

Melhorias Quantitativas:
Após o ajuste fino para inspeção de pacotes (Tarefa T4), o modelo alcançou:

• Precisão de anotação da condição da caixa: Aumento de 76,7% para 91,5%.
• F1-score: Melhoria de 0,755 para 0,915.
• Verdadeiros Negativos: Aumento de 54% para 95,5%.
• Falsos Positivos: Redução de 46% para 4,5%.

O sistema demonstrou com sucesso resposta e operação em tempo real em ambientes industriais dinâmicos, incluindo a interrupção de tarefas do usuário para lidar com anomalias de alta prioridade e a execução de fluxos de trabalho de múltiplas etapas (ex: inspecionar, realocar ou descartar objetos).

Significância e Alegações

O artigo afirma que uma arquitetura MAS totalmente embarcada é uma alternativa viável e econômica às implantações dependentes de nuvem. Ao utilizar VLMs compactos hospedados localmente, o sistema aborda os altos custos operacionais (eletricidade, hardware) e os problemas de latência associados às plataformas de computação externa.

Os autores posicionam este trabalho como um passo em direção à robótica flexível para pequenas e médias empresas (PMEs), onde sistemas autônomos de baixo custo, interpretáveis e seguros são críticos. A validação bem-sucedida em todas as cinco categorias de tarefas justifica a transição para testes com robôs reais e abre caminhos de pesquisa para sistemas de agentes em ambientes industriais. O trabalho enfatiza que stacks maduras (ROS 2, MoveIt 2) combinadas com um design de agente modular podem superar os desafios de reatividade em tempo real e controle certificável que políticas generalistas muitas vezes têm dificuldade em atender.