A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

Resumo Técnico: Um Framework Conversacional para Manipulação Colaborativa Humano-Robô com Modelos de IA Generativa Distribuídos

Declaração do Problema
Embora a manipulação robótica tenha avançado significativamente em planejamento e controle, a interação por linguagem natural em ambientes colaborativos do mundo real continua sendo um desafio. Comandos de usuários são frequentemente incompletos, descrições de cena são ambíguas e objetos são visualmente semelhantes da perspectiva do robô. Além disso, os recentes Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) introduzem riscos de confiabilidade; especificamente, a tendência dos LLMs de "alucinar" (gerar conteúdo plausível, mas incorreto) representa uma ameaça direta à segurança na robótica, onde uma interpretação errônea pode desencadear ações físicas indesejadas. As abordagens existentes frequentemente dependem de políticas ponta a ponta monolíticas ou carecem de barreiras de segurança explícitas, tornando difícil depurar falhas ou garantir a supervisão do operador antes da execução do movimento.

Metodologia
Os autores propõem um framework conversacional distribuído implementado como um pipeline multi-agente ROS 2. O sistema desacopla a compreensão de linguagem, o aterramento visual (grounding), a orquestração e a execução de movimento em nós separados, permitindo uma implantação flexível em hardware heterogêneo (ex: dispositivos de borda e workstations com GPU).

• Arquitetura: O pipeline consiste em:
  • Dashboard Web: Aceita comandos de linguagem natural de forma livre e exibe sobreposições intermediárias de intenção e aterramento (pixel, profundidade e coordenadas no frame do robô).
  • Nó Coordenador: Roteia requisições, combina dados visuais com profundidade/calibração e gerencia um loop de confirmação orientado à segurança.
  • Nó LLM (Compreensão de Linguagem): Analisa comandos de usuário em requisições de ação estruturadas (ex: pegar, colocar, entregar) e extrai parâmetros. Na configuração padrão, este roda em um NVIDIA Jetson AGX Orin usando o modelo ministral-3:8b.
  • Nó VLM (Aterramento Visual): Processa imagens RGB-D para localizar objetos com base em descrições de linguagem natural. Na configuração padrão, este roda em uma workstation RTX 6000 usando Qwen2.5-VL 32B.
  • Executor de Movimento: Gera e executa trajetórias do robô via MoveIt2.
• Mecanismo de Segurança: O sistema impõe uma barreira de segurança estrita de "humano no loop" (human-in-the-loop). As saídas de linguagem e visão são traduzidas em requisições de ação estruturadas, mas nenhum movimento é executado sem a confirmação explícita do operador via dashboard. O dashboard visualiza a intenção interpretada e o local alvo específico (pixel, profundidade e frame do robô) antes que o usuário aprove a ação.
• Pipeline de Aterramento: O VLM retorna alvos no espaço da imagem (coordenadas de pixel). Estes são fundidos com dados de profundidade usando um estimador local robusto (mediana de uma vizinhança de 5×5) para recuperar pontos 3D no frame da câmera. Estes são então transformados no frame de base do robô usando calibração de marcador ArUco offline e offsets fixos.
• Implantação: Ambos os modelos de IA rodam localmente via Ollama para garantir privacidade e latência previsível, evitando dependências de nuvem. O sistema suporta operação zero-shot sem necessidade de ajuste fino (fine-tuning) para categorias de objetos específicas, baseando-se no conhecimento geral pré-treinado dos modelos.

Principais Contribuições

1. Pipeline Multi-Agente Distribuído em ROS 2: Uma arquitetura modular que separa linguagem, visão, orquestração e execução de movimento, permitindo implantações flexíveis em máquina única ou múltiplos dispositivos e fácil adaptação ao hardware disponível.
2. Dashboard Web com Confirmação Explícita: Uma interface de usuário que expõe a intenção intermediária e sobreposições de aterramento, impondo um portão de confirmação explícita do operador antes que qualquer movimento do robô seja acionado.
3. Pipeline de Aterramento Open-Vocabulary de Imagem para Frame do Robô: Um método para gerar alvos métricos no frame do robô para primitivas de pegar, colocar e entregar a partir de dados de pixel/profundidade sem exigir fine-tuning de modelos específicos para tarefas.
4. Avaliação sob Ambiguidade: Um benchmark experimental avaliando a confiabilidade da tarefa ponta a ponta e a latência através de níveis crescentes de ambiguidade de cena (objetos únicos, múltiplos e sobrepostos), enquanto compara configurações alternativas de LLM/VLM dentro do mesmo framework modular.

Resultos
O framework foi avaliado em um robô Franka Emika FR3 com uma câmera Realsense D435i. O benchmark envolveu 180 execuções de tarefas de pegar, colocar e entregar sob cenários de objeto único, múltiplos e sobrepostos.

• Melhor Configuração: A implantação distribuída padrão (ministral-3:8b no Jetson + Qwen2.5-VL 32B na RTX 6000) alcançou 100% de sucesso (5/5) em todas as tarefas e níveis de ambiguidade. Também demonstrou as menores latências (5.47s para LLM, 9.57s para VLM).
• Impacto do Hardware: Rodar o VLM em uma workstation compartilhada com o LLM (ex: usando LLaMA 3.1 8B na mesma RTX 6000) aumentou significativamente a latência do VLM (para 42.83s) e reduziu as taxas de sucesso em cenários complexos (ex: a entrega caiu para 4/5).
• Sensibilidade do Modelo: Configurações utilizando modelos menores ou menos capazes (ex: DeepSeek-R1 7B + LLaVA 7B) resultaram em 0% de sucesso, falhando em completar os testes. VLMs maiores (ex: Llama 3.2-Vision 90B) não necessariamente melhoraram as taxas de sucesso e introduziram custos maiores de memória e latência.
• Restrições de Memória: A RAM em tempo de execução foi dominada pelo VLM (ex: ~127 GB para o modelo 32B), justificando a abordagem distribuída onde o modelo de visão roda em uma workstation de alta memória enquanto o planejador de linguagem roda em um dispositivo de borda (43 GB observados no Jetson).
• Modos de Falha: A análise qualitativa mostrou que, mesmo com saídas de VLM de alta confiança, erros de aterramento podem ocorrer (ex: selecionar o objeto errado em uma cena sobreposta), validando a necessidade da etapa de confirmação explícita.

Significância e Alegações
O artigo alega que sua principal contribuição não é uma nova política ponta a ponta, mas sim um framework de integração de sistemas que prioriza segurança, interpretabilidade e flexibilidade. Ao separar o "quê" (linguagem), o "onde" (visão) e o "como" (controle) em representações intermediárias inspecionáveis e tipadas, o sistema permite:

• Segurança Proativa: Prevenção de ações físicas indesejadas através da confirmação humana explícita de alvos aterrados.
• Depurabilidade: A capacidade de isolar falhas para módulos específicos (linguagem vs. visão) e trocar modelos sem redesenhar a pilha de controle.
• Implantação Prática: Uma rota viável para implantar IA generativa em HRI real, equilibrando requisitos computacionais (borda vs. workstation) e mantendo a privacidade através de inferência local.

Os autores reconhecem limitações, observando que o sistema tem dificuldades com raciocínio composicional altamente complexo (ex: lógica condicional baseada em valores de objetos) e carece de memória conversacional para comandos de acompanhamento dependentes de contexto. No entanto, eles posicionam o framework como um passo prático em direção a uma manipulação baseada em linguagem mais segura e interpretável na colaboração humano-robô.