IndoorR2X: Indoor Robot-to-Everything Coordination with LLM-Driven Planning

1. O Problema

A coordenação de múltiplos robôs em ambientes internos (como casas e escritórios) enfrenta um desafio fundamental: a parcial observabilidade. Cada robô possui apenas uma visão limitada do seu campo de visão atual e das áreas que já explorou. Sob essas restrições, equipes de robôs frequentemente desperdiçam recursos através de:

• Exploração redundante: Múltiplos robôs procurando o mesmo objeto ou área.
• Crenças inconsistentes: Divergências sobre a localização de objetos ou o estado de dispositivos.
• Alocação frágil de tarefas: Planos que falham quando exigem revisão online devido a informações incompletas.

Embora muitos ambientes internos já estejam equipados com sensores de Internet das Coisas (IoT) de baixo custo (câmeras, sensores de luz, etc.) que oferecem contexto persistente e de cobertura ampla, a maioria dos frameworks existentes baseados em Grandes Modelos de Linguagem (LLMs) ignora esses dados. Eles ou assumem um estado global "omnisciente" (irrealista) ou focam apenas na comunicação robô-para-robô (R2R), sem integrar sistematicamente a percepção heterogênea de IoT para o planejamento.

2. Metodologia: IndoorR2X

Os autores propõem o IndoorR2X, o primeiro benchmark e framework de simulação para planejamento de tarefas multi-robô acionado por LLMs em cenários de Robô-para-Tudo (R2X).

A. Arquitetura do Sistema

O framework opera através de um ciclo contínuo de percepção, planejamento e ação, centrado em um Hub de Coordenação:

1. Fusão de Estado Semântico Global: O hub mantém um estado global ($W_t$) que agrega observações de:
   • Robôs Móveis: Percepção a bordo (câmeras, lidar).
   • Dispositivos IoT Estáticos: Câmeras de segurança (CCTV), sensores de temperatura, luz, áudio, etc.
2. Processamento de Dados IoT: Os feeds de vídeo das câmeras estáticas são processados por um Modelo de Linguagem e Visão (VLM, ex: Qwen-VL) para gerar logs de eventos textuais e carimbados temporalmente.
3. Planejamento Acionado por LLM: Um LLM atua como um planejador online. Ele consulta o estado global compartilhado para gerar um grafo de dependência (DAG) de tarefas paralelizáveis. O LLM não precisa "adivinhar" onde estão os objetos se o IoT já os localizou.
4. Orquestração de Ação: Um orquestrador atribui nós do grafo a robôs ociosos, considerando proximidade espacial e capacidades, e monitora a execução para disparar replanejamento em caso de falhas ou mudanças no ambiente.

B. O Benchmark

• Ambiente: Baseado no motor AI2-THOR, utilizando 85 ambientes multi-quarto (10 casas curadas e 75 apartamentos modulares).
• Restrições Realistas: Nenhum robô tem conhecimento global. O conhecimento é limitado ao campo de visão atual e áreas visitadas.
• Cobertura IoT: Câmeras CCTV cobrem aproximadamente 50% da área da casa, forçando os robôs a explorarem o restante, mas permitindo que o sistema saiba onde estão objetos em áreas cobertas.
• Tarefas: Incluem navegação, manipulação de objetos (pegar, colocar, desligar dispositivos) e tarefas de longo horizonte (ex: limpar a cozinha, desligar computadores).

3. Principais Contribuições

1. Novo Benchmark R2X: Introdução do IndoorR2X, que impõe estritamente a parcial observabilidade e integra sensores IoT configuráveis para avaliar a coordenação de equipes em cenários realistas.
2. Fusão Semântica Acionada por LLM: Proposição de um framework centralizado que funde percepção a bordo com sinais de IoT em um estado semântico global, permitindo que LLMs planejem tarefas paralelas sem exploração física exaustiva.
3. Validação Empírica e Real-World: Demonstração através de simulações extensas e implantações físicas (usando robôs Stretch) de que a abordagem reduz significativamente o custo de tokens do LLM, o número de passos e o comprimento do caminho, mantendo alta resiliência.

4. Resultados e Análise Experimental

Os experimentos compararam três configurações: IR (Robôs Isolados), R2R (Robôs compartilhando apenas entre si) e R2X (Robôs + IoT).

• Eficiência e Sucesso:
  • A configuração R2X alcançou uma taxa de sucesso de 92%, comparável ao R2R (92%), mas superando significativamente a linha de base isolada (66%).
  • Em termos de eficiência, o R2X reduziu o comprimento do caminho em ~26% e os passos de ação em ~7% em comparação com o R2R.
  • O uso de IoT reduziu o custo de tokens do LLM em mais de 11% em relação ao R2R, indicando menor carga cognitiva para o planejador.
• Impacto do Modelo LLM:
  • Modelos maiores (GPT-4.1) foram essenciais para alta confiabilidade (92% de sucesso). Modelos menores (Llama-3.1-8b) falharam na maioria dos episódios (6% de sucesso), sugerindo que a coordenação de alto nível exige capacidades de raciocínio avançadas.
• Escalabilidade:
  • O sistema manteve uma taxa de sucesso robusta (>90%) até 5 robôs. Acima disso, o custo de coordenação (distância total percorrida) aumentou devido à complexidade de alocação de tarefas.
• Robustez a Falhas:
  • Omissão (Dados faltantes): O sistema é altamente resiliente. Mesmo com 100% das detecções de CCTV faltando, a taxa de sucesso manteve-se estável (os robôs apenas exploraram mais).
  • Corrupção (Dados errados): O sistema é sensível a informações semânticas incorretas (ex: dizer que um dispositivo está "desligado" quando está "ligado"). Isso leva a erros de planejamento irreversíveis, destacando a necessidade de mecanismos de verificação.
• Validação Real: A implantação física com robôs Stretch e câmeras web confirmou que o uso de visão externa permite que os robôs contornem a fase de exploração, navegando diretamente para os alvos.

5. Significado e Impacto

O trabalho IndoorR2X representa um avanço crucial na robótica de serviço indoor ao:

• Superar a "Cegueira" dos Robôs: Demonstrar que a infraestrutura existente (IoT) pode ser transformada em uma "memória global" acessível, reduzindo drasticamente a necessidade de exploração física.
• Otimizar Custos Computacionais: Ao fornecer contexto rico ao LLM, reduz-se a necessidade de "pensar" sobre o que não se vê, economizando tokens e tempo de inferência.
• Definir Novos Padrões de Avaliação: Estabelece que benchmarks futuros de multi-robôs devem considerar não apenas a comunicação entre agentes, mas também a integração com a infraestrutura inteligente do ambiente (R2X).
• Aplicabilidade Prática: Oferece um caminho viável para equipes de robôs operarem eficientemente em lares e escritórios inteligentes, onde a exploração aleatória é ineficiente e custosa.

Em resumo, o IndoorR2X prova que a combinação de percepção robótica + sensores de infraestrutura + raciocínio de LLM é a chave para a coordenação escalável e eficiente em ambientes internos complexos e parcialmente observáveis.