InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

Resumo Técnico de "InteLiPlan: Um Planejador Interativo Baseado em LLM Leve para Autonomia de Robôs Domésticos"

Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem-Visão (VLMs) na robótica avançou a IA incorporada, mas desafios significativos permanecem para a implantação desses modelos para autonomia doméstica. As abordagens atuais frequentemente dependem de conjuntos de dados massivos, recursos computacionais offboard ou especificações de domínio feitas à mão (ex: PDDL), o que limita a escalabilidade e a implantação em tempo real. Além disso, os planejadores existentes frequentemente falham ao não considerar a cinemática do robô e as restrições geométricas, levando a planos que são semanticamente corretos, mas fisicamente inviáveis. Adicionalmente, sistemas puramente autônomos lutam contra a observabilidade parcial, instruções de usuários ambíguas e falhas de execução, carecendo de mecanismos robustos de recuperação sem a necessidade de retreinamento extensivo ou supervisão humana.

Metodologia
Os autores propõem o InteLiPlan, um framework leve e agnóstico a robôs, projetado para rodar inteiramente de forma local (onboard) usando recursos computacionais em tempo real. O sistema funciona como um planejador multimodal centralizado que faz a ponte entre comandos de linguagem natural, percepção visual e viabilidade de movimento.

• Formulação de Entrada Multimodal: O planejador aceita três entradas principais:

  1. Comando do Usuário ($T_{user}$): Solicitações em linguagem natural ou orientação de recuperação.
  2. Observação Visual ($f_{seen}$): Feedback textual derivado de uma câmera RGB-D embarcada (usando YOLO para detecção de objetos) indicando a presença e localização de objetos alvo.
  3. Pontuação de Viabilidade ($f_{score}$): Um sinal binário gerado por um módulo de verificação de movimento (utilizando um grafo de alcançabilidade de R-LGP) que determina se existe uma trajetória livre de colisões de corpo inteiro para o alvo.
  4. Histórico ($T_{hist}$): Um registro da conversa e dos estados de falha anteriores para manter o contexto.

• Arquitetura e Ajuste Fino (Fine-Tuning): O núcleo é um LLM leve ajustado (especificamente Mistral 7B e Deepseek 8B). Em vez de depender de prompting zero-shot ou treinamento end-to-end massivo, os autores utilizam Adaptação de Baixo Posto (LoRA) para ajuste fino de parâmetros eficiente. O conjunto de dados de treinamento consiste em exemplos de texto puro formatados como conversas multimodais (ex: <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>), onde a saída é uma sequência direta de primitivas de ação (ex: ir, pegar, colocar). Esta abordagem permite que o modelo aprenda o mapeamento das restrições multimodais para chamadas de API executáveis sem exigir dados específicos do robô.

• Mecanismo de Humano no Ciclo (Human-in-the-Loop - HITL): Um componente crítico do framework é a capacidade de lidar com falhas através de intervenção humana. O sistema categoriza as falhas em falhas de planejamento (visão/viabilidade), confusão de tarefa (ambiguidade) e falhas de execução. Ao detectar uma falha, o robô reporta o contexto do problema ao usuário. O humano pode então fornecer orientação corretiva, que o LLM utiliza para replanejar. Este mecanismo garante segurança e robustez em ambientes domésticos complexos e de observabilidade parcial.

Principais Contribuições

1. Planejamento Local Leve: Demonstra que um LLM de 7 bilhões de parâmetros, quando ajustado com uma estrutura multimodal específica, pode alcançar um desempenho de planejamento de estado da arte enquanto roda inteiramente em hardware local (NVIDIA RTX 2070), eliminando a necessidade de dependência de nuvem.
2. Pipeline Agnóstico a Robôs: O framework não requer retreinamento para diferentes implementações robóticas. Ao abstrair as capacidades do robô em um conjunto de habilidades compartilhadas e usar grafos de alcançabilidade para verificações de viabilidade, o mesmo modelo foi implantado com sucesso em duas plataformas distintas: o Toyota Human Support Robot (HSR) e o ANYmal D com um braço Unitree Z1.
3. Recuperação de Falhas Interativa: Diferente de trabalhos anteriores que focam apenas em autorrecuperação ou planejamento de tarefas de alto nível, o InteLiPlan integra explicitamente a orientação humana para casos extremos (ex: referências ambíguas, falhas de visão induzidas pela iluminação), melhorando significativamente as taxas de conclusão de tarefas em cenários de falha.
4. Dados Multimodais Textualizados: Os autores introduzem um método para converter restrições visuais e geométricas em sinais textuais para o treinamento do LLM, permitindo que o modelo raciocine sobre a viabilidade física sem processar diretamente dados brutos de sensores.

Resultados Experimentais
O framework foi avaliado em simulação e em robôs reais através de três métricas principais: sucesso de planejamento de tarefa, explicação de falha e recuperação de falha.

• Robustez à Falha: Na tarefa "buscar para mim" (fetch me), o InteLiPlan alcançou uma taxa de sucesso de 95% em cenários que exigiam recuperação de falha. Em contraste, as bases baseadas em prompting (Mistral-Prompt, Deepseek-Prompt) viram suas taxas de sucesso caírem significativamente (ex: de 100% para ~50% ou menos) ao enfrentar objetos ou comandos não vistos que exigiam recuperação.
• Generalização: O método alcançou 100% de sucesso em cenários de "não-falha" em comandos/objetos vistos e não vistos. Em cenários de "falha", os modelos ajustados (Mistral-Ours) superaram consistentemente seus equivalentes baseados em prompting, particularmente no tratamento de confusão de tarefa e falhas de execução.
• Escalabilidade (Benchmark SayCan): Ao ser avaliado em 101 tarefas do dataset SayCan, o InteLiPlan (Mistral-7B) alcançou uma taxa de sucesso de planejamento de 83% e uma taxa de sucesso de execução de 82%. Este desempenho é comparável ao sistema PaLM-SayCan de 504B de parâmetros (84% de planejamento, 74% de execução), apesar de utilizar um modelo com significativamente menos parâmetros e sem dados específicos de robô.
• Trans-Embodiment (Cruzamento de Implementação): O sistema generalizou com sucesso entre as plataformas HSR (11-DoF) e Anytree (12-DoF) sem ajuste fino adicional, validando sua natureza agnóstica a robôs.
• Latência: O sistema gera sequências de ações executáveis em menos de 7 segundos nos recursos locais, sendo a verificação de viabilidade o componente mais demorado (~5s).

Significância e Alegações
O artigo afirma que o InteLiPlan aborda a lacuna crítica entre as capacidades de raciocínio dos LLMs e as restrições físicas dos sistemas robóticos. Ao combinar um LLM leve e ajustado com um pipeline de entrada multimodal estruturado e um mecanismo de recuperação de humano no ciclo, os autores demonstram um caminho para a autonomia robótica doméstica robusta, interpretável e implantável. O trabalho destaca que o planejamento de alto nível não requer necessariamente modelos massivos ou conjuntos de dados extensos; em vez disso, a integração eficaz de percepção, verificações de viabilidade e orientação humana permite que modelos leves alcancem confiabilidade comparável a sistemas muito maiores de estado da arte. Os autores concluem que sua abordagem reduz o esforço de definir domínios de tarefas tradicionais e oferece uma solução prática para aplicações robóticas do mundo real com recursos limitados.