Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

O artigo apresenta o CoCo-TAMP, um framework hierárquico que utiliza o raciocínio de senso comum de Grandes Modelos de Linguagem (LLMs) para estimar estados em ambientes parcialmente observáveis, permitindo que robôs identifiquem objetos relevantes e reduzam significativamente o tempo de planejamento e execução em tarefas de longo prazo.

O essencial

Imagine que você é um robô doméstico e sua tarefa é encontrar uma maçã para fazer um suco. O problema é que você não consegue ver tudo ao mesmo tempo: a maçã pode estar escondida atrás de uma panela, dentro de uma gaveta ou em outro cômodo que você ainda não visitou.

Se você fosse um robô "ingênuo", você começaria a procurar aleatoriamente, abrindo cada gaveta e olhando embaixo de cada cadeira, gastando horas e bateria. Isso é o que os planejadores de robôs tradicionais fazem quando não têm certeza de onde as coisas estão.

Agora, imagine que esse robô tem um assistente virtual superinteligente (como um ChatGPT muito experiente) que conhece o mundo como a palma da mão. Esse é o segredo do COCO-TAMP, o sistema apresentado neste artigo.

Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: O Caos da "Máscara"

Em ambientes reais, a visão do robô é limitada (chamada de "parcialmente observável"). É como tentar encontrar uma chave de fenda em uma sala escura com apenas uma lanterna pequena. Você sabe que a chave deve estar em algum lugar, mas não sabe onde.

2. A Solução: O "Bom Senso" do Robô

O COCO-TAMP usa uma Inteligência Artificial de Linguagem (LLM) para dar ao robô intuição. Em vez de adivinhar, o robô usa o "bom senso" que aprendemos quando crescemos.

O sistema usa duas regras principais de bom senso:

• Regra 1: Onde as coisas costumam estar.

  • Analogia: Se você precisa de um torradeira, você não vai procurar no banheiro. Você vai direto para a cozinha.
  • Como o robô faz: Ele pergunta ao "cérebro" de linguagem: "Onde é mais provável que uma torradeira esteja?" A IA responde: "Cozinha, na bancada". Isso cria um mapa de probabilidade. O robô já começa a busca sabendo onde é mais provável encontrar o objeto, economizando tempo.

• Regra 2: O Efeito "Gangue" (Co-localização).

  • Analogia: Se você encontra um pote de café, é muito provável que perto dele haja açúcar ou xícaras. Mas é improvável que você encontre um martelo ali. Objetos parecidos tendem a ficar juntos; objetos diferentes, separados.
  • Como o robô faz: Se o robô vê um "pote de café" na mesa, ele usa a IA para pensar: "Ah, se tem café aqui, a chance de encontrar açúcar aqui também é alta". Ele atualiza sua crença sobre onde o açúcar pode estar, mesmo sem vê-lo ainda.

3. O Processo: Planejar e Agir

O sistema funciona como um jogo de "Quente e Frio" com um guia esperto:

1. O Planejamento: O robô usa o "bom senso" da IA para criar um plano inicial. Em vez de varrer a casa inteira, ele foca nas áreas mais prováveis.
2. A Ação: Ele vai até lá e tenta ver o objeto.
3. A Atualização (O Pulo do Gato):
   • Se ele encontra o objeto, ótimo!
   • Se ele não encontra, ele não desiste. Ele usa a lógica da IA: "Não encontrei o açúcar na bancada, mas vi o café. Talvez o açúcar esteja no armário ao lado, porque café e açúcar costumam estar juntos."
   • Ele também sabe quando ignorar a regra. Se ele vê um interruptor de luz, ele sabe que interruptores estão espalhados por toda a casa, então não assume que todos estão no mesmo lugar.

4. Os Resultados: Mais Rápido e Inteligente

Os pesquisadores testaram isso em simulações de casas gigantes e em um robô real (um Toyota HSR).

• Sem o "Bom Senso": O robô demorava muito, tentava muitas vezes e falhava frequentemente. Era como procurar uma agulha no palheiro sem saber que agulhas geralmente estão perto de costureiras.
• Com o COCO-TAMP: O robô foi 62% a 72% mais rápido. Ele precisou de muito menos tentativas para encontrar o que queria.

Resumo em uma Frase

O COCO-TAMP é como dar a um robô um GPS do "bom senso": em vez de procurar cegamente em todo o mundo, ele usa o que sabe sobre como as pessoas organizam suas casas para saber exatamente onde começar a procurar, tornando a busca por objetos escondidos muito mais eficiente.

Isso é um grande passo para que robôs possam viver conosco e nos ajudar em tarefas complexas, mesmo quando as coisas não estão exatamente onde esperamos que estejam.

Resumo técnico

Título: Estimativa de Estado Guiada por Grandes Modelos de Linguagem para Planejamento de Tarefa e Movimento em Ambientes Parcialmente Observáveis

1. O Problema

O artigo aborda o desafio do Planejamento de Tarefa e Movimento Parcialmente Observável (PO-TAMP). Em cenários reais, os robôs frequentemente operam em ambientes onde nem todos os objetos são visíveis ou conhecidos devido a oclusões e limitações de campo de visão.

• Desafio Principal: Os planejadores determinísticos tradicionais falham quando não conseguem localizar objetos necessários para a tarefa.
• Complexidade: Resolver PO-TAMP exige raciocínio sob incerteza, geralmente modelado como Processos de Decisão de Markov Parcialmente Observáveis (POMDPs).
• Limitação Atual: Planejadores ingênuos ignoram objetos irrelevantes para a tarefa que podem ser observados acidentalmente, e a engenharia manual de "conhecimento de senso comum" (ex: onde certos objetos costumam estar) é complexa e não escalável.

2. Metodologia: Framework CoCo-TAMP

Os autores propõem o CoCo-TAMP, um sistema de planejamento e execução hierárquico que integra Grandes Modelos de Linguagem (LLMs) para enriquecer a estimativa de estado do robô. O sistema opera em um ciclo de "gerar e verificar", utilizando o planejador TAMP baseado em PDDLStream como núcleo.

O framework baseia-se em dois tipos de conhecimento de senso comum extraídos de LLMs:

1. Priors de Localização: Certos objetos são mais propensos a serem encontrados em locais específicos (ex: um torradeira na cozinha).
2. Modelo de Co-localização: Objetos semanticamente similares tendem a estar no mesmo local, enquanto objetos dissimilares tendem a estar separados.

Componentes Chave:

• A. Geração de Crença Inicial com LLMs:

  • O sistema formula a seleção do local mais provável (sala e superfície) como uma tarefa de Resposta a Múltipla Escolha (MCQA).
  • O LLM recebe prompts descrevendo o objeto e as opções de locais. As probabilidades são derivadas dos logits (probabilidades de tokens) do modelo, criando uma distribuição de crença inicial não uniforme sobre onde o objeto pode estar.

• B. Estimativa de Estado Hierárquica (Filtro Bayesiano):

  • O sistema mantém crenças sobre a localização semântica (sala, superfície) e a pose contínua (SE(3)) dos objetos.
  • Filtro Discreto: Atualiza a crença sobre salas e superfícies usando um filtro Bayesiano discreto.
  • Filtro de Partículas: Atualiza a crença sobre a pose contínua do objeto.
  • Modelo de Observação Consciente de Visibilidade: Incorpora a visibilidade do campo de visão do robô. Se uma área não foi totalmente observada, a falha em detectar um objeto não elimina a possibilidade de ele estar lá.

• C. Modelo de Co-localização e "Toggler":

  • Utiliza embeddings de LLM para calcular a similaridade semântica entre objetos (via similaridade de cosseno).
  • Se o objeto $j$ é observado, a crença sobre a localização do objeto $k$ é atualizada baseada na similaridade $sim(j, k)$.
  • Co-location Toggler: Um mecanismo que usa o LLM para decidir se o modelo de co-localização deve ser ativado ou desativado. Por exemplo, se um interruptor de luz é visto, o modelo não deve assumir que todos os interruptores estão no mesmo quarto (dispersão ampla), enquanto para objetos como "livros", a co-localização é forte.

• D. Planejamento e Replanejamento:

  • O planejador (PDDLStream) gera planos baseados nas crenças atuais.
  • A ação de observação ("detect") tem um custo inversamente proporcional à probabilidade de sucesso (baseada na crença e visibilidade), incentivando o robô a buscar vistas mais informativas.
  • Se a execução falha (ex: objeto não encontrado onde previsto), o sistema dispara um replanejamento com as crenças atualizadas.

3. Contribuições Principais

1. Framework Intercalado de Planejamento-Execução: Propõe um sistema PO-TAMP que utiliza LLMs não para gerar o plano final, mas para fornecer priors informativos e guiar a atualização de crenças, tornando o planejamento em espaço de crenças viável sob observabilidade parcial.
2. Modelo de Co-localização Baseado em Semântica: Introduz uma abordagem para propagar evidências entre objetos baseada na similaridade semântica aprendida por LLMs, sem necessidade de treinamento supervisionado específico.
3. Validação Robusta: Demonstra que o uso de priors de LLM combinados com atualizações bayesianas rigorosas supera abordagens que dependem apenas de LLMs (que podem ser inconsistentes) ou apenas de heurísticas uniformes.

4. Resultados Experimentais

Os experimentos foram conduzidos em simulações em larga escala (dataset Housekeep) e em um robô real (Toyota HSR).

• Métricas: Tempo cumulativo de planejamento e execução, e número de iterações de replanejamento.
• Desempenho em Simulação:
  • O CoCo-TAMP (usando MCQA + Modelo de Co-localização) reduziu o tempo médio de planejamento e execução em 62,7% comparado à linha de base (sem conhecimento de senso comum).
  • Redução significativa no número de replanejamentos necessários.
  • O uso de apenas priors de LLM (sem filtro Bayesiano) ou apenas modelo de co-localização mostrou-se inferior à combinação completa.
• Desempenho no Mundo Real:
  • Em demonstrações com o robô HSR, a redução foi de 72,6% no tempo total comparado à linha de base.
  • O sistema manteve robustez mesmo em configurações adversárias onde os priors de senso comum eram enganosos (devido ao mecanismo de atualização Bayesiana que corrige os erros).
• Comparação de Modelos LLM: O GPT-4o demonstrou desempenho superior em tarefas de MCQA para geração de crenças iniciais em comparação a modelos menores.

5. Significado e Conclusão

O trabalho demonstra que Grandes Modelos de Linguagem podem ser integrados efetivamente em sistemas de controle robótico de baixo nível (como estimativa de estado e planejamento) para lidar com incertezas de observação.

• Inovação: A chave não é usar o LLM como planejador (o que é propenso a erros), mas como uma fonte rica de conhecimento aproximado para inicializar e refinar crenças probabilísticas.
• Impacto: O CoCo-TAMP permite que robôs realizem tarefas de manipulação de longo alcance em ambientes domésticos complexos e parcialmente observáveis com muito menos tentativas e erros, aproximando a robótica de serviços domésticos da realidade prática.
• Futuro: Os autores sugerem que a abordagem pode ser estendida para outros domínios (hospitais, fábricas) e para cenários onde o layout do ambiente também é desconhecido.