REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

O artigo apresenta o REI-Bench, o primeiro benchmark para planejamento de tarefas robóticas que modela instruções vagas baseadas em expressões referenciais, demonstrando que essa ambiguidade degrada significativamente o desempenho dos modelos e propondo uma abordagem de "cognição contextual orientada a tarefas" para gerar instruções claras e melhorar a acessibilidade para usuários não especialistas, como idosos e crianças.

O essencial

Imagine que você tem um robô doméstico super inteligente, capaz de cozinhar, limpar e organizar sua casa. Você diz a ele: "Por favor, coloque aquela coisa pesada fora."

Para nós, humanos, é óbvio: você está apontando para a panela de ferro que acabou de usar. Mas para o robô? Ele pode ficar confuso. "Aquela coisa pesada" pode ser a panela, mas também pode ser a assadeira, o saco de batatas ou até a própria pia. O robô pode pegar o objeto errado e estragar tudo.

Este é o problema central do paper REI-BENCH, apresentado na conferência ICLR 2026. Vamos descomplicar a pesquisa usando algumas analogias divertidas.

1. O Problema: O "Robô Literal" vs. O "Humão Confuso"

A pesquisa começa com uma verdade simples: Robôs são ótimos em seguir instruções claras, mas péssimos em entender o que as pessoas realmente querem dizer quando falam de forma vaga.

• A Analogia do Tradutor Cego: Imagine que o robô é um tradutor que só conhece palavras literais. Se você diz "pegue o fruto vermelho", ele pode pegar uma maçã, um tomate ou até um brinquedo vermelho. Ele não consegue conectar as pontas do que você disse antes com o que você está pedindo agora.
• O Cenário Real: Na vida real, ninguém fala como um manual de instruções. Idosos, crianças ou pessoas cansadas usam pronomes como "isso", "aquilo", "o de cima" ou "o pesado". O paper chama isso de Expressões Referenciais Implícitas. É como se o robô precisasse adivinhar o que você quer, e ele é muito ruim em adivinhar.

2. O Laboratório de Testes: O "REI-Bench"

Os pesquisadores criaram um "campo de treinamento" chamado REI-Bench para testar exatamente isso.

• A Analogia do Treinamento de Ator: Pense no REI-Bench como um curso de teatro para robôs. Eles pegaram instruções normais (ex: "Leve a panela para a pia") e as transformaram em versões confusas:
  • Versão Clara: "Leve a panela." (Fácil)
  • Versão Mista: "Leve aquela coisa." (O robô precisa lembrar que vocês falaram sobre a panela antes).
  • Versão Caótica: "Leve o pesado." (Agora, imagine que na conversa anterior você mencionou uma panela, uma assadeira e um saco de arroz. Qual é o pesado? O robô precisa usar a memória).

Eles também criaram cenários com "ruído" (informações falsas ou irrelevantes) para ver se o robô se distrairia, como se alguém estivesse gritando nomes de pessoas no meio da cozinha enquanto o robô tenta trabalhar.

3. O Resultado: O Robô Perdeu a Cabeça

Os testes foram brutais. Quando as instruções eram vagas:

• A taxa de sucesso dos robôs caiu drasticamente (até 37% a menos!).
• O erro mais comum? O robô esquecia completamente qual era o objeto alvo. Ele pegava um prato em vez da panela, ou simplesmente parava.

A lição: Apenas colocar um "cérebro" de IA (como o GPT) dentro de um robô não é suficiente. O robô entende a gramática, mas falha na intenção quando a linguagem é ambígua.

4. A Solução: O "Tradutor de Contexto" (TOCC)

Os pesquisadores não apenas apontaram o problema; eles criaram uma solução simples e brilhante chamada TOCC (Cognição de Contexto Orientada a Tarefas).

• A Analogia do Secretário Pessoal: Imagine que o robô tem um assistente pessoal (o TOCC) antes de começar a trabalhar.
  1. Você diz: "Pegue o pesado."
  2. O Assistente (TOCC) olha para a conversa anterior: "Ah, o usuário estava falando sobre a panela de ferro que esquentou. 'O pesado' é a panela."
  3. O Assistente reescreve a ordem: "Pegue a panela de ferro."
  4. O Robô recebe a ordem clara: "Pegue a panela de ferro."
  5. Resultado: O robô executa perfeitamente.

O TOCC funciona separando o processo: primeiro, ele traduz a linguagem humana vaga para uma linguagem clara e específica para o robô. Só depois ele deixa o robô planejar o movimento.

5. Por que isso importa?

Este trabalho é crucial porque o futuro da robótica não é para especialistas em tecnologia, mas para pessoas comuns: avós, crianças, pessoas com demência.

• A Metáfora Final: Hoje, pedir ajuda a um robô é como tentar dirigir um carro de Fórmula 1 sem volante, apenas com botões. Você precisa ser um piloto experiente. O REI-Bench e a solução TOCC estão colocando o volante de volta nas mãos do passageiro. Eles permitem que você fale como um humano normal, com suas gírias, pronomes e confusões, e o robô entenda perfeitamente.

Em resumo: Os robôs são inteligentes, mas precisam de ajuda para entender o "subtexto" das nossas conversas. Com essa nova técnica, eles estão aprendendo a ouvir não apenas as palavras, mas o que realmente queremos dizer.

Resumo técnico

Título: REI-BENCH: Agentes Embutidos Podem Entender Instruções Humanas Vagas no Planejamento de Tarefas?

1. O Problema

O planejamento de tarefas robóticas baseado em Grandes Modelos de Linguagem (LLMs) tem mostrado desempenho notável em ambientes controlados. No entanto, esses sistemas operam sob uma premissa idealizada: as instruções humanas são claras, completas e não ambíguas. Na realidade, especialmente em interações com usuários não especialistas (como idosos e crianças), as instruções contêm vaguidão linguística significativa.

O foco deste trabalho é a vaguidão coreferencial, onde expressões de referência (REs) implícitas (ex: "o pesado", "aquele", "o limpo") dependem fortemente do contexto da conversa e do ambiente para serem resolvidas. Diferente de REs explícitas (ex: "a panela"), as implícitas exigem raciocínio contextual. O artigo demonstra que os planejadores atuais falham ao tentar interpretar essas instruções vagas, levando a erros de identificação de objetos e falhas na execução da tarefa.

2. Metodologia

Os autores propõem uma abordagem sistemática composta por três pilares principais:

A. Formalização da Vaguidão (REI-Bench)
O trabalho introduz o REI-Bench, o primeiro benchmark que modela sistematicamente a vaguidão coreferencial em instruções de robótica, baseado na teoria pragmática. O conjunto de dados (REI-Dataset) é construído sobre o ALFRED (em ambiente simulador AI2-THOR) e envolve 2.700 instruções distribuídas em nove níveis de dificuldade, resultantes da combinação de:

1. Tipos de Expressões de Referência (REs):
   • Explícitas: Todos os objetos são nomeados diretamente.
   • Mistas: Instruções contêm REs implícitas, mas o contexto histórico (memória) possui referências explícitas.
   • Implícitas: Tanto a instrução quanto o contexto (exceto a primeira menção) usam referências vagas (pronomes, descrições).
2. Tipos de Memória de Contexto:
   • Padrão: Informações relevantes completas.
   • Ruídosa (Noised): Introdução de nomes ambíguos (ex: mencionar "Apple" como marca de celular para confundir com a fruta "maçã" no ambiente).
   • Curta (Short): Omissão de informações contextuais relevantes, simulando falhas de memória ou diálogo incompleto.

B. Avaliação de Planejadores
O benchmark foi utilizado para testar 4 frameworks de planejamento (SayCan, DAG-Plan, HPE, LLM+P) acoplados a 6 LLMs (incluindo GPT-4o-mini, LLaMA3.1-8B, Qwen2.5-7B, etc.). O objetivo era medir a taxa de sucesso em tarefas domésticas (ex: "esquente a batata" vs. "esquente a coisa aquecida") sob diferentes níveis de vaguidão.

C. Solução Proposta: TOCC
Os autores identificaram que a falha não é na capacidade de planejamento, mas na compreensão da linguagem durante a geração do plano. Para mitigar isso, propõem o TOCC (Task-Oriented Context Cognition - Cognição de Contexto Orientada a Tarefas).

• Mecanismo: O TOCC desacopla a resolução de referências vagas do processo de planejamento.
• Funcionamento: Antes de gerar o plano de ação, o LLM recebe um prompt específico para analisar o contexto, identificar as REs implícitas e reescrever a instrução humana em uma forma clara e explícita (ex: transformar "coloque o aquecido na pia" em "coloque a batata aquecida na pia").
• Vantagem: Diferente de Chain-of-Thought (CoT) ou In-Context Learning (ICL), que aumentam drasticamente o tamanho do prompt e a latência, o TOCC é leve e focado apenas na clarificação semântica.

3. Resultados Principais

• Impacto da Vaguidão: A presença de REs implícitas degrada severamente o desempenho dos planejadores. Em modelos baseados, a taxa de sucesso caiu entre 7,4% e 36,9% em comparação com instruções explícitas.
• Causa dos Erros: A análise de erros revelou que a principal causa de falha é a omissão de objetos (o robô não identifica o objeto correto), e não erros de execução de ações. O ruído no contexto (nomes ambíguos) teve menos impacto do que a própria vaguidão das referências.
• Desempenho do TOCC:
  • O TOCC superou métodos existentes como Aware Prompt (AP), Chain-of-Thought (CoT) e In-Context Learning (ICL).
  • No modelo LLaMA3.1-8B + SayCan, o TOCC melhorou a taxa de sucesso média em 6,5% em cenários com REs implícitas.
  • Reduziu significativamente a taxa de erro por omissão de objetos em todos os níveis de dificuldade.
  • Foi mais eficiente em termos de tokens e latência comparado ao CoT e ICL.

4. Contribuições Chave

1. REI-Bench: A criação do primeiro benchmark sistemático para avaliar a robustez de planejadores de tarefas robóticas contra instruções humanas vagas, categorizando níveis de dificuldade baseados em teoria pragmática.
2. Análise de Falhas: A descoberta de que os LLMs em robótica falham principalmente na fase de compreensão semântica (resolução de referências) e não no planejamento lógico, desafiando a suposição de que apenas embutir um LLM é suficiente para a compreensão humana.
3. Método TOCC: Proposta de uma solução simples e eficaz que desacopla a cognição de contexto do planejamento, demonstrando que a reescrita de instruções vagas para claras antes do planejamento é crucial para o sucesso.

5. Significado e Impacto

Este trabalho é fundamental para a viabilidade de robôs de serviço no mundo real. A maioria dos usuários de robôs domésticos (idosos, crianças) não fala a linguagem técnica precisa exigida pelos sistemas atuais. Ao abordar a vaguidão coreferencial, o REI-Bench e o método TOCC abrem caminho para:

• Acessibilidade: Robôs que podem interagir naturalmente com grupos vulneráveis que tendem a usar linguagem mais ambígua.
• Robustez: Sistemas de planejamento que não falham catastróficamente quando a comunicação humana não é perfeita.
• Direção Futura: O trabalho sugere que a pesquisa futura deve focar na separação entre "entendimento de intenção" e "geração de plano", além de expandir o estudo para outras formas de vaguidão (deixica, sintática) e validação em robôs físicos.

Em resumo, o artigo demonstra que para robôs entenderem humanos de verdade, eles precisam primeiro aprender a "traduzir" a ambiguidade humana em clareza lógica antes de agir.