Resumo Técnico: Seguir Instruções com Raciocínio Social e Incorporado (FISER)

Formulação do Problema

O artigo aborda o desafio de capacitar agentes de IA para seguir instruções em linguagem natural em tarefas colaborativas entre humanos e robôs, que envolvem incorporação (embodiment). O aprendizado de linguagem fundamentada padrão mapeia instruções para ações, mas frequentemente falha em cenários do mundo real onde as instruções humanas são inerentemente ambíguas. Humanos assumem que os ouvintes possuem conhecimento prévio sobre seus objetivos e intenções ocultos, o que leva à omissão de informações críticas para fins de eficiência (Grice 1975; Sperber e Wilson 1986).

Os autores formalizam isso como um Processo de Decisão de Markov (MDP) Humano-Robô. Neste cenário, um humano realiza uma trajetória de ações $\tau_{t'}$ em um ambiente compartilhado antes de emitir uma instrução em linguagem natural $u$. O robô deve inferir a função de recompensa interna oculta do humano $R_h$ e o subobjetivo específico $p^*$ para determinar a tarefa correta do robô $G_r$. A dificuldade central reside no fato de que a instrução $u$ sozinha é insuficiente; o robô deve alavancar a trajetória parcialmente observável do humano e o contexto do ambiente para desambiguar a solicitação.

Metodologia: O Framework FISER

Os autores propõem o Follow Instructions with Social and Embodied Reasoning (FISER), um framework que decompõe explicitamente o problema de seguir instruções em duas fases distintas: Raciocínio Social e Raciocínio Incorporado.

1. Modelagem de Intenções Humanas

O framework modela o objetivo oculto do humano $G_h$ como um conjunto de predicados lógicos. O humano seleciona um subobjetivo $p^*$ (uma parte específica do plano geral) que requer assistência e gera uma instrução $u$ para especificar uma tarefa do robô $G_r$. O robô não pode observar $G_h$, $p^*$ ou $G_r$ diretamente; ele deve inferi-los a partir da trajetória observada $\tau_{t'}$, do estado final $s_{t'}$ e da instrução $u$.

2. Duas Fases de Raciocínio

• Fase 1: Raciocínio Social (Reconhecimento de Tarefa): O robô desambigua a instrução em linguagem natural em uma tarefa de robô concreta e executável $G_r$. Esta fase envolve:
  • Reconhecimento de Tarefa do Robô: Estimar $G_r$ dado $s_{t'}$, $\tau_{t'}$ e $u$.
  • Reconhecimento de Plano Humano (Opcional): Um estágio aprimorado onde o modelo prevê explicitamente o subobjetivo do humano $p^*$ (ex: "guardando livros em uma caixa") antes de determinar $G_r$. Isso é modelado como a previsão de uma tupla de predicados lógicos (Quantificador, Subjetivo, Verbo, Objeto).
• Fase 2: Raciocínio Incorporado (Planejamento Fundamentado): Uma vez estabelecido $G_r$, o problema reduz-se a uma tarefa padrão de planejamento condicionado ao objetivo. O robô gera uma sequência de ações $\{a_t\}$ para alcançar $G_r$ dentro do ambiente.

3. Implementação do Modelo

Os autores implementam um modelo baseado em Transformer treinado do zero (devido aos comprimentos excessivos de tokens dos dados de entrada, que excedem os limites de contexto de modelos pré-treinados existentes menores).

• Arquitetura: O modelo utiliza $3N$ camadas de codificação. As primeiras $2N$ camadas constituem a fase de Raciocínio Social e as $N$ camadas finais constituem a fase de Raciocínio Incorporado.
• Interação de Modalidades: Um módulo especializado funde quatro fluxos de entrada: Descrição do Estado do Mundo, Trajetória Humana, Instrução de Linguagem e Saídas Passadas do Modelo.
• Estratégias de Treinamento:
  • Ponta a Ponta (E2E): O modelo é treinado para gerar ações diretamente, com uma perda auxiliar aplicada às predições intermediárias.
  • Multiestágio (MS): Os módulos de Raciocínio Social e Raciocínio Incorporado são treinados separadamente. O módulo Social prevê $G_r$ (e opcionalmente $p^*$), que é então alimentado como uma entrada de verdade fundamental (ground-truth) para o módulo Incorporado durante a avaliação.

Configuração Experimental

O framework é avaliado no benchmark HandMeThat (HMT), um ambiente doméstico baseado em texto que contém tarefas de seguimento de instruções ambíguas através de quatro níveis de dificuldade:

• Nível 1: Planejamento puro (sem ambiguidade).
• Nível 2: Requer inferência de objetivos a partir de trajetórias humanas.
• Nível 3: Requer raciocínio pragmático para resolver ambiguidade linguística.
• Nível 4: Requer conhecimentos prévios fortes para resolver ambiguidades inerentes onde a informação é insuficiente.

Os autores comparam sua abordagem contra:

1. Baselines: Desempenho humano, heurísticas codificadas à mão e uma rede neural Seq2Seq.
2. Estado da Arte (SOTA): O método anterior mais avançado (Cao et al. 2024), que utiliza inferência de objetivo iterativa.
3. Grandes Modelos de Linguagem (LLMs): GPT-4 Turbo utilizando Chain-of-Thought (CoT), incluindo prompting padrão, engenharia de prompt (PE) e prompts de CoT que mimetizam a estrutura do FISER (prevendo etapas intermediárias).

Principais Resultados

Os experimentos produzem três descobertas primordiais:

1. A Separação do Raciocínio Melhora o Desempenho: Modelos que separam explicitamente o raciocínio social e o incorporado (FISER) superam significativamente as abordagens de ponta a ponta. O modelo Multi-Staged + FISER alcança uma taxa média de sucesso de 64,5% no conjunto de teste HMT, estabelecendo um novo estado da arte.
2. Modelos Pequenos Superam LLMs com Prompting: Apesar do acesso do GPT-4 Turbo a vasto conhecimento de senso comum, ele falha em igualar o desempenho dos modelos Transformer de pequena escala treinados do zero. Mesmo com prompting de CoT e conhecimento de domínio, o GPT-4 atinge menos da metade da taxa de sucesso do modelo FISER nos níveis ambíguos (2–4).
3. Análise de Modos de Falha:
   • GPT-4 luta principalmente com Falhas de Planejamento (alucinação de localizações de objetos) e Intenções Incorretas (desalinhamento do senso comum com o objetivo humano específico).
   • Os modelos FISER evitam efetivamente falhas de planejamento e comportamentos redundantes, mas ainda enfrentam desafios em identificar corretamente o objeto alvo em cenários altamente ambíguos.
   • Filtrar objetos irrelevantes melhora ligeiramente o desempenho do GPT-4, mas não fecha a lacuna, indicando que a limitação não é apenas a seleção de objetos, mas a capacidade fundamental de realizar o raciocínio social e incorporado exigido.

Significância e Alegações

O artigo alega que o insight chave para resolver tarefas de seguimento de instruções ambíguas é modelar explicitamente as intenções humanas como etapas de raciocínio intermediárias. Ao tratar o humano como um agente parcialmente observável com objetivos ocultos, em vez de apenas um emissor de instruções desincorporado, o sistema pode alavancar melhor o contexto para resolver a ambiguidade.

Os autores afirmam que:

• O pré-treinamento é insuficiente: LLMs gerais pré-treinados, mesmo com prompting de CoT, carecem do conhecimento de domínio específico e da estrutura de raciocínio necessárias para tarefas sociais e incorporadas complexas em ambientes compartilhados.
• O raciocínio estruturado é superior: Decompor o problema em fases de raciocínio social (inferência de intenção) e incorporado (planejamento de ação) produz melhores resultados do que o treinamento monolítico de ponta a ponta ou o prompting direto.
• Eficiência: Treinar um modelo pequeno e específico de domínio do zero é mais eficaz e confiável do que tentar utilizar prompts em LLMs massivos e de propósito geral para essas tarefas colaborativas específicas.

O trabalho estabelece que, para que agentes de IA sejam verdadeiramente úteis em ambientes humanos, eles devem ir além do simples grounding de linguagem para incorporar o raciocínio social que infere o "porquê" por trás das ações humanas antes de executar o "como".