ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints

1. O Problema

Os agentes corporificados (embodied agents) inteligentes atuais tendem a seguir instruções de forma literal, sem considerar se os objetos no ambiente real possuem as condições necessárias para serem manipulados. A maioria dos benchmarks existentes (como ALFRED e BEHAVIOR-1K) assume que a usabilidade dos objetos é estática e que todas as pré-condições para a execução de uma tarefa são explicitamente especificadas nas instruções.

No entanto, em ambientes domésticos reais, as "afordâncias" (a capacidade de um objeto permitir uma ação específica) mudam dinamicamente e não são mencionadas no comando. Exemplos incluem:

• Um micro-ondas estar ocupado.
• Uma toalha estar suja (impedindo que seja guardada em um armário limpo).
• Uma panela estar quente ou suja.

Agentes que não conseguem inferir essas pré-condições implícitas falham em tarefas de longo prazo, pois executam ações inaplicáveis ou não recuperam-se de falhas, resultando em comportamentos frágeis e não robustos.

2. Metodologia

O trabalho propõe duas contribuições principais: um novo benchmark e um novo módulo de inferência.

A. DynAfford (Benchmark)

Os autores introduzem o DynAfford, um benchmark projetado para avaliar agentes em ambientes dinâmicos onde as affordances mudam ao longo do tempo e não são especificadas na instrução.

• Construção: Baseado no pipeline de geração de trajetórias do ALFRED (simulador AI2-THOR), mas com injeção de estados dinâmicos.
• Cenários Dinâmicos: O benchmark introduz três categorias de restrições de affordance:
  1. Ocupado: Eletrodomésticos (ex: micro-ondas) já em uso.
  2. Usado: Recipientes (ex: panelas) indisponíveis devido a uso anterior.
  3. Sujo: Itens (ex: roupas) que violam pré-condições de limpeza.
• Divisão de Dados: O conjunto de dados contém tarefas estáticas (idealizadas) e dinâmicas (onde o agente deve detectar e resolver violações de pré-condições), divididas em conjuntos "visto" (seen) e "não visto" (unseen) para testar a generalização.

B. ADAPT (Método)

Para resolver o problema, os autores propõem o ADAPT (Affordance-Aware Action Selection), um módulo de inferência em tempo de decisão que pode ser plugado em planejadores existentes. O ADAPT opera em duas fases sequenciais:

1. Fase I: Inferência do Estado de Afordância

   • Antes de executar uma ação planejada, o agente verifica se as pré-condições latentes do objeto alvo são satisfeitas.
   • Utiliza um modelo Visão-Linguagem (VLM) baseado em LLaVA-1.5-7B, ajustado via LoRA (Low-Rank Adaptation) para entender nuances específicas de affordance (ex: "esta toalha está limpa?").
   • Emprega Aprendizado de Contexto Multimodal (Multimodal In-Context Learning): O modelo recebe três imagens (um exemplo de objeto disponível, um de indisponível e a observação atual) para inferir o estado do objeto por comparação visual direta.

2. Fase II: Resolução de Aplicabilidade

   • Se a ação for considerada inaplicável (ex: micro-ondas ocupado), o ADAPT não replaneja do zero. Em vez disso, ele suspende a execução da ação principal e infere uma estratégia de resolução baseada em senso comum.
   • O agente pode escolher esperar (ação Wait) até que a condição mude ou executar uma ação preparatória (ex: CleanObject se a toalha estiver suja).
   • Uma vez resolvida a restrição, a ação original é retomada, preservando a coerência da tarefa de longo prazo.

3. Contribuições Chave

• Novo Benchmark (DynAfford): O primeiro benchmark a focar explicitamente em raciocínio de affordance dinâmica e pré-condições implícitas em tarefas de longo prazo, expondo as limitações dos métodos atuais.
• Mecanismo de Inferência Unificado (ADAPT): Formaliza a execução de ações como um problema de inferência de aplicabilidade sob pré-condições latentes, permitindo que agentes adaptem seu comportamento sem perder o objetivo global.
• Validação de Modelos Especializados: Demonstra que um modelo VLM ajustado especificamente para a tarefa (via LoRA) supera significativamente modelos comerciais de propósito geral (como GPT-4o) na inferência de affordances, destacando a importância do grounding visual alinhado à tarefa.

4. Resultados Experimentais

Os experimentos foram realizados integrando o ADAPT a agentes de ponta como FILM e CAPEAM, comparando-os com métodos few-shot (SayCan, LLM-Planner) e baselines supervisionadas.

• Melhoria de Desempenho: A integração do ADAPT resultou em melhorias substanciais na Taxa de Sucesso (SR) e na Conclusão de Condições de Objetivo (GC).
  • No conjunto de teste "não visto" (unseen), o FILM + ADAPT teve um aumento de 73,2% na taxa de sucesso em comparação ao FILM puro.
  • O CAPEAM + ADAPT também mostrou ganhos consistentes, especialmente em métricas ponderadas pelo comprimento do caminho (PLW SR), indicando execução mais eficiente.
• Comparação de Modelos: O ADAPT utilizando o LLaVA ajustado com LoRA superou consistentemente o GPT-4o, provando que o ajuste fino específico para o domínio é crucial para o raciocínio de affordance.
• Estudo de Ablação: A remoção do ajuste LoRA ou do aprendizado de contexto multimodal causou quedas drásticas no desempenho, confirmando que ambas as componentes são essenciais para o sucesso.
• Eficiência: Embora o tempo total de execução aumente (devido a ações de espera ou limpeza necessárias), o custo computacional de inferência do ADAPT é baixo (~0.2s por chamada) e ocorre apenas quando há ambiguidade, tornando-o viável na prática.

5. Significado e Conclusão

O trabalho destaca uma lacuna crítica na inteligência corporificada: a capacidade de raciocinar não apenas sobre o que fazer, mas quando uma ação não deve ser executada.

• Impacto Científico: O DynAfford serve como um diagnóstico para avaliar a robustez de agentes em cenários realistas onde as instruções são incompletas e o ambiente é dinâmico.
• Implicações Práticas: O ADAPT oferece uma arquitetura modular que pode ser aplicada a diversos planejadores existentes, permitindo que agentes domésticos lidem com imprevistos sem falhar catastróficamente.
• Futuro: O estudo sugere que a combinação de percepção visual ajustada a tarefas com raciocínio de senso comum é o caminho para agentes verdadeiramente robustos, embora desafios como oclusão e ambiguidade visual ainda precisem ser abordados.

Em resumo, o artigo demonstra que a inteligência corporificada requer mais do que seguir instruções; exige a capacidade de inferir e adaptar-se a restrições implícitas do mundo real, algo que o framework ADAPT e o benchmark DynAfford abordam com sucesso.