CWM: Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines

Resumo Técnico: Modelos de Mundo Contrastivos (CWM) para Agentes Embutidos

1. O Problema

Em pipelines de agentes embutidos (especialmente em ambientes baseados em texto como o ScienceWorld), um gargalo crítico é a viabilidade da ação. Antes que qualquer planejamento ou raciocínio ocorra, o agente deve identificar quais ações candidatas são fisicamente executáveis no estado atual.

• Limitação das Abordagens Atuais: Os métodos existentes utilizam Fine-Tuning Supervisionado (SFT) para treinar "avaliadores de ação" (action scorers). No entanto, o SFT trata cada candidato de forma independente, classificando se uma ação é válida ou não. Isso falha em ensinar o modelo a discriminar entre ações fisicamente corretas e aquelas que são subtilmente erradas (ex: trocar uma palavra que inverte o resultado físico).
• Consequência: Sem um filtro de viabilidade confiável, o agente desperdiça passos testando interações impossíveis, corre o risco de falhas irreversíveis e sobrecarrega os componentes de raciocínio.

2. Metodologia: O Modelo de Mundo Contrastivo (CWM)

Os autores propõem o CWM, que reformula o problema de avaliação de ação como um problema de ranking contrastivo em vez de classificação binária independente.

• Arquitetura Base: O modelo utiliza o LLM Qwen-2.5-7B ajustado via LoRA (Low-Rank Adaptation).
• Objetivo de Treinamento (InfoNCE): Em vez de apenas prever se uma ação é válida, o modelo é treinado com uma função de perda InfoNCE (Information Noise Contrastive Estimation).
  • Para um estado $s$ e uma ação positiva $a^+$, o modelo deve atribuir uma pontuação maior a $a^+$ do que a um conjunto de $N$ ações negativas ($a^-$).
  • A perda força o modelo a separar a ação positiva de todas as negativas simultaneamente, em vez de classificar pares isoladamente.
• Mineração de "Negativos Difíceis" (Hard Negatives): A qualidade do treinamento depende da dificuldade dos exemplos negativos. O CWM utiliza uma taxonomia específica de negativos minerados de logs de interação:
  1. Falhas Silenciosas: Ações que não produzem mudança (ex: empurrar um objeto imóvel).
  2. Rejeições Explícitas: Ações que o ambiente recusa diretamente (ex: "você não pode comer isso").
  3. Transplantes Cross-Task: Ações válidas em outras tarefas, mas inapropriadas no contexto atual.
  4. Negativos de Edição Mínima (Tipo 4 - Avaliação): Distratores formados pela substituição de uma única palavra crítica para a física (ex: "aquecer a água" $\rightarrow$ "resfriar a água"). Estes são os mais difíceis e testam os limites da discriminação física.
• Configuração: O treinamento utiliza 16 negativos por amostra positiva (uma mistura dos tipos 1-3), comparado a apenas 3 na configuração base.

3. Contribuições Principais

1. CWM: Um modelo que ajusta um LLM para atuar como avaliador de ações usando perda contrastiva InfoNCE com mineração estruturada de negativos difíceis.
2. Taxonomia de Negativos Difíceis: Uma classificação específica para o ambiente ScienceWorld, incluindo negativos de "edição mínima" que invertem resultados físicos.
3. Estudos Empíricos:
   • Uma avaliação intrínseca de affordance (capacidade de ação) em 605 pares de teste de negativos difíceis.
   • Um estudo de caracterização de filtro em tempo real, medindo como o modelo ranqueia a ação "dourada" (correta) durante a execução da tarefa.

4. Resultados Experimentais

Os resultados foram avaliados no benchmark ScienceWorld, comparando o CWM contra o SFT, um LLM Vanilla (sem ajuste) e uma linha de base aleatória.

A. Avaliação Intrínseca (Qualidade do Avaliador)

• Negativos de Edição Mínima: O CWM superou o SFT em 6,76 pontos percentuais na métrica Precision@1 (93,24% vs. 86,49%). Isso demonstra que o treinamento contrastivo é superior quando as ações incorretas são semanticamente quase idênticas às corretas, mas fisicamente opostas.
• AUC-ROC: O CWM alcançou 0,929 contra 0,906 do SFT nesta categoria difícil.
• Observação Importante: O SFT produziu uma "lacuna de pontuação" (score gap) bruta maior entre positivos e negativos, mas o CWM teve melhor precisão de ranking. Isso indica que o SFT sofre de má calibração: ele dá margens grandes, mas não ordena corretamente os candidatos dentro de um conjunto denso.

B. Estudo de Comportamento do Filtro (Execução ao Vivo)

• Retenção da Ação Dourada (GARR@K): Mede a proporção de passos onde a ação correta está entre os top-K candidatos.
  • Em tarefas Out-of-Distribution (OOD - fora da distribuição de treino), o CWM manteve a ação correta no top-10 em 49,6% dos casos, comparável ao SFT (49,0%).
• Margem de Segurança (Safety Margin): Esta é a métrica chave para OOD.
  • O CWM apresentou uma margem de segurança de -2,39, enquanto o SFT teve -3,96.
  • Uma margem menos negativa indica que a ação correta está ranqueada mais perto do topo em relação aos concorrentes. O CWM degrada-se de forma mais graciosa em cenários desconhecidos, mantendo uma ordenação relativa mais robusta.

5. Significado e Conclusão

• Validação da Hipótese: O estudo confirma que o treinamento contrastivo com negativos difíceis induz representações que capturam os limites de affordance física com mais fidelidade do que o SFT isolado.
• Diferenciação de Contexto: Diferente de estudos anteriores em recuperação de informação (onde SFT muitas vezes vence), neste cenário embodied e baseado em física, a estrutura dos negativos (ações fisicamente adjacentes) exige o objetivo contrastivo para discriminação fina.
• Implicações para Design de Agentes:
  • O CWM permite que agentes filtrem 80-90% das ações candidatas (mantendo o top-10) sem perder a ação correta na maioria dos casos.
  • Em ambientes novos (OOD), o CWM oferece uma margem de segurança superior, reduzindo a probabilidade de o agente escolher uma ação inválida que parece plausível.
• Trabalho Futuro: A integração completa do CWM como pré-filtro em loops de agentes completos (ex: combinado com ReAct ou DRRN) para medir o desempenho final de conclusão de tarefas é o próximo passo planejado.

Em resumo, o papel demonstra que, para agentes que interagem com o mundo físico, como o modelo é treinado para distinguir entre "quase certo" e "certo" é tão importante quanto o modelo em si, e a abordagem contrastiva supera a abordagem supervisionada tradicional em cenários de alta complexidade física.