Resumo Técnico: Ancoragem de Relações Espaciais em um Modelo de Mundo Compacto

1. Declaração do Problema

O artigo investiga um modo de falha crítico em modelos de mundo compactos e condicionados a objetivos, projetados para controle incorporado (embodied control). Esses modelos, frequentemente baseados em Arquiteturas Preditivas de Incorporação Conjunta (JEPA), visam representar relações espaciais (ex: "coloque o bloco vermelho à esquerda do bloco azul") usando uma combinação de um estado latente global e âncoras de referência métricas explícitas.

O problema central identificado é o Vazamento de Instrução (Instruction Leakage). Os autores demonstram que, quando a dinâmica de transição de um modelo de mundo é condicionada a um objetivo linguístico que nomeia explicitamente a relação sendo avaliada (ex: a instrução "mova X para a esquerda de Y" contém a palavra "esquerda"), o modelo não aprende a perceber a relação espacial da cena. Em vez disso, ele aprende a transcrever a instrução diretamente para suas coordenadas de âncora previstas.

Isso cria uma ilusão enganosa de ancoragem (grounding):

• Alta Precisão de Leitura: Os modelos alcançam alta precisão (ex: 0,90) em leituras de relação.
• Fragilidade: Essa precisão colapsa para níveis de acaso (ex: 0,27) quando o objetivo é omitido.
• Falha Contrafactual: Quando apresentada com uma instrução contrafactual (ex: "mova X para a direita" quando a cena mostra "esquerda"), as âncoras previstas pelo modelo seguem a instrução falsa 94,5% das vezes, ignorando a cena real.

O artigo argumenta que esse vazamento ocorre porque o preditor pode explorar a instrução como um atalho, tornando as entradas não-instrução (estado, ação) irrelevantes para a tarefa específica de leitura de relação.

2. Metodologia

Configuração Experimental

Os autores utilizam um ambiente de mesa 2D relacional controlado (inspirado em CLEVR) onde:

• Cenas: Contêm $N=4$ formas coloridas.
• Tarefa: Um objeto alvo deve ser movido em relação a um objeto âncora (relações: esquerda, direita, acima, abaixo).
• Ambiguidade: O número de distratores duplicados ($a \in \{0, \dots, 4\}$) é ajustável para testar a ambiguidade referencial.
• Arquitetura do Modelo (PrismWM): Um modelo baseado em JEPA que fatura o estado em:
  • Um latente global $z$ (codificado por ViT-tiny).
  • Âncoras de pontos métricos esparsos $p$ (lidos de características de patches).
  • Um embedding de objetivo $g$.
  • Um preditor transformer condicionado à ação que projeta $(z, p)$ para o futuro.

Protocolo de Detecção

Para distinguir entre percepção genuína e transcrição de instrução, os autores empregam dois controles específicos na distribuição de renderização de treinamento:

1. Controle de Objetivo Omitido (Goal-Withheld Control): Os tokens do objetivo são zerados durante a fase de leitura. Um modelo perceptivo genuíno deve manter a precisão; um modelo de transcrição deve colapsar para o nível de acaso.
2. Controle Contrafactual: O modelo recebe uma instrução que nomeia uma relação diferente da cena real. Um modelo genuíno segue a cena; um modelo de transcrição segue a instrução falsa.

Variantes do Modelo

Os autores treinam e comparam várias variantes para isolar a causa:

• GoalDyn: O objetivo é alimentado na dinâmica (preditor).
• GoalDyn+Read: Objetivo na dinâmica, mais um caminho de leitura supervisionada para âncoras observadas.
• GoalFree (A Correção): O objetivo é removido da dinâmica (o preditor nunca vê o objetivo) e é usado apenas na função de custo do planejador. O caminho de leitura é supervisionado.
• NoGoal: Linha de base sem condicionamento de objetivo.
• Benchmarks Externos: O fenômeno é validado no BabyAI (MiniGrid) e Language-Table (Google), variando se as instruções nomeiam a relação ou apenas os referentes.

3. Principais Contribuições

1. Caracterização do Vazamento de Instrução: O artigo estabelece que o vazamento é governado pela transcritibilidade. Ele ocorre quando a instrução nomeia a quantidade pontuada (a relação) e é essencialmente independente da força preditiva das entradas não-instrução (estado/ação). Isso foi verificado em três configurações (Tabletop, BabyAI, Language-Table) e em uma dose-resposta de ablação de ação.
2. Protocolo de Detecção Validado: Os autores propõem um protocolo de teste rigoroso (probes de Objetivo Omitido e Contrafactual) que separa claramente percepção de transcrição. Eles mostram que a alta precisão de um modelo condicionado ao objetivo é um artefato de "transcrição pura".
3. Correção Arquitetural (Dinâmica Livre de Objetivo - Goal-Free Dynamics): O artigo prescreve e valida uma correção: remova o objetivo das dinâmicas de transição (o preditor nunca vê o objetivo) e supervisiona o caminho de leitura de âncoras. Ao forçar o preditor a inferir relações apenas a partir da cena, o modelo alcança uma ancoragem genuína e independente de instrução.
4. Análise de Controle: O estudo revela que o condicionamento de objetivo em dinâmicas degrada ativamente o desempenho de controle. Remover o objetivo das dinâmicas recupera o desempenho de controle ao nível da linha de base mais simples "NoGoal", confirmando que o objetivo era a fonte da degradação, não a falta de recursos.

4. Resultados

Representação e Ancoragem

• Vazamento: O modelo padrão condicionado ao objetivo (GoalDyn) alcança ~0,90 de precisão de âncora prevista com o objetivo presente, mas isso cai para ~0,27 (acaso) quando o objetivo é omitido. Sob instruções contrafactuais, ele segue a instrução falsa 94,5% das vezes.
• Ancoragem Genuína: O modelo GoalFree (objetivo removido da dinâmica) alcança alta precisão (~0,88) que é idêntica quer o objetivo esteja presente ou omitido. Isso prova que as âncoras codificam a relação com base na percepção, não na transcrição da instrução.
• Fronteira de Ambiguidade: A ancoragem genuína existe em ambiguidade baixa e média, mas colapsa para o acaso em ambiguidade máxima ($a=4$), indicando que a ancoragem aprendida é estreitamente ajustada a pistas da distribuição de treinamento, em vez de ser um percebedor relacional geral.
• Validação Externa:
  • BabyAI: Instruções que nomeiam a relação causam vazamento (pontuação contrafactual de 1,00).
  • Language-Table: Instruções que nomeiam apenas referentes (sem o nome da relação) não mostram vazamento. Aumentar essas instruções para nomear a direção induz o vazamento.

Desempenho de Controle

• Degradação Monotônica: A taxa de sucesso de controle diminui monotonicamente conforme o objetivo ganha mais influência sobre as dinâmicas:
  • NoGoal / GoalFree: ~0,30
  • GoalDyn (objetivo como preditor): ~0,14
  • GoalDyn (objetivo no rollout): ~0,03 (piso aleatório)
• O Ganho da Correção: O modelo GoalFree iguala a linha de base "NoGoal" em desempenho de controle. O artigo afirma explicitamente que ele não reivindica um ganho de controle sobre a linha de base; em vez disso, o valor da correção é a recuperação da percepção ancorada (que a linha de base NoGoal carece) e a remoção do dano ativo causado pelo condicionamento de objetivo.
• Lacuna Residual: Todas as variantes performam significativamente abaixo do Oracle (dinâmicas verdadeiras), o que os autores atribuem à fidelidade da dinâmica (deriva de rollout de múltiplos passos) em vez do mecanismo de representação ou ancoragem.

5. Significância e Alegações

A significância do artigo reside na identificação de um "atalho" sutil, mas pervasivo, em modelos de mundo condicionados a objetivos, onde a instrução atua como um sinal espúrio, contornando a necessidade de percepção visual.

• Lição Metodológica: Alta precisão de leitura de relação em modelos condicionados ao objetivo não é evidência de ancoragem se a instrução nomeia a relação. Ela deve ser validada com controles de objetivo omitido e contrafactuais.
• Lição Arquitetural: O objetivo pertence na função de custo do planejador, não nas dinâmicas de transição. Condicionar as dinâmicas na instrução cria um caminho para o modelo copiar a resposta em vez de prever a cena.
• Escopo: Os autores são modestos em suas alegações. Eles não afirmam ter resolvido a ancoragem 3D ou a robótica do mundo real. Eles demonstram que, para tarefas de nomeação de instrução, a "receita" atual de condicionar dinâmicas em linguagem é insegura. A correção (dinâmica livre de objetivo) recupera a percepção genuína, mas não melhora inerentemente o controle além da linha de base mais simples; o gargalo restante é a fidelidade das dinâmicas aprendidas.

O artigo conclui que este vazamento é um problema estrutural em designs que condicionam preditores em linguagem quando a linguagem nomeia a quantidade avaliada, e que a detecção e a correção propostas são aplicáveis a qualquer modelo de mundo condicionado a objetivos desse tipo.