World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Resumo Técnico: Modelos de Mundo em Palavras

Enunciado do Problema
Os Modelos Visão-Linguagem (VLMs) estão cada vez mais sendo implantados para responder a perguntas sobre cenas físicas, mas as métricas de avaliação padrão dependem exclusivamente da precisão da resposta final ($I, q \mapsto a$). Essa abordagem colapsa erros de raciocínio intermediários — como a percepção equivocada de objetos, a representação incorreta de estados físicos ou a previsão de transições impossíveis — em uma única pontuação binária. Consequentemente, um modelo pode selecionar a opção de múltipla escolha correta enquanto afirma um estado de mundo fisicamente inválido (por exemplo, um objeto acelerando contra a força resultante). Essa "inconsistência oculta" é particularmente problemática quando os VLMs servem como interfaces para planejamento, robótica ou raciocínio científico, onde ferramentas subsequentes podem agir com base nesses compromissos inconsistentes.

Metodologia: MODELOS DE MUNDO EM PALAVRAS (WMW)
Os autores introduzem os MODELOS DE MUNDO EM PALAVRAS, um framework que desloca a avaliação da pontuação baseada apenas na resposta para a auditoria dos compromissos físicos expressos em linguagem dos VLMs.

• Formalismo de Rastreio: Em vez de uma resposta direta, os modelos são instruídos a gerar um rastreio tipado $\tau = (s_0, \Delta s, s_1, a)$:
  • $s_0$: Estado físico inicial (entidades, atributos, forças, relações).
  • $\Delta s$: Transição prevista ou regra física.
  • $s_1$: Estado resultante.
  • $a$: Resposta final.
  • O rastreio é estruturado como JSON para permitir análise e verificação.
• Verificador Híbrido: Um verificador determinístico e inspecionável verifica o rastreio contra quatro critérios:
  1. Validade do Esquema: Estrutura e tipos JSON corretos.
  2. Fundamentação do Estado: Consistência com evidências visuais e metadados.
  3. Consistência da Transição: Adesão às leis físicas (por exemplo, alinhamento força-aceleração, ordem temporal).
  4. Fidelidade Resposta-Rastreio: Compatibilidade entre o estado derivado e a resposta final.
• Taxonomia de Falhas: O sistema categoriza erros em rótulos tipados: Objeto, Estado, Relação, Força, Transição, Intervenção, Temporal, Unidade/Escala e Fidelidade.
• WMW-TRACEBANK: Um recurso controlado lançado com o artigo contendo:
  • 200 cenários sintéticos em 17 famílias de física (mecânica, fluidos, circuitos, óptica, etc.).
  • 3.200 pares de preferência contrastiva (rastreios válidos vs. rastreios inválidos minimamente perturbados).
  • Código do verificador, diretrizes de auditoria e saídas do modelo.

Principais Contribuições

1. Formalismo de Rastreio: Um protocolo para avaliar o raciocínio físico dos VLMs como compromissos de transição de estado auditáveis, e não como strings de resposta.
2. Contratos e Métricas do Verificador: Definições para separar erros de extração de estado, erros de transição e inconsistências ocultas (onde a resposta está correta, mas o rastreio é inválido).
3. Lançamento do Conjunto de Dados: WMW-TRACEBANK, fornecendo rastreios sintéticos validados e pares de preferência para treinamento e avaliação.
4. Taxonomia de Falhas e Auditoria: Uma avaliação auditada por humanos do verificador em 400 rastreios estratificados, relatando precisão, recall e concordância entre anotadores.
5. Protocolo de Intervenção: Demonstração de que o reordenamento guiado pelo verificador e o ajuste de preferência em nível de rastreio podem melhorar a consistência física sem sacrificar a precisão da resposta.

Resultados Experimentais
Os autores avaliaram 7 VLMs (incluindo Claude Opus 4.7, GPT-5.5, GPT-4o e modelos de código aberto como Qwen2.5-VL e InternVL3) em exemplos controlados e externos.

• Inconsistência Oculta (PQ1): A precisão da resposta final mascara erros físicos significativos. Em todos os modelos, 18% a 42% das respostas corretas foram respaldadas por rastreios fisicamente inválidos. Para modelos de nível intermediário, mais de 30% das respostas "corretas" basearam-se em raciocínio físico inválido.
• Análise de Gargalo (PQ2): O passo de transição ($\Delta s$) é o principal gargalo para a maioria dos modelos. Mesmo quando fornecidos estados iniciais ideais, modelos como o GPT-4o perderam 19 pontos percentuais de precisão ao prever a mudança física. Modelos fechados mais fortes (por exemplo, Claude Opus 4.7) mostraram um efeito de calibração onde estados ideais perturbaram suas verificações internas de consistência.
• Confiabilidade do Verificador (PQ3): O verificador híbrido alcançou alta concordância com auditorias humanas para os rótulos Estado (F1=0,82), Transição (F1=0,78) e Fidelidade (F1=0,91).
• Eficácia da Intervenção (PQ4):
  • Reordenamento: Selecionar o melhor rastreio de $k=8$ amostras melhorou a validade do rastreio em 4–7 pontos percentuais.
  • Ajuste de Preferência: O treinamento do Qwen2.5-VL-7B com Otimização Direta de Preferência (DPO) nos pares de preferência reduziu a inconsistência oculta em 41% relativa (de 42% para 25%), enquanto melhorou ligeiramente a precisão da resposta (+2pp).

Significado e Alegações
O artigo argumenta que os MODELOS DE MUNDO EM PALAVRAS não são meramente outro benchmark de física, mas um protocolo reutilizável para auditar se o mundo físico declarado por um VLM é coerente. Os autores afirmam que:

• Respostas corretas com rastreios inválidos não são erros de formatação inofensivos; elas representam compromissos inconsistentes que podem enganar sistemas educacionais, de planejamento ou científicos.
• O framework revela que a previsão de transição é um modo de falha dominante distinto da percepção visual.
• Intervenções guiadas pelo verificador (reordenamento e ajuste de preferência) podem reduzir efetivamente as inconsistências ocultas, sugerindo um caminho para módulos de raciocínio físico mais confiáveis.

Os autores mantêm uma postura modesta, reconhecendo limitações como a observabilidade dos rastreios (que são compromissos voltados ao usuário, não leituras diretas da cognição latente), a cobertura do verificador (que depende de suposições explícitas para ambiguidades do mundo real) e o potencial de os modelos se adaptarem excessivamente a modelos de perturbação. Eles afirmam explicitamente que o conjunto de dados não é um certificado de segurança para aplicações de alto risco.