Resumo Técnico: Testando a Literacia em Física de Modelos de Linguagem de Grande Escala de Fronteira em Mundos Físicos Paralelos

Declaração do Problema

Os benchmarks atuais para Modelos de Linguagem de Grande Escala (LLMs) em física baseiam-se primariamente na precisão da resposta. Os autores argumentam que esta métrica falha em distinguir o raciocínio genuíno da recuperação de padrões de problemas familiares ou da memorização de dados de treinamento. Além disso, as pontuações de precisão não fornecem insights sobre onde o raciocínio de um modelo falha ou quais são os seus limites cognitivos. Os sistemas existentes de "IA para a ciência" operam dentro de estruturas teóricas pré-estabelecidas, o que significa que a indução da própria estrutura nunca é testada de forma independente. Da mesma forma, os esforços de "modelagem de mundo" focam frequentemente na previsão perceptual ou na simulação do próximo passo, em vez da indução de uma teoria física formal e verificável a partir de observações.

A questão central abordada é se os LLMs de fronteira podem realizar a cadeia cognitiva completa da construção de teorias científicas: observar fenômenos, induzir regularidades, formular regras operacionais, fazer previsões quantitativas e revisar a teoria em busca de erros, tudo isso dentro de uma estrutura desconhecida para os dados de treinamento do modelo.

Metodologia

O artigo introduz um protocolo de diagnóstico de quatro estágios auditável, projetado para avaliar LLMs dentro de "mundos de física paralelos" — estruturas com leis que diferem da física padrão.

O Protocolo de Quatro Estágios

A cadeia cognitiva é decomposta em quatro estágios independentes, cada um executado em uma nova sessão de API para evitar a transferência de contexto:

1. Indução: O modelo recebe um conjunto de observações em linguagem natural de um mundo físico específico e deve induzir um conjunto de regras autoconsistentes que as expliquem.
2. Formulação: O modelo reescreve as regras induzidas em uma forma operacional com definições explícitas, escopos e casos de borda.
3. Predição: O modelo utiliza as regras operacionais para fazer previsões quantitativas em cenários não vistos.
4. Revisão: O modelo realiza uma autoavaliação de suas saídas anteriores para identificar quaisquer erros ou limites que tenha negligenciado.

Estruturas Experimentais

Três mundos de física paralelos foram desenhados para exercer pressão cognitiva crescente:

• F = mv (Fácil): Um mundo contrafactual onde a força é proporcional à velocidade ($F=mv$) em vez da aceleração. Testa a indução de uma equação única dentro de um domínio de mecânica clássica.
• Mecânica Aristotélica (Médio): Uma estrutura histórica onde o movimento é determinado pela composição elemental e lugares naturais. Testa a capacidade do modelo de suspender o "Aristóteles estava errado" — um prior prevalente em seus dados de treinamento.
• Mundo do Decaimento (Difícil): Um mundo contrafactual onde cada grandeza física mensurável perde 1% de seu valor por segundo através de quatro domínios (mecânico, térmico, rotacional, orbital) sem um substrato subjacente (ex: sem conservação de energia ou fricção). Testa a unificação de múltiplos domínios e a ausência de um substrato conservado.

Rigor de Avaliação

• Pré-registro: Todos os critérios, prompts e scripts foram bloqueados via hashing SHA-256 e tags de git antes da geração de dados para evitar a racionalização post-hoc.
• Julgamento por Dual-LLM: Cada estágio é julgado por dois LLMs de fronteira independentes (Claude e GPT). Se o desacordo exceder 25%, uma auditoria humana fornece o veredito canônico.
• Veredito Composto: Um teste passa apenas se passar no eixo de conteúdo (Indução, Formulação e Predição) e, onde aplicável, no eixo estrutural (parcimônia, independência, rastreabilidade, hierarquia). O Estágio 4 (Revisão) é reportado separadamente como um eixo metacognitivo.
• Modelos Testados: Claude Opus 4.7, GPT-5.5 e Gemini 3.1 Pro (5 testes por modelo por estrutura).

Principais Resultados

Desempenho Composto

As taxas de PASS compostas (Conteúdo $\land$ Estrutura) foram:

• F = mv: 6/15 (Claude: 3/5, GPT: 2/5, Gemini: 1/5)
• Aristotélica: 6/15 (Claude: 2/5, GPT: 4/5, Gemini: 0/5)
• Mundo do Decaimento: 0/15 (Todos os modelos falharam)

Modos de Falha e Migração de Gargalos

O artigo identifica que a localização da falha muda conforme a dificuldade aumenta, revelando distintos gargalos cognitivos:

• F = mv: As falhas foram heterogêneas. O Claude falhou na Formulação (distorcendo regras); o GPT falhou na organização Estrutural (conjuntos de regras redundantes); o Gemini falhou na Indução (reimportando $F=ma$).
• Aristotélica: O gargalo mudou para a Indução sob um prior forte dos dados de treinamento. Os modelos tiveram dificuldade em suspender o rótulo "Aristóteles está errado", vazando conceitos Newtonianos (ex: aceleração, densidade) apesar das listas de palavras proibidas.
• Mundo do Decaimento: O gargalo mudou para a Predição Quantitativa. Embora os modelos tenham previsto corretamente a direção da mudança (0/60 sinais errados), 38% (23/60) das previsões quantitativas falharam ao computar a razão incorreta, retornando a relações da física padrão (ex: assumindo um substrato de energia) em vez de usar a regra de decaimento do framework.

Achados Metacognitivos e Metodológicos

• Fraca Auto-revisão: Em todos os frameworks, a taxa de "Sobre-afirmação" do Estágio 4 (onde um modelo afirma que nenhum erro ocorreu apesar de uma falha anterior) foi consistentemente alta (67%–83%). Os modelos falharam em detectar seus próprios deslizes, independentemente da dificuldade ou do tipo de erro.
• Instabilidade do Juiz: A confiabilidade dos juízes LLM não foi transferível entre os frameworks. O juiz que concordou mais com as auditorias humanas em um framework frequentemente teve um desempenho pior em outro, necessitando da arquitetura de dual-juiz + auditoria humana.
• Assimetria Qualitativa vs. Quantitativa: No Mundo do Decaimento, os modelos demonstraram uma intuição qualitativa forte (direção correta), mas falharam na computação quantitativa quando forçados a aplicar uma única regra através de domínios díspares sem um substrato padrão.

Significância e Alegações

O artigo alega ser o primeiro caso sistemático de:

1. Decomposição do Raciocínio Físico: Operacionalizar os quatro movimentos cognitivos (Indução, Formulação, Predição, Revisão) como eixos independentes em vez de uma única tarefa de ponta a ponta.
2. Mundos de Física Paralelos: Introduzir uma progressão de dificuldade graduada que inclui um framework histórico e um contrafactual de múltiplos domínios sem um substrato, especificamente desenhado para separar o raciocínio da recitação.
3. Pipeline Auditável: Fornecer um pipeline totalmente aberto, de ponta a ponta e reproduzível, com pré-registros bloqueados, julgamento dual-LLM e trilhas de auditoria humana.

Os autores concluem que o valor de um benchmark de raciocínio físico não reside em pontuações de precisão agregadas, mas em sua capacidade de revelar qual movimento cognitivo um modelo falha. Os resultados sugerem que os modelos de fronteira possuem intuição física qualitativa, mas lutam com computação quantitativa cross-domain e com a suspensão de priors fortes de treinamento. O estudo não alega que esses modelos careçam totalmente de capacidades de raciocínio, mas destaca limitações estruturais específicas em sua habilidade de construir e aplicar sistemas teóricos novos de forma independente.