MaD Physics: Evaluating information seeking under constraints in physical environments

Resumo Técnico: Física MaD – Avaliação da Busca de Informação sob Restrições em Ambientes Físicos

Declaração do Problema
A descoberta científica é inerentemente um processo limitado por recursos, exigindo que agentes naveguem em compensações entre a qualidade e a quantidade de medições devido a limitações físicas, temporais e financeiras. Embora os benchmarks existentes para descoberta científica se concentrem no raciocínio baseado em conhecimento estático (por exemplo, perguntas e respostas baseadas em fatos memorizados) ou no desenho experimental sem restrições, eles falham em avaliar a capacidade de um agente de realizar medições estratégicas e planejar sob restrições rigorosas. Além disso, benchmarks padrão frequentemente dependem de leis físicas bem conhecidas, permitindo que agentes tenham sucesso por meio da recuperação de conhecimento em vez de descoberta empírica. Existe uma lacuna crítica na avaliação de agentes que devem coletar ativamente informações, gerenciar um orçamento finito e inferir dinâmicas subjacentes a partir de dados ruidosos e esparsos em ambientes onde as leis governantes podem ser desconhecidas ou alteradas.

Metodologia: O Benchmark MaD Physics
Para abordar essa lacuna, os autores propõem MaD Physics (Medição e Descoberta de Física), um benchmark projetado para avaliar a capacidade de agentes de realizar medições informativas e tirar conclusões sujeitas a restrições sobre a qualidade e a quantidade de medições.

• Design do Ambiente: O benchmark consiste em três ambientes paramétricos distintos baseados em Mecânica Clássica, Mecânica dos Fluidos e Mecânica Quântica. Para evitar que os agentes dependam de conhecimento pré-treinado de física padrão, cada ambiente inclui leis físicas "alteradas" (por exemplo, massa inercial anisotrópica, leis de gravidade modificadas como $1/R$ ou efeitos de ondulação, inicialização de emaranhamento não linear e regras de Born generalizadas com normas $L_p$).
• Protocolo de Avaliação: A avaliação ocorre em duas fases:
  1. Fase de Medição: O agente opera sob um orçamento fixo $B$. Deve escolher sequencialmente o que medir (por exemplo, partículas ou coordenadas específicas), quando medir (passo de tempo) e com que fidelidade (nível de ruído). Cada observação incorre em um custo $C(o_k, \sigma_k)$, que aumenta com a fidelidade (menor ruído). O agente deve maximizar o ganho de informação dentro do orçamento.
  2. Fase de Previsão: Uma vez esgotado o orçamento ou atingido um tempo máximo $T_{max}$, o agente deve inferir a lei física subjacente e prever o estado do sistema em um tempo de consulta futuro $T_{query} > T_{max}$.
• Implementação do Agente: Os autores avaliam quatro modelos Gemini (2.5 Flash Lite, 2.5 Flash, 2.5 Pro e 3 Flash) usando uma estrutura mínima de agente com capacidades de execução de código. Duas estratégias de prompt são testadas: um prompt "Base" fornecendo contexto geral e um prompt "Estratégia" inspirado no desenho experimental bayesiano, instruindo o agente a maximizar o Ganho de Informação Esperado (EIG) por unidade de custo.

Principais Contribuições

1. Metodologia de Benchmarking Inovadora: O artigo introduz um framework para avaliar agentes de busca de informação em domínios físicos que enfatiza explicitamente a compensação custo-fidelidade no desenho experimental, indo além de tarefas de raciocínio estático.
2. Ambientes Paramétricos com Leis Alteradas: O conjunto de três ambientes (Clássico, Fluidos, Quântico) inclui alterações específicas e documentadas às leis físicas padrão. Isso garante que os agentes devem se envolver em descoberta ativa em vez de recuperar conhecimento memorizado.
3. Benchmarking Abrangente de Modelos de Vanguarda: Os autores avaliam múltiplos modelos Gemini no MaD Physics, analisando o desempenho em diferentes graus de alteração das leis e demonstrando o impacto do prompt estratégico na navegação da incerteza científica.

Resultados Empíricos

• Desempenho do Modelo: Geralmente, o desempenho melhora com a capacidade do modelo (do Flash Lite ao Pro e ao 3 Flash). No entanto, mesmo os modelos mais capazes lutam com configurações alteradas.
• Precisão de Previsão: Os agentes frequentemente produzem previsões que estão fora dos limites ou imprecisas, mesmo em configurações de física normal. Embora o prompt "Estratégia" geralmente melhore o desempenho ao impor coleta sistemática de dados, erros significativos persistem.
• Precisão Simbólica vs. Preditiva: Uma descoberta chave é a desconexão entre a precisão preditiva e a recuperação simbólica. Os agentes frequentemente falham em identificar a forma simbólica correta da lei física subjacente (por exemplo, falhar em distinguir entre gravidade $1/r^2$ e $1/r$), mesmo quando conseguem fazer previsões razoáveis.
• Multimodalidade e Aprendizado em Contexto:
  • Observações Visuais: Quando os agentes recebem renderizações visuais em vez de dados numéricos, os erros de previsão aumentam significativamente, embora as tendências relacionadas à capacidade do modelo permaneçam consistentes.
  • Aprendizado em Contexto: Ao longo de múltiplas tentativas, o Gemini 3 Flash demonstra a capacidade de reduzir o erro de previsão, enquanto o Gemini 2.5 Pro falha em aprender em configurações alteradas.
• Inferência de Parâmetros: Em uma variante onde a forma estrutural é conhecida e o objetivo é inferir um único parâmetro ($\kappa$), os agentes tendem a subestimar o parâmetro, mostrando um viés em direção à física padrão.

Significado e Alegações
O artigo posiciona o MaD Physics como um trampolim para benchmarks que capturam a natureza exploratória e não estruturada da descoberta científica. Os autores afirmam que o MaD Physics identifica efetivamente deficiências em modelos de nível de vanguarda relacionados a tarefas dinâmicas de busca de informação. Especificamente, o benchmark destaca:

• Baixo desempenho preditivo a jusante quando os agentes não podem confiar em leis memorizadas.
• Dificuldade em recuperar expressões simbólicas precisas para leis físicas, mesmo quando os dados estão disponíveis.
• A necessidade de planejamento estratégico sob restrições, uma capacidade onde os modelos atuais mostram espaço significativo para melhoria.

Os autores concluem que, embora os modelos atuais mostrem promessa no raciocínio, eles lutam com as realidades práticas da investigação científica: alocar recursos limitados para maximizar o ganho de informação e inferir dinâmicas novas a partir de dados restritos e ruidosos. Sugere-se trabalho futuro para explorar estruturas de agente mais sofisticadas, prompts otimizados e extensões para sistemas físicos mais complexos.