MaD Physics: Evaluating information seeking under constraints in physical environments

Resumen Técnico: MaD Physics – Evaluación de la Búsqueda de Información bajo Restricciones en Entornos Físicos

Enunciado del Problema
El descubrimiento científico es inherentemente un proceso con restricciones de recursos, que requiere que los agentes naveguen por las compensaciones entre la calidad y la cantidad de mediciones debido a limitaciones físicas, temporales y financieras. Si bien las evaluaciones existentes para el descubrimiento científico se centran en el razonamiento basado en conocimiento estático (por ejemplo, preguntas y respuestas basadas en hechos memorizados) o en el diseño experimental sin restricciones, no logran evaluar la capacidad de un agente para realizar mediciones estratégicas y planificar bajo restricciones estrictas. Además, las evaluaciones estándar a menudo se basan en leyes físicas bien conocidas, lo que permite a los agentes tener éxito mediante la recuperación de conocimientos en lugar del descubrimiento empírico. Existe una brecha crítica en la evaluación de agentes que deben recopilar información activamente, gestionar un presupuesto finito e inferir dinámicas subyacentes a partir de datos ruidosos y dispersos en entornos donde las leyes que los rigen pueden ser desconocidas o alteradas.

Metodología: La Evaluación MaD Physics
Para abordar esta brecha, los autores proponen MaD Physics (Medición y Descubrimiento de Física), una evaluación diseñada para evaluar la capacidad de los agentes para realizar mediciones informativas y extraer conclusiones sujetas a restricciones sobre la calidad y la cantidad de las mediciones.

• Diseño del Entorno: La evaluación consta de tres entornos paramétricos distintos basados en la Mecánica Clásica, la Mecánica de Fluidos y la Mecánica Cuántica. Para evitar que los agentes dependan de conocimientos preentrenados de física estándar, cada entorno incluye leyes físicas "alteradas" (por ejemplo, masa inercial anisotrópica, leyes de gravedad modificadas como $1/R$ o efectos de ondulación, inicialización de entrelazamiento no lineal y reglas de Born generalizadas con normas $L_p$).
• Protocolo de Evaluación: La evaluación se lleva a cabo en dos fases:
  1. Fase de Medición: El agente opera bajo un presupuesto fijo $B$. Debe elegir secuencialmente qué medir (por ejemplo, partículas o coordenadas específicas), cuándo medir (paso de tiempo) y con qué fidelidad (nivel de ruido). Cada observación incurre en un costo $C(o_k, \sigma_k)$, que aumenta con la fidelidad (menor ruido). El agente debe maximizar la ganancia de información dentro del presupuesto.
  2. Fase de Predicción: Una vez agotado el presupuesto o alcanzado un tiempo máximo $T_{max}$, el agente debe inferir la ley física subyacente y predecir el estado del sistema en un tiempo de consulta futuro $T_{query} > T_{max}$.
• Implementación del Agente: Los autores evalúan cuatro modelos de Gemini (2.5 Flash Lite, 2.5 Flash, 2.5 Pro y 3 Flash) utilizando una estructura mínima de agente con capacidades de ejecución de código. Se prueban dos estrategias de indicación: una indicación "Base" que proporciona contexto general y una indicación "Estrategia" inspirada en el diseño experimental bayesiano, que instruye al agente a maximizar la Ganancia de Información Esperada (EIG) por unidad de costo.

Contribuciones Clave

1. Metodología de Evaluación Novel: El artículo introduce un marco para evaluar agentes de búsqueda de información en dominios físicos que enfatiza explícitamente la compensación costo-fidelidad en el diseño experimental, yendo más allá de las tareas de razonamiento estático.
2. Entornos Paramétricos con Leyes Alteradas: El conjunto de tres entornos (Clásico, de Fluidos, Cuántico) incluye alteraciones específicas y documentadas de las leyes físicas estándar. Esto asegura que los agentes deben participar en un descubrimiento activo en lugar de recuperar conocimientos memorizados.
3. Evaluación Exhaustiva de Modelos de Vanguardia: Los autores evalúan múltiples modelos de Gemini en MaD Physics, analizando el rendimiento a través de diferentes grados de alteración de leyes y demostrando el impacto de la indicación estratégica en la navegación de la incertidumbre científica.

Resultados Empíricos

• Rendimiento del Modelo: Generalmente, el rendimiento mejora con la capacidad del modelo (desde Flash Lite hasta Pro y 3 Flash). Sin embargo, incluso los modelos más capaces luchan con configuraciones alteradas.
• Precisión de la Predicción: Los agentes a menudo producen predicciones que están fuera de los límites o son inexactas, incluso en configuraciones de física normal. Si bien la indicación "Estrategia" generalmente mejora el rendimiento al imponer una recopilación de datos sistemática, persisten errores significativos.
• Precisión Simbólica vs. Predictiva: Un hallazgo clave es la desconexión entre la precisión predictiva y la recuperación simbólica. Los agentes a menudo fallan en identificar la forma simbólica correcta de la ley física subyacente (por ejemplo, no logran distinguir entre la gravedad $1/r^2$ y $1/r$), incluso cuando pueden hacer predicciones razonables.
• Multimodalidad y Aprendizaje en Contexto:
  • Observaciones Visuales: Cuando se proporcionan representaciones visuales a los agentes en lugar de datos numéricos, los errores de predicción aumentan significativamente, aunque las tendencias relacionadas con la capacidad del modelo permanecen consistentes.
  • Aprendizaje en Contexto: A lo largo de múltiples ensayos, Gemini 3 Flash demuestra la capacidad de reducir el error de predicción, mientras que Gemini 2.5 Pro falla en aprender en configuraciones alteradas.
• Inferencia de Parámetros: En una variante donde la forma estructural es conocida y el objetivo es inferir un solo parámetro ($\kappa$), los agentes tienden a subestimar el parámetro, mostrando un sesgo hacia la física estándar.

Significado y Afirmaciones
El artículo posiciona a MaD Physics como un paso hacia evaluaciones que capturan la naturaleza exploratoria y no estructurada del descubrimiento científico. Los autores afirman que MaD Physics identifica efectivamente las deficiencias en los modelos de vanguardia en relación con las tareas dinámicas de búsqueda de información. Específicamente, la evaluación destaca:

• Mala capacidad predictiva aguas abajo cuando los agentes no pueden confiar en leyes memorizadas.
• Dificultad para recuperar expresiones simbólicas precisas para las leyes físicas, incluso cuando los datos están disponibles.
• La necesidad de planificación estratégica bajo restricciones, una capacidad donde los modelos actuales muestran un espacio significativo para la mejora.

Los autores concluyen que, si bien los modelos actuales muestran promesa en el razonamiento, luchan con las realidades prácticas de la investigación científica: asignar recursos limitados para maximizar la ganancia de información e inferir dinámicas novedosas a partir de datos restringidos y ruidosos. Se sugiere trabajo futuro para explorar estructuras de agente más sofisticadas, indicaciones optimizadas y extensiones a sistemas físicos más complejos.