Perfect score on IPhO 2025 theory by Gemini agent

Este informe presenta un agente basado en Gemini 3.1 Pro Preview que obtuvo una puntuación perfecta en los problemas teóricos de la Olimpiada Internacional de Física de 2025, aunque advierte que este resultado podría deberse a contaminación de datos dado que el modelo se lanzó después de la competición.

Lo esencial

¡Hola! Imagina que el Olimpiada Internacional de Física (IPhO) es como el "Super Bowl" o las "Olimpiadas" del mundo de la física para estudiantes de secundaria. Es una competencia extremadamente difícil donde los mejores jóvenes mentes del planeta resuelven problemas de física que ni siquiera los estudiantes universitarios de primer año suelen dominar.

Este documento es un informe de un investigador llamado Yichen Huang, quien cuenta una historia fascinante sobre cómo una Inteligencia Artificial (IA) logró algo que nadie había hecho antes: obtener la puntuación perfecta en la parte teórica de la competencia de 2025.

Aquí te explico la historia con analogías sencillas:

1. El Protagonista: Un "Super-Genio" con un Nuevo Motor

El autor usó una IA llamada Gemini 3.1 Pro Preview. Piensa en esta IA como un estudiante superdotado que acaba de recibir un "cerebro" totalmente nuevo y actualizado.

• El logro: El autor le pidió a esta IA que resolviera los problemas de la olimpiada. La hizo trabajar 5 veces. ¡Y en las 5 ocasiones, sacó un 10/10 perfecto!
• La comparación: Antes, otras IAs lograban notas muy buenas (como un 8 o un 9), pero nunca un 10 perfecto. Esta vez, el "estudiante" IA no cometió ni un solo error.

2. El Método: No es solo "pensar", es "revisar y medir"

La IA no solo leyó el problema y escribió la respuesta. El autor diseñó un sistema inteligente, como un equipo de trabajo humano:

• La técnica del "Debate Interno" (Pensamiento Paralelo): Imagina que le pides a un estudiante que resuelva un problema difícil. En lugar de darle una sola oportunidad, le dices: "Escribe 4 soluciones diferentes". Luego, le pides que actúe como un profesor estricto: "Lee esas 4 soluciones, encuentra los errores en las malas y combina las buenas para crear la solución definitiva".

  • La analogía: Es como tener 4 abogados defendiendo un caso y luego un juez que revisa sus argumentos para escribir el veredicto final perfecto. Si una solución tiene un error de signo (un menos donde debería ir un más), el sistema lo detecta y lo corrige.

• La "Regla Digital" (Visión Agente): Algunos problemas tenían gráficos y diagramas. Las IAs normales a veces son malas midiendo cosas en una imagen (como medir la longitud de una línea en un dibujo).

  • La solución: El autor le dio a la IA una "regla digital" (código de Python). En lugar de intentar adivinar con los ojos, la IA escribió un pequeño programa para medir los píxeles del gráfico con precisión matemática, como si usara una regla láser en lugar de mirar a simple vista.

3. El Detalle Aburrido pero Importante: Los "Errores en el Libro de Texto"

El autor no solo usó la IA; también actuó como un editor de libros. Descubrió que los problemas originales de la olimpiada tenían algunos errores de impresión o de física (como un gráfico que contradecía a otro o una fórmula mal escrita en la solución oficial).

• La analogía: Imagina que el profesor de matemáticas te da un examen, pero en el enunciado hay un error de imprenta. Si el alumno sigue el error, se equivoca. El autor "limpió" el examen, corrigió esos errores y luego le dio el examen corregido a la IA. Esto asegura que la IA no estuviera adivinando, sino resolviendo el problema real.

4. La Gran Duda: ¿Hizo Trampa? (Contaminación de Datos)

Aquí viene la parte de "ciencia ficción". La competencia de física fue en julio de 2025, pero la IA se lanzó en febrero de 2026.

• El problema: La IA podría haber "leído" las preguntas de la olimpiada en internet antes de que el autor le pidiera resolverlas. Es como si un estudiante se hiciera con las respuestas del examen antes de entrar al aula.
• La defensa del autor: El autor admite que es posible. Sin embargo, señala que otra IA muy potente (Gemini 3 Deep Think) también sacó una nota altísima (87.7%), y que ambas comparten el mismo "cerebro" base. Si la IA hubiera hecho trampa, todas deberían haberlo hecho. Además, el autor dice que el resultado es importante de todos modos: demuestra que la IA tiene la capacidad de razonar a un nivel de oro, incluso si hay una duda sobre si ya conocía las preguntas.

5. Conclusión: ¿Qué significa esto para nosotros?

Este documento nos dice que la IA está avanzando a una velocidad increíble.

• Antes: La IA era como un estudiante promedio que a veces acertaba y a veces fallaba en problemas de física.
• Ahora: Con la combinación de un modelo potente, un sistema de "revisión por pares" (que corrige sus propios errores) y herramientas para medir gráficos, la IA puede resolver problemas de nivel olímpico perfecto.

En resumen: Es como si un robot hubiera entrado en la olimpiada más difícil del mundo, usado una lupa digital para medir los dibujos, debatido consigo mismo para corregir sus errores y, al final, obtenido la medalla de oro perfecta. Aunque nos preocupa si "copió" las respuestas, el hecho de que pueda razonar tan bien es un paso gigante para el futuro de la ciencia y la tecnología.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Puntuación perfecta en la parte teórica de la Olimpiada Internacional de Física (IPhO) 2025 mediante un agente basado en Gemini

1. Problema

El objetivo del trabajo es evaluar la capacidad de razonamiento avanzado de los modelos de inteligencia artificial (IA) en problemas de física de nivel olímpico, específicamente en la IPhO 2025.

• Contexto: La IPhO es la competición de física más prestigiosa para estudiantes preuniversitarios. Los problemas requieren un entendimiento profundo de principios físicos, razonamiento complejo y manejo de datos multimodales (texto y figuras).
• Estado del arte: Aunque se habían reportado puntuaciones de medalla de oro (pero no perfectas) en 2025, los modelos anteriores (como Gemini 2.5 Pro o agentes basados en ReAct) no lograban superar consistentemente a los mejores competidores humanos ni alcanzar la puntuación máxima (30/30).
• Desafío principal: Los problemas de la IPhO son largos, multimodales y contienen figuras que requieren mediciones precisas. Además, los sistemas de evaluación automática basados en LLMs a menudo inflan las puntuaciones al no detectar errores en el razonamiento intermedio si la respuesta final es correcta.

2. Metodología

El autor, Yichen Huang, desarrolló un agente simple potenciado por Gemini 3.1 Pro Preview. La metodología se divide en tres pilares principales:

• A. Preprocesamiento Riguroso del Dataset:

  • Extracción y Limpieza: Los problemas (PDF) se convirtieron manualmente a formato Markdown para evitar errores de OCR.
  • Manejo de Figuras: Se recortaron las imágenes para eliminar fondos irrelevantes (ahorro de tokens) y se dividieron los paneles de figuras de dos partes en imágenes individuales. Esto mejora la comprensión visual al asignar más "atención" del modelo a los elementos clave.
  • Integración de Hojas de Respuesta: Las tablas y figuras de las hojas de respuestas oficiales se integraron en el enunciado del problema para que el agente tuviera un contexto completo.
  • Corrección de Errores en el Dataset: El agente y el autor identificaron y corrigieron errores en los enunciados oficiales y soluciones de la IPhO 2025 (ej. inconsistencias en gráficas de corrimiento al rojo/azul y errores de cálculo en soluciones oficiales), creando un dataset "corregido" para la evaluación.

• B. Arquitectura del Agente (Flujo de Trabajo):

  • Pensamiento Paralelo (Parallel Thinking): Para cada sub-problema, el agente genera múltiples soluciones crudas (4 para el Problema 2, 2 para los Problemas 1 y 3). Luego, sintetiza estas soluciones en rondas iterativas. El modelo revisa las soluciones conflictivas, identifica errores y construye una solución corregida. Esto actúa como un mecanismo de corrección de errores más que como una simple exploración de caminos.
  • Visión Agéntica (Agentic Vision) con Código: Para los problemas que requieren medir figuras (Problemas 1 y 3), el agente utiliza una herramienta de ejecución de código (Python).
    • El modelo primero detecta si se necesitan mediciones.
    • Si es necesario, genera un script de Python usando bibliotecas de visión por computadora para medir distancias o coordenadas en las imágenes con precisión, evitando la estimación visual directa ("eyeballing") que es propensa a errores.
    • Se realiza un promedio robusto (mediana de 3 mediciones) para mitigar fallos puntuales del detector de objetos.
  • Evaluación Humana: A diferencia de trabajos anteriores que usaron LLMs para calificar, este estudio utilizó evaluación humana basada en las rúbricas oficiales para garantizar la precisión en la detección de errores de razonamiento.

3. Contribuciones Clave

• Primera puntuación perfecta: Es el primer informe documentado de un agente de IA obteniendo una puntuación perfecta (30/30) en la parte teórica de una Olimpiada Internacional de Física.
• Corrección de errores en el dataset oficial: El trabajo identifica y corrige errores físicos y matemáticos en los problemas y soluciones oficiales de la IPhO 2025 (ej. una inconsistencia en la gráfica de velocidad vs. radio en una galaxia esférica y un error de signo en la relación de corrimiento Doppler), lo cual es una contribución significativa a la comunidad educativa.
• Validación de la "Visión Agéntica": Demuestra que combinar la capacidad de razonamiento de un LLM con la ejecución de código para tareas visuales (medición de figuras) es superior a depender únicamente de la visión nativa del modelo.
• Transparencia Total: Se publica el repositorio completo con los datos preprocesados, el código del agente, los prompts y las cinco soluciones generadas para cada problema.

4. Resultados

• Rendimiento: El agente se ejecutó 5 veces en cada uno de los 3 problemas teóricos de la IPhO 2025. Obtuvo una puntuación perfecta en todas las ejecuciones.
• Análisis de Errores Ocultos: Aunque las soluciones finales eran perfectas, el análisis de las soluciones "crudas" (antes de la síntesis) reveló errores frecuentes:
  • Errores de signo (ej. añadir un signo negativo innecesario en fuerzas de tensión).
  • Pérdida de factores constantes al copiar resultados de sub-problemas anteriores.
  • Estos errores se corrían consistentemente durante el proceso de síntesis y revisión del agente.
• Comparación: El resultado supera a la mejor puntuación anterior reportada (87.7% por Gemini 3 Deep Think) y demuestra que el agente supera a los competidores humanos de élite en este conjunto de problemas específico.

5. Significado y Limitaciones

• Avance en IA para Ciencias: Este resultado marca un hito en la capacidad de los agentes de IA para resolver problemas científicos complejos que requieren integración de texto, física teórica y análisis visual preciso. Sugiere que la combinación de modelos base potentes con flujos de trabajo de agentes (corrección de errores y uso de herramientas) es la vía para superar los límites actuales.
• Advertencia sobre Contaminación de Datos: El autor advierte sobre la contaminación de datos. El modelo Gemini 3.1 Pro Preview se lanzó en febrero de 2026, después de que la IPhO 2025 se celebrara en julio de 2025. Es posible que los problemas de la olimpiada estuvieran presentes en los datos de entrenamiento (especialmente en la fase de post-entrenamiento o RLHF) del modelo.
  • Sin embargo, el autor argumenta que el resultado sigue siendo significativo porque el modelo anterior (Gemini 3 Deep Think), que comparte la misma "inteligencia central" y riesgo de contaminación, solo alcanzó el 87.7%. La mejora al 100% sugiere una mejora real en la arquitectura del agente y no solo memorización.
• Implicaciones Futuras: Destaca la necesidad de desarrollar benchmarks libres de contaminación y la importancia de la supervisión humana experta en la evaluación de modelos de IA en dominios científicos rigurosos.

En resumen, el paper demuestra que un agente bien diseñado, que combina un modelo de lenguaje avanzado con herramientas de código para la visión y un flujo de trabajo de síntesis de soluciones, puede resolver problemas de física de nivel olímpico con perfección, aunque la interpretación de estos resultados debe considerar cuidadosamente el riesgo de contaminación de datos debido a la cronología de lanzamiento del modelo.