💬 NLP

Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning

El artículo "Physics-R1" identifica fallos críticos en las pipelines de evaluación de física multimodal existentes —específicamente la contaminación de datos, la deriva de traducción y la saturación de preguntas de opción múltiple— y los aborda mediante la publicación de un corpus auditado rigurosamente y un nuevo modelo de razonamiento que logra mejoras significativas en el rendimiento en benchmarks olímpicos novedosos y de respuesta abierta.

Autores originales: Shan Yang

Publicado 2026-05-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shan Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el mundo de la Inteligencia Artificial (IA) es como una competencia de cocina masiva y de alto riesgo. El objetivo es ver qué "chefs" de IA pueden resolver problemas complejos de física (como determinar cómo vuela un cohete o cómo se mueve la electricidad). Para juzgarlos, los organizadores de la competencia les dan un conjunto de preguntas de prueba.

El artículo que estás leyendo, "Physics-R1", es esencialmente un informe de un denunciante y un nuevo libro de recetas. El autor, Shan Yang, argumenta que la competencia actual está amañada porque las preguntas de prueba están contaminadas y los jueces son parciales. Aquí está el desglose en términos sencillos:

1. El Problema: Las Preguntas de Prueba están "Filtradas"

Imagina a un estudiante preparándose para un examen de matemáticas. Si accidentalmente memoriza las respuestas exactas de un libro de práctica que el profesor también usa para el examen final, obtendrá una puntuación perfecta, pero eso no significa que realmente entienda las matemáticas.

El artículo descubrió que muchos modelos de IA están haciendo exactamente esto.

La "Filtración": Los autores auditaron los "pools de entrenamiento" públicos (los libros de práctica) utilizados para enseñar a estas IAs. Descubrieron que muchas de las preguntas de prueba en las que se evalúa a las IAs están realmente ocultas dentro de los libros de práctica que estudiaron.
El Truco del "Parafraseo": No se trata solo de copias exactas. A veces la IA ve una pregunta como: "Una bola cae desde 10 metros", y la prueba pregunta: "Si una esfera cae desde una altura de 10m...". Los antiguos programas informáticos usados para detectar trampas (que buscaban palabras idénticas) pasaron por alto estos casos.
La Nueva Auditoría: Los autores construyeron un guardia de seguridad de tres etapas:
1. El Contador de Palabras: Verifica coincidencias exactas de palabras.
2. El Escáner de Significado: Verifica si las oraciones significan lo mismo, incluso si las palabras son diferentes.
3. El Juez Humano: Una IA superinteligente que lee tanto la pregunta de práctica como la pregunta de prueba y decide: "Sí, estos son el mismo problema disfrazado".
Usando esto, encontraron miles de pares de "trampa" que el campo había pasado por alto. Limpian los datos para crear un conjunto de entrenamiento limpio (llamado PHYSCORP-A) donde la IA debe realmente aprender, no solo memorizar.

2. La Trampa de la Traducción: El Idioma Importa

Imagina que estás tomando un examen de conducir. Aprobas fácilmente cuando las instrucciones están en tu idioma nativo, pero cuando la misma prueba se traduce a un idioma extranjero, repruebas porque la gramática es confusa o los letreros de la carretera se describen de manera diferente.

Los autores probaron esto con problemas de física en estonio (el idioma original) e inglés (una traducción).

El Resultado: Una IA de primer nivel (Sonnet 4.5) obtuvo 30.5% de aciertos en los problemas originales en estonio, pero solo 13.6% en las traducciones al inglés.
La Lección: Traducir problemas científicos complejos a menudo pierde matices sutiles. Si solo probamos la IA en inglés, podríamos pensar que es peor en física de lo que realmente es, o podríamos estar probando sus habilidades de traducción en lugar de sus habilidades de física.

3. La Trampa del Formato: Opción Múltiple vs. Pensamiento Real

Imagina a un estudiante que es excelente adivinando en un cuestionario de opción múltiple (A, B, C o D), pero se congela cuando se le pide escribir la solución en una hoja de papel en blanco.

El artículo encontró una brecha masiva en el rendimiento de la IA según el formato de la prueba:

Opción Múltiple (El Modo Fácil): La IA obtuvo 79.7% en una prueba de opción múltiple.
Respuesta Abierta (El Modo Difícil): La misma IA obtuvo solo 33.4% en una prueba donde tuvo que escribir la respuesta desde cero.
La Brecha: Esa es una diferencia de 46 puntos. El artículo argumenta que el campo ha estado sobreestimando la inteligencia de la IA porque la está probando principalmente en el "modo fácil" (opción múltiple) donde pueden adivinar o reconocer patrones, en lugar del "modo difícil" (resolver desde cero).

4. La Solución: Una Nueva Receta (Physics-R1)

Para solucionar estos problemas, los autores no solo señalaron con el dedo; construyeron una nueva cocina.

Los Ingredientes Limpios: Publicaron un nuevo conjunto de datos auditado (PHYSCORP-A) que garantiza estar libre de preguntas "filtradas".
La Nueva Prueba: Crearon un nuevo examen más difícil llamado PHYSOLYM-A. Utiliza problemas originales (mayormente de Estonia y Olimpiadas internacionales) que la IA nunca ha visto antes.
El Método de Cocina (Physics-R1): Entrenaron un nuevo modelo de IA usando una "receta" específica (un método llamado GSPO+DAPO).
- En lugar de darle a la IA una puntuación compleja y detallada por cada pequeño paso (lo que puede engañar a la IA para que escriba respuestas con apariencia elegante pero incorrectas), utilizaron una Recompensa Binaria.
- La Analogía: Piensa en ello como un árbitro en un juego. En lugar de dar puntos por "buena postura" o "buena letra", el árbitro simplemente dice: "¿Obtuviste la respuesta correcta? Sí = 1 punto. No = 0 puntos."
- Esta regla simple obligó a la IA a dejar de intentar "jugar con el sistema" con formatos elegantes y realmente enfocarse en resolver el problema de física correctamente.

Los Resultados

Cuando probaron su nueva IA (Physics-R1) en el nuevo examen limpio y difícil:

Mejoró significativamente en comparación con el modelo base (pasando de una puntuación del 8% a una del 26%).
Superó a otros modelos de código abierto.
Aún se queda atrás de las "super-IA" de código cerrado más avanzadas (Sonnet 4.5), pero demuestra que con datos limpios y el método de entrenamiento adecuado, los modelos de código abierto pueden aprender el razonamiento físico real.

Resumen

Este artículo es un llamado a la acción para la comunidad de IA:

Deja de hacer trampa: Limpia tus datos de entrenamiento para que los modelos no solo memoricen las respuestas de las pruebas.
Vigila el idioma: No asumas que las traducciones son perfectas; prueba en el idioma original.
Deja de adivinar: Prueba los modelos en problemas de respuesta abierta, no solo en opción múltiple.
Manténlo simple: A veces, una recompensa simple de "Correcto/Incorrecto" es mejor que un sistema de puntuación complejo para enseñar a la IA a pensar.

Los autores han liberado todos sus "ingredientes" (datos), "recetas" (código) y "preguntas de examen" (puntos de referencia) para que cualquiera los use y verifique.

Resumen Técnico: Physics-R1: Un Corpus Auditado de Olimpiadas y una Receta para el Razonamiento Visual en Física

Declaración del Problema

El campo del razonamiento multimodal en física depende en gran medida de benchmarks de visión-idioma para evaluar las capacidades de los modelos. Sin embargo, la construcción de estos benchmarks rara vez es auditada, lo que genera tres brechas metodológicas críticas que distorsionan las comparaciones entre modelos e inflan los rankings de vanguardia:

Contaminación Entrenamiento-Evaluación: Los conjuntos de entrenamiento públicos (por ejemplo, SciInstruct, UGPhysics-Train) a menudo contienen problemas parafraseados o casi duplicados en relación con los conjuntos de evaluación. Las auditorías convencionales de una sola etapa basadas en $n$ -gramas no detectan estas instancias de "materia oscura de reescritura".
Deriva de Traducción: Los benchmarks multilingües a menudo dependen de traducciones al inglés de problemas originalmente compuestos en otros idiomas. Estas traducciones pueden degradar el contenido informativo (vocabulario, caso gramatical, alcance), lo que lleva a una subestimación sistemática de la capacidad del modelo en las versiones traducidas en comparación con las originales.
Saturación de Formato y Novedad: Los benchmarks actuales a menudo están saturados por Preguntas de Opción Múltiple (MCQ) o carecen de novedad, lo que provoca que el rendimiento se estanque en un "techo de frontera cerrada", donde el formato y la familiaridad con la tarea, en lugar del razonamiento genuino, impulsan las puntuaciones.

Metodología

El artículo propone una auditoría integral del pipeline de evaluación e introduce una receta de entrenamiento y un corpus correspondientes para abordar estas brechas.

1. El Pipeline de Auditoría de Tres Etapas

Para detectar la contaminación que evade las verificaciones estándar de $n$ -gramas, los autores implementan un protocolo de auditoría de tres etapas aplicado de forma pareada entre los conjuntos de entrenamiento y los conjuntos de evaluación:

Etapa 1 (N-gramas): Calcula la similitud Jaccard de 5-gramas ( $J \ge 0.4$ ) para capturar duplicados literales o casi literales.
Etapa 2 (Incrustaciones/Embeddings): Utiliza mxbai-embed-large para calcular la similitud del coseno ( $\cos \ge 0.85$ ) y capturar duplicados parafraseados que la Etapa 1 pasa por alto.
Etapa 3 (Juez LLM): Un juez LLM Haiku-4.5 clasifica los candidatos de la Etapa 2 como duplicados cercanos (parafraseos/variaciones numéricas del mismo problema) o vecinos del mismo tema (física relacionada pero configuraciones distintas). Solo se eliminan los duplicados cercanos.

2. Construcción de Datos

PHYSCORP-A: Un corpus multimodal de 6.432 registros construido aplicando la auditoría de tres etapas a un conjunto previo a la auditoría de 14.294 registros. Incluye fuentes como la Olimpiada de Física de Estonia (con etiquetas de dificultad nativas), apuntes de Kevin Zhou y siete olimpiadas internacionales.
PHYSR1CORP: Un conjunto de entrenamiento para RL de forma cerrada de 2.268 registros (solo MCQ y numéricos) derivado de PHYSCORP-A, auditado estrictamente contra seis evaluaciones públicas de física.
PHYSOLYM-A: Un conjunto de evaluación de olimpiadas retenido de 500 problemas. Es 99,8% de fuente nueva (se divulgó una superposición con OlympiadBench-Physics en lugar de descartarla) e incluye un subconjunto bilingüe inglés/estonio para análisis cross-lingüístico.

3. Receta Physics-R1

Physics-R1 es una receta de Referencia de Aprendizaje por Refuerzo (RL) que utiliza GSPO (Optimización de Política de Secuencia de Grupo) y DAPO (Recorte Desacoplado y Muestreo Dinámico), iniciada en frío desde Qwen3-VL-8B-Thinking.

Función de Recompensa: Los autores recomiendan una recompensa binaria de corrección ( $r \in \{0, 1\}$ ) basada en la coincidencia de la respuesta extraída en caja con la solución dorada. Argumentan que esto es óptimo en varianza bajo GSPO con ventajas normalizadas por grupo y robusto frente a canales "Goodhart" donde los modelos optimizan por proxies de formato (por ejemplo, estructura LaTeX) en lugar de la corrección física. Se reporta una recompensa densa de cinco componentes (incluyendo unidades, leyes de conservación y forma simbólica) como una ablación.
Currículo: Utiliza un currículo de dificultad estilo MM-Eureka, descartando indicaciones donde el modelo base logra 0/N o N/N despliegues.

Hallazgos Clave

La auditoría y los experimentos revelan tres hallazgos principales:

Contaminación Oculta: Mientras que los conjuntos de entrenamiento públicos pasan auditorías de $n$ -gramas de una sola etapa (0 coincidencias), la auditoría de tres etapas revela una contaminación significativa. Por ejemplo, en SciInstruct, la auditoría detectó 4.846 candidatos a parafraseo, de los cuales 134 fueron confirmados como duplicados cercanos por el juez LLM.
Delta de Traducción: En 59 problemas emparejados de olimpiadas en estonio/inglés, Claude Sonnet 4.5 logró una precisión estricta del 30,5% en el texto original en estonio, pero solo del 13,6% en la traducción al inglés. Esta diferencia de 17 puntos sugiere que las traducciones al inglés subestiman sistemáticamente la capacidad del modelo para modelos con fuerte transferencia cross-lingüística.
Gradiente de Formato y Novedad: Con los mismos pesos de Sonnet 4.5, el rendimiento cae 46 puntos a través de los benchmarks: 79,7% en PhyX (MCQ) $\to$ 50,4% en OlympiadBench-Physics (abierto) $\to$ 33,4% en el auditado PHYSOLYM-A (abierto, fuente nueva). Este gradiente demuestra que los benchmarks actuales están saturados por el formato y la familiaridad en lugar de la profundidad del razonamiento.

Resultados

Physics-R1, entrenado en el PHYSR1CORP auditado con una recompensa binaria, demuestra la entrenabilidad del corpus limpiado:

PHYSOLYM-A: Eleva el modelo base de 8B del 8,0% al 26,3% (media de 3 semillas), una mejora de +18,3 puntos. Se queda a 7,1 puntos de Sonnet 4.5 pero supera a todos los baselines de código abierto (incluido Qwen3-VL-32B) y APIs cerradas no Sonnet.
PhysReason: Mejora del 23,9% al 39,6%, superando a Qwen3-VL-32B y Gemini 2.5 Pro.
OlympiadBench-Physics: Mejora del 46,2% al 46,2% (nota: el resumen afirma un aumento de +6,9 pp, lo que implica un movimiento de ~39,3% a 46,2% en la partición específica utilizada, aunque la tabla muestra 46,2±1,5 para la media de 3 semillas).
PhyX (MCQ): Mejora del 77,8% al 77,8% (estable, ya que los MCQ a menudo están saturados).

El artículo señala que la recompensa binaria supera a la recompensa densa en tareas de respuesta abierta (+8,9 pp en PhysReason, +6,4 pp en PHYSOLYM-A) mientras que se desempeña de manera comparable en MCQ saturados.

Significado y Afirmaciones

El artículo se posiciona como una intervención metodológica en lugar de un avance puramente algorítmico. Sus contribuciones principales son:

Evidencia de Entrenabilidad: Al mostrar que un modelo entrenado en un corpus rigurosamente auditado mejora significativamente en una evaluación retenida y libre de contaminación (PHYSOLYM-A), los autores validan que el estancamiento anterior en los benchmarks de razonamiento en física se debió parcialmente a la contaminación de datos y la saturación, no solo a limitaciones del modelo.
Protocolo de Medición: El artículo argumenta que la medición defendible de física-VL requiere tres propiedades: una auditoría de tres etapas, estándares dorados en idioma original y evaluación de fuente nueva de respuesta abierta.
Liberación de Artefactos: La liberación de PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A y la receta Physics-R1 proporciona a la comunidad herramientas para reproducir estos hallazgos y construir modelos futuros sobre datos limpios.

Los autores afirman modestamente que Physics-R1 es una "receta de referencia" y que la recompensa binaria es el "valor predeterminado desplegable", mientras reconocen que la recompensa densa y las sensibilidades específicas de las semillas requieren mayor ablación. El trabajo no afirma resolver todos los desafíos de razonamiento en física (por ejemplo, la teoría de perturbaciones a nivel de posgrado sigue siendo difícil), pero establece una línea base más limpia para medir el progreso.