Exploring the potential of ChatGPT for feedback and evaluation in experimental physics

Este estudio concluye que, aunque ChatGPT ofrece retroalimentación consistente sobre la estructura y claridad de los informes de laboratorio de física experimental, su capacidad para evaluar el razonamiento técnico y la interpretación de datos es limitada, lo que subraya la necesidad de supervisión docente para garantizar la validez de las evaluaciones.

Lo esencial

Imagina que eres un profesor de física con 300 estudiantes. Cada semana, estos estudiantes te entregan informes de laboratorio: documentos llenos de texto, pero también de fórmulas matemáticas, gráficos dibujados a mano y tablas de datos. Corregir todo eso manualmente es como intentar ordenar una biblioteca gigante mientras te caen libros encima: agotador y propenso a errores.

Este estudio es como una prueba de fuego para ver si ChatGPT (una inteligencia artificial muy avanzada) puede ayudar a ese profesor a corregir esos informes. Los investigadores querían saber: ¿Puede la IA ser un "asistente de corrección" tan bueno como un humano?

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

1. El Experimento: La IA como "Substituto"

Los investigadores tomaron 57 informes reales de un curso de física (sobre medir el tiempo de reacción humana) y se los dieron a la IA.

• La regla del juego: Le dieron a la IA la misma "hoja de calificación" (rúbrica) que usan los profesores humanos.
• El método: La IA leyó los informes automáticamente (como si fuera un robot que escanea documentos) y dio sus notas y comentarios.

2. El Resultado: Un "Ojo de Águila" pero con "Visión de Túnel"

La IA funcionó muy bien en algunas cosas, pero falló estrepitosamente en otras.

• Lo que hizo genial (El Organizador):
  La IA fue excelente revisando la estructura. Imagina que la IA es un bibliotecario muy estricto. Si el informe le falta un título, si no tiene una sección de "Objetivos" o si el texto está desordenado, la IA lo detecta al instante.

  • Analogía: Es como un corrector de ortografía que nunca se equivoca en la gramática o en si los párrafos están en el orden correcto.

• Lo que le costó (El Físico Ciego):
  Aquí es donde la IA se puso torpe. Cuando los informes tenían fórmulas matemáticas complejas, gráficos o tablas, la IA a menudo "alucinaba" o se quedaba en blanco.

  • Analogía: Imagina que le das a un robot un dibujo de un circuito eléctrico y le pides que explique cómo funciona. El robot podría decir: "Veo líneas y círculos, parece un circuito" (lo cual es cierto, pero superficial). Pero si el dibujo tiene una fórmula pequeña escrita a mano que el escáner no leyó bien, el robot podría inventar una explicación falsa o decir que no puede ver nada, aunque la respuesta estuviera ahí.

3. El Problema de la "Traducción" (OCR)

El mayor obstáculo no fue la inteligencia de la IA, sino cómo "leía" los documentos.
Los informes de física son PDFs con imágenes de fórmulas. La IA necesita que un programa "traduzca" esas imágenes a texto (como cuando escaneas un documento y el ordenador intenta leerlo).

• El problema: A veces, la "traducción" sale mal. Una raíz cuadrada se convierte en un símbolo extraño, o un gráfico se vuelve un borrón.
• La consecuencia: La IA, al no poder leer bien la fórmula, juzga mal el trabajo. A veces dice "está bien" cuando está mal (porque no vio el error), o dice "está mal" cuando está bien (porque no entendió lo que vio).

4. La Comparación: Humano vs. Máquina

Cuando compararon las notas de la IA con las de los profesores reales:

• No coincidieron mucho. La correlación fue baja. Es como si dos jueces de un concurso de cocina dieran notas muy diferentes al mismo pastel: uno lo califica de 8/10 y el otro de 6/10.
• La IA fue más severa: Tendía a dar notas más bajas que los humanos.
• El error promedio: La diferencia de nota fue de aproximadamente 1 punto sobre 10. En un examen, eso es la diferencia entre un "Aprobado" y un "Sobresaliente".

5. La Lección: La IA es un "Ayudante", no un "Juez"

El estudio concluye que la IA no debe reemplazar al profesor, pero sí puede ser un ayudante muy útil.

• Lo que la IA hace bien: Puede revisar rápidamente si el informe tiene todas las partes obligatorias, si el texto es claro y si la estructura es correcta. Ahorra tiempo en la "burocracia" de la corrección.
• Lo que el profesor debe hacer: El profesor humano debe ser el "supervisor". La IA le dice: "Oye, este informe tiene una estructura perfecta, pero no pude leer bien este gráfico". Entonces, el profesor revisa ese gráfico específico y toma la decisión final.

En resumen

Usar ChatGPT para corregir física es como darle a un asistente muy inteligente pero un poco miope una pila de exámenes.

• Si el examen es solo texto, el asistente es increíble.
• Si el examen tiene dibujos, fórmulas y gráficos, el asistente necesita que tú (el profesor) le ayudes a ver lo que él no puede distinguir.

La tecnología es prometedora para aliviar la carga de trabajo, pero la interpretación profunda de la ciencia y la física sigue requiriendo el toque humano. Sin un profesor vigilando, la IA podría estar calificando mal a los estudiantes sin darse cuenta.

Resumen técnico

Título del Estudio: Explorando el potencial de ChatGPT para la retroalimentación y evaluación en física experimental

1. Problema de Investigación

La evaluación de informes de laboratorio en física es un proceso complejo y demandante que integra explicaciones escritas, razonamiento matemático, análisis de datos experimentales y representaciones gráficas. En cursos con alta matrícula, mantener la consistencia en la calificación y la calidad de la retroalimentación es un desafío persistente. Aunque la Inteligencia Artificial Generativa (IA), específicamente los Modelos de Lenguaje Grande (LLM), ofrece nuevas posibilidades para la educación, su integración responsable en la física educativa sigue siendo un reto.
El problema central abordado es determinar si un sistema de calificación asistido por IA (específicamente basado en GPT-5.4) puede evaluar de manera fiable informes de laboratorio de física, aplicando los mismos criterios que un instructor humano, y cuáles son sus limitaciones al procesar elementos no textuales (ecuaciones, gráficos, tablas) en un flujo de trabajo automatizado por lotes (batch).

2. Metodología

El estudio se llevó a cabo en el curso de Física Experimental I de la Universidad de la República (Uruguay) con aproximadamente 300 estudiantes.

• Muestra: Se analizaron 57 informes de laboratorio seleccionados aleatoriamente de un total de 150 entregas del año académico 2025. Los informes eran anónimos y estaban en formato PDF original.
• Actividad Experimental: "Tiempo de reacción y Estadística". Los estudiantes medían el tiempo de reacción humano mediante la caída de una regla, requiriendo modelado matemático, propagación de incertidumbres, análisis estadístico e interpretación de gráficos.
• Instrumento de Evaluación: Se utilizó una rúbrica estandarizada de 10 puntos utilizada por los docentes, que cubría: Objetivos, Fundamento Teórico, Montaje Experimental, Análisis de Datos y Conclusiones.
• Configuración de la IA:
  • Se implementó un protocolo de calificación por lotes mediante API utilizando el modelo GPT-5.4.
  • Se diseñaron instrucciones (prompts) que definían el rol de la IA como evaluador, especificando la rúbrica, el formato de respuesta (puntuación, justificación, fortalezas/debilidades) y una lista de verificación estructurada.
  • El sistema procesó los PDFs originales, extrayendo texto y realizando OCR (Reconocimiento Óptico de Caracteres) sobre ecuaciones y gráficos incrustados.
• Análisis de Datos:
  • Cuantitativo: Comparación de puntuaciones entre la IA y los instructores utilizando el coeficiente de correlación de rangos de Spearman ($\rho$) y el Error Absoluto Medio (MAE).
  • Cualitativo: Clasificación de la retroalimentación de la IA en tres categorías: Aplicación correcta, Razonable pero superficial y Evaluación inválida. Se identificaron limitaciones en el acceso a la evidencia (explícitas vs. inferidas).
  • Validación Adicional: Un subconjunto de casos se reanalizó en modo conversacional para diagnosticar limitaciones específicas del flujo por lotes.

3. Contribuciones Clave

• Evaluación de un flujo de trabajo automatizado: Proporciona una de las primeras caracterizaciones detalladas del uso de LLMs avanzados (GPT-5.4) para la calificación masiva de informes de física que incluyen elementos multimodales.
• Distinción entre tipos de error: Introduce una clasificación técnica que diferencia entre limitaciones explícitas (cuando la IA admite no poder leer un gráfico) y limitaciones inferidas (cuando la IA interpreta mal una ecuación distorsionada por el OCR y genera una evaluación falsa con confianza).
• Análisis de la trazabilidad: Demuestra cómo la falta de trazabilidad en la justificación de la IA (comentarios genéricos sin referencia a evidencia específica) afecta la validez de la evaluación, incluso cuando la puntuación parece plausible.

4. Resultados Principales

• Correlación de Puntuaciones: Existe una asociación débil entre las calificaciones de la IA y las de los instructores ($\rho = 0.38$).
  • Puntuación promedio de instructores: 8.63.
  • Puntuación promedio de la IA: 7.91.
  • Error Absoluto Medio (MAE): 1.01 puntos, indicando discrepancias significativas a nivel individual.
• Calidad de la Retroalimentación por Categoría:
  • Objetivos y Montaje: La IA tuvo un alto porcentaje de "Aplicación correcta" (87% y 84% respectivamente), aunque con un 13% de respuestas "Razonables pero superficiales" (validaciones genéricas sin evidencia textual).
  • Análisis de Datos: Fue la sección más crítica. Aunque el 84% fue "correcto", el 10% fue "inválido". Las limitaciones de acceso a la evidencia (gráficos, tablas, ecuaciones) fueron la causa principal. La IA a menudo falló al interpretar notación matemática compleja o gráficos no recuperables por el OCR.
  • Conclusiones y Evaluación Global: Presentaron el mayor porcentaje de evaluaciones inválidas (11% y 7% respectivamente), a menudo debido a que la IA no pudo verificar la coherencia entre los resultados gráficos y las conclusiones escritas.
• Limitaciones Técnicas: La dependencia del OCR y la extracción de texto de PDFs provocó que la IA perdiera información crucial (unidades, etiquetas de ejes, factores en ecuaciones), lo que llevó a evaluaciones inválidas o justificaciones superficiales.
• Hallazgo del Modo Conversacional: Cuando se interactuó con la IA de forma guiada y específica (modo conversacional) sobre casos problemáticos, la IA pudo recuperar y analizar evidencia que había sido ignorada en el flujo por lotes, mejorando la calidad de la justificación. Esto sugiere que el diseño de la interacción es tan crucial como el modelo en sí.

5. Significado e Implicaciones

El estudio concluye que, bajo las condiciones actuales de automatización por lotes, la IA no puede reemplazar la calificación humana en informes de física experimental debido a la inconsistencia en el razonamiento técnico y la interpretación de datos no textuales.

Sin embargo, la IA tiene un potencial significativo como herramienta de asistencia para:

• Reducir la carga de trabajo administrativo en la revisión de aspectos formales (estructura, claridad, adherencia a convenciones).
• Identificar patrones recurrentes en el trabajo estudiantil.
• Servir como un "segundo par de ojos" para la coherencia general del informe.

Recomendación Final: La implementación efectiva requiere una supervisión humana obligatoria. La IA debe utilizarse para apoyar el proceso de evaluación, no para automatizarlo por completo, asegurando que el razonamiento físico y la interpretación de resultados sean validados por expertos. El éxito de la integración depende de diseñar protocolos de interacción que mitiguen las limitaciones de acceso a la evidencia multimodal.