Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

Imagina la clase de física como un gimnasio gigante y ruidoso donde los estudiantes intentan aprender a hacer malabares con motosierras pesadas. Durante décadas, los profesores han sabido que los expertos (los profesionales) y los principiantes (los novatos) no solo hacen malabares de forma diferente; es que piensan de forma diferente. Los profesionales tienen un mapa secreto en sus cabezas que les ayuda a planificar sus movimientos, comprobar su equilibrio y ajustarse en el aire. Pero en un aula tradicional, el profesor solo puede ver el resultado final: ¿cayó la motosierra al suelo o no? El proceso de pensamiento desordenado e invisible que ocurrió antes de la caída sigue siendo un misterio. Este es un gran problema porque si no puedes ver cómo está pensando un estudiante, no puedes ayudarle a arreglar su mapa.

Entra en escena el nuevo entrenador: la Inteligencia Artificial (IA). Piensa en la IA no como un robot que simplemente da respuestas, sino como un tutor "socrático": una palabra elegante para un entrenador que nunca te dice la respuesta, sino que te hace las preguntas perfectas para ayudarte a descubrirla por ti mismo. Es como un GPS que se niega a decir "gire a la izquierda", pero en su lugar pregunta: "¿Ves la señal de la calle Main Street?". Este enfoque está diseñado para construir el propio mapa mental del estudiante. La gran pregunta para los científicos es: ¿Ayuda este entrenador de IA a los estudiantes a hacer mejores malabares y podemos aprender algo sobre cómo están pensando simplemente escuchando las preguntas que le hacen al entrenador?

---

En este estudio, investigadores de la Universidad de Purdue decidieron probar este entrenador de IA en un gimnasio de física de la vida real. Configuraron un chatbot personalizado para 150 estudiantes de primer año de ciencias que cursaban una difícil materia de mecánica. En lugar de simplemente entregar tareas, el chatbot actuaba como un asistente de profesor humano. Presentó un escenario complicado: un acróbata humano lanzado por un resorte gigante, y el estudiante tenía que averiguar si el artista superaría un muro de 15 pies. El truco era que el chatbot no lo resolvería por ellos. Preguntaba cosas como: "¿Cuál es tu plan?" o "¿Qué datos tenemos?" y esperaba a que el estudiante respondiera.

Los investigadores querían saber dos cosas. Primero, ¿cómo se sentían los estudiantes con este entrenador de IA? ¿Les hacía sentir más inteligentes o más seguros de sí mismos? Segundo, ¿podían los investigadores aprender sobre las habilidades de resolución de problemas de los estudiantes simplemente analizando las preguntas que los estudiantes le hacían al bot? Trataron los registros de chat como un mapa del tesoro, buscando pistas sobre cómo evolucionaba el pensamiento de los estudiantes desde el "estoy perdido" hasta el "ya lo tengo".

Lo que pensaron los estudiantes
Cuando terminaron su sesión, completaron una encuesta. Los resultados fueron bastante alentadores. En una escala del 1 al 5, los estudiantes calificaron al chatbot con un sólido 4.0 de 5 por ayudarles a comprender los conceptos y habilidades reales de la física. Sintieron que el bot les ayudó a aprender cómo abordar los problemas por su cuenta. La calificación de efectividad general fue un poco más baja, alrededor de 3.4 de 5, lo que sugiere que, si bien el bot era excelente para aprender, no era una varita mágica que hiciera que todo fuera fácil o divertido para todos. Algunos estudiantes siguieron encontrando las tareas desafiantes, y el bot no eliminó completamente la dificultad, pero sí les ayudó a navegar a través de ella.

La evolución de las preguntas
Aquí es donde la historia se pone realmente interesante. Los investigadores analizaron las transcripciones de las conversaciones, tratando cada pregunta que el estudiante hacía como una instantánea de su cerebro en ese momento. Categorizaron las preguntas en dos tipos: "Amplias" (como "no sé por dónde empezar" o "¿qué hago?") y "Específicas" (como "¿debería usar la conservación de la energía aquí?" o "¿importa la altura del resorte?").

Al principio de la conversación, la mayoría de los estudiantes estaban a oscuras. Solo alrededor del 10–15% de las primeras preguntas eran específicas; el resto eran súplicas amplias de ayuda. Pero a medida que la conversación avanzaba, algo mágico sucedía. Los estudiantes empezaban a hacer preguntas más agudas y dirigidas. Para el cuarto turno de la conversación, aproximadamente el 58% de las preguntas eran específicas. Al final de la sesión, el 100% de los estudiantes hacían preguntas específicas y enfocadas. Fue como si el entrenador de IA los hubiera guiado con éxito desde el deambular sin rumbo en la niebla hasta caminar por un sendero recto y bien iluminado.

El vínculo con el éxito
Los investigadores se preguntaron entonces: ¿Hacer mejores preguntas significa obtener mejores notas? Compararon qué tan específicas eran las preguntas de un estudiante frente a la nota que esperaba obtener en el curso. Encontraron una "correlación positiva leve" (una forma estadística de decir que se mueven juntas) con un número de 0.43.

¿Qué significa esto en lenguaje sencillo? Los estudiantes que hacían preguntas más específicas y detalladas tendían a esperar notas más altas. Por ejemplo, muchos estudiantes que pensaban que obtendrían una "A" tenían más del 80% de sus preguntas clasificadas como específicas. Por el contrario, los estudiantes que seguían haciendo preguntas amplias y vagas tendían a esperar notas más bajas (alrededor de una "C").

Sin embargo, los investigadores fueron cuidadosos en no llamar a esto una regla perfecta. Los datos estaban un poco dispersos. Algunos estudiantes que hacían preguntas muy específicas seguían esperando una nota media, y algunos estudiantes que esperaban notas altas hacían preguntas sorprendentemente amplias. Esto sugiere que, si bien hacer buenas preguntas es un signo fuerte de un buen resolutor de problemas, no es la única cosa que importa. Otros factores, como cuánto sabías ya o cuánto te esforzaste, también juegan un papel crucial.

La conclusión
Este estudio sugiere que los chatbots de IA pueden ser herramientas poderosas para la enseñanza de la física, no solo dando respuestas, sino guiando a los estudiantes para que hagan las preguntas correctas. El chatbot ayudó a los estudiantes a pasar de sentirse perdidos a pensar como expertos. Si bien hacer preguntas específicas es un buen signo de éxito, es solo una pieza del rompecabezas. Los investigadores admiten que esta fue una prueba pequeña con un solo tipo de problema, por lo que necesitan realizar más estudios para ver si esto funciona para todos y para cada tema. Pero por ahora, parece que tener un entrenador de IA que pregunta "¿Cuál es tu plan?" en lugar de "Aquí tienes la respuesta" es una muy buena forma de ayudar a los estudiantes a aprender a hacer malabares con esas motosierras de la física.