Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

Imagina que eres un detective tratando de resolver un misterio, pero en lugar de huellas dactilares, buscas pistas en la forma en que las personas hablan de sus sentimientos. En el mundo de la educación, los investigadores suelen pedir a los estudiantes que escriban sus pensamientos con sus propias palabras—como, "Si las matemáticas fueran una comida, ¿qué serían?". Estas respuestas abiertas son minas de oro para comprender cómo se sienten los niños respecto a la escuela, pero son una pesadilla de leer una por una. Toma mucho tiempo para que los expertos humanos lean miles de estas historias y las clasifiquen en categorías, como "feliz", "frustrado" o "confundido". Aquí es donde entra la Inteligencia Artificial (IA). Específicamente, los Modelos de Lenguaje Extensos (LLM) son como robots superinteligentes que pueden leer y entender el lenguaje humano. La gran pregunta que los investigadores se han estado haciendo es: ¿Podemos enseñar a estos robots a actuar como expertos detectives humanos? Y si lo hacemos, ¿podemos hacer que trabajen en nuestras propias computadoras para mantener seguros los secretos de los estudiantes, en lugar de enviar datos privados a las grandes empresas tecnológicas?

Este estudio profundiza en esa misma pregunta. Los investigadores tomaron una colección de 2,265 respuestas reales de estudiantes sobre metáforas matemáticas y enseñaron a dos modelos de IA más pequeños y de código abierto a codificarlas tal como lo haría un experto humano. Utilizaron una técnica especial de entrenamiento llamada "ajuste fino" (fine-tuning), que es como darle al robot un curso intensivo utilizando las claves de respuestas de los expertos humanos. Los resultados fueron sorprendentes: después de este entrenamiento, los modelos de IA más pequeños y económicos se volvieron tan buenos en el trabajo que a menudo superaron a los modelos masivos, costosos y de "caja negra" que las empresas suelen vender. El estudio sugiere que, con el entrenamiento adecuado, podemos tener herramientas de IA potentes, privadas y precisas directamente en nuestras propias aulas para ayudar a comprender cómo se sienten los estudiantes con respecto a las matemáticas, sin necesidad de enviar sus datos a ninguna parte.

El dilema del detective: Leer entre líneas

Piensa en la metáfora de un estudiante como un código secreto. Cuando un estudiante dice, "Las matemáticas son como un perro porque es un amigo leal", no solo está hablando de mascotas; nos está diciendo que se siente seguro y feliz con las matemáticas. Pero si dice, "Las matemáticas son como un mosquito porque no me deja en paz", está diciendo que las matemáticas son molestas e inescapables. Estos son sentimientos complejos envueltos en palabras simples.

Durante décadas, los investigadores han dependido de expertos humanos para decodificar estos mensajes. Es un poco como tener un equipo de traductores intentando traducir una biblioteca de libros a mano. Es lento, costoso y difícil de escalar. Si tienes 100 estudiantes, un humano puede hacerlo. Si tienes 100,000, los humanos se cansan y el proceso se detiene.

Entra el Modelo de Lenguaje Extenso (LLM). Puedes pensar en un LLM como un robot que ha leído casi todo en internet. Es increíblemente bueno adivinando qué sigue en una oración y comprendiendo el contexto. Pero, al igual que un estudiante inteligente que no ha tomado la clase específica que estás enseñando, un robot genérico podría no saber exactamente cómo quieres que clasifique estas metáforas. Podría adivinar "feliz" cuando tú querías "neutral", o podría perderse la sutil diferencia entre "desafiante" y "amenazante".

Además, hay un problema de privacidad. La mayoría de los robots superpotentes (como los de las grandes empresas tecnológicas) viven en sus servidores. Para usarlos, tienes que enviar la escritura privada de tus estudiantes a ellos. Para las escuelas, esto es como entregar un diario lleno de secretos a un extraño. Los investigadores querían saber si podían construir un robot que viva en su propia computadora, que esté entrenado específicamente para el trabajo y mantenga los secretos a salvo.

El experimento: Enseñando las reglas al robot

Los investigadores organizaron una carrera. En un lado, tenían a los campeones de las "Grandes Tecnológicas": dos modelos propietarios muy potentes (GPT-4o mini y GPT-5 mini) que fueron usados "tal cual". Se les dio un conjunto de reglas (un libro de códigos) y se les pidió que clasificaran las metáforas de los estudiantes. No recibieron ningún entrenamiento especial; solo tuvieron que descifrarlo a partir de las instrucciones.

En el otro lado, tenían dos modelos de "Pesos Abiertos" (DeepSeek-R1 1.5B y Mistral 7B). Estos son modelos más pequeños y menos costosos que cualquiera puede descargar y ejecutar en sus propios servidores. Los investigadores tomaron estos modelos y les dieron un "curso intensivo" usando una técnica de ajuste fino supervisado basada en LoRA.

Imagina que estás enseñando a un perro a buscar la pelota. El método de "solo prompt" es como decirle al perro, "¡Ve por la pelota!" una y otra vez. El método de "ajuste fino" es como llevar al perro a un campamento de entrenamiento donde le muestras exactamente cómo agarrar la pelota, traerla de vuelta y soltarla en tu mano, usando mil ejemplos de un humano haciéndolo perfectamente. Los investigadores alimentaron a los modelos de pesos abiertos con 2,265 ejemplos de metáforas de estudiantes que ya habían sido correctamente clasificados por expertos humanos. Los modelos aprendieron a imitar las decisiones de los expertos humanos.

La tarea tuvo dos partes:

1. Codificación de Valencia-Intensidad: ¿Qué tan fuerte es el sentimiento? ¿Es muy negativo (1), neutral (3) o muy positivo (5)?
2. Codificación Temática: ¿Cuál es la historia? ¿Son las matemáticas una "herramienta", una "amenaza", un "viaje" o una "tarea aburrida"?

Los resultados: Los desvalidos ganan

Los resultados de la carrera fueron claros y emocionantes. Antes del entrenamiento, los modelos de pesos abiertos más pequeños eran terribles en el trabajo. Estaban adivinando de forma errática. Pero después del "curso intensivo" (ajuste fino), se transformaron.

El salto de rendimiento:
Los modelos ajustados no solo mejoraron un poco; mejoraron muchísimo.

• Para las metáforas de "comida", la precisión del modelo DeepSeek saltó de 0.369 a 0.787.
• La precisión del modelo Mistral en las metáforas de comida pasó de 0.207 a 0.778.
• En las metáforas de "animales", el modelo Mistral mejoró de 0.267 a 0.766.

En el mundo de la IA, estos números son enormes. Significa que los robots entrenados ahora estaban de acuerdo con los expertos humanos casi tanto como dos expertos humanos están de acuerdo entre sí.

Venciendo a los gigantes:
Aquí está el giro: los modelos más pequeños y entrenados realmente vencieron a los modelos grandes y caros de "solo prompt" en muchas categorías.

• El modelo ajustado Mistral 7B superó tanto a GPT-4o mini como a GPT-5 mini en casi todas las métricas para las metáforas de comida y animales.
• La única vez que los modelos grandes ganaron fue en temas muy raros y específicos donde los modelos más pequeños aún tenían dificultades, pero incluso entonces, la brecha era pequeña.

La prueba de "Estabilidad":
Uno de los mayores problemas de la IA es que, si le haces la misma pregunta dos veces, podría darte dos respuestas diferentes. Esto es malo para la ciencia. Los investigadores probaron esto ejecutando los modelos tres veces.

• El modelo DeepSeek no entrenado estaba por todos lados, con una puntuación de estabilidad de solo 0.592.
• Pero tras el entrenamiento, su estabilidad se disparó a 0.992.
• El modelo Mistral ajustado fue perfecto, puntuando 1.000.
• Incluso los grandes modelos comerciales no fueron tan estables como los modelos abiertos entrenados (GPT-5 mini puntuó 0.644 en estabilidad temática).

Esto sugiere que entrenar el modelo con ejemplos específicos lo hace no solo más inteligente, sino también más consistente y confiable.

Lo que esto significa para el futuro

El estudio sugiere que no necesitamos depender de sistemas de IA masivos, costosos y con riesgos de privacidad para analizar los sentimientos de los estudiantes. Al tomar modelos más pequeños y abiertos y enseñarlos con ejemplos humanos, podemos crear herramientas que sean:

1. Precisas: Coinciden con los expertos humanos.
2. Privadas: Pueden ejecutarse en la propia computadora de una escuela, manteniendo seguros los datos de los estudiantes.
3. Escalables: Pueden manejar miles de respuestas en segundos.

Sin embargo, los investigadores advierten cuidadosamente que esto no es una varita mágica para todo. Los modelos todavía tuvieron algunas dificultades con temas muy raros (como visiones sociales específicas sobre las matemáticas), lo que sugiere que si un tema es muy poco común, el robot podría necesitar incluso más ejemplos para aprenderlo. Además, el estudio solo analizó a estudiantes de 6º a 8º grado hablando de comida y animales, por lo que aún no sabemos si funciona para estudiantes de secundaria hablando de álgebra o estudiantes universitarios hablando de cálculo.

Pero la conclusión principal es esperanzadora: podemos construir nuestros propios "robots detectives" que sean inteligentes, seguros y estén listos para ayudar a los maestros a comprender los sentimientos ocultos en las palabras de sus estudiantes. El futuro de la medición educativa podría no estar en la nube, sino justo ahí, en el servidor de la escuela, entrenado por los mismos expertos que mejor conocen a los estudiantes.