💬 NLP

Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

Este estudio evalúa las capacidades de los modelos de lenguaje de gran tamaño para resolver problemas de estática mediante un enfoque de destilación de modelos, revelando que, si bien desempeñan un buen papel en preguntas de solo texto, su precisión disminuye significativamente cuando se requieren diagramas y razonamiento de múltiples pasos debido a los desafíos para aplicar consistentemente la información visual en lugar de limitaciones de reconocimiento de imágenes.

Autores originales: Tanner Culleton, Hung-Fu Chang

Publicado 2026-06-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tanner Culleton, Hung-Fu Chang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante muy inteligente y culto llamado "ChatGPT", que ha leído casi todos los libros de la biblioteca. Quieres probar si este estudiante realmente puede resolver problemas difíciles de tareas de ingeniería, específicamente en una materia llamada Estática (que trata sobre cómo se equilibran las fuerzas en objetos estacionarios, como puentes o grúas).

Aquí está lo que hicieron los investigadores, explicado de forma sencilla:

1. El problema del "Copiar y Pegar"

Primero, los investigadores intentaron lo obvio: tomaron preguntas reales de libros de texto y le pidieron a ChatGPT que las resolviera.

El Resultado: Fue un desastre. El estudiante se confundió, especialmente cuando los problemas involucraban dibujos en 3D. Mezclaba las direcciones (como decir "arriba" cuando quería decir "derecha") y se equivocaba en las matemáticas.
La Analogía: Fue como pedirle a un estudiante que lea un mapa escrito en un idioma que apenas conoce. Conocía las palabras, pero no podía entender las direcciones.

2. El truco de la "Ingeniería Inversa" (Destilación de Modelos)

Dado que las preguntas de los libros de texto eran demasiado difíciles, los investigadores intentaron un trucción ingenioso llamado Destilación de Modelos. En lugar de pedirle al estudiante que resolviera preguntas de otras personas, le pidieron que escribiera sus propias preguntas.

La Lógica: Pensaron: "Si ChatGPT puede escribir una buena pregunta, probablemente sabe la respuesta a ese tipo específico de pregunta porque la 'aprendió' de sus propios datos de entrenamiento".
El Proceso: Le pidieron a ChatGPT que generara 50 problemas de estática. Notaron que el estudiante seguía escribiendo los mismos problemas simples y en 2D (planos) una y otra vez. Así que seleccionaron las 25 mejores preguntas únicas que ChatGPT parecía entender bien.

3. Los Tres Niveles de la Prueba

Los investigadores crearon tres "exámenes" diferentes usando esas 25 preguntas para ver cómo funcionaba el cerebro del estudiante:

Examen A (Solo Texto): Le pidieron a ChatGPT que resolviera las preguntas que él mismo escribió, usando solo palabras.
- Resultado: Puntuación Perfecta (100%). ¡El estudiante sabía las respuestas porque él mismo escribió las preguntas!
Examen B (Con Imágenes): Tomaron esas mismas preguntas de solo texto y dibujaron diagramas simples para ellas.
- Resultado: La puntuación bajó al 68%. El estudiante aún podía leer las palabras, pero la imagen lo confundió. Le costó conectar el dibujo con las matemáticas.
Examen C (La Prueba de "Nuevos Números"): Tomaron los diagramas del Examen B y cambiaron todos los números (por ejemplo, cambiando una fuerza de 10 lbs a 15 lbs).
- Resultado: La puntuación bajó al 60%. Esto demostró que el estudiante no solo estaba memorizando las respuestas. Estaba intentando resolver el problema desde cero, pero cometía errores en medio del proceso.

4. ¿Qué aprendieron?

Los investigadores compararon a ChatGPT con otro estudiante de IA llamado "Gemini".

El Gran Descubrimiento: El problema no era que la IA no pudiera "ver" las imágenes. El problema era que no podía pensar por pasos.
La Analogía: Imagina a un chef que puede leer una receta perfectamente (Solo Texto). Si le entregas los ingredientes y una foto del plato (Diagrama), aún puede cocinar. Pero si le pides que cocine una comida compleja de varios tiempos donde tiene que ajustar la receta a mitad de camino (Razonamiento de múltiples pasos), empieza a dejar caer ingredientes o a olvidar el siguiente paso.
La Conclusión: La IA es muy buena con la matemática simple de un solo paso. Pero cuando tiene que mirar una imagen, extraer información y luego usar esa información en tres o cuatro pasos diferentes para obtener una respuesta final, se pierde. Sigue el método correcto, pero a menudo obtiene el número equivocado al final.

Resumen

El artículo concluye que, si bien la IA se está volviendo muy buena leyendo y escribiendo, todavía es un poco torpe cuando se trata del razonamiento visual y de cadenas de lógica largas y complejas. Es como un estudiante que conoce la teoría perfectamente, pero se queda paralizado cuando se le pide que la aplique a un dibujo del mundo real con números cambiantes.

Nota: Los investigadores solo probaron estos problemas de ingeniería específicos. No afirmaron que esto se aplique a diagnósticos médicos, asesoría legal u otros campos, ni sugirieron cómo arreglar la IA para el futuro. Simplemente informaron cómo se desempeñó la IA en este conjunto específico de acertijos de ingeniería.

Resumen Técnico: Investigación de la Capacidad de Resolución de Problemas de los LLM – Un Estudio sobre Preguntas de Estática

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLM) han influido rápidamente en la educación, demostrando la capacidad de completar tareas y exámenes en diversas materias. Sin embargo, la investigación existente sobre su impacto educativo suele basarse en conjuntos de datos de problemas públicos o abiertos y carece de un análisis específico por temas, particularmente dentro de la ingeniería mecánica. Existe una investigación sistemática limitada sobre cómo se desempeñan los LLM en tipos de problemas específicos, como la estática, y si sus capacidades han evolucionado lo suficiente como para justificar actualizaciones en las evaluaciones educativas. Los métodos de evaluación tradicionales, que consisten en realizar prompts directos a los LLM con preguntas de libros de texto, han mostrado limitaciones, particularmente con problemas tridimensionales y la interpretación de diagramas.

Metodología
Para abordar estas brechas, los autores adoptaron un enfoque inspirado en la destilación de modelos en lugar de las pruebas directas tradicionales. El estudio procedió a través de las siguientes fases:

Evaluación Inicial y Pivote: Las pruebas iniciales utilizando preguntas de libros de texto de "McGraw Hill Connect" revelaron que los LLM (específicamente ChatGPT) tuvieron dificultades significativas con los problemas de estática tridimensional, cometiendo errores frecuentes al asignar componentes vectoriales entre los ejes de coordenadas. Además, al solicitarles generar problemas de estática, los modelos produjeron preguntas repetitivas, mayoritariamente bidimensionales y sencillas.
Construcción del Conjunto de Datos mediante Destilación: Reconociendo que los LLM funcionan mejor en problemas alineados con su distribución de entrenamiento interna, los investigadores instaron a ChatGPT a generar un gran conjunto de problemas de estática. A través de un proceso iterativo de generación y comparación, filtraron las instancias repetitivas para crear un Conjunto de Datos Solo de Texto de 25 problemas de estática bidimensionales únicos. Estos se categorizaron por dificultad:
- Conceptual (Fácil): 8 preguntas que evalúan definiciones y razonamiento cualitativo.
- Cálculo Directo (Medio): 7 preguntas que requieren la aplicación de fórmulas.
- Aplicación de Múltiples Pasos (Difícil): 10 preguntas que requieren razonamiento de múltiples pasos y una configuración estratégica.
Expansión del Conjunto de Datos: Para evaluar el razonamiento visual y la generalización, se construyeron dos conjuntos de datos adicionales a partir del conjunto de solo texto:
- Conjunto de Datos Basado en Diagramas: Las descripciones textuales se convirtieron manualmente en diagramas 2D limpios utilizando la aplicación Notability.
- Conjunto de Datos de Diagramas con Valores Modificados: Los diagramas del conjunto anterior fueron modificados con nuevos valores numéricos para fuerzas, momentos y distancias para probar si el modelo estaba recordando soluciones o razonando genuinamente.
Evaluación: Los modelos (ChatGPT-5 y Gemini) fueron probados en los tres conjuntos de datos. El desempeño se midió mediante la precisión ( $A = N_c / 25$ ), definida como el número de preguntas resueltas correctamente.

Contribuciones Clave

Marco de Evaluación Novedoso: El estudio introduce una perspectiva de destilación de modelos para evaluar los LLM en la educación de la ingeniería. En lugar de probar los modelos en benchmarks externos donde pueden carecer de exposición, el estudio los evalúa en problemas que probablemente generaron o encontraron durante su entrenamiento, proporcionando una visión más clara de sus capacidades de razonamiento interno.
Análisis Granular del Desempeño: La investigación disecciona el desempeño de los LLM no solo por la puntuación general, sino por tipo de problema (Conceptual, Cálculo, Aplicación de Múltiples Pasos) y modalidad de entrada (Texto, Diagrama, Diagrama con Valores Modificados).
Identificación de Cuellos de Botella en el Razonamiento: El estudio aísla modos de falla específicos, distinguiendo entre limitaciones de reconocimiento de imágenes y déficits de razonamiento de múltiples pasos.

Resultos
Los resultados experimentales resaltan una degradación significativa del desempeño a medida que cambian la complejidad del problema y la modalidad:

Conjunto de Datos Solo de Texto: ChatGPT-5 logró una precisión del 100%, mientras que Gemini alcanzó el 60%. Notablemente, Gemini no pudo resolver ningún problema de Aplicación de Múltiples Pasos (0% de precisión).
Conjunto de Datos Basado en Diagramas: La precisión de ChatGPT-5 cayó al 68%. Aunque mantuvo un 100% de precisión en preguntas Conceptuales, su desempeño cayó al 71.43% en Cálculo Directo y al 40% en Aplicación de Múltiples Pasos.
Conjunto de Datos de Diagramas con Valores Modificados: ChatGPT-5 logró un 60% de precisión. El desempeño en Aplicación de Múltiples Pasos mejoró ligeramente a un 60%, pero el Cálculo Directo cayó al 42.8%.
Análisis de Errores: En todas las pruebas, ambos modelos siguieron consistentemente los procedimientos y metodologías de solución correctos. Sin embargo, los errores ocurrieron frecuentemente en los cálculos numéricos finales o en la aplicación consistente de la información visual extraída a través de las sucesivas etapas de razonamiento.

Significancia y Reivindicaciones
El artículo sostiene que la caída observada en el desempeño de los LLM al pasar de problemas de solo texto a problemas basados en diagramas y de múltiples pasos no es causada primordialmente por limitaciones en el reconocimiento de imágenes. En su lugar, los autores concluyen que la caída en el desempeño proviene de dificultades en el razonamiento de múltiples pasos y la incapacidad de aplicar consistentemente la información visual extraída a lo largo del proceso de solución.

El estudio sugiere que, si bien los LLM pueden acercarse a un desempeño de nivel experto en problemas de estática estructurados y basados en texto, siguen siendo poco fiables para tareas de ingeniería complejas y de múltiples pasos que requieren una consistencia lógica rigurosa. Los autores postulan que este conocimiento es crucial para que los educadores y diseñadores de currículos adapten las estrategias de instrucción y las evaluaciones, asegurando que promuevan la comprensión conceptual y el pensamiento de orden superior mientras mitigan la dependencia inapropiada de las herramientas de IA. El estudio reconoce limitaciones, incluyendo el potencial sesgo de usar preguntas generadas por el propio modelo para la evaluación y el tamaño modesto del conjunto de datos (25 preguntas), pero afirma que los hallazgos proporcionan una base necesaria para comprender las capacidades actuales de los LLM en la educación de la ingeniería mecánica.

1. El problema del "Copiar y Pegar"

2. El truco de la "Ingeniería Inversa" (Destilación de Modelos)

3. Los Tres Niveles de la Prueba

4. ¿Qué aprendieron?

Resumen

Más como este