Structured AI Demonstrations and Student LLM Use in Engineering Mechanics: Study Design and Preliminary Results

Resumen Técnico: Demostraciones Estructuradas de IA y el Uso de LLM por Estudiantes en Mecánica de Ingeniería

Planteamiento del Problema
La rápida integración de los Modelos de Lenguaje de Gran Escala (LLM) en la educación de ingeniería de pregrado presenta un desafío pedagógico crítico. Si bien la adopción por parte de los estudiantes es generalizada, existe una falta significativa de evidencia empírica específica del dominio para guiar las políticas de instrucción. La literatura existente ofrece resultados mixtos con respecto a los impactos de los LLM, que a menudo varían según el modo de instrucción, pero pocos estudios proporcionan datos naturalistas dentro del semestre sobre cómo los estudiantes de ingeniería específicamente utilizan, verifican e integran estas herramientas en cursos fundamentales de resolución de problemas. Además, las capacidades de los LLM han evolucionado rápidamente, particularmente en lo que respecta al razonamiento visual y la ejecución de código, lo que hace que los hallazgos anteriores sean potencialmente obsoletos. Este estudio aborda la brecha en la comprensión de cómo los estudiantes de mecánica de ingeniería interactúan con la IA generativa, cómo estos comportamientos se correlacionan con el rendimiento académico y si las intervenciones estructuradas dirigidas por el instructor pueden cambiar las prácticas de los estudiantes.

Metodología
El estudio se llevó a cabo durante el semestre de primavera de 2026 en EK301 (Mecánica de Ingeniería I) en la Universidad de Boston, involucrando a 196 estudiantes inscritos en tres secciones de clase magistral. La investigación empleó un diseño descriptivo cuasi-experimental con los siguientes componentes:

• Participantes y Diseño: Un total de 105 estudiantes que dieron su consentimiento formaron la muestra analítica. Una sección sirvió como la "Sección de Intervención" (n=65), la cual recibió una secuencia de nueve demostraciones de IA estructuradas e impartidas por el instructor. Las secciones restantes sirvieron como grupo de comparación (n=40), las cuales no recibieron demostraciones. La asignación de las secciones se basó en el registro estándar, no en la aleatorización.
• Intervención: Las nueve demostraciones, entregadas semanalmente durante 10–15 minutos, progresaron desde la alfabetización básica en la herramienta hasta la delegación estratégica y la evaluación de modelos. Los temas clave incluyeron:
  • Capacidades de los LLM en proyectos grupales y entornos de caja de arena (sandbox) de Python.
  • Encuadre pedagógico utilizando la "Zona de Desarrollo Próximo" y tutoría socrática mediante prompts de sistema personalizados.
  • Delegación estratégica de tareas de programación de bajo riesgo (por ejemplo, interfaces gráficas de usuario, rutinas de optimización) para un proyecto semestral de diseño de cerchas (trusses).
  • Evaluación comparativa de los LLM mediante la evaluación ad hoc y programática de problemas del curso.
• Recolección de Datos: Las fuentes de datos incluyeron:
  • Encuestas: Encuestas pre y post-semestre que capturaron la frecuencia de uso de la IA autoinformada, actitudes, prácticas de verificación y descripciones de flujo de trabajo.
  • Métricas de Rendimiento: Calificaciones de exámenes parciales en clase (recopiladas bajo estrictas condiciones offline para prevenir el uso de IA), estandarizadas y reportadas como cuartiles de calificación (Q1–Q4) para proteger la privacidad de los estudiantes.
  • Datos Cualitativos: Respuestas abiertas sobre flujos de trabajo de IA y estrategias de verificación.
• Análisis:
  • Cuantitativo: Se utilizaron estadísticas descriptivas y visualizaciones (gráficos de barras apiladas divergentes, histogramas facetados) para analizar los cambios en las actitudes y patrones de uso. No se realizaron pruebas de significancia estadística ni afirmaciones causales debido al tamaño de muestra modesto y la falta de aleatorización.
  • Cualitativo: Las respuestas de texto libre fueron codificadas utilizando un flujo de trabajo de múltiples modelos de LLM (Claude, GPT, Gemini) con adjudicación humana auditable. La confiabilidad inter-modelo fue alta (mediana de κ de Fleiss = 0.88 para códigos con una prevalencia ≥5%).
  • Restricciones Éticas: Para cumplir con FERPA, los conjuntos de datos cualitativos y cuantitativos fueron desacoplados, y los datos de rendimiento fueron agregados en cuartiles en lugar de puntajes específicos.

Resultos Clave

• Patrones de Uso: El uso de la IA generativa fue casi universal para propósitos generales y se expandió significativamente dentro de las tareas de mecánica de ingeniería a lo largo del semestre. La proporción de estudiantes que reportaron nunca usar IA para mecánica cayó del 33% (pre) al 6% (post), mientras que el uso semanal aumentó del 37% al 51%.
• Actitudes y Verificación: Las actitudes de los estudiantes se mantuvieron ampliamente positivas, con la mayoría de acuerdo en que la IA es un recurso útil y que pueden evaluar las soluciones generadas por la IA. Sin embargo, las preocupaciones sobre la precisión persistieron. Los comportamientos de verificación mostraron un cambio: mientras que la verificación independiente (resolver problemas nuevamente) siguió siendo la estrategia modal, el "rastreo pasivo" de los pasos de la IA disminuyó. Notablemente, el aumento en el uso no se correlacionó uniformemente con un aumento en la comprobación; se observó un aumento en la "verificación mínima/condicional".
• Evolución del Flujo de Trabajo: El flujo de trabajo dominante cambió de "Intentar Primero por Cuenta Propia; Verificar Después" para incluir más interacciones de "IA Guiada Paso a Paso". Los estudiantes utilizaron cada vez más la IA para la aclaración de conceptos y pasos procedimentales, con un aumento notable en estrategias de prompting sofisticadas (por ejemplo, establecimiento de restricciones, escepticismo ante los resultados).
• Correlaciones de Rendimiento: En la línea base, el uso de la IA específico de la mecánica estuvo inversamente relacionado con el rendimiento (los estudiantes del cuartil superior eran menos propensos a usar la IA para mecánica que los estudiantes del cuartil inferior). Al final del semestre, este gradiente se estrechó a medida que el uso se volvió ubicuo en todos los niveles de desempeño. El estudio señala que este es un patrón descriptivo consistente tanto con estudiantes con dificultades que buscan ayuda como con estudiantes de alto rendimiento que desplazan la práctica independiente; el diseño no puede distinguir estas direcciones.
• Impacto de la Intervención: Entre el grupo de intervención, la asistencia autoinformada fue alta, pero el compromiso fue modesto. La retroalimentación fue polarizada: los estudiantes consideraban que las demostraciones eran muy útiles para la utilidad del curso o sentían que carecían de relevancia para las tareas inmediatas del curso. La intervención no produjo un cambio claro y medible en los patrones de uso agregados en comparación con las secciones que no recibieron la intervención, aunque los autores advierten que variables de confusión no medidas (por ejemplo, identidad del instructor, diferencias en la inscripción de las secciones) impiden conclusiones definitas sobre la eficacia de la intervención.

Contribuciones Clave

1. Instantánea Empírica: El estudio proporciona un conjunto de datos oportuno y específico del dominio que detalla cómo los estudiantes de mecánica de ingeniería integran la IA generativa en sus flujos de trabajo, actitudes y prácticas de verificación en la primavera de 2026.
2. Marco Reproducible: Los autores lanzan un marco metodológico completo, incluyendo el instrumento de encuesta completo, la secuencia de nueve demostraciones de IA estructuradas y los libros de códigos para la codificación cualitativa.
3. Protocolo de Codificación por Máquina: El artículo documenta un riguroso flujo de trabajo de múltiples modelos de LLM para la codificación cualitativa, demostrando una alta confiabilidad inter-modelo y ofreciendo un enfoque escalable para analizar grandes volúmenes de datos de texto educativo.
4. Datos Abiertos: Los conjuntos de datos desidentificados (separados en archivos cuantitativos y cualitativos) y el código de análisis están disponibles públicamente para permitir la reproducibilidad y la investigación adicional.

Significancia y Reivindicaciones
El artículo se posiciona como un paso descriptivo fundacional en un esfuerzo de investigación más amplio y continuo. Los autores declaran explícitamente que el estudio no está diseñado para hacer afirmaciones causales sobre los efectos de las demostraciones de IA debido al diseño cuasi-experimental y al tamaño de muestra modesto. En su lugar, la significancia radica en proporcionar un "punto de partida empírico" para comprender los comportamientos de los estudiantes en un panorama tecnológico que cambia rápidamente.

Los autores argumentan que navegar la integración de los LLM requiere un enfoque colaborativo y basado en la evidencia. Al hacer que su diseño de estudio, herramientas y materiales sean de acceso abierto, pretenden establecer una base reproducible para que otros educadores recopilen datos similares. El trabajo sugiere que el impacto de los LLM en el aprendizaje depende menos de la tecnología en sí y más de cómo se utiliza y se guía. El estudio concluye que, si bien las demostraciones específicas pueden necesitar evolución a medida que las capacidades de la IA cambian, el enfoque estructurado para modelar la delegación estratégica y la evaluación ofrece un recurso viable para los educadores de ingeniería. El objetivo final es desarrollar métodos éticos y longitudinales para evaluar cómo el uso ubicuo de los LLM transforma la educación en ingeniería.