Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

Resumen Técnico: Más allá de los modelos: Reflexiones sobre la ingeniería de sistemas habilitados por IA en un curso basado en proyectos

Planteamiento del problema
La integración de la Inteligencia Artificial (IA) en los sistemas de software ha desplazado el desafío de la ingeniería desde el desarrollo de modelos aislados hacia la construcción de sistemas complejos impulsados por datos. Como señalan Sculley et al. [1], los sistemas de IA del mundo real están entrelazados con código, datos, configuración e infraestructura, lo que crea una "deuda técnica oculta" que trasciende la precisión del modelo. Aunque la educación en aprendizaje automático (ML) suele enfatizar el diseño algorítmico, los estudiantes carecen frecuentemente de experiencia en el diseño arquitectónico, el despliegue, el monitoreo y la gestión del ciclo de vida de los sistemas habilitados por IA. Los enfoques educativos existentes a menudo no logran cerrar la brecha entre los conceptos teóricos de ML y las prácticas de ingeniería de software (SE) a nivel de sistema necesarias para aplicaciones de IA robustas, escalables y mantenibles. Este artículo aborda la necesidad de marcos educativos que expongan a los estudiantes de posgrado a estos desafíos sistémicos mediante el aprendizaje basado en proyectos.

Metodología
Los autores llevaron a cabo un estudio de métodos mixtos basado en el diseño e implementación de un curso de nivel de maestría titulado Algoritmos de IA: Teoría e Ingeniería en la Universidad de Bremen. El curso utilizó un modelo de aprendizaje basado en proyectos donde 26 estudiantes, organizados en siete equipos, desarrollaron un sistema de recomendación de películas de extremo a extremo.

La recopilación y el análisis de datos del estudio involucraron:

1. Estructura del curso: El currículo presentó cinco tareas escalonadas que conducían a un proyecto final. Estas tareas cubrieron progresivamente el prototipado inicial, la ingeniería de requisitos, el diseño arquitectónico (incluyendo monolitos frente a microservicios), el análisis de compensaciones utilizando el Método de Análisis de Compensaciones de Arquitectura (ATAM) y la adaptación a requisitos evolutivos.
2. Fuentes de datos:
   • Artefactos de los estudiantes: Análisis de las entregas por equipo, incluyendo informes analíticos, diseños arquitectónicos, documentación técnica y código implementado.
   • Cuestionario: Una encuesta administrada a 14 estudiantes participantes (de los 26 registrados) que cubría su formación, reflexiones sobre los resultados de aprendizaje y evaluaciones del curso.
3. Enfoque de análisis: Los investigadores emplearon un análisis temático [14] para identificar patrones en los datos cualitativos tanto del cuestionario como de la retroalimentación proporcionada en los artefactos de los estudiantes. Este enfoque se utilizó para abordar cuatro Preguntas de Investigación (RQ) específicas relativas a los desafíos de los estudiantes, la efectividad de la unión entre teoría y práctica, las conclusiones de los estudiantes y las áreas de mejora del curso.

Contribuciones clave
El artículo realiza tres contribuciones primarias al campo de la educación en Ingeniería de Software para la IA (SE4AI):

1. Diseño del curso: La operacionalización de un curso de maestría basado en proyectos que aborda explícitamente la brecha entre la teoría de ML y la práctica de SE a nivel de sistema. La estructura del curso mueve a los estudiantes desde el desarrollo de modelos aislados hacia la construcción de sistemas habilitados por IA escalables y tolerantes a fallos utilizando herramientas contemporáneas (por ejemplo, Docker, Kafka, Prometheus, Flask).
2. Análisis empírico: Un análisis detallado de las tareas de los estudiantes, los proyectos finales y las respuestas de las encuestas que identifica desafíos comunes, errores recurrentes y los resultados de aprendizaje específicos alcanzados. Esto incluye un examen de cómo los estudiantes manejan la integración de ML heterogénea, la gestión de datos y los requisitos evolutivos.
3. Recomendaciones educativas: Un conjunto de recomendaciones derivadas para educadores con el fin de informar el diseño y la mejora continua de cursos similares, centrándose en los mecanismos de retroalimentación, la claridad de las tareas y la integración de talleres prácticos.

Result resultados
El estudio identificó varios hallazgos críticos con respecto a los desafíos y los resultados de aprendizaje de la ingeniería de sistemas habilitados por IA:

• Desafíos Comunes (RQ1 y RQ1.1):

  • Brechas de conocimiento: Los estudiantes enfrentaron dificultades significativas debido a la disparidad en la experiencia en ML y SE. Los principiantes tuvieron dificultades con la curva de aprendizaje pronunciada de los conceptos de ML y las herramientas de DevOps (por ejemplo, Kafka, CI/CD), mientras que ocurrieron rupturas de comunicación dentro de los equipos con niveles de habilidad variables.
  • Decisiones arquitectónicas: Los estudiantes tuvieron dificultades con las decisiones arquitectónicas tempranas, particularmente en lo que respecta a los mecanismos de cambio de modelo, estrategias de fallback y gestión de dependencias. Muchos diseños carecían de la modularidad requerida para manejar requisitos evolutivos.
  • Datos e integración: Los desafíos prácticos se centraron en la calidad de los datos (valores faltantes, ruido), la robustez del modelo y la complejidad de integrar módulos heterogéneos. Los cambios en los requisitos a menudo necesitaban reestructuraciones mayores del sistema, incluyendo la reingeniería de la base de datos y el reentrenamiento del modelo.
  • Dinámica de equipo: Problemas como miembros del equipo desvinculados y la toma de decisiones sesgada impactaron el éxito del proyecto y la moral.

• Unión de la teoría y la práctica (RQ2):

  • El curso facilitó con éxito la transición de la comprensión teórica a la implementación práctica. Los estudiantes reportaron que el proyecto los expuso a la realidad de que "el aprendizaje automático no trata de construir modelos; trata de los datos y el preprocesamiento".
  • La exposición a requisitos evolutivos (a través de la Tarea 5) obligó a los estudiantes a participar en la revisión arquitectónica y la evaluación de compensaciones, simulando la incertidumbre del mundo real.
  • La complejidad de la integración sirvió como una oportunidad de aprendizaje significativa, revelando que construir sistemas de IA funcionales implica gestionar canales de despliegue, herramientas de monitoreo y rendimiento del sistema, no solo el entrenamiento del modelo.

• Conclusiones de los estudiantes (RQ3):

  • Centralidad en los datos: Los estudiantes cambiaron su perspectiva de centrada en el modelo a centrada en los datos, reconociendo que la calidad de los datos y las estrategias de evaluación a menudo pesan más que la elección del algoritmo.
  • Pensamiento a nivel de sistema: Los estudiantes desarrollaron un aprecio por las arquitecturas modulares y escalables y la necesidad de procesos de desarrollo estructurados (por ejemplo, ATAM, ingeniería de requisitos) para gestionar la evolución del sistema.
  • Competencia en herramientas: El curso mejoró la alfabetización técnica en diversas cadenas de herramientas (Docker, Kubernetes, Flask, etc.), preparando a los estudiantes para el desarrollo de sistemas profesionales.

• Áreas de mejora (RQ4):

  • Los estudiantes abogaron por mantener la estructura basada en proyectos pero solicitaron una retroalimentación más oportuna y constructiva, particularmente durante la fase de diseño.
    [] El alcance de las tareas y talleres técnicos más dirigidos (por ejemplo, sobre la integración de Docker y Flask) para apoyar la implementación.
  • Algunos estudiantes señalaron una desconexión entre las tareas teóricas y la codificación incremental, sugiriendo la necesidad de acoplar las actividades de documentación más estrechamente con la implementación para distribuir la carga de trabajo de manera equitativa.

Significancia y Reivindicaciones
El artículo reivindica modestamente que el diseño del curso fomentó eficazmente el razonamiento a nivel de sistema y fortaleció la conciencia de los estudiantes sobre las prácticas de ML centradas en los datos. Los autores afirman que el estudio proporciona valiosas perspectivas para los educadores que buscan integrar la educación en IA y la ingeniería de software, destacando la necesidad de ir más allá del desarrollo de modelos aislados hacia la ingeniería de sistemas holística.

Los autores reconocen las limitaciones en la validez externa debido a que el estudio se realizó en un solo curso con una cohorte pequeña en una sola universidad. En consecuencia, advierten contra la generalización directa de los hallazgos, pero sugieren que los patrones y desafíos identificados pueden informar el diseño de cursos similares. El estudio enfatiza que, si bien el curso cumplió con sus objetivos de aprendizaje, la refinación continua basada en la retroalimentación de los estudiantes y el análisis de los artefactos es esencial para mejorar la experiencia educativa en SE4AI.