Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

Résumé Technique : Au-delà des modèles : Réflexions sur l'ingénierie de systèmes pilotés par l'IA dans un cours basé sur des projets

Énoncé du problème
L'intégration de l'intelligence artificielle (IA) dans les systèmes logiciels a déplacé le défi de l'ingénierie du développement de modèles isolés vers la construction de systèmes complexes pilotés par les données. Comme l'ont noté Sculley et al. [1], les systèmes d'IA réels sont entrelacés avec le code, les données, la configuration et l'infrastructure, créant une « dette technique cachée » qui dépasse la simple précision du modèle. Bien que l'enseignement de l'apprentissage automatique (ML) mette souvent l'accent sur la conception algorithmique, les étudiants manquent fréquemment d'expérience dans la conception architecturale, le déploiement, la surveillance et la gestion du cycle de vie des systèmes pilotés par l'IA. Les approches éducatives existantes échouent souvent à combler le fossé entre les concepts théoriques du ML et les pratiques de génie logiciel (SE) systémiques requises pour des applications d'IA robustes, évolutives et maintenables. Cet article traite de la nécessité de cadres éducatifs exposant les étudiants de deuxième cycle à ces défis systémiques par le biais de l'apprentissage par projet.

Méthodologie
Les auteurs ont mené une étude de méthodes mixtes basée sur la conception et la mise en œuvre d'un cours de niveau master intitulé Algorithmes d'IA : Théorie et Ingénierie à l'Université de Brême. Le cours utilisait un modèle d'apprentissage par projet où 26 étudiants, organisés en sept équipes, ont développé un système de recommandation de films de bout en bout.

La collecte et l'analyse des données de l'étude impliquaient :

1. Structure du cours : Le programme comprenait cinq travaux pratiques progressifs menant à un projet final. Ces travaux couvraient progressivement le prototypage initial, l'ingénierie des exigences, la conception architecturale (incluant monolithique vs microservices), l'analyse des compromis via la méthode ATAM (Architecture Trade-off Analysis Method), et l'adaptation à l'évolution des exigences.
2. Sources de données :
   • Artefacts des étudiants : Analyse des soumissions par équipe, incluant des rapports analytiques, des conceptions architecturales, de la documentation technique et du code implémenté.
   • Questionnaire : Une enquête administrée à 14 étudiants participants (sur 26 inscrits) couvrant leur parcours, leurs réflexions sur les acquis d'apprentissage et les évaluations du cours.
3. Approche d'analyse : Les chercheurs ont employé une analyse thématique [14] pour identifier des modèles dans les données qualitatives issues du questionnaire et des retours fournis sur les artefacts des étudiants. Cette approche a été utilisée pour répondre à quatre questions de recherche (RQ) spécifiques concernant les défis des étudiants, l'efficacité du pont entre théorie et pratique, les enseignements des étudiants et les domaines d'amélioration du cours.

Principales contributions
L'article apporte trois contributions primaires au domaine de l'éducation en génie logiciel pour l'IA (SE4AI) :

1. Conception du cours : L'opérationnalisation d'un cours de master par projet qui traite explicitement le fossé entre la théorie du ML et la pratique du SE au niveau du système. La structure du cours fait passer les étudiants du développement de modèles isolés à la construction de systèmes pilotés par l'IA évolutifs et tolérants aux pannes en utilisant des outils contemporains (ex. : Docker, Kafka, Prometheus, Flask).
2. Analyse empirique : Une analyse détaillée des travaux des étudiants, des projets finaux et des réponses aux sondages qui identifie les défis communs, les erreurs récurrentes et les acquis d'apprentissage spécifiques. Cela inclut un examen de la manière dont les étudiants gèrent l'intégration de ML hétérogène, la gestion des données et l'évolution des exigences.
3. Recommandations éducatives : Un ensemble de recommandations dérivées pour les éducateurs afin d'informer la conception et l'amélioration continue de cours similaires, en se concentrant sur les mécanismes de feedback, la clarté des travaux et l'intégration d'ateliers pratiques.

Résultats
L'étude a identifié plusieurs conclusions critiques concernant les défis et les acquis d'apprentissage de l'ingénierie de systèmes pilotés par l'IA :

• Défis communs (RQ1 & RQ1.1) :

  • Lacunes de connaissances : Les étudiants ont été confrontés à des difficultés significatives dues à une expertise inégale en ML et en SE. Les débutants ont lutté contre la courbe d'apprentissage abrupte des concepts de ML et des outils DevOps (ex. : Kafka, CI/CD), tandis que des ruptures de communication se sont produites au sein d'équipes aux niveaux de compétence variés.
  • Décisions architecturales : Les étudiants ont éprouvé des difficultés lors des décisions architecturales précoces, particulièrement concernant les mécanismes de commutation de modèles, les stratégies de repli (fallback) et la gestion des dépendances. De nombreuses conceptions manquaient de la modularité nécessaire pour gérer l'évolution des exigences.
  • Données et intégration : Les défis pratiques étaient centrés sur la qualité des données (valeurs manquantes, bruit), la robustesse du modèle et la complexité de l'intégration de modules hétérogènes. Les changements d'exigences nécessitaient souvent des refontes majeures du système, incluant la réingénierie de la base de données et le réentraînement du modèle.
  • Dynamique d'équipe : Des problèmes tels que des membres d'équipe désengagés et des prises de décision biaisées ont impacté la réussite du projet et le moral.

• Pont entre théorie et pratique (RQ2) :

  • Le cours a facilité avec succès la transition de la compréhension théorique vers l'implémentation pratique. Les étudiants ont rapporté que le projet les a exposés à la réalité selon laquelle « le machine learning ne consiste pas à construire des modèles ; il s'agit de données et de prétraitement ».
  • L'exposition à des exigences évolutives (via le Travail 5) a forcé les étudiants à s'engager dans la révision architecturale et l'évaluation des compromis, simulant l'incertitude du monde réel.
  • La complexité de l'intégration a servi d'opportunité d'apprentissage significative, révélant que la construction de systèmes d'IA fonctionnels implique la gestion de pipelines de déploiement, d'outils de surveillance et de performance du système, et non seulement l'entraînement de modèles.

• Enseignements des étudiants (RQ3) :

  • Centricité des données : Les étudiants ont changé de perspective, passant d'une approche centrée sur le modèle à une approche centrée sur les données, reconnaissant que la qualité des données et les stratégies d'évaluation l'emportent souvent sur le choix algorithmique.
  • Pensée systémique : Les étudiants ont développé une appréciation pour les architectures modulaires et évolutives ainsi que pour la nécessité de processus de développement structurés (ex. : ATAM, ingénierie des exigences) pour gérer l'évolution du système.
  • Maîtrise des outils : Le cours a renforcé la littératie technique dans diverses chaînes d'outils (Docker, Kubernetes, Flask, etc.), préparant les étudiants au développement de systèmes professionnels.

• Domaines d'amélioration (RQ4) :

  • Les étudiants ont plaidé pour le maintien de la structure par projet mais ont demandé un feedback plus rapide et constructif, particulièrement durant la phase de conception.
  • Il y avait un appel pour des périmètres de travaux plus clairs et des ateliers techniques plus ciblés (ex. : sur l'intégration de Docker et Flask) pour soutenir l'implémentation.
  • Certains étudiants ont noté un décalage entre les travaux théoriques et le codage incrémental, suggérant la nécessité de coupler plus étroitement les activités de documentation avec l'implémentation pour répartir la charge de travail de manière équitable.

Signification et affirmations
L'article affirme modestement que la conception du cours a favorisé efficacement le raisonnement de niveau système et renforcé la conscience des étudiants des pratiques de ML centrées sur les données. Les auteurs soutiennent que l'étude fournit des informations précieuses pour les éducateurs souhaitant intégrer l'enseignement de l'IA et du génie logiciel, soulignant la nécessité de dépasser le développement de modèles isolés pour une ingénierie de système holistique.

Les auteurs reconnaissent des limites de validité externe dues au fait que l'étude a été menée sur un seul cours avec une petite cohorte dans une seule université. Par conséquent, ils mettent en garde contre une généralisation directe des résultats, mais suggèrent que les modèles et défis identifiés peuvent informer la conception de cours similaires. L'étude souligne que, bien que le cours ait atteint ses objectifs d'apprentissage, un raffinement continu basé sur le feedback des étudiants et l'analyse des artefacts est essentiel pour améliorer l'expérience éducative en SE4AI.