Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

Technische Samenvatting: Voorbij Modellen: Reflecties op het Ontwerpen van AI-gestuurde Systemen in een Projectgebaseerde cursus

Probleemstelling
De integratie van Kunstmatige Intelligentie (AI) in softwaresystemen heeft de engineering-uitdaging verschoven van geïsoleerde modelontwikkeling naar de constructie van complexe, datagestuurde systemen. Zoals opgemerkt door Sculley et al. [1], zijn real-world AI-systemen verweven met code, data, configuratie en infrastructuur, wat zorgt voor "verborgen technische schuld" die verder gaat dan modelnauwkeurigheid. Terwijl ML-onderwijs vaak de nadruk legt op algoritmisch ontwerp, missen studenten vaak ervaring met het architecturaal ontwerp, de implementatie, monitoring en lifecycle-management van AI-gestuurde systemen. Bestaande educatieve benaderingen slagen er vaak niet in om de kloof tussen theoretische ML-concepten en de op systeemniveau vereiste software engineering (SE) praktijken te overbruggen voor robuuste, schaalbare en onderhoudbare AI-applicaties. Dit artikel adresseert de behoefte aan educatieve kaders die masterstudenten blootstellen aan deze systemische uitdagingen via projectgebaseerd leren.

Methodologie
De auteurs voerden een mixed-methods studie uit op basis van het ontwerp en de implementatie van een mastercursus getiteld AI Algorithms: Theory and Engineering aan de Universiteit van Bremen. De cursus maakte gebruik van een projectgebaseerd leermodel waarbij 26 studenten, georganiseerd in zeven teams, een end-to-end filmrecomendsatiesysteem ontwikkelden.

De gegevensverzameling en -analyse van de studie omvatte:

1. Cursusstructuur: Het curriculum bestond uit vijf gescaffolde opdrachten leidend naar een eindproject. Deze opdrachten dekten progressief initiële prototyping, requirements engineering, architecturaal ontwerp (inclusief monolithisch versus microservices), trade-off analyse met behulp van de Architecture Trade-off Analysis Method (ATAM), en adaptatie aan evoluerende eisen.
2. Gegevensbronnen:
   • Studenten-artefacten: Analyse van teamgebaseerde inzendingen, inclusief analytische rapporten, architecturale ontwerpen, technische documentatie en geïmplementeerde code.
   • Vragenlijst: Een enquête afgenomen bij 14 deelnemende studenten (van de 26 ingeschreven studenten) die hun achtergrond, reflecties op leerresultaten en cursusevaluaties besloeg.
3. Analysebenadering: De onderzoekers gebruikten thematische analyse [14] om patronen te identificeren in kwalitatieve gegevens uit zowel de vragenlijst als de feedback op de studenten-artefacten. Deze benadering werd gebruikt om vier specifieke Onderzoeksvragen (OV's) te adresseren met betrekking tot studentuitdagingen, de effectiviteit van het overbruggen van theorie en praktijk, de belangrijkste leerervaringen van studenten en gebieden voor cursusverbetering.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen aan het vakgebied van Software Engineering voor AI (SE4AI) onderwijs:

1. Cursusontwerp: De operationalisering van een projectgebaseerde mastercursus die expliciet de kloof tussen ML-theorie en systeem-niveau SE-praktijk adresseert. De cursusstructuur beweegt studenten van geïsoleerde modelontwikkeling naar het bouwen van schaalbare, fouttolerante AI-gestuurde systemen met behulp van hedendaagse tools (bijv. Docker, Kafka, Prometheus, Flask).
2. Empirische Analyse: Een gedetailleerde analyse van studentopdrachten, eindprojecten en enquête-antwoorden die veelvoorkomende uitdagingen, terugkerende fouten en de specifieke behaalde leerresultaten identificeert. Dit omvat een onderzoek naar hoe studenten omgaan met heterogene ML-integratie, datamanagement en evoluerende eisen.
3. Educatieve Aanbevelingen: Een reeks afgeleide aanbevelingen voor docenten om het ontwerp en de voortdurende verbetering van soortgelijke cursussen te informeren, met de focus op feedbackmechanismen, duidelijkheid van opdrachten en de integratie van praktische workshops.

Resultaten
De studie identificeerde verschillende kritieke bevindingen met betrekking tot de uitdagingen en leerresultaten van het engineeren van AI-gestuurde systemen:

• Veelvoorkomende Uitdagingen (OV1 & OV1.1):

  • Kennisgebreken: Studenten kampten met aanzienlijke moeilijkheden door een ongelijkmatige expertise in ML en SE. Beginners hadden moeite met de steile leercurve van ML-concepten en DevOps-tools (bijv. Kafka, CI/CD), terwijl communicatieproblemen optraden binnen teams met variërende vaardigheidsniveaus.
  • Architecturale Beslissingen: Studenten hadden moeite met vroege architecturale beslissingen, met name met betrekking tot mechanismen voor het wisselen van modellen, fallback-strategieën en het beheren van afhankelijkheden. Veel ontwerpen misten de modulariteit die nodig is om evoluerende eisen op te vangen.
  • Data en Integratie: Praktische uitdagingen concentreerden zich op datakwaliteit (ontbrekende waarden, ruis), modelrobuustheid en de complexiteit van het integreren van heterogene modules. Wijzigingen in de eisen vereisten vaak grote systeemoverhaals, inclus inclusief herontwerp van de database en hertraining van het model.
  • Teamdynamiek: Problemen zoals niet-betrokken teamleden en bevooroordeelde besluitvorming beïnvloedden het projectsucces en het moreel.

• Het Overbruggen van Theorie en Praktijk (OV2):

  • De cursus faciliteerde succesvol de transitie van theoretisch begrip naar praktische implementatie. Studenten rapporteerden dat het project hen blootstelde aan de realiteit dat "machine learning niet gaat over het construeren van modellen; het gaat over data en preprocessing."
  • Blootstelling aan evoluerende eisen (via Opdracht 5) dwong studenten tot architecturale revisie en trade-off evaluatie, wat de realiteit van onzekerheid simuleerde.
  • De complexiteit van integratie diende als een betekenisvolle leerkans, waarbij werd geconstateerd dat het bouwen van functionele AI-systemen het beheren van deployment pipelines, monitoring tools en systeemprestaties inhoudt, en niet alleen modeltraining.

• Belangrijkste Leerervaringen (OV3):

  • Data-centriciteit: Studenten verschoven hun perspectief van model-centrisch naar data-centrisch, waarbij zij inzagen dat datakwaliteit en evaluatiestrategieën vaak zwaarder wegen dan de algoritmische keuze.
  • Systeem-niveau Denken: Studenten ontwikkelden een waardering voor schaalbare, modulaire architecturen en de noodzaak van gestructureerde ontwikkelingsprocessen (bijv. ATAM, requirements engineering) om systeemevolutie te beheren.
  • Tool Proficiency: De cursus verbeterde de technische geletterdheid in diverse toolchains (Docker, Kubernetes, Flask, etc.), wat studenten voorbereidt op professionele systeemontwikkeling.

• Gebieden voor Verbetering (OV4):

  • Studenten pleitten voor het behoud van de projectgebaseerde structuur, maar vroegen om meer tijdige en constructieve feedback, met name tijdens de ontwerpfase.
  • Er was een oproep voor duidelijkere opdrachtomvang en meer gerichte technische workshops (bijv. over Docker en Flask-integratie) om implementatie te ondersteunen.
  • Sommige studenten merkten een disconnect op tussen theoretische opdrachten en incrementele codering, wat suggereert dat documentatieactiviteiten nauwer gekoppeld moeten worden aan implementatie om de werklast gelijkmatig te verdelen.

Betekenis en Claims
Het artikel claimt bescheiden dat het cursusontwerp effectief de redenering op systeemniveau heeft bevorderd en het bewustzijn van studenten over data-centrische ML-praktijken heeft versterkt. De auteurs stellen dat de studie waardevolle inzichten biedt voor docenten die AI en software engineering-onderwijs willen integreren, waarbij zij de noodzaak benadrukken om verder te gaan dan geïsoleerde modelontwikkeling naar holistische systeem engineering.

De auteurs erkennen beperkingen in de externe validiteit omdat de studie is uitgevoerd in een enkele cursus met een kleine groep aan één universiteit. Daarom adviseren zij tegen directe generalisatie van de bevindingen, maar suggereren zij dat de geïdentificeerde patronen en uitdagingen kunnen dienen als input voor het ontwerp van soortgelijke cursussen. De studie benadrukt dat hoewel de cursus haar leerdoelen heeft behaald, continue verfijning op basis van studentfeedback en artefactanalyse essentieel is voor het verbeteren van de educatieve ervaring in SE4AI.