Beyond Models: Reflections on Engineering AI-enabled Systems in a Project-Based Course

Sintesi Tecnica: Oltre i Modelli: Riflessioni sull'Ingegneria di Sistemi abilitati dall'IA in un Corso Basato su Progetti

Problematica
L'integrazione dell'Intelligenza Artificiale (IA) nei sistemi software ha spostato la sfida ingegneristica dallo sviluppo di modelli isolati alla costruzione di sistemi complessi guidati dai dati. Come osservato da Sculley et al. [1], i sistemi di IA nel mondo reale sono intrecciati con codice, dati, configurazione e infrastruttura, creando un "debito tecnico nascosto" che va oltre l'accuratezza del modello. Mentre l'educazione al machine learning enfatizza spesso la progettazione algoritmica, gli studenti mancano frequentemente di esperienza nella progettazione architettonica, nel deployment, nel monitoraggio e nella gestione del ciclo di vita dei sistemi abilitati dall'IA. Gli approcci educativi esistenti spesso non riescono a colmare il divario tra i concetti teorici di ML e le pratiche di ingegneria del software (SE) di sistema necessarie per applicazioni di IA robuste, scalabili e manutenibili. Questo articolo affronta la necessità di framework educativi che espongano gli studenti laureati a queste sfide sistemiche attraverso l'apprendimento basato su progetti.

Metodologia
Gli autori hanno condotto uno studio a metodi misti basato sulla progettazione e l'implementazione di un corso di livello master intitolato AI Algorithms: Theory and Engineering presso l'Università di Brema. Il corso ha utilizzato un modello di apprendimento basato su progetti in cui 26 studenti, organizzati in sette team, hanno sviluppato un sistema di raccomandazione di film end-to-end.

La raccolta e l'analisi dei dati dello studio sono consistite in:

1. Struttura del Corso: Il curriculum presentava cinque compiti strutturati (scaffolded) che portavano a un progetto finale. Questi compiti coprivano progressivamente la prototipazione iniziale, l'ingegneria dei requisiti, la progettazione architettonica (inclusi microservizi vs monolitico), l'analisi dei compromessi utilizzando l'Architecture Trade-off Analysis Method (ATAM) e l'adattamento a requisiti evolutivi.
2. Fonti di Dati:
   • Artefatti degli Studenti: Analisi delle consegne basate su team, inclusi report analitici, progettazioni architettoniche, documentazione tecnica e codice implementato.
   • Questionario: Un sondaggio somministrato a 14 studenti partecipanti (su 26 iscritti) riguardante il loro background, le riflessioni sui risultati dell'apprendimento e le valutazioni del corso.
3. Approccio di Analisi: I ricercatori hanno impiegato l'analisi tematica [14] per identificare pattern nei dati qualitativi provenienti sia dal questionario che dai feedback forniti sugli artefatti degli studenti. Questo approccio è stato utilizzato per affrontare quattro specifiche Domande di Ricerca (RQ) riguardanti le sfide degli studenti, l'efficacia nel colmare il divario tra teoria e pratica, le lezioni apprese dagli studenti e le aree di miglioramento del corso.

Contributi Chiave
L'articolo apporta tre contributi primari al campo dell'educazione alla Software Engineering for AI (SE4AI):

1. Design del Corso: L'operazionalizzazione di un corso master basato su progetti che affronta esplicitamente il divario tra la teoria del ML e la pratica della SE a livello di sistema. La struttura del corso sposta gli studenti dallo sviluppo di modelli isolati alla costruzione di sistemi abilitati dall'IA scalabili e tolleranti ai guasti utilizzando strumenti contemporanei (es. Docker, Kafka, Prometheus, Flask).
2. Analisi Empirica: Un'analisi dettagliata dei compiti degli studenti, dei progetti finali e delle risposte ai sondaggi che identifica le sfide comuni, gli errori ricorrenti e i risultati specifici dell'apprendimento raggiunti. Ciò include un esame di come gli studenti gestiscono l'integrazione eterogenea del ML, la gestione dei dati e i requisiti evolutivi.
3. Raccomandazioni Educative: Un insieme di raccomandazioni derivate per gli educatori per informare il design e il miglioramento continuo di corsi simili, concentrandosi sui meccanismi di feedback, la chiarezza dei compiti e l'integrazione di workshop pratici.

Risultati
Lo studio ha identificato diverse scoperte critiche riguardanti le sfide e i risultati dell'apprendimento dell'ingegneria di sistemi abilitati dall'IA:

• Sfide Comuni (RQ1 & RQ1.1):

  • Lacune di Conoscenza: Gli studenti hanno affrontato difficoltà significative dovute a una competenza non uniforme in ML e SE. I principianti hanno lottato con la ripida curva di apprendimento dei concetti di ML e degli strumenti DevOps (es. Kafka, CI/CD), mentre si sono verificati breakdown comunicativi all'interno dei team con livelli di abilità variabili.
  • Decisioni Architetturali: Gli studenti hanno avuto difficoltà con le decisioni architettoniche iniziali, in particolare riguardo ai meccanismi di switching del modello, alle strategie di fallback e alla gestione delle dipendenze. Molti design mancavano della modularità necessaria per gestire requisiti evolutivi.
  • Dati e Integrazione: Le sfide pratiche erano centrate sulla qualità dei dati (valori mancanti, rumore), la robustezza del modello e la complessità dell'integrazione di moduli eterogenei. I cambiamenti nei requisiti spesso richiedevano revisioni complete del sistema, inclusa la riprogettazione del database e il retraining del modello.
  • Dinamiche di Team: Problemi come membri del team disimpegnati e decisioni influenzate da bias hanno impattato il successo del progetto e il morale.

• Colmare il Divario tra Teoria e Pratica (RQ2):

  • Il corso ha facilitato con successo la transizione dalla comprensione teorica all'implementazione pratica. Gli studenti hanno riferito che il progetto li ha esposti alla realtà secondo cui "il machine learning non riguarda la costruzione di modelli; riguarda i dati e il preprocessing".
  • L'esposizione a requisiti evolutivi (tramite l'Assignment 5) ha costretto gli studenti a impegnarsi nella revisione architettonica e nella valutazione dei compromessi, simulando l'incertezza del mondo reale.
  • La complessità dell'integrazione ha servito come un significativo' opportunità di apprendimento, rivelando che costruire sistemi di IA funzionali implica la gestione di pipeline di deployment, strumenti di monitoraggio e prestazioni a livello di sistema, non solo l'addestramento del modello.

• Lezioni Apprese dagli Studenti (RQ3):

  • Centralità dei Dati: Gli studenti hanno spostato la loro prospettiva da model-centric a data-centric, riconoscendo che la qualità dei dati e le strategie di valutazione spesso superano la scelta algoritmica.
  • Pensiero a Livello di Sistema: Gli studenti hanno sviluppato un apprezzamento per architetture modulari e scalabili e per la necessità di processi di sviluppo strutturati (es. ATAM, ingegneria dei requisiti) per gestire l'evoluzione del sistema.
  • Competenza negli Strumenti: Il corso ha migliorato la alfabetizzazione tecnica in diverse toolchain (Docker, Kubernetes, Flask, ecc.), preparando gli studenti allo sviluppo di sistemi professionale.

• Aree di Miglioramento (RQ4):

  • Gli studenti hanno sostenuto la necessità di mantenere la struttura basata su progetti ma hanno richiesto un feedback più tempestivo e costruttivo, in particolare durante la fase di design.
  • C'è stata una richiesta di scope dei compiti più chiari e di workshop tecnici più mirati (es. sull'integrazione di Docker e Flask) per supportare l'implementazione.
  • Alcuni studenti hanno notato un distacco tra i compiti teorici e la codifica incrementale, suggerendo la necessità di accoppiare le attività di documentazione più strettamente con l'implementazione per distribuire equamente il carico di lavoro.

Significatività e Rivendicazioni
L'articolo rivendica modestamente che il design del corso ha favorito efficacemente il ragionamento a livello di sistema e rafforzato la consapevolezza degli studenti riguardo alle pratiche di ML data-centric. Gli autori affermano che lo studio fornisce intuizioni preziose per gli educatori che mirano a integrare l'educazione all'IA e all'ingegneria del software, evidenziando la necessità di andare oltre lo sviluppo di modelli isolati verso un'ingegneria di sistema olistica.

Gli autori riconoscono i limiti nella validità esterna dovuti al fatto che lo studio è stato condotto in un singolo corso con un piccolo gruppo in un'unica università. Di conseguenza, invitano alla cautela nella generalizzazione diretta dei risultati, ma suggeriscono che i pattern e le sfide identificati possono informare il design di corsi simili. Lo studio sottolinea che, sebbene il corso abbia raggiunto i suoi obiettivi di apprendimento, il raffinamento continuo basato sul feedback degli studenti e l'analisi degli artefatti è essenziale per migliorare l'esperienza educativa in SE4AI.