TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education

Il paper presenta TRACE, un framework semi-automatizzato basato sull'intelligenza artificiale che valuta sia la qualità dei progetti software collaborativi che i contributi individuali degli studenti, migliorando equità, trasparenza e scalabilità nella valutazione rispetto ai metodi tradizionali.

L'essenziale

Immagina di essere in una classe di informatica dove gli studenti lavorano in gruppi per creare un software, proprio come fanno le vere aziende. Il problema? Il professore deve dare un voto a ogni singolo studente, ma è difficile capire chi ha fatto davvero il lavoro e chi si è "nascosto" nel gruppo. Spesso, i voti sono ingiusti: tutti prendono lo stesso voto anche se uno ha lavorato sodo e un altro non ha fatto nulla, oppure il professore perde ore e ore a controllare tutto a mano.

La soluzione proposta in questo articolo si chiama TRACE. È come un assistente intelligente (un "braccio destro" digitale) che aiuta il professore a valutare i progetti di gruppo in modo equo, veloce e trasparente.

Ecco come funziona TRACE, spiegato con delle metafore semplici:

1. Il Controllore di Qualità del Progetto (PQAM)

Immagina che il progetto finale sia una casa costruita dal gruppo.

• Cosa fa TRACE: Non guarda solo se la casa è finita, ma controlla la qualità dei mattoni.
  • Qualità del codice: Controlla se le pareti sono dritte e se non ci sono crepe (errori nel codice).
  • Test: Verifica se la casa resiste a un terremoto (test automatici).
  • Documentazione: Legge il manuale d'uso per vedere se è chiaro come si accende la luce.
  • Usabilità: Controlla se la porta è facile da aprire per tutti, anche per chi ha difficoltà (accessibilità).
• Il risultato: TRACE dà un voto alla "casa" nel suo insieme. Se la casa è bella, il gruppo riceve un buon punteggio di base.

2. Il Detective delle Contribuzioni Individuali (ICA)

Qui entra in gioco la parte più magica. TRACE diventa un detective privato che indaga su chi ha fatto cosa, analizzando le tracce digitali lasciate dagli studenti (come le impronte digitali su un sito web).

• Non conta solo "quanto" hai scritto: TRACE sa distinguere tra chi ha scritto codice importante e chi ha solo spostato uno spazio o cambiato un colore (cose inutili).
• Chi ha costruito cosa: Usa una tecnica chiamata "git blame" che è come guardare chi ha posato ogni singolo mattone. Se uno studente ha costruito le fondamenta, TRACE lo sa.
• Chi ha aiutato gli altri: Guarda anche chi ha risposto alle domande, chi ha segnalato i bug (i "difetti" della casa) e chi ha fatto le revisioni del codice degli altri. È come contare non solo chi ha costruito, ma anche chi ha aiutato a riparare i tetti o a pulire il cantiere.
• Il risultato: TRACE crea un "punteggio di contributo" per ogni studente, basato su prove concrete e non su impressioni.

3. Il Motore di Voto (GE)

Questo è il cervello che unisce tutto.

• Prende il voto della "casa" (la qualità del progetto) e lo mescola con i voti dei "muratori" (i contributi individuali).
• La formula magica: Di solito, il voto finale è composto per il 60% dalla qualità del progetto e per il 40% da quanto ha lavorato lo studente. Ma il professore può cambiare queste percentuali se vuole.
• Il controllo umano: TRACE non decide da solo. Se nota qualcosa di strano (ad esempio, uno studente che ha fatto tantissimi "aggiornamenti" ma nessun codice vero), suona un campanello d'allarme e dice al professore: "Ehi, controlla questo caso!". Il professore guarda i dati, decide e conferma il voto.

Perché è una bella cosa?

• Equità: Chi lavora sodo viene premiato, chi non fa nulla viene notato. Niente più voti uguali per tutti se il lavoro non è stato uguale.
• Trasparenza: Gli studenti possono vedere esattamente perché hanno preso quel voto. Non è più un "mistero" o un "giudizio soggettivo".
• Risparmio di tempo: Il professore risparmia ore di lavoro noioso e può concentrarsi sull'insegnare.
• Scalabilità: Funziona bene anche se ci sono 200 studenti, cosa che sarebbe impossibile da gestire a mano.

Attenzione all'etica

L'articolo sottolinea che TRACE non è un "robot cattivo" che controlla tutto. È progettato per essere trasparente (gli studenti vedono come funziona), privato (i dati sono protetti) e sotto controllo umano (il professore ha sempre l'ultima parola).

In sintesi: TRACE è come avere un assistente super-intelligente che tiene d'occhio il cantiere del progetto, conta i mattoni posati da ognuno, controlla la qualità della casa e suggerisce al professore un voto equo, lasciando però al professore il compito finale di approvare il risultato.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education", tradotto e strutturato in italiano.

1. Il Problema

Nell'educazione informatica, i progetti di gruppo sono fondamentali per sviluppare competenze professionali (metodologie Agile, controllo versione, collaborazione). Tuttavia, la valutazione equa dei contributi individuali all'interno di questi gruppi rimane una sfida critica.

• Limitazioni degli approcci tradizionali: La distribuzione uguale dei voti, le valutazioni tra pari (spesso soggette a bias sociali o pressioni) e la supervisione manuale degli istruttori mancano di equità, oggettività e scalabilità, specialmente in classi numerose.
• Mancanza di visibilità: Gli istruttori spesso non hanno una visione granulare delle dinamiche di squadra, portando a valutazioni basate su informazioni incomplete.
• Inadeguatezza delle metriche esistenti: Gli strumenti attuali basati sui repository (es. conteggio dei commit) sono spesso superficiali e non distinguono tra modifiche sostanziali e cambiamenti triviali (es. spazi bianchi), né catturano contributi non codificati (documentazione, gestione issue).

2. Metodologia: Il Framework TRACE

Il paper propone TRACE, un framework semi-automatizzato assistito dall'Intelligenza Artificiale progettato per valutare sia la qualità del progetto che i contributi individuali. L'architettura si basa su tre moduli principali:

A. Modulo di Valutazione della Qualità del Progetto (PQAM)

Valuta l'integrità tecnica e qualitativa del lavoro di gruppo attraverso cinque sottomoduli:

1. Qualità del Codice: Analisi statica per complessità (Cyclomatic, Halstead), conformità agli stili (PEP8, ESLint) e rilevamento di duplicazioni.
2. Copertura dei Test: Analisi della robustezza dei test (branch, path, gestione eccezioni) oltre alla semplice percentuale di copertura.
3. Documentazione: Uso di NLP (BERT, spaCy) per valutare chiarezza, coerenza e completezza di README e manuali.
4. Funzionalità: Esecuzione automatica di test unitari e di integrazione in ambienti sandbox (Docker) e verifica tramite CI/CD.
5. Usabilità: Test automatizzati dell'interfaccia (Selenium, Cypress) e verifica dell'accessibilità (WCAG).

• Output: Un Project Quality Score (PQS) aggregato.

B. Analizzatore di Contributi Individuali (ICA)

Quantifica il contributo di ogni studente analizzando segnali multipli dal ciclo di vita dello sviluppo:

1. Analisi dei Commit: Filtra le modifiche triviali (regex, diff analysis) e analizza pattern temporali e comportamentali (es. clusterizzazione DBSCAN per distinguere attività sostenuta da lavori d'urto).
2. Proprietà del Codice: Utilizza git blame per mappare le righe di codice agli autori, assegnando crediti per la logica introdotta o modificata sostanzialmente.
3. Tracker delle Issue: Traccia chi crea, risolve o commenta issue (bug, feature), utilizzando NLP per inferire il tipo di contributo.
4. Code Review: Valuta frequenza e qualità delle revisioni (analisi del sentiment e profondità dei commenti tramite modelli NLP).

• Output: Un Normalized Contribution Score (NCS) per ogni studente.

C. Motore di Valutazione (Grading Engine - GE)

Combina i risultati dei moduli precedenti per generare il voto finale:

• Formula: Score = (PQS * 0.6) + (NCS * 0.4). I pesi sono configurabili dall'istruttore.
• Normalizzazione: Utilizza tecniche come Z-score o Min-Max per adattare i punteggi in base alla dimensione del team.
• Rilevamento Anomalie: Identifica pattern ingiusti (es. contributi fuori norma, discrepanze tra commit e codice scritto) e segnala casi per la revisione manuale.
• Trasparenza: Genera dashboard dettagliate e report per studenti e istruttori.

3. Contributi Chiave

• Framework Ibrido: Integrazione di analisi statica, mining di repository, analisi delle comunicazioni e AI per una valutazione olistica.
• Distinzione Qualitativa: Capacità di filtrare il "rumore" (commit triviali) e valorizzare contributi non codificati (documentazione, gestione issue, revisioni).
• Scalabilità e Automazione: Riduzione significativa del carico di lavoro degli istruttori mantenendo la supervisione umana sui casi anomali.
• Trasparenza: Dashboard interattive che spiegano come vengono calcolati i voti, riducendo la percezione di "scatola nera".

4. Risultati del Pilot

Un'implementazione pilota è stata condotta in un corso di ingegneria software (20 studenti, 5 team) nella primavera 2025.

• Allineamento con l'Istruttore: Correlazione di Pearson di r = 0.91 tra i voti generati dall'AI e quelli assegnati dall'istruttore, indicando un alto grado di accordo.
• Soddisfazione Studentesca: Punteggi elevati di percezione di equità (4.3/5) e trasparenza (4.5/5).
• Efficienza: Riduzione del tempo di valutazione del 45% rispetto ai metodi manuali.
• Intervento Umano: Solo il 12% delle sottomissioni ha richiesto intervento manuale (principalmente per anomalie rilevate).
• Casi Studio: Il sistema ha correttamente identificato:
  • Distribuzioni equilibrate di contributi.
  • Membri del team con contributi predominanti (aumento proporzionale del voto).
  • Tentativi di inflazione artificiale dei voti (commit vuoti) che sono stati penalizzati.

5. Significato e Considerazioni Etiche

• Impatto Educativo: TRACE dimostra che l'analisi dei dati può rendere la valutazione dei progetti collaborativi più scalabile, equa e trasparente, allineandosi alle pratiche industriali.
• Etica e Privacy: Il paper sottolinea l'importanza di salvaguardare la privacy (conformità a FERPA/GDPR), garantire la trasparenza algoritmica e mantenere la supervisione umana per mitigare bias (es. contro studenti non madrelingua o con stili di collaborazione atipici).
• Sviluppi Futuri: Il framework è progettato per espandersi con integrazioni IDE (per catturare l'attività pre-commit), analisi di artefatti multimediali, revisioni tra pari potenziate e modelli di valutazione adattivi basati sul reinforcement learning.

In conclusione, TRACE non mira a sostituire il giudizio dell'istruttore, ma a potenziarlo fornendo evidenze strutturate e dati oggettivi per supportare decisioni di valutazione più giuste e informate.