ACE-TA: An Agentic Teaching Assistant for Grounded Q&A, Quiz Generation, and Code Tutoring

Il paper introduce ACE-TA, un assistente didattico autonomo basato su modelli linguistici che integra tre moduli coordinati per fornire risposte concettuali contestualizzate, generare quiz adattivi e guidare gli studenti nell'apprendimento della programmazione attraverso un tutor di codice interattivo con esecuzione in sandbox.

L'essenziale

Immagina di essere uno studente universitario alle prese con un corso di programmazione. È tardi, la tua mente è annebbiata, hai un codice che non funziona e non riesci a capire perché. Il tuo professore è a casa, il tuo assistente didattico (TA) è occupato con un altro studente e la biblioteca è chiusa. Ti senti solo contro il computer.

È qui che entra in gioco ACE-TA, il "Super-Assistente Didattico" descritto in questo articolo. Non è un semplice chatbot che risponde a caso; è come avere un tutor personale, sveglio 24 ore su 24, che ha letto tutto il libro di testo e sa esattamente come aiutarti.

Ecco come funziona, spiegato con parole semplici e qualche analogia divertente:

1. Il "Portiere" Intelligente (L'Orchestratore)

Immagina ACE-TA come un grande hotel con tre ali diverse. Quando chiami (fai una domanda), c'è un portiere all'ingresso che ascolta cosa vuoi e ti indirizza subito nella stanza giusta.

• Se chiedi "Cos'è una funzione in Python?", ti manda nell'Ali delle Spiegazioni.
• Se vuoi fare un test per vedere se hai studiato, ti manda nell'Ali dei Quiz.
• Se hai un codice che non gira, ti manda nell'Ali del Laboratorio di Codice.

Questo portiere è così veloce che non devi nemmeno aspettare: sa subito di cosa hai bisogno.

2. L'Ali delle Spiegazioni: Il Bibliotecario Perfetto

Molti assistenti virtuali oggi sono come persone che inventano storie: a volte dicono cose che sembrano vere ma non lo sono. ACE-TA è diverso. È come un bibliotecario super-preciso.
Quando gli chiedi una spiegazione, non si inventa nulla. Va subito nello scaffale giusto del libro di testo (il suo database), prende le pagine esatte, le legge e ti dà una risposta basata solo su quelle pagine.

• L'analogia: È come se avessi un professore che, prima di risponderti, controlla tre volte l'indice del libro per assicurarsi di non sbagliare un dettaglio. Se il libro non ha la risposta, ti dice onestamente: "Non lo so, non è nel libro", invece di inventare.

3. L'Ali dei Quiz: Il Personal Trainer della Mente

Immagina un allenatore personale che non ti fa fare sempre gli stessi esercizi. Se sei bravo, ti dà esercizi più difficili. Se sbagli, ti fa ripassare i concetti base.
ACE-TA crea quiz adattivi. Non ti dà un foglio con 50 domande uguali per tutti.

• Se rispondi bene, l'allenatore dice: "Bravo! Ora proviamo a unire due concetti insieme".
• Se sbagli, dice: "Aspetta, torniamo indietro e ripassiamo questo singolo pezzo".
  Inoltre, le domande sono fatte per farti pensare, non solo per ricordare a memoria. È come passare da un semplice "ripeti dopo di me" a un "come risolveresti questo problema?".

4. L'Ali del Codice: Il Costruttore di Lego

Questa è la parte più magica. Quando devi scrivere codice, molti sistemi ti danno la soluzione completa e ti dicono "Ecco, copia e incolla". Ma così non impari nulla!
ACE-TA è come un costruttore di Lego che ti guida passo dopo passo.

1. Ti dice: "Ora costruiamo la base". Tu scrivi la prima riga.
2. Il sistema controlla: "Ok, la base è solida. Ora aggiungiamo il primo piano".
3. Se sbagli, invece di darti la soluzione pronta, ti dice: "Ehi, quel mattoncino è messo al contrario. Prova a girarlo così".
4. Il sistema ha un laboratorio sicuro (una "sabbiera" digitale) dove prova il tuo codice in tempo reale. Se esplode (errore), ti dice esattamente dove è l'esplosione e perché, senza farti perdere tempo.

Perché è così speciale?

Fino a oggi, gli assistenti per studenti erano come macchine da caffè: ti davano una risposta veloce, ma spesso generica o sbagliata.
ACE-TA è come un cucina gourmet:

• Usa ingredienti freschi (i libri di testo reali).
• Segue una ricetta precisa (la logica passo-passo).
• Si adatta al tuo gusto (ti dà esercizi facili o difficili a seconda di come stai).

In sintesi

Il paper ci dice che ACE-TA funziona davvero bene. Gli esperti che l'hanno testato hanno detto che le spiegazioni sono più profonde e chiare rispetto ad altre intelligenze artificiali, e che i quiz sono ben fatti. Soprattutto, aiuta gli studenti a capire il codice, non solo a copiarlo.

È come avere un amico molto intelligente che ti aspetta fuori dalla porta della tua stanza di studio, pronto a spiegarti le cose, a farti fare pratica e a farti ridere quando il tuo codice decide di comportarsi come un gatto arrabbiato. E la cosa migliore? È sempre disponibile, anche alle 3 di notte.

Sommario tecnico

Titolo

ACE-TA: Un Assistente Didattico Agente per Q&A Fondato, Generazione di Quiz e Tutoraggio di Codice

1. Il Problema

L'istruzione superiore sta affrontando una crescita significativa delle iscrizioni post-pandemia, il che ha intensificato le sfide didattiche esistenti. Gli istruttori e i Tutor Accademici (TA) gestiscono carichi di lavoro elevati e hanno disponibilità limitata, rendendo difficile per gli studenti ottenere aiuto tempestivo al di fuori degli orari di ricevimento, specialmente durante lo studio autonomo o la risoluzione di problemi di programmazione complessi.
Le attuali soluzioni basate su Large Language Models (LLM) tradizionali sono spesso limitate a risposte generiche in linguaggio naturale o supporto amministrativo. Mancano sistemi unificati capaci di:

• Supportare il ragionamento concettuale con risposte fondate su materiale didattico specifico.
• Guidare la costruzione del codice passo dopo passo con feedback iterativo.
• Generare valutazioni formative adattive (quiz) che testino la comprensione di ordine superiore.
  Questo gap ostacola la comprensione concettuale e l'acquisizione di competenze pratiche, specialmente nei corsi STEM ad alta iscrizione.

2. Metodologia e Architettura

ACE-TA (Agentic Coding and Explanations Teaching Assistant) è un framework locale multi-modulo che integra Retrieval-Augmented Generation (RAG), valutazione adattiva e coaching del codice sotto un livello di orchestrazione condiviso. L'architettura si basa su tre moduli coordinati, gestiti da due modelli LLM locali caricati tramite llama-cpp-python: un modello router/validatore leggero (Phi-3-Mini) e un modello generatore più grande (GPT-OSS-20B).

Componenti Chiave:

1. Livello di Orchestrazione (Query Router):

   • Classifica le query degli studenti in una delle tre categorie: Q&A Concettuale, Generatore di Quiz o Tutor di Codice.
   • Utilizza uno schema vincolato e temperature 0 per garantire un routing deterministico, riutilizzando gli oggetti del modello pre-caricati per ridurre la latenza.

2. Modulo Q&A Concettuale (Grounded Q&A):

   • Utilizza un approccio ibrido di recupero: combina la ricerca densa (FAISS) e la ricerca lessicale (BM25) su un Hybrid Vector DB.
   • I risultati vengono riordinati (reranking) tramite un cross-encoder (MS MARCO-MiniLM-L6-v2) per selezionare i 5 passaggi più pertinenti.
   • Il generatore produce risposte basate esclusivamente su queste evidenze recuperate, ammettendo esplicitamente se il contesto è insufficiente, garantendo allineamento con il libro di testo.

3. Generatore di Quiz Adattivo:

   • Scompone gli argomenti richiesti in sottotemi per ridurre la deriva tematica.
   • Recupera chunk dal Quiz Vector DB utilizzando la Maximum Marginal Relevance (MMR) per massimizzare la diversità dei contenuti.
   • Genera domande a scelta multipla (MCQ) con tag di livello Bloom (Applicare, Analizzare, Valutare, Creare) e razionali per i distrattori.
   • Adatta la difficoltà delle domande successive in base alla correttezza della risposta dello studente (feedback adattivo).

4. Tutor di Codice Interattivo (Stepwise Code Tutor):

   • Scompone i problemi di programmazione in una sequenza di passaggi logici (senza codice immediato).
   • Per ogni passaggio, chiede allo studente di scrivere solo il frammento di codice necessario.
   • Esecuzione in Sandbox: Il codice viene validato tramite un Abstract Syntax Tree (AST) per errori di sintassi prima di essere eseguito in un ambiente sandbox isolato.
   • Feedback Iterativo: Se il codice fallisce, il sistema analizza l'errore e fornisce feedback mirato. Se passa, un comparatore basato su LLM verifica la logica rispetto a una soluzione di riferimento, accettando soluzioni semanticamente equivalenti ma lessicalmente diverse.

3. Contributi Chiave

• Framework Agente Unificato: Introduzione di ACE-TA, un sistema che integra Q&A fondato, generazione di quiz adattivi e tutoraggio di codice passo-passo in un'unica pipeline.
• Integrazioni Ibride Innovative:
  • Uso di recupero ibrido (BM25 + FAISS) con riordinamento cross-encoder per la precisione concettuale.
  • Generazione di quiz multi-concetto con adattamento della difficoltà basato sulle risposte.
  • Tutoraggio incrementale del codice con esecuzione in sandbox e feedback iterativo a livello di singolo passaggio.
• Valutazione Rigorosa: Dimostrazione dell'efficacia del sistema attraverso metriche quantitative (RAGAS, BERTScore, CodeBLEU, DWPM) e valutazioni qualitative da parte di Esperti del Soggetto (SME).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset derivato dal libro "Learning Python" (5ª ed.), comprendente 100 coppie Q&A, 108 quiz e 150 problemi di codice di difficoltà variabile.

• Q&A Concettuale:

  • Il modulo ha raggiunto un punteggio di rilevanza della risposta (RAGAS) di 0.94 e un BERTScore F1 di 0.93, indicando un'alta fedeltà semantica e lessicale rispetto al materiale di riferimento.
  • Gli SME hanno valutato la profondità delle spiegazioni di ACE-TA con una media di 3.8/5, significativamente superiore a quella di Gemini 2.5 Pro (1.3/5), notando che ACE-TA evita informazioni fuorvianti o "spazzatura".

• Generazione di Quiz:

  • Le metriche di copertura (Entropia di Shannon penalizzata) e bilanciamento (Evenness di Pielou) mostrano una copertura ampia (media 1.73) e un bilanciamento eccellente (media 0.97) tra i sottotemi.
  • La valutazione degli SME sulla qualità delle spiegazioni dei quiz ha dato una media di 3.57/5, indicando un'adeguatezza generale con margini di miglioramento.

• Tutoraggio di Codice:

  • È stata misurata la robustezza utilizzando 7 modelli LLM diversi. La Difficulty Weighted Performance Measure (DWPM) ha mostrato che i modelli più grandi (es. Gemma 3 27B) raggiungono quasi il 100% di successo, mentre i modelli più piccoli beneficiano notevolmente della guida strutturata del tutor.
  • È stata trovata una forte correlazione positiva (Spearman ρ = 0.875) tra la "capacità effettiva" del modello (parametri + precisione) e la robustezza nella risoluzione dei problemi.
  • Gli SME hanno valutato la chiarezza dei passaggi generati con una media di 3.84/5, confermando che la decomposizione passo-passo è efficace anche per problemi complessi.

5. Significato e Conclusioni

ACE-TA rappresenta un passo avanti significativo nell'integrazione dell'Intelligenza Artificiale Agente (AAI) nell'istruzione superiore. A differenza dei sistemi precedenti che trattano Q&A e coding separatamente, ACE-TA offre un'esperienza unificata che:

1. Migliora l'Accessibilità: Fornisce supporto 24/7 con risposte fondate su materiale didattico specifico, riducendo il carico sui TA umani.
2. Promuove l'Apprendimento Profondo: Attraverso la decomposizione dei problemi e il feedback iterativo, aiuta gli studenti a passare dalla comprensione astratta all'implementazione pratica.
3. Valutazione Adattiva: Sostituisce i quiz statici con valutazioni dinamiche che si adattano al livello dello studente.

Il lavoro conclude che ACE-TA è uno strumento affidabile per rafforzare sia la comprensione concettuale che le competenze pratiche di programmazione. Le ricerche future si concentreranno sull'estensione del sistema ad altri corsi (oltre Python) e su studi di implementazione in classe per misurare l'impatto reale sull'apprendimento e identificare ulteriori modalità di fallimento da correggere.