🤖 AI

Learning to Code with Context: A Study-Based Approach

Questo articolo presenta uno studio sugli utenti condotto all'interno di un corso universitario di sviluppo di videogiochi che indaga come gli studenti utilizzano gli strumenti di intelligenza artificiale generativa durante l'intero ciclo di vita del software e valuta l'efficacia di un assistente LLM distribuito localmente e consapevole del repository, utilizzando la Generazione Aumentata dal Recupero (Retrieval-Augmented Generation) per fornire un supporto contestualmente fondato.

Autori originali: Uwe M. Borghoff, Mark Minas, Jannis Schopp

Pubblicato 2026-06-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Uwe M. Borghoff, Mark Minas, Jannis Schopp

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Insegnare ai programmatori nell'era dell'IA

Immaginate un corso universitario dove gli studenti sono come una squadra di architetti e costruttori incaricati di creare da zero un complesso videogioco. Questo è un corso di "progetto di programmazione". Di solito, questi studenti imparano a costruire facendo esperienza diretta, ma ora hanno un nuovo, potente strumento in tasca: l'IA Generativa (come ChatGPT o GitHub Copilot).

I ricercatori dell'Università della Bundeswehr di Monaco volevano rispondere a due grandi domande:

Come stanno effettivamente usando questi strumenti di IA gli studenti in questo momento?
Possiamo costruire uno strumento di IA migliore che comprenda davvero il gioco specifico che gli studenti stanno costruendo, invece di limitarsi a tirare a indovinare?

Parte 1: Lo studio del "Far West" (Cosa hanno fatto gli studenti naturalmente)

Per prima cosa, i ricercatori hanno osservato cosa succedeva quando gli studenti venivano lasciati a se stessi con strumenti di IA pubblici e gratuiti. Hanno chiesto a 38 studenti di compilare un sondaggio dopo la conclusione del loro progetto.

Le scoperte:

La divisione tra "Testo" e "Codice": Gli studenti adoravano usare l'IA per scrivere. Era come avere un segretario velocissimo in grado di bozzare requisiti, scrivere manuali utente o spiegare cosa potrebbe fare un determinato pezzo di codice.
Il problema delle "Allucinazioni": Quando si trattava di scrivere effettivamente il codice per il loro gioco specifico, l'IA spesso si perdeva. Immaginate di chiedere a un agente di viaggio di prenotare un volo per una città che non esiste ancora. L'IA inventava con sicurezza dettagli che non corrispondevano al progetto reale degli studenti.
Il divario di "Contesto": Il problema principale era che gli strumenti di IA pubblici non conoscevano le "planimetrie" specifiche (il codice sorgente) su cui gli studenti stavano lavorando. Erano come un meccanico che cerca di riparare una Ferrari consultando però il manuale di una Ford. L'IA suggeriva componenti che non si adattavano o che non esistevano nel codice degli studenti.

Il verdetto: Gli studenti hanno usato molto l'IA (l'89% di loro!), soprattutto per risparmiare tempo sulla scrittura e sulla spiegazione. Ma quando cercavano di usarla per costruire il gioco vero e proprio, spesso dovevano correggere gli errori dell'IA perché l'IA non "conosceva" il loro progetto specifico.

Parte 2: L'esperimento del "Bibliotecario Locale" (La nuova soluzione)

Rendendosi conto che gli strumenti di IA pubblici erano come enciclopedie di "cultura generale" prive di dettagli specifici, i ricercatori hanno costruito il proprio assistente IA personalizzato.

Come funziona (L'analogia):
Pensate all'IA pubblica come a uno scrittore geniale ma amnesico. Sa come scrivere codice, ma non sa che aspetto abbia la vostra casa specifica.

I ricercatori hanno costruito un Bibliotecario Locale.

La Biblioteca: Hanno inserito l'intero codice del gioco e la documentazione degli studenti in una biblioteca privata e locale (un "repository").
Il Bibliotecario: Questo assistente IA vive su un computer situato direttamente nel campus (per la privacy). Prima di rispondere a una domanda, non si limita a tirare a indovinare; va in biblioteca, trova i progetti e i file di codice esatti rilevanti per la domanda e li legge.
Il Risultato: Ora, quando uno studente chiede: "Come aggiungo un effetto sonoro alla nave?", il Bibliotecario guarda il codice reale della nave nella biblioteca e fornisce una risposta che si adatta perfettamente, invece di inventare cose a caso.

L'esperimento:
Hanno testato questo "Bibliotecario Locale" con due compiti specifici:

Compito A: Cambiare l'aspetto delle navi nel gioco (da scatole a modelli 3D).
Compito B: Aggiungere una musica di sottofondo che può essere attivata o disattivata.

Hanno testato diverse "personalità" dell'IA (diversi modelli) e diverse impostazioni (quanto l'IA debba essere creativa rispetto a quanto debba essere rigorosa).

I risultati:

Il contesto è il Re: Il Bibliotecario Locale è stato molto più bravo nel fornire risposte che si adattassero effettivamente al progetto. Non ha inventato codice falso con la stessa frequenza perché aveva le planimetrie reali da consultare.
L'impostazione "Goldilocks" (né troppo, né troppo poco): Hanno scoperto che se l'IA era troppo "creativa" (alta casualità), ricominciava ad allucinare. Se era troppo "rigorosa", risultava noiosa. Un'impostazione intermedia funzionava meglio.
La dimensione non sempre conta: Sorprendentemente, i modelli di IA più grandi e potenti non erano sempre i migliori. Un modello di medie dimensioni ha svolto un ottimo lavoro, mentre il modello più piccolo faticava a comprendere le istruzioni complesse.
Un difetto ostinato: Anche con il Bibliotecario, l'IA a volte dimenticava di aggiornare una specifica "lista di risorse" (come dimenticare di registrare un nuovo file sonoro nel menu del gioco). Questo accadeva in quasi tutti i modelli, suggerendo che sia un'abitudine difficile da scardinare per l'IA, non solo una mancanza di conoscenza.

Conclusione

Il documento conclude che, sebbene l'IA sia uno strumento fantastico per aiutare gli studenti a scrivere documentazione e comprendere concetti generali, fatica quando prova a costruire software specifico senza "leggere la stanza" (il contesto del progetto).

Costruendo un'IA che ha accesso diretto al codice e ai documenti del progetto (il "Bibliotecario Locale"), i ricercatori hanno dimostrato che l'IA può diventare un partner molto più affidabile. Smette di tirare a indovinare e inizia ad aiutare con soluzioni accurate e consapevoli del contesto.

Cosa c'è in arrivo?
I ricercatori intendono trasformare questo "Bibliotecario Locale" in un vero Tutor. Invece di dare semplicemente la risposta, vogliono che l'IA guidi gli studenti attraverso il problema, aiutandoli a imparare come risolverlo, piuttosto che consegnare loro una soluzione già pronta. Ciò assicura che gli studenti apprendano comunque le competenze necessarie, anche con l'IA al loro fianco.

Sintesi Tecnica: Imparare a Programmare con il Contesto: Un Approccio Basato sullo Studio

Definizione del Problema

La rapida emergenza di strumenti di IA generativa sta trasformando lo sviluppo del software, rendendo necessaria un'adattamento nell'educazione all'ingegneria del software. Sebbene gli studenti utilizzino frequentemente strumenti di IA general-purpose (ad es., ChatGPT, GitHub Copilot), essi incontrano spesso limitazioni significative quando applicano tali strumenti a progetti software strutturati e basati su team. Nello specifico, i modelli general-purpose mancano della consapevolezza del contesto specifico del progetto, inclusi il codice sorgente proprietario, la documentazione del progetto e i framework specifici del dominio (ad es., jMonkeyEngine). Ciò porta a "allucinazioni", generazione di codice inaccurato e fallimenti di integrazione, in particolare quando gli studenti tentano di usare l'IA per la comprensione e l'implementazione del codice piuttosto che per la semplice generazione di testo. Inoltre, vi è una preoccupazione riguardo alla "degradazione delle competenze", dove l'eccessiva dipendenza dall'IA potrebbe ostacolare lo sviluppo di capacità di problem-solving indipendenti. La sfida centrale è sviluppare un sistema di supporto all'IA che fornisca un'assistenza significativa e consapevole del contesto senza fornire semplicemente soluzioni pronte all'uso, operando al contempo entro i vincoli di protezione dei dati che richiedono un deployment locale.

Metodologia

Gli autori hanno impiegato un approccio empirico in due fasi all'interno di un corso universitario di programmazione in cui team di studenti sviluppano videogiochi 3D multiplayer utilizzando Java e un modello di processo a cascata (waterfall).

Fase 1: Studio sull'Utente (Quantitativo e Qualitativo)

Contesto: Condotto durante il trimestre Ottobre–Dicembre 2024 con 38 partecipanti (circa il 78% della coorte).
Raccolta Dati: Un questionario strutturato basato sul Modello di Accettazione della Tecnologia è stato somministrato durante le presentazioni finali del progetto. Ha valutato l'uso dell'IA attraverso quattro fasi: Preparazione, Analisi, Progettazione e Codifica & Testing.
Focus: Lo studio ha investigato quali compiti gli studenti eseguivano con l'IA, l'utilità percepita, il risparmio di tempo e le sfide specifiche incontrate (ad es., mancanza di contesto, risultati inaccurati).

Fase 2: Case Study (Assistente LLM Consapevole del Repository)

Design del Sistema: Per affrontare i limiti di contesto identificati nella Fase 1, gli autori hanno sviluppato un assistente Large Language Model (LLM) locale e consapevole del repository.
Architettura:
- Generazione Aumentata dal Recupero (RAG): Il sistema impiega un meccanismo di grounding a doppio percorso.
  1. RAG a livello di documento: Recupera la documentazione del progetto e i materiali ausiliari tramite embedding semantici.
  2. Ricerca a livello di codice: Utilizza strumenti di sola lettura tramite API GitLab (file_path_finder, get_content_from_file, get_methods) per recuperare file di codice sorgente specifici e firme di metodi basandosi sulle query dell'utente.
- Deployment: Il sistema gira su un server locale NVIDIA DGX-H100 utilizzando container Docker. Utilizza vLLM per il serving del modello (API compatibile con OpenAI) e Open WebUI per l'interfaccia di chat.
- Privacy dei Dati: Il deployment locale garantisce il controllo dei dati e la riproducibilità, rispondendo ai requisiti istituzionali di protezione dei dati.
Valutazione:
- Task: Sono stati utilizzati due task rappresentativi della fase di "Preparazione" del progetto Battleship: (1) Aggiunta di modelli 3D per le navi in base alla lunghezza, e (2) Implementazione dei controlli della musica di sottofondo.
- Variabili: Lo studio ha condotto una "scansione di campionamento" (variando temp, top_p, min_p) e una "scansione di modelli" (testando sei modelli con parametri da 7B a 236B, inclusi varianti di DeepSeek-Coder, Mistral e Qwen).
- Analisi: Gli output generati sono stati analizzati rispetto a un "Catalogo dei Difetti" contenente 12 categorie di errori (ad es., Allucinazione, Uso improprio degli strumenti, Robustezza insufficiente, Mancata registrazione di risorse).

Contributi Chiave

Evidenza Empirica dei Limiti di Contesto: Lo studio sull'utente fornisce dati quantitativi che dimostrano come, sebbene gli studenti adottino massicciamente l'IA per la documentazione e i requisiti (compiti ricchi di testo), essi incontrino difficoltà significative nella comprensione e implementazione del codice a causa della mancanza di contesto del progetto negli strumenti general-purpose.
Architettura dell'Assistente Consapevole del Repository: Il paper presenta un'implementazione concreta di un assistente basato su RAG, distribuito localmente, che integra il recupero di documenti con lookup del repository a livello di codice. Questo sistema è progettato per ancorare le risposte agli artefatti reali del progetto.
Catalogo dei Difetti per l'IA nell'Educazione: Gli autori definiscono un catalogo specifico di 12 tipi di difetti ricorrenti osservati quando gli LLM interagiscono con i repository software, fornendo un framework per l'analisi qualitativa del comportamento dell'IA in contesti educativi.
Analisi della Sensibilità di Parametri e Modelli: Lo studio offre risultati empirici su come i parametri di campionamento (specificamente la temperatura e min_p) e la dimensione del modello influenzino la frequenza di specifici difetti (ad es., allucinazioni) in un contesto consapevole del repository.

Risultati

Risultati dello Studio sull'Utente

Adozione: L'89,4% dei partecipanti ha utilizzato strumenti di IA. L'adozione è stata più alta nella fase di Codifica & Testing (33/38 utenti) e più bassa nella fase di Progettazione (10/38 utenti).
Utilità: L'IA è stata valutata come "utile" o "molto utile" per le fasi di Preparazione e Codifica & Testing, particolarmente per la documentazione e la generazione di codice. Tuttavia, è stata valutata come meno utile (spesso "neutra" o "non utile") durante la fase di Progettazione, principalmente a causa dell'incapacità dell'IA di generare diagrammi accurati (classi, sequenza, stati).
Sfide: I problemi principali riportati sono stati "risultati inaccurati", "mancanza di contesto" (l'IA non conosceva il codice specifico del progetto o i framework come jMonkeyEngine) e "allucinazioni" (generazione di metodi inesistenti).
Percezione: Nonostante le sfide, 24 utenti su 34 hanno ritenuto che l'IA facesse risparmiare loro un tempo significativo, e la maggioranza ha espresso l'intenzione di utilizzare l'IA in progetti futuri.

Risultati del Case Study

Efficacia del Contesto: L'assistente consapevole del repository ha prodotto costantemente output più allineati alla struttura del progetto rispetto agli strumenti general-purpose osservati nello studio sull'utente. L'ancoraggio delle risposte agli artefatti reali del repository ha ridotto i problemi di integrazione.
Pattern di Difetto:
- Allucinazione: È rimasta il difetto più frequente (presente in 14/15 configurazioni di campionamento), particolarmente ad alte temperature ( $T=1.0$ ). Tuttavia, la capacità del sistema di recuperare i file ha spesso permesso l'autocorrezione nei turni successivi.
- Mancata Registrazione di Risorse: Un difetto ricorrente in quasi tutti i modelli e le configurazioni, in cui il modello non riusciva a registrare nuove risorse (ad es., chiavi di localizzazione) nonostante avesse recuperato correttamente la documentazione pertinente. Ciò suggerisce un "gap tra recupero e azione".
- Parametri di Campionamento: La configurazione $T \approx 0.5$ , $top\_p = 0$ (o basso) si è rivelata la più stabile, producendo il minor numero di difetti. Temperature elevate combinate con filtri hanno spesso aumentato i tassi di errore.
Performance dei Modelli:
- La dimensione del modello non ha mostrato una correlazione lineare con il successo. Il modello Devstral-Small-2505 da 24B ha prodotto output altamente utilizzabili, mentre il Mistral-7B da 7B non è riuscito a completare i task senza estesi follow-up.
- I modelli molto grandi (ad es., 235B) hanno fornito un ragionamento dettagliato ma non hanno superato costantemente i modelli di medie dimensioni in termini di fedeltà di integrazione.
- Un problema ricorrente in tutti i modelli è stato il mancato utilizzo efficace del contesto recuperato per azioni specifiche (ad es, scrivere in file di risorse), indicando che l'integrazione degli strumenti è un collo di bottiglia indipendente dalla dimensione del modello.

Significato e Rivendicazioni

Il paper sostiene che l'integrazione del recupero consapevole del contesto (specificamente l'ancoraggio al repository) sia un passo critico per rendere l'IA utile nell'educazione all'ingegneria del software. Gli autori affermano che, sebbene gli strumenti di IA general-purpose siano preziosi per i compiti basati sul testo, essi sono insufficienti per l'implementazione del codice senza l'accesso agli artefatti specifici del progetto.

Lo studio dimostra che un assistente locale consapevole del repository può mitigare la "debolezza di integrazione" dell'IA generica, producendo output più coerenti e riproducibili. Tuttavia, gli autori rimangono modesti sullo stato attuale della tecnologia, riconoscendo che:

Le allucinazioni e l'uso improprio degli strumenti persistono anche con il RAG.
La generazione di diagrammi e il design visivo rimangono aree in cui il supporto dell'IA è debole.
La degradazione delle competenze è un rischio; pertanto, la direzione futura proposta non è un'IA che risolva i problemi per gli studenti, ma un "tutor" che fornisca suggerimenti e guidi il problem-solving indipendente.

Il significato di questo lavoro risiede nel suo passaggio dalla valutazione di strumenti IA generici alla progettazione e valutazione di assistenti IA specifici per il contesto che rispettino la privacy dei dati e gli obiettivi educativi, fornendo un modello di come tali sistemi possano essere integrati nei programmi di studio di ingegneria del software.