💻 computer science

Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Questo studio impiega la ricerca basata sul design per dimostrare che un assistente alla codifica GPT personalizzato, quando integrato con prompt strutturati e un flusso di lavoro collaborativo incentrato sull'uomo, supporta efficacemente la codifica deduttiva del dialogo in classe, evidenziando al contempo che una collaborazione uomo-IA di successo dipende dall'interazione dinamica tra l'architettura dei prompt, la sequenza del flusso di lavoro e la posizione del ricercatore nei confronti dell'IA.

Autori originali: Luwei Bai, Dongkeun Han, Sara Hennessy

Pubblicato 2026-07-13

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Luwei Bai, Dongkeun Han, Sara Hennessy

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di decodificare un linguaggio segreto parlato in un'aula di classe. Insegnanti e studenti stanno avendo una conversazione profonda e complessa, e il tuo compito è classificare ogni singola frase in categorie specifiche come "Ragionamento", "Invito alla riflessione" o "Accordo". Farlo a mano è come cercare di bere da una idrante: è estenuante, richiede un tempo infinito e il tuo cervello si stanca.

Entra in scena il Customised GPT Coding Assistant (CGCA). Pensa a questa IA non come a un robot magico che sa tutto, ma come a un tirocinante molto intelligente e veloce che ha ricevuto un manuale di regole specifico (chiamato Cambridge Dialogue Analysis Scheme) e alcuni esempi di frasi da studiare. I ricercatori dell'Università di Cambridge volevano vedere: Possiamo addestrare questo tirocinante a fare il lavoro pesante? E come possiamo lavorare insieme senza che il tirocinante prenda il sopravvento o l'umano si infastidisca?

Ecco cosa hanno scoperto, servito con alcune metafore per mantenere tutto chiaro.

1. L' "Tirocinante" ha bisogno delle istruzioni giuste (Prompt Engineering)

All'inizio, i ricercatori hanno semplicemente consegnato all'IA l'intero manuale di regole e hanno detto: "Vai!". Il risultato? L'IA si è confusa. Era come dare a un nuovo dipendente un manuale di 500 pagine e aspettarsi che sapesse esattamente cosa fare fin dal primo giorno. L'accuratezza dell'IA era bassa, talvolta solo al 6,7% per certe categorie.

I ricercatori si sono resi conto che l'IA ha un "cervello" che funziona diversamente da quello umano. Si sente sopraffatta se le dai troppo testo tutto in una volta. Così, hanno iniziato il prompt engineering. Questo è come riscrivere le istruzioni per il tirocinante. Invece di un enorme muro di testo, hanno:

Scomposto le regole in un "albero decisionale" (Se accade X, allora fai Y).
Dato all'IA meno esempi, ma migliori (circa 5–15 scelti con cura invece di centinaia).
Renduto le istruzioni passo dopo passo.

Il Risultato: Dopo queste modifiche, l'accuratezza dell'IA è balzata al 64,9%. Non è perfetta (gli umani di solito concordano tra loro circa il 70–75% delle volte), ma è sufficiente per essere un compagno utile. Il documento suggerisce che limitarsi a incollare il manuale di formazione di un essere umano in un prompt per il computer non funziona; devi ristrutturare le istruzioni per adattarle al modo in cui pensa l'IA.

2. Chi va per primo? La danza "Human-First" vs. "AI-First"

I ricercatori hanno testato due modi per lavorare con questo tirocinante IA. Hanno fatto provare a sei ricercatori educativi (alcuni nuovi alla codifica, altri esperti) entrambi i metodi su 55 turni di dialogo in classe.

Condizione A (Human-First): L'umano codifica la frase per prima, poi chiede all'IA: "Cosa ne pensi?".
Condizione B (AI-First): L'umano chiede all'IA: "Cosa ne pensi?" per prima, poi l'umano decide se è d'accordo.

Le Scoperte:
Quando l'umano andava per primo, l'accordo tra l'umano e lo "standard di riferimento" (il codificatore esperto originale) era di circa 0,40 (una misura di quanto bene si corrispondessero).
Quando l'IA andava per prima, quel numero è salito leggermente a 0,45.
Nota: Il documento afferma che questa differenza è piccola e non è statisticamente "provata" come un grande successo perché il gruppo era troppo piccolo, ma la tendenza suggerisce che iniziare con l'IA potrebbe aiutare le persone a rispettare meglio le regole.

Inoltre, quando l'IA andava per prima, gli umani finivano il lavoro più velocemente. Tuttavia, i ricercatori hanno notato qualcosa di complicato: nel gruppo "AI-First", alcune persone sentivano di stare solo controllando il lavoro dell'IA, mentre nel gruppo "Human-First", sentivano di essere controllati dall'IA.

3. L'Ingrediente Segreto: Come tratti l'IA

Questa è la parte più interessante. I ricercatori hanno scoperto che come l'umano si sentiva nei confronti dell'IA contava più dell'ordine delle operazioni. Hanno individuato due "personalità" distinte nel modo in cui i codificatori lavoravano:

Il Partner "Dialogico" (I Collaboratori)
Circa metà del team (Partecipanti C, D ed E) trattava l'IA come un amico critico o un partner di dibattito.

La Metafora: Immagina di giocare a tennis con un partner che ti rimanda la palla in modo che tu possa colpirla più forte. Non si fidavano ciecamente dell'IA, ma usavano i suoi suggerimenti per testare il proprio pensiero. "Hmm, l'IA dice che questo è un 'Ragionamento'. Perché? Oh, vedo, perché c'è la parola 'perché'. Ok, sono d'accordo."
L'Esito: Anche se alcuni di queste persone erano principianti nella codifica, sono stati quelli che sono migliorati di più. Hanno trattato l'IA come uno strumento per aiutarli a imparare e affinare le loro decisioni.

Il Guardiano "Supervisore" (Gli Scettici)
L'altra metà (Partecipanti A, B e F) trattava l l'IA come un sospetto o una macchina che necessitava di un controllo costante.

La Metafora: Immagina una guardia giurata che pensa che la telecamera sia rotta e cerca costantemente di dimostrare che sbaglia. Dicevano cose come: "Sto controllando ChatGPT" o "Non credo sia un collega". Mantenevano la distanza, rifiutandosi di avere una "conversazione" con lo strumento.
L'Esito: Queste persone non sono migliorate tanto. La loro accuratezza nella codifica è rimasta più bassa e hanno passato meno tempo a interagire con il ragionamento dell'IA. Erano così concentrati sul verificare l'IA che hanno perso l'opportunità di collaborare con essa.

4. Cosa esclude il documento

È importante sapere cosa questo studio non dice:

NON è una soluzione magica: Non puoi semplicemente buttare un enorme mucchio di dati e un manuale di regole standard in un'IA e aspettarti che funzioni perfettamente. Il documento sostiene esplicitamente che "il semplice trasferimento diretto di un codice di formazione umano in un prompt è insufficiente".
NON è un sostituto delle competenze: Lo studio non afferma che l'IA renda gli umani esperti istantaneamente. In effetti, un partecipante (Partecipante E) ha iniziato deferendo all'IA perché mancava di fiducia, e solo in seguito ha imparato a giudicare criticamente il lavoro dell'IA. Il documento suggerisce che questo potrebbe essere un aumento temporaneo della fiducia, non necessariamente un salto permanente nelle abilità indipendenti.
NON è una soluzione "universale": Il documento sostiene che non esiste un unico modo perfetto per usare l'IA. Ciò che funziona per un partner "dialogico" potrebbe non funzionare per un guardiano "supervisore".

5. Quanto siamo sicuri?

I ricercatori sono cauti con le parole. Dicono che le loro scoperte suggeriscono che un approccio "dialogico" (trattare l'IA come un partner) porti a risultati migliori. Suggeriscono che iniziare con l'IA (AI-first) possa aiutare la coerenza.

Il Livello di Confidenza: Lo studio è un'esplorazione "su piccola scala" con solo sei persone. Gli autori ammettono che, poiché il gruppo è molto piccolo, non possono dire con certezza che il metodo "AI-first" sia sicuramente migliore; possono solo dire che i numeri tendevano in quella direzione.
L'Accuratezza: L'IA ha raggiunto una precisione del 64,9%. Il documento afferma che questo livello "si avvicina" al livello di accordo umano del 70–75%, ma non vi è ancora arrivato. È uno "strumento strutturato di supporto alle decisioni", non una chiave di risposta finale.

Il Quadro Generale

Questo studio dipinge un quadro della collaborazione uomo-IA non come un semplice scenario "uomo contro macchina" o "macchina che fa il lavoro". È invece una danza dinamica.

Il successo della danza dipende da tre cose che si muovono insieme:

I Passi (Il Design dell'IA): Le istruzioni devono essere semplici, passo dopo passo e adattate al cervello dell'IA (come un albero decisionale).
La Musica (Il Contesto): L'ordine delle operazioni (chi va per primo) cambia il ritmo.
La Mentalità del Ballerino (L'Umano): Se tratti l'IA come un partner per imparare, balli meglio. Se la tratti come un nemico da controllare, inciampi.

Il documento conclude che l'IA nella ricerca è un processo socio-tecnico. Non riguarda solo il codice; riguarda il modo in cui l'umano si sente, pensa e interagisce con lo strumento. Per un adolescente curioso, il messaggio è questo: Lo strumento è buono quanto la relazione che costruisci con esso. Se lo tratti come un compagno di squadra intelligente, ti aiuta a crescere. Se lo tratti come uno straniero sospettoso, starà lì fermo in attesa di essere controllato.

Sintesi Tecnica: Collaborazione Uomo-IA nella Codifica Deduttiva del Dialogo in Classe

Problematica
Il dialogo in classe è un meccanismo critico per la co-costruzione della conoscenza e lo sviluppo cognitivo, eppure la sua analisi sistematica tramite codifica deduttiva rappresenta un collo di bottiglia. La codifica manuale utilizzando quadri consolidati come il Cambridge Dialogue Analysis Scheme (CDAS) è cognitivamente impegnativa, richiede molto tempo ed è difficile da scalare. Sebbene i Large Language Models (LLM) offrano un potenziale per l'automazione dell'analisi qualitativa, gli approveri tradizionali supervisionati richiedono ampi dataset annotati, spesso non disponibili nella ricerca educativa specializzata. Inoltre, manca una comprensione empirica su come implementare in modo pratico sistemi conversazionali leggeri e configurati per la codifica deduttiva e su come si sviluppi il processo di collaborazione uomo-IA in questo specifico contesto.

Metodologia
Lo studio ha impiegato un approccio di Design-Based Research (DBR) combinato con un disegno quasi-sperimentale entro i soggetti per affrontare tre domande di ricerca: (1) come ottimizzare un Customised GPT Coding Assistant (CGCA) per la codifica deduttiva con dati limitati; (2) come la sequenza del flusso di lavoro (Human-first vs. AI-first) influenzi la collaborazione; e (3) quali fattori a livello dell'utente influenzino i modelli di collaborazione.

Sviluppo del Sistema (RQ1): I ricercatori hanno sviluppato iterativamente un CGCA basato sul framework CDAS. I tentativi iniziali di utilizzare un trasferimento diretto del codicebook umano non hanno ottenuto prestazioni affidabili. Le iterazioni successive si sono concentrate su strategie di prompt engineering, tra cui:
- Architettura delle Istruzioni: Passaggio da semplici elenchi di regole a una logica ad albero decisionale, strutture if–else e segmentazione modulare per ridurre il carico cognitivo e allinearsi ai vincoli di elaborazione degli LLM.
- Selezione degli Esemplari: Curatela di un piccolo set di esempi di alta qualità e diversificati (5–15 per categoria, inclusi casi core, ambigui e limite), piuttosto che fare affidamento su grandi volumi di dati non differenziati.
- Cicli di Feedback: Inclusione di passaggi di verifica interattivi per incoraggiare la classificazione basata su regole piuttosto che sul semplice riconoscimento di pattern superficiali.
- Valutazione: Il CGCA finale è stato testato su 1.386 turni di dialogo autentici, codificati da esseri umani durante lezioni di scuola primaria, valutato utilizzando precisione, richiamo (recall), accuratezza e punteggi F1.
Studio sulla Collaborazione (RQ2 & RQ3): Sei ricercatori educativi (con diversa competenza di codifica ed esperienza con l'IA) hanno partecipato a due condizioni di workflow:
- Condizione A (Human-first): I codificatori assegnano le etichette indipendentamente prima di consultare il CGCA.
- Condizione B (AI-first): I codificatori revisionano gli output del CGCA prima di finalizzare le proprie etichette.
- Raccolta Dati: I dati includevano record di codifica, log completi delle chat con GPT, protocolli di "think-aloud" e interviste post-task (incluse tecniche di stimulated recall).
- Analisi: L'analisi quantitativa ha misurato l'affidabilità inter-rater (Cohen's $\kappa$ ) rispetto a una codifica di riferimento. L'analisi qualitativa ha utilizzato un approccio tematico induttivo per identificare i fattori che modellano la collaborazione, caratterizzati su una scala ordinale (debole–moderata–forte) basata sulle evidenze del discorso.

Risultati Chiave

Prestazioni del Sistema (RQ1): Il CGCA basale iniziale mostrava una precisione bassa (6,7%–38,2%). Attraverso il raffinamento iterativo della struttura dei prompt e la curatela degli esempi, il sistema finale ha raggiunto una precisione a livello di turno del 64,9%, avvicinandosi al 70–75% di accordo inter-coder tipico degli esperti umani. Lo studio ha rilevato che la chiarezza strutturale (alberi decisionali, ragionamento stepwise) e gli esempi ricchi di contesto erano più critici rispetto al mero volume di esempi.
Impatto del Workflow (RQ2): La condizione AI-first (Condizione B) ha prodotto valori medi di Cohen's $\kappa$ leggermente superiori (M ≈ 0,45) rispetto alla condizione Human-first (M ≈ 0,40), sebbene la differenza non fosse statisticamente significativa a causa del piccolo campione. La Condizione B è stata associata a una riduzione del tempo di codifica per turno. L'analisi qualitativa ha rivelato che la Condizione B ha spesso innescato effetti di ancoraggio (anchoring effects), dove gli output iniziali dell'IA influenzavano il giudizio umano successivo, mentre la Condizione A comportava un ragionamento autonomo e una negoziazione basata sulle regole più estesi.
Fattori Utente e Modelli di Collaborazione (RQ3): Lo studio ha identificato due orientamenti distinti nel modo in cui i ricercatori interagivano con il CGCA:
1. Orientamento Dialogico: I partecipanti trattavano l'IA come un "amico critico" o un interlocutore collaborativo. Utilizzavano gli output dell'IA per esternalizzare il ragionamento e ricalibrare le proprie decisioni. Questo gruppo, che includeva codificatori novizi, ha dimostrato i maggiori miglioramenti nella codifica e nei guadagni di apprendimento.
2. Orientamento di Supervisione: I partecipanti vedevano l'IA come un oggetto di scrutinio, mantenendo una distanza epistemica e concentrandosi sulla verifica dell'affidabilità del modello piuttosto che sul dialogo. Questo gruppo mostrava meno ragionamento iterativo e minori guadagni di prestazione.
- Spostamento Dinamico: La posizione non era statica; ad esempio, un partecipante novizio è passato da una posizione deferente a una più critica e negoziata man mano che la propria fiducia cresceva attraverso l'interazione.

Contributi Chiave

Prompt Engineering per la Codifica Deduttiva: Lo studio dimostra che una efficace codifica deduttiva assistita dall'IA richiede l'adattamento delle procedure di codifica umana per adattarsi ai vincoli degli LLM. Nello specifico, decomporre i giudizi complessi in logica ad albero decisionale e utilizzare esempi curati e diversificati produce risultati migliori rispetto all'inserimento di semplici codebook o estesi volumi di esempi.
Framework Socio-Tecnico: Il paper propone un framework preliminare che concettualizza la collaborazione uomo-IA nella codifica qualitativa come un processo dinamico e reciproco. Esso postula che i risultati siano determinati congiuntamente dal design del sistema CGCA (architettura del prompt), dalle condizioni contestuali (sequenza del workflow) e dalle caratteristiche del codificatore umano (posizione, fiducia, conoscenza pregressa).
Ruolo della Posizionamento (Positionality): I risultati sfidano l'idea che l'autorità umana debba essere strettamente di supervisione. Al contrario, una posizione "dialogica" — in cui l'umano mantiene il controllo valutativo finale ma tratta l'IA come un partner di ragionamento — sembra produrre una migliore accuratezza della codifica e risultati di apprendimento, particolarmente per i codificatori meno esperti.

Significatività e Rivendicazioni
Gli autori sostengono che la codifica del dialogo supportata dall'IA debba essere intesa non solo come un compito di automazione tecnica, ma come un processo socio-tecnico dinamico. Lo studio suggerisce che:

Implicazioni di Design: Costruire strumenti IA efficaci richiede più della semplice traduzione di regole umane; richiede architetture di prompt che si allineino con la teoria del carico cognitivo e i limiti di elaborazione degli LLM.
Dinamiche Collaborative: L'efficacia della collaborazione uomo-IA è fortemente influenzata dalla posizione (positionality) del codificatore (come egli percepisce la propria relazione con l'IA). Trattare l'IA come un partner collaborativo piuttosto che come uno strumento subordinato può portare a risultati analitici più solidi e a guadagni di apprendimento.
Equità nella Codifica: Il CGCA può fungere da "meccanismo di livellamento", riducendo il divario di prestazione tra codificatori novizi ed esperti quando il novizio adotta un orientamento dialogico.

Gli autori rimangono modesti nelle loro rivendicazioni, riconoscendo la scala ridotta dello studio (n=6), il contesto specifico delle classi primarie del Regno Unito e la mancanza di prove a lungo termine riguardo allo sviluppo indipendente delle competenze. Essi sottolineano che le strategie di implementazione uniformi difficilmente saranno efficaci e che sono necessarie ulteriori ricerche per validare questi risultati su campioni più ampi e diversi framework di codifica.