Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

Sintesi Tecnica: Visibilità del Pensiero: Una Riconcettualizzazione Interventista della Valutazione nell'Era della Co-produzione tramite IA

Definizione del Problema
Il documento affronta un paradosso strutturale nella didattica contemporanea: mentre gli educatori integrano sempre più l'IA Generativa (GenAI) nella pratica professionale, i criteri di valutazione rimangono progettati per l'autoria umana indipendente. La letteratura attuale si concentra pesantemente sul controllo dell'integrità, sulla rilevazione dei brogli e sulla riformulazione della validità, ma non fornisce account empiricamente fondati su come i criteri di valutazione si trasformino quando la co-produzione tramite IA è strutturalmente integrata nel lavoro dello studente. Le soluzioni esistenti, come la documentazione del processo, si sono dimostrate vulnerabili alla generazione stessa da parte dell'IA, lasciando i professionisti senza quadri operativi e i decisori politici senza fondamenta evidenti. Il problema centrale è l'incapacità dei criteri tradizionali di cogliere se gli studenti stiano realmente valutando il proprio pensiero o se stiano delegando tale giudizio all'IA, creando una crisi di autenticità e validità.

Metodologia
Lo studio utilizza la Teoria Storico-Culturale dell'Attività (CHAT) come lente analitica e il Laboratorio del Cambiamento come metodologia interventista. Questo approccio tratta le contraddizioni sistemiche non come errori da eliminare, ma come motori di trasformazione.

• Partecipanti: 11 educatori provenienti da nove paesi (tra cui Regno Unito, Nuova Zelanda, Indonesia e Arabia Saudita) operanti nei settori primario, secondario e terziario. Sono stati posizionati come co-ricercatori piuttosto che come soggetti.
• Design dell'Intervento: Un intervento di cinque workshop distribuiti in tre settimane, strutturato attorno ai sette stadi del ciclo di apprendimento espansivo di Engeström (Domanda, Analisi, Modellazione, Esame, Implementazione, Riflessione, Consolidamento).
• Generazione dei Dati: Sono stati introdotti "dati specchio", composti da tre testi di studenti con diversi gradi di utilizzo dell'IA, nel Workshop 1 per far emergere le contraddizioni tra i valori professionali e i criteri esistenti. Le fonti dei dati includono trascrizioni dei workshop, artefatti collaborativi (criteri ridisegnati), log delle chat e riflessioni pre/post intervista.
• Analisi: Lo studio ha tracciato la trasformazione dell' "oggetto della valutazione" (lo scopo dell'attività) attraverso l'intervento. Le perturbazioni osservate nei dati specchio sono state mappate sulle contraddizioni (primarie, secondarie, terziarie e quaternarie) all'interno del sistema di attività, tracciando una traiettoria dal questioning iniziale verso un oggetto ridefinito.

Risultati Chiave
L'intervento ha rivelato che le contraddizioni della valutazione non sono semplici glitch tecnici, ma profonde tensioni sistemiche.

1. La Traiettoria dell'Oggetto (O1–O7): Lo studio ha tracciato empiricamente l'evoluzione dell'oggetto di valutazione attraverso sette stadi:
   • O1–O2: Tentativi iniziali di creare criteri migliori per rilevare l'IA e calibrare i livelli cognitivi (tassonomia di Bloom).
   • O3–O4: Uno spostamento verso la valutazione del rigore del processo, dove un prodotto fallimentare derivante da un processo rigoroso è visto come un successo. Tuttavia, i partecipanti hanno scoperto che la documentazione del processo stesso poteva essere generata dall'IA, portando al ripristino del giudizio dell'insegnante come strumento epistemico necessario, seppur rischioso.
   • O5–O7: La consapevolezza che la sola riforma dei criteri è insufficiente. L'oggetto si è ampliato includendo una valutazione a doppio binario (processo formativo + competenza sommativa) e ha infine riconosciuto che la trasformazione completa richiede una riforma istituzionale e politica.
2. Il Paradosso Processo-Evidenza: Lo studio ha riscontrato che la documentazione del processo non è una soluzione di validità sicura perché è suscettibile alla stessa generazione tramite IA del prodotto finale.
3. Spostamento delle Contraddizioni: Sebbene l'intervento abbia parzialmente affrontato le contraddizioni chiave spostando il focus dal prodotto al processo, la maggior parte delle contraddizioni è stata spostata piuttosto che risolta. La frammentazione politica e la mancanza di supporto istituzionale sono rimaste invariate.
4. Visibilità del Pensiero (Thinking-Visibility): Lo studio ha identificato la necessità di rendere visibile il pensiero dello studente piuttosto che solo il prodotto o i passaggi del processo. Ciò è stato operazionalizzato attraverso meccanismi come l'interrogazione orale, l'annotazione dei prompt e i dialoghi di accountability in tempo reale.

Contributi Chiave
Il documento apporta quattro contributi specifici alla letteratura sulla valutazione mediata dall'IA:

1. Operazionalizzazione Empirica dell'Apprendimento Espansivo: Fornisce un account empirico della traiettoria dell'oggetto O1–O7, dimostrando come l'incontro dei professionisti con le tensioni sistemiche modelli progressivamente l'oggetto della valutazione, andando oltre l'identificazione teorica delle contraddizioni per tracciare le loro conseguenze evolutive.
2. Risoluzione del Paradosso Processo-Evidenza: Dimostra che la documentazione del processo non può garantire la validità della valutazione poiché è vulnerabile alla generazione tramite IA. Di conseguenza, il giudizio dell'insegnante è identificato come un requisito irriducibile — un meccanismo non sostituibile per interpretare la cognizione genuina, nonostante i rischi intrinsechi di inconsistenza e bias.
3. Necessità Istituzionale: Stabilisce che la riforma dei criteri non può avere successo senza un parallelo cambiamento istituzionale e politico. Lo studio espone la profondità della resistenza istituzionale e la frammentazione delle politiche (ad esempio, regole variabili tra gli enti d'esame) che rendono inefficaci i cambiamenti pedagogici isolati.
4. La Visibilità del Pensiero come Costrutto Teorico: Il documento propone la "visibilità del pensiero" come un costrutto provvisorio per nominare ciò che la valutazione deve diventare positivamente nei contesti mediati dall'IA. Sposta il focus da ciò che la valutazione deve smettere di essere (polizia/controllo) a ciò che deve diventare (rendere visibili il ragionamento dello studente e la proprietà degli output dell'IA).

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione dell'IA non produce un semplice miglioramento lineare della valutazione, ma crea un movimento tra stabilizzazione parziale e regressione, a seconda che le contraddizioni in termini di criteri, autenticità, equità e policy vengano affrontate collettivamente.

• Ambito Modesto: Gli autori riconoscono che l'intervento non ha risolto completamente tutte le contraddizioni; molte sono state solo spostate. Lo studio non si conclude con una soluzione definitiva, ma con un "apertura" per un secondo intervento.
• Ancoraggio Teorico: La significatività risiede nel fornire un ancoraggio teorico ("visibilità del pensiero") per riconcettualizzare l'oggetto della valutazione, andando oltre i principi di progettazione dei criteri.
• Direzioni Future: Il documento dichiara esplicitamente che la definizione di "pensiero" in questo contesto e l'operazionalizzazione della visibilità del pensiero attraverso meccanismi più resistenti alla sostituzione tramite IA (ad esempio, presenza in tempo reale rispetto alla documentazione) rimangono questioni aperte che richiedono ulteriori test empirici. Raccomanda un secondo intervento per affrontare la policy, l'alfabetizzazione degli insegnanti e la calibrazione della tassonomia di Bloom.