Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

Nel vasto mondo della ricerca educativa, gli scienziati si affidano spesso a sondaggi massicci per comprendere come gli studenti imparano, cosa li motiva e dove risiedono le disuguaglianze. Uno dei più famosi di questi sondaggi è il Programme for International Student Assessment, o PISA, che testa studenti di decine di paesi ogni pochi anni. Accanto ai test di matematica e lettura, gli studenti compilano lunghi questionari sulla loro vita, le loro abitudini e il loro modo di studiare. Questi questionari sono cruciali perché forniscono il contesto necessario per dare un senso ai punteggi dei test. Tuttavia, un problema persistente in tali sondaggi lunghi è che gli studenti a volte smettono di rispondere. Potrebbero saltare le domande finali, o potrebbero smettere di fornire risposte utili molto prima di abbandonare ufficialmente il test. Tradizionalmente, i ricercatori hanno trattato questa informazione mancante come un evento improvviso: uno studente risponde a una domanda e poi, improvvisamente, non lo fa più. Ma questa visione presuppone che il momento in cui uno studente smette di rispondere sia il momento in cui ha smesso di interessarsi, ignorando la possibilità che il suo comportamento possa essere cambiato silenziosamente per molto tempo prima che apparisse la prima casella vuota.

Un nuovo studio di Jorge Eliécer Villarreal-Fernández mette in discussione questa ipotesi osservando il comportamento degli studenti in tredici paesi dell'America Latina durante il ciclo PISA 2025. Invece di aspettare che uno studente smetta di rispondere, il ricercatore ha osservato la velocità con cui rispondevano mentre procedevano nel questionario. Lo studio si concentra su un comportamento specifico chiamato "risposta rapida", in cui uno studente procede attraverso le domande così velocemente da suggerire che non le stia leggendo con attenzione, ma stia semplicemente cliccando per finire. La domanda centrale era se questa corsa verso il traguardo avvenga prima che uno studente smetta effettivamente di rispondere e, in tal caso, quali fattori la predicano. Il ricercatore voleva anche sapere se questo comportamento cambiasse i risultati del sondaggio. Nello specifico, lo studio ha esaminato due scale importanti situate verso la fine del questionario: una che misura quanto bene gli studenti pianificano e monitorano il proprio studio, e un'altra che misura quanto spesso chiedono aiuto a insegnanti e compagni di classe. Analizzando i dati temporali di oltre 116.000 studenti, lo studio rivela che la perdita della voce di uno studente in un sondaggio è raramente un silenzio improvviso, ma piuttosto la fine di un processo graduale che può essere visto e misurato molto prima che i dati scompaiano.

L'indagine è iniziata trattando il questionario non solo come un elenco di domande, ma come una cronologia del comportamento. Il ricercatore ha esaminato il tempo impiegato da ogni studente per completare piccoli blocchi di domande. Se uno studente rispondeva significativamente più velocemente del ritmo tipico per quel blocco, veniva segnalato come rispondente rapido. Per garantire che non si trattasse solo di un colpo di fortuna o di un rallentamento momentaneo, lo studio richiedeva che questo comportamento veloce persistesse attraverso una sequenza di diversi blocchi. Solo quando uno studente manteneva questo ritmo accelerato per un periodo prolungato veniva considerato entrato in uno stato di disimpegno. Questa distinzione è vitale perché separa gli studenti che sono semplicemente veloci da quelli che hanno smesso di impegnarsi. L'analisi ha mostrato che questa transizione non è casuale. Circa tre quarti degli studenti che alla fine non hanno fornito un punteggio per le scale di pianificazione dello studio o di richiesta di aiuto avevano già entrato in questa fase di risposta rapida sostenuta prima ancora di raggiungere la sezione contenente quelle specifiche domande. In altre parole, i segnali di avvertimento erano visibili molto prima che i dati venissero effettivamente persi.

Cosa spinge uno studente a sbrigare un questionario? Lo studio ha scoperto che la risposta risiede in parte nel modo in cui il ritmo di uno studente si confronta con quello degli studenti seduti accanto a lui nello stesso istituto. Il ricercatore ha calcolato un "ritardo relativo", che misura quanto uno studente sia più lento o più veloce rispetto ai suoi compagni nella stessa classe o scuola. I risultati sono stati sorprendenti: per ogni cinque minuti in cui uno studente restava indietro rispetto al ritmo medio dei suoi compagni di scuola, le sue probabilità di entrare in quello stato di risposta rapida sostenuta aumentavano di circa il 41 percento. Ciò suggerisce che l'ambiente sociale della sala dei test sia importante. Uno studente che sente di restare indietro rispetto ai propri compagni può sentirsi sotto pressione per recuperare il tempo perduto, portandolo ad abbandonare la lettura attenta in favore della velocità. Questo effetto variava ampiamente tra i diversi paesi, ma il modello rimaneva costante nel complesso. Interessante è che il background socioeconomico di uno studente non prediceva questo comportamento quando confrontato con i suoi compagni di classe immediati. Al contrario, la composizione socioeconomica della scuola stessa era il fattore più forte. Gli studenti nelle scuole con un livello socioeconomico medio più elevato erano meno propensi a rispondere velocemente, indipendentmente dalla ricchezza della propria famiglia. Questo punta all'idea che l'ambiente istituzionale — forse le risorse disponibili, l'atmosfera del test o il modo in cui il sondaggio viene somministrato — giochi un ruolo più grande nell'impegno dello studente rispetto alle circostanze individuali.

Lo studio ha poi posto una domanda critica: questo comportamento cambia effettivamente i risultati che otteniamo dal sondaggio? Se gli studenti che corrono sono diversi da quelli che si prendono il loro tempo, allora le medie che calcoliamo potrebbero essere errate. Per scoprirlo, il ricercatore ha confrontato le risposte degli studenti che sono rimasti impegnati con quelle di chi era passato alla risposta rapida ma era comunque riuscito a completare le scale specifiche. La buona notizia era che per gli studenti che hanno terminato, il modo in cui hanno risposto alle domande era molto simile. Le domande sulla pianificazione dello studio e sulla richiesta di aiuto sembravano misurare le stesse cose per entrambi i gruppi. Tuttavia, la cattiva notizia era che il gruppo di studenti rimasti osservabili non era uno specchio perfetto dell'intera popolazione. Poiché gli studenti che hanno risposto velocemente erano più propensi ad abbandonare del tutto prima di raggiungere la fine, il gruppo finale di rispondenti era leggermente diverso dal gruppo originale di tutti gli studenti.

Quando il ricercatore ha regolato i dati per tenere conto di questo gruppo mancante, i risultati sono cambiati in un modo specifico e sorprendente. La media stimata per la scala della pianificazione dello studio è scesa leggermente. Ciò significa che gli studenti che sono rimasti a rispondere alle domande erano, in media, leggermente più bravi a pianificare i propri studi rispetto alla popolazione totale di studenti, poiché gli studenti che hanno corso e hanno abbandonato erano meno propensi a essere buoni pianificatori. Tuttavia, la stima per la scala della richiesta di aiuto è cambiata pochissimo. Anche se entrambe le scale erano situate proprio alla fine del questionario ed erano ugualmente vulnerabili all'abbandono degli studenti, l'impatto dei dati mancanti è stato diverso per ciascuna. Questo dimostra che le conseguenze dei dati mancanti non sono uniformi; dipendono interamente da ciò che viene misurato. Un sondaggio potrebbe perdere un tipo specifico di studente senza cambiare la media per un argomento, pur alterando significativamente la media per un altro.

I risultati di questo studio offrono un nuovo modo di pensare ai dati dei sondaggi. Suggeriscono che quando uno studente smette di rispondere a un lungo questionario, si tratta spesso del culmine di un processo iniziato molto prima. La transizione dalla risposta attenta alla risposta rapida, e infine al silenzio, è un percorso visibile che può essere tracciato utilizzando i dati temporali raccolti dal computer. Questo cambia il modo in cui i ricercatori dovrebbero interpretare le informazioni mancanti. Inveve di assumere che i dati mancanti siano solo un vuoto casuale, possono cercare i segnali comportamentali che li precedono. Per i progettisti di futuri sondaggi, questo significa che le informazioni temporali potrebbero essere utilizzate come un sistema di allerta precoce. Se uno studente inizia a restare indietro rispetto ai suoi compagni in termini di velocità, potrebbe essere possibile intervenire o regolare il sondaggio prima che lo studente smetta del tutto di rispondere. Lo studio non pretende di aver risolto il problema dei dati mancanti, né suggerisce che ogni sondaggio avrà esattamente questi stessi risultati. Ma mostra che la perdita della voce di uno studente è spesso un declino graduale, non un taglio improvviso, e che comprendere questo processo è la chiave per ottenere un quadro reale degli studenti che stiamo cercando di studiare.