Correcting for Nonignorable Nonresponse Bias in Ordinal Observational Survey Data

Il mistero del grande sondaggio: quando le persone che non si presentano sono le più importanti

Immaginate di cercare di indovinare l'altezza media di tutti gli abitanti della vostra città. Vi trovate nella piazza del paese e chiedete alle persone che passano: "Quanto sei alto?". La maggior parte delle persone che si ferma a rispondere ha un'altezza media. Ma le persone molto alte sono troppo impegnate a stirarsi per raggiungere lo scaffale più alto, e le persone molto basse si nascondono sotto gli ombrelli. Se contate solo le persone che si sono fermate a parlare, la vostra stima sarà errata. Questo è il problema del bias di non risposta nei sondaggi. Nel mondo della scienza politica e della ricerca sociale, gli scienziati si affidano ai sondaggi per capire cosa pensano le persone di tutto, dall'economia alla loro felicità. Ma poiché sempre più persone ignorano le chiamate dei sondaggi o saltano i moduli online, i ricercatori temono che le persone che rispondono siano diverse da quelle che non rispondono.

Di solito, gli scienziati cercano di risolvere questo problema "pesando" le risposte. Se ci sono meno giovani nel sondaggio rispetto al mondo reale, basta contare le risposte dei giovani in modo più pesante per bilanciare la bilancia. Questo funziona benissimo se l'unica differenza tra chi parla e la folla silenziosa è l'età o il genere. Ma cosa succede se il silenzio stesso è l'indizio? E se le persone che rifiutano di rispondere siano silenziose proprio perché sono infelici, arrabbiate o insoddisfatte? Questo è chiamato non risposta non ignorabile. È come se le persone silenziose nella piazza del paese non fossero solo impegnate; si stanno nascondendo perché sono imbarazzate per la propria altezza. Se non tenete conto del perché si nascondono, la vostra matematica sarà sbagliata, indipendentemente da quanti giovani cercherete di contare. Questo è l'intricato puzzle che il lavoro di Lafférs, Mintal e Sutóris si propone di risolvere.

Il documento: catturare la folla silenziosa con un "Misuratore di Cooperazione"

Gli autori di questo studio, pubblicato nel 2026, hanno costruito un nuovo strumento matematico per correggere i sondaggi in cui chi non risponde è diverso da chi risponde, specificamente quando le risposte si basano su una scala (come "Molto Felice" a "Molto Infelice") piuttosto che su un semplice "Sì" o "No".

Pensate a un sondaggio standard come a un gioco di "Indovina il punteggio". Di solito, se qualcuno non si presenta al gioco, l'arbitro se ne ignora semplicemente la presenza. Ma questo articolo suggerisce che l'arbitro può guardare un "Misuratore di Cooperazione" per indovinare quale sarebbe stato il punteggio dei giocatori mancanti. Nel loro metodo, utilizzano una domanda posta dopo l'intervista, come "Quanto ti è piaciuta questa chiacchierata?" o "Quanto sei stato cooperativo?". Questo è il proxy della propensione alla risposta. È un indizio lasciato dietro dalle persone che hanno parlato.

Gli autori si sono resi conto che se le persone che odiavano l'intervista (bassa cooperazione) tendevano anche a dare punteggi bassi sulla soddisfazione della vita, allora le persone che non hanno risposto affatto al sondaggio (zero cooperazione) avrebbero probabilmente dato punteggi ancora più bassi. Hanno creato una formula che collega questi punti. È come guardare una fila di persone in attesa di un giro su un'attrazione. Se le persone in prima fila (che hanno amato il giro) stanno sorridendo, e le persone in fondo alla fila (che l'hanno appena tollerato) stanno imbronciando, potete indovinare che le persone che non si sono mai presentate alla fila erano probabilmente imbronciate ancora di più.

Cosa hanno scoperto: non tutti i sondaggi hanno bisogno di un salvataggio

Il team ha testato il loro nuovo strumento utilizzando i dati del 2024 American National Election Studies (ANES), un sondaggio massiccio su circa 3.000 persone. Hanno simulato uno scenario in cui circa il 65% delle persone non ha risposto al sondaggio (un numero molto realistico per i sondaggi moderni). Hanno poi utilizzato il loro metodo del "Misuratore di Cooperazione" per indovinare cosa avrebbero detto il 65% silenzioso.

I risultati sono stati un misto di "Wow, questo ha cambiato tutto" e "Hmm, non molto".

• Il Grande Cambiamento (Soddisfazione della Vita): Quando hanno esaminato quanto le persone fossero soddisfatte della propria vita, la correzione ha fatto una differenza enorme. Il sondaggio non corretto suggeriva che la maggior parte delle persone fosse "Molto" o "Estremamente" soddisfatta. Ma dopo che gli autori hanno tenuto conto della folla silenziosa e infelice, il quadro è cambiato. I dati corretti mostravano che una fetta molto più ampia della popolazione era in realtà "Leggermente soddisfatta" o "Per nulla soddisfatta". La matematica mostrava un forte legame (una correlazione di circa 0,47) tra l'odiare l'intervista e l'essere infelici con la vita. Si vede che le persone troppo scontrate per parlare erano proprio quelle che abbassavano la media della felicità.
• Il Piccolo Cambiamento (L'Economia): Quando hanno esaminato se le persone pensassero che l'economia nazionale stesse migliorando o peggiorando, la correzione ha spostato appena l'ago della bilancia. Il legame tra l'odiare l'intervista e il pensare che l'economia fosse in cattiva forma era molto debole (una correlazione di soli 0,14). Che includessero o meno la folla silenziosa, i risultati del sondaggio rimanevano sostanzialmente gli stessi.
• La Zona del "Nessun Cambiamento": Per le domande sulla pena di morte, l'aborto o la fiducia nei media, la correzione non ha fatto quasi nulla. La folla silenziosa non sembrava avere opinioni diverse dalla folla chiacchierona su questi argomenti.

La lezione appresa: un modello unico non va bene per tutti

La lezione principale di questo articolo è che correggere il bias di un sondaggio non è una bacchetta magica che funziona per ogni domanda. Gli autori dimostrano che è necessario controllare ogni argomento individualmente. Per alcune cose, come quanto le persone siano felici della propria vita, le persone che rifiutano di parlare nascondono una realtà molto diversa, e ignorarle fornisce un'immagine falsa. Per altre cose, come le opinioni sull'economia o sulla pena di morte, chi parla e chi non parla sembrano pensare pressoché la stessa cosa.

Gli autori non si sono limitati a indovinare; hanno eseguito simulazioni al computer per dimostrare che la loro matematica funziona meglio dei vecchi metodi, e poi l'hanno applicata a dati reali. Hanno scoperto che, sebbene il loro nuovo metodo sia potente, è più utile quando il "Misuratore di Cooperazione" (come quanto qualcuno abbia gradito l'intervista) varia molto e segnala chiaramente chi è disposto a parlare. Se il misuratore non si muove, il metodo non può indovinare cosa pensano le persone silenziose.

In breve, questo articolo offre ai ricercatori un nuovo modo pratico per sbirciare dietro la tenda del silenzio dei sondaggi. Ci dice che a volte, le persone che dicono "Nessun commento" sono proprio le voci più importanti di tutte, ma solo se sappiamo come ascoltare gli indizi che hanno lasciato dietro di sé.