Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di cercare impronte digitali, cerchi gruppi di persone che pensano allo stesso modo. Nel mondo della scienza sociale, i ricercatori distribuiscono spesso sondaggi chiedendo alle persone di scrivere i propri pensieri su grandi temi come il cambiamento climatico o come si sentono durante una pandemia. L'obiettivo è smistare queste migliaia di risposte disordinate in piccoli mucchi ordinati, o "cluster", per capire diversi tipi di persone. Per molto tempo, gli scienziati hanno usato la matematica per controllare se questi mucchi sono "buoni". Controllano quanto le risposte siano strettamente compattate insieme, un po' come controllare se un mucchio di biglie è impilato ordinatamente in una scatola. Se le biglie sono vicine tra loro e lontane dagli altri mucchi, la matematica dice: "Ottimo lavoro!".

Ma ecco il problema: un mucchio di biglie può essere perfettamente ordinato eppure non dirti assolutamente nulla sul mondo reale. Magari la matematica dice che due gruppi sono distinti, ma in realtà le persone in quei gruppi sono altrettanto propense a comprare gli stessi generi alimentari o a votare per lo stesso candidato. Questo articolo pone una domanda semplice e cruciale: smistare le persone in gruppi aiuta davvero a prevedere chi sono o cosa faranno? Gli autori introducono un nuovo modo per testarlo, chiamato "Accuratezza della Previsione con Validazione Incrociata" (CVPA). Invece di chiedere solo: "Questi gruppi sembrano matematicamente ordinati?", chiedono: "Se ti do il nome del gruppo di una persona, riesci a indovinare la sua età, il genere o il reddito meglio di quanto faresti tirando a indovinare?". È la differenza tra smistare un mazzo di carte per colore (che sembra carino) e smistarle per valore (che in realtà ti aiuta a vincere la partita).

La Storia del Paper

In questo studio, i ricercatori Leena Farhat, Simon Willcock e William Teahan hanno deciso di mettere alla prova definitiva questo nuovo "test di utilità". Hanno preso tre sondaggi del mondo reale: uno dalla Norvegia che chiedeva alle persone cosa viene in mente quando sentono "cambiamento climatico", uno dal Regno Unito su quanto bene le persone comprendano le maree e uno dal Galles su come le persone abbiano vissuto la vita durante la pandemia di COVID-19.

Per prima cosa, hanno dovuto trasformare tutte quelle risposte scritte in numeri che i computer potessero comprendere. Hanno provato tre metodi diversi per farlo: un metodo vecchio stile chiamato TF-IDF (che conta semplicemente quante volte appare una parola) e due metodi più nuovi e intelligenti basati sull'intelligenza artificiale chiamati S-BERT e BERT. Pensa al TF-IDF come a un dizionario che sa solo quante volte viene usata una parola, mentre S-BERT e BERT sono come un bibliotecario saggio che comprende il significato dietro le parole. I risultati sono stati chiari: i bibliotecari intelligenti (S-BERT e BERT) hanno fatto un lavoro molto migliore nel mantenere intatto il significato delle frasi. Quando hanno visualizzato i dati, il vecchio metodo faceva apparire tutto come una massa densa e disordinata, mentre i nuovi metodi sparpagliavano le risposte in un modo che rifletteva effettivamente le diverse idee delle persone.

Successivamente, hanno provato a smistare queste risposte in gruppi usando sei diversi algoritmi informatici. Alcuni algoritmi cercavano di trovare cerchi di persone nitidi e rotondi; altri cercavano di trovare cluster di qualsiasi forma, anche se dispersi. Di solito, gli scienziati sceglierebbero l'algoritmo che crea i cerchi matematicamente più "stretti". Ma gli autori non si sono fermati qui. Hanno applicato il loro nuovo test CVPA. Hanno chiesto: "Se diciamo a un computer, 'Questa persona appartiene al Gruppo A', il computer può indovinare il suo genere, l'età o il reddito?".

Le scoperte sono state affascinanti. Nel sondaggio sul COVID-19, il computer ha scoperto che le esperienze delle persone erano profondamente legate ai loro soldi e al loro genere. L'algorito poteva indovinare il reddito o il genere di una persona conoscendo semplicemente a quale gruppo apparteneva, con un'accuratezza sorprendente (circa il 60% per il genere e il 54% per il reddito). Ciò significava che i gruppi non erano solo matematica casuale; rappresentavano mondi sociali reali e differenti. Ad esempio, un gruppo potrebbe essere composto da persone che potevano solo portare fuori il cane davanti alla porta di casa, mentre un altro gruppo aveva accesso a grandi giardini. Il computer ha individuato perfettamente questa divisione.

Tuttavia, la storia è cambiata con gli altri sondaggi. Nel sondaggio norvegese sul clima, il computer ha scoperto che, sebbene l'età e il genere contassero un po', il denaro non sembrava dividere affatto i gruppi. Persone di tutti i livelli di reddito erano preoccupate per le stesse cose, come le inondazioni o lo scioglimento dei ghiacci. Il punteggio CVPA per il reddito era molto basso, il che gli autori dicono essere in realtà una scoperta positiva! Questo dice ai decisori politici che non hanno bisogno di inviare messaggi diversi ai ricchi e ai poveri riguardo al cambiamento climatico; un unico grande messaggio unificato funzionerà per tutti.

Forse la parte più eccitante del paper è come il computer si confronta con gli esperti umani. I ricercatori hanno confrontato i gruppi generati dal computer con i gruppi che esperti umani avevano smistato manualmente leggendo le risposte. Il computer ha fatto un lavoro incredibile. Nel sondaggio sul COVID, i gruppi del computer hanno previsto i dati demografici quasi quanto gli esperti umani (0,605 contro 0,609). Nel sondaggio norvegese, il computer è stato addirittura leggermente migliore (0,572 contro 0,571). Ciò suggerisce che i computer possono trovare schemi nel linguaggio che sono altrettanto significativi, e talvolta persino più coerenti, di quanto un essere umano possa trovare leggendo uno per uno.

Il paper conclude che non dovremmo fidarci solo della "pulizia" di un cluster. Un gruppo può essere matematicamente perfetto ma inutile per la vita reale. Il nuovo test CVPA agisce come un controllo di realtà. Ci dice se un gruppo di persone è veramente distinto nel mondo reale o se è solo un'illusione matematica. Se un gruppo aiuta a prevedere chi sono le persone, è un gruppo utile. Se non lo fa, anche se appare bello su un grafico, potrebbe non valere la pena usarlo per prendere decisioni sulla salute pubblica, sulle politiche o sul marketing. Gli autori suggeriscono che questo metodo ci aiuta a passare dal tirare a indovinare al prendere decisioni basate su ciò che conta davvero nel mondo reale.