Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van op zoek te gaan naar vingerafdrukken, ben je op zoek naar groepen mensen die hetzelfde denken. In de wereld van de sociale wetenschappen geven onderzoekers vaak enquêtes uit waarin mensen hun gedachten opschrijven over grote onderwerpen, zoals klimaatverandering of hoe zij zich voelen tijdens een pandemie. Het doel is om deze duizenden rommelige antwoorden te sorteren in nette kleine stapeltjes, of "clusters", zodat we verschillende typen mensen kunnen begrijpen. Lange tijd hebben wetenschappers wiskunde gebruikt om te controleren of deze stapeltjes "goed" zijn. Ze kijken naar hoe compact de antwoorden bij elkaar zitten, een beetje zoals het controleren of een stapel knikkers netjes in een doos gestapeld is. Als de knikkers dicht bij elkaar liggen en ver van andere stapels af staan, zegt de wiskunde: "Goed gedaan!"

Maar hier zit de crux: een stapel knikkers kan perfect netjes zijn en je nog steeds absoluut niets vertellen over de echte wereld. Misschien zegt de wiskunde dat twee groepen verschillend zijn, maar in werkelijkheid zijn de mensen in die groepen net zo goed in staat om dezelfde boodschappen te kopen of op dezelfde kandidaat te stemmen. Dit artikel stelt een eenvoudige, cruciale vraag: helpt het sorteren van mensen in groepen ons daadwerkelijk om te voorspellen wie ze zijn of wat ze zullen doen? De auteurs introduceren een nieuwe manier om dit te testen, genaamd "Cross-Validated Prediction Accuracy" (CVPA). In plaats van alleen te vragen: "Zien deze groepen er wiskundig netjes uit?", vragen ze: "Als ik je de groepsnaam van een persoon geef, kun je dan hun leeftijd, geslacht of inkomen beter raden dan wanneer je gewoon zou gokken?" Het is het verschil tussen een kaartspel sorteren op kleur (wat er mooi uitziet) en een kaartspel sorteren op waarde (wat je daadwerkelijk helpt om het spel te winnen).

Het Verhaal van het Papier

In dit onderzoek besloten de onderzoekers Leena Farhat, Simon Willcock en William Teahan deze nieuwe "bruikbaarheidstest" aan de ultieme uitdaging te onderwerpen. Ze namen drie echte wereld-enquêtes: één uit Noorwegen waarin mensen opschrijven wat er in hen opkomt als ze "klimaatverandering" horen, één uit het VK over hoe goed mensen de getijden begrijpen, en één uit Wales over hoe mensen het leven tijdens de COVID-19-pandemie ervoeren.

Eerst moesten ze al die geschreven antwoorden omzetten in getallen die computers kunnen begrijpen. Ze probeerden drie verschillende manieren om dit te doen: een ouderwetse methode genaamd TF-IDF (die simpelweg telt hoe vaak woorden voorkomen), en twee nieuwere, slimmere methoden gebaseerd op kunstmatige intelligentie genaamd S-BERT en BERT. Zie TF-IDF als een woordenboek dat alleen weet hoe vaak een woord wordt gebruikt, terwijl S-BERT en BERT als een wijze bibliothecaris zijn die de betekenis achter de woorden begrijpt. De resultaten waren duidelijk: de slimme bibliothecarissen (S-BERT en BERT) deden het veel beter om de betekenis van de zinnen intact te houden. Wanneer ze de data visualiseerden, maakte de oude methode alles een rommelige, dichte vlek, terwijl de nieuwe methoden de antwoorden verspreidden op een manier die daadwerkelijk de verschillende ideeën van mensen weerspiegelde.

Vervolgens probeerden ze deze antwoorden in groepen te sorteren met behulp van zes verschillende computeralgoritmen. Sommige algoritmen probeerden nette, ronde cirkels van mensen te vinden; andere probeerden clusters van elke vorm te vinden, zelfs als ze verspreid waren. Meestal zouden wetenschappers het algoritme kiezen dat de meest wiskundig "strakke" cirkels maakte. Maar de auteurs stopten daar niet. Ze pasten hun nieuwe CVPA-test toe. Ze vroegen: "Als we een computer vertellen: 'Deze persoon zit in Groep A', kan de computer dan hun geslacht, leeftijd of inkomen raden?"

De bevindingen waren fascinerend. In de COVID-19-enquête ontdekte de computer dat de ervaringen van mensen diep verbonden waren met hun geld en geslacht. Het algoritme kon het inkomen of het geslacht van een persoon raden door enkel te weten tot welke groep ze behoorden, met een verrassende nauwkeurigheid (ongeveer 60% voor geslacht en 54% voor inkomen). Dit betekende dat de groepen niet slechts willekeurige wiskunde waren; ze vertegenwoordigden echte, verschillende sociale werelden. Bijvoorbeeld, één groep bestond uit mensen die alleen hun hond voor de voordeur konden uitlaten, terwijl een andere groep toegang had tot grote tuinen. De computer zag dit onderscheid perfect.

Echter, het verhaal veranderde bij de andere enquêtes. In de Noorse klimaatenquête vond de computer dat hoewel leeftijd en geslacht een klein beetje uitmaakten, geld helemaal geen rol speelde bij het splitsen van de groepen. Mensen van alle inkomensniveaus maakten zich zorgen over dezelfde zaken, zoals overstromingen en smeltend ijs. De CVPA-score voor inkomen was zeer laag, wat volgens de auteurs juist een goede ontdekking is! Het vertelt beleidsmakers dat ze geen verschillende boodschappen naar rijke en arme mensen hoeven te sturen over klimaatverandering; één grote, verenigde boodschap zal voor iedereen werken.

Misschien wel het meest opwindende deel van het papier is hoe de computer presteert ten opzichte van menselijke experts. De onderzoekers vergeleken de door de computer gegenereerde groepen met groepen die menselijke experts handmatig hadden gesorteerd door de antwoorden te lezen. De computer deed een geweldig werk. In de COVID-enquête voorspelde de computer demografische gegevens bijna even goed als de menselijke experts (0,605 versus 0,609). In de Noorse enquête deed de computer zelfs iets beter (0,572 versus 0,571). Dit suggereert dat computers patronen in taal kunnen vinden die net zo betekenisvol, en soms zelfs consistenter, zijn dan wat een mens kan vinden door ze één voor één te lezen.

Het artikel concludeert dat we niet alleen moeten vertrouwen op de "netheid" van een cluster. Een groep kan wiskundig perfect zijn, maar nutteloos in de echte wereld. De nieuwe CVPA-test fungeert als een reality check. Het vertelt ons of een groep mensen werkelijk onderscheidend is in de echte wereld of dat het slechts een wiskundige illusie is. Als een groep ons helpt om te voorspellen wie mensen zijn, dan is het een nuttige groep. Als dat niet zo is, zelfs als het er mooi uitziet op een grafiek, is het misschien niet de moeite waard om te gebruiken voor het nemen van beslissingen over volksgezondheid, beleid of marketing. De auteurs suggereren dat deze methode ons helpt om weg te bewegen van gissen en toe te bewegen naar het maken van beslissingen op basis van wat er daadwerkelijk toe doet in de echte wereld.