Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken sucht, suchen Sie nach Gruppen von Menschen, die ähnlich denken. In der Welt der Sozialwissenschaften verteilen Forscher oft Umfragen, in denen Menschen gebeten werden, ihre Gedanken zu großen Themen wie dem Klimawandel oder ihren Gefühlen während einer Pandemie aufzuschreiben. Das Ziel ist es, diese tausenden von ungeordneten Antworten in ordentliche kleine Stapel, oder „Cluster“, zu sortieren, damit wir verschiedene Typen von Menschen verstehen können. Lange Zeit haben Wissenschaftler Mathematik verwendet, um zu prüfen, ob diese Stapel „gut“ sind. Sie schauen darauf, wie eng die Antworten zusammengepackt sind, so als würde man prüfen, ob ein Haufen Murmeln ordentlich in einer Kiste gestapelt ist. Wenn die Murmeln nah beieinander und weit weg von anderen Stapeln liegen, sagt die Mathematik: „Gute Arbeit!“

Aber hier ist der Haken: Ein Stapel Murmeln kann perfekt ordentlich sein und Ihnen dennoch absolut nichts über die reale Welt verraten. Vielleicht sagt die Mathematik, dass zwei Gruppen verschieden sind, aber in Wirklichkeit ist es den Menschen in diesen Gruppen völlig egal, ob sie die gleichen Lebensmittel kaufen oder für denselben Kandidaten stimmen. Diese Arbeit stellt eine einfache, entscheidende Frage: Hilft uns das Sortieren von Menschen in Gruppen tatsächlich dabei, vorherzusagen, wer sie sind oder was sie tun werden? Die Autoren führen einen neuen Weg vor, dies zu testen, die „Cross-Validated Prediction Accuracy“ (CVPA). Anstatt nur zu fragen: „Sehen diese Gruppen mathematisch ordentlich aus?“, fragen sie: „Wenn ich dir den Gruppennamen einer Person gebe, kannst du ihr Alter, Geschlecht oder Einkommen besser erraten als durch bloßes Raten?“ Es ist der Unterschied zwischen dem Sortieren eines Kartendecks nach Farben (was schön aussieht) und dem Sortieren nach dem Wert (was einem tatsächlich hilft, das Spiel zu gewinnen).

Die Geschichte der Arbeit

In dieser Studie beschlossen die Forscher Leena Farhat, Simon Willcock und William Teahan, diesen neuen „Nützlichkeitstest“ der ultimativen Herausforderung zu unterziehen. Sie nahmen drei reale Umfragen: eine aus Norwegen, in der die Menschen gefragt wurden, was ihnen in den Sinn kommt, wenn sie das Wort „Klimawandel“ hören; eine aus Großbritannien darüber, wie gut die Menschen das Verständnis von Gezeiten haben; und eine aus Wales darüber, wie die Menschen das Leben während der COVID-19-Pandemie erlebt haben.

Zuerst mussten sie all diese geschriebenen Antworten in Zahlen umwandeln, die Computer verstehen können. Sie probierten drei verschiedene Wege aus, um dies zu tun: eine altmodische Methode namens TF-IDF (die lediglich zählt, wie oft ein Wort vorkommt), und zwei neuere, intelligentere Methoden basierend auf künstlicher Intelligenz namens S-BERT und BERT. Man kann sich TF-IDF wie ein Wörterbuch vorstellen, das nur weiß, wie oft ein Wort verwendet wird, während S-BERT und BERT wie ein weiser Bibliothekar sind, der die Bedeutung hinter den Worten versteht. Die Ergebnisse waren eindeutig: Die smarten Bibliothekare (S-BERT und BERT) machten eine viel bessere Arbeit dabei, die Bedeutung der Sätze aufrechtzuerhalten. Als sie die Daten visualisierten, ließ die alte Methode alles wie einen unordentlichen, dichten Klumpen aussehen, während die neuen Methoden die Antworten so verteilten, dass sie tatsächlich die unterschiedlichen Ideen der Menschen widerspiegelten.

Als Nächstes versuchten sie, diese Antworten mithilfe von sechs verschiedenen Computer-Algorithmen in Gruppen zu sortieren. Einige Algorithmen versuchten, ordentliche, runde Kreise von Menschen zu finden; andere versuchten, Cluster jeglicher Form zu finden, selbst wenn diese verstreut waren. Normalerweise würden Wissenschaftler den Algorithmus wählen, der die mathematisch „kompaktesten“ Kreise erzeugt. Aber die Autoren hielten hier nicht inne. Sie wandten ihren neuen CVPA-Test an. Sie fragten: „Wenn wir einem Computer sagen: ‚Diese Person gehört zu Gruppe A‘, kann der Computer ihr Geschlecht, Alter oder Einkommen erraten?“

Die Ergebnisse waren faszinierend. In der COVID-19-Umfrage fand der Computer heraus, dass die Erfahrungen der Menschen tief mit ihrem Geld und ihrem Geschlecht verknüpft waren. Der Algorithmus konnte das Einkommen oder das Geschlecht einer Person allein durch das Wissen über die Zugehörigkeit zu einer Gruppe mit überraschender Genauigkeit erraten (etwa 60 % für das Geschlecht und 54 % für das Einkommen). Dies bedeutete, dass die Gruppen nicht nur zufällige Mathematik waren; sie repräsentierten reale, unterschiedliche Lebenswelten. Zum Beispiel könnte eine Gruppe Menschen sein, die ihre Hunde nur vor der eigenen Haustür ausführen konnten, während eine andere Gruppe Zugang zu großen Gärten hatte. Der Computer erkannte diese Spaltung perfekt.

Doch die Geschichte änderte sich bei den anderen Umfragen. In der norwegischen Klimastudie fand der Computer heraus, dass zwar Alter und Geschlecht eine kleine Rolle spielten, Geld aber scheinbar gar keine Rolle bei der Trennung der Gruppen spielte. Menschen aller Einkommensschichten sorgten sich um dieselben Dinge, wie etwa Überschwemmungen oder das Schmelzen des Eises. Der CVPA-Wert für das Einkommen war sehr niedrig, was die Autoren als eine gute Entdeckung bezeichnen! Es sagt politischen Entscheidungsträgern, dass sie nicht unterschiedliche Botschaften an reiche und arme Menschen über den Klimawandel senden müssen; eine große, einheitliche Botschaft wird für alle funktionieren.

Der vielleicht spannendste Teil der Arbeit ist, wie der Computer im Vergleich zu menschlichen Experten abschneidet. Die Forscher verglichen die computergenerierten Gruppen mit Gruppen, die menschliche Experten durch das Lesen der Antworten manuell sortiert hatten. Der Computer leistete eine erstaunliche Arbeit. In der COVID-Umfrage sagten die Gruppen des Computers die Demografie fast so gut voraus wie die menschlichen Experten (0,605 gegenüber 0,609). In der norwegischen Umfrage war der Computer sogar etwas besser (0,572 gegenüber 0,571). Dies deutet darauf hin, dass Computer Muster in der Sprache finden können, die ebenso bedeutsam und manchmal sogar konsistenter sind als das, was ein Mensch durch das Lesen einzelner Antworten finden kann.

Die Arbeit schließt mit dem Schlusswort, dass wir der „Ordentlichkeit“ eines Clusters nicht einfach vertrauen sollten. Eine Gruppe kann mathematisch perfekt sein und dennoch nutzlos für die reale Welt. Der neue CVPA-Test funget als Realitätscheck. Er sagt uns, ob eine Gruppe von Menschen wirklich unterscheidbar ist oder ob sie nur eine mathematische Illusion ist. Wenn eine Gruppe uns hilft, vorherzusagen, wer Menschen sind, dann ist es eine nützliche Gruppe. Wenn nicht, selbst wenn sie auf einer Grafik hübsch aussieht, ist sie vielleicht nicht wertvoll genug, um Entscheidungen über die öffentliche Gesundheit, Politik oder Marketing zu treffen. Die Autoren schlagen vor, dass diese Methode uns hilft, uns von bloßem Raten wegzubewegen und hin zu Entscheidungen, die auf dem basieren, was in der realen Welt tatsächlich zählt.