Selection on the Outcome: The Fraction of Nonresponse Bias That Survey Weighting Removes, with an Application to Subjective Well-Being

Jedes Mal, wenn ein Forscher verstehen möchte, wie Menschen über ihr Leben empfinden, lässt er in der Regel eine Stichprobe von Menschen einen Fragebogen ausfüllen. Das Ziel ist es, die Antworten dieser wenigen tausend Befragten zu nehmen und sie zu nutzen, um das Empfinden von Millionen von Menschen zu beschreiben. Aber es gibt einen Haken: Nicht jeder geht ans Telefon oder füllt das Formular aus. Manche Menschen sind zu beschäftigt, manche zu krank, und manche wollen einfach nicht mit Fremden sprechen. Dies wird als Non-Response (Antwortausfall) bezeichnet, und es entsteht eine Lücke zwischen den Menschen, die geantwortet haben, und denen, die es nicht getan haben. Wenn die Menschen, die zu Hause bleiben, sich in genau der Weise unterscheiden, die der Forscher zu messen versucht, wird die endgültige Zahl falsch sein. Seit Jahrzehnten ist die Gewichtung die Standardlösung für dieses Problem. Forscher nehmen die Antworten, die sie haben, und passen sie mathematisch an die bekannten Demografien des gesamten Landes an, wie etwa Alter, Geschlecht, Bildung und Wohnort. Die Idee ist: Wenn die Stichprobe auf dem Papier der Bevölkerung gleicht, muss auch die Antwort repräsentativ sein.

Dieser Ansatz funktioniert gut, wenn der Grund, warum Menschen die Umfrage auslassen, mit diesen demografischen Fakten zusammenhängt. Wenn ältere Menschen weniger wahrscheinlich antworten und der Forscher weiß, wie viele ältere Menschen es im Land gibt, kann er einfach die Antworten der älteren Befragten stärker gewichten, um die Waagschale auszugleichen. Eine neue Analyse deutet jedoch darauf an, dass diese Standardlösung völlig versagt, wenn der Grund, warum Menschen die Umfrage auslassen, genau das ist, was gemessen wird: ihr eigenes Wohlbefinden. Wenn unglückliche Menschen weniger wahrscheinlich teilnehmen, weil sie sich zu niedergeschlagen fühlen, um zu sprechen, oder wenn sehr glückliche Menschen zu sehr damit beschäftigt sind, ihr Leben zu genießen, um zu antworten, kann keine noch so viel Gewichtung den resultierenden Fehler korrigieren. Die Arbeit argumentiert, dass im Bereich des subjektiven Wohlbefindens die Standardkorrektur fast keinen der Bias (Verzerrungen) beseitigt und die endgültigen Zahlen in einer Weise verzerrt lässt, die den Forschern weitgehend entgangen ist.

Die Studie unter der Leitung von Shay Tsaban untersucht genau, wie viel dieser verborgenen Fehler nach Anwendung der üblichen Gewichtungstechniken bestehen bleibt. Die zentrale Entdeckung ist, dass die Wirksamkeit der Korrektur vollständig davon abhängt, wie sehr das Glück einer Person durch ihren Hintergrund vorhergesagt werden kann. Wenn Glück stark an Alter oder Einkommen gebunden wäre, würde die Standardgewichtung gut funktionieren. Aber Jahrzehnte der Forschung auf diesem Gebiet haben das Gegenteil etabliert: Die Lebensumstände einer Person erklären nur sehr wenig davon, warum sie sich glücklich oder traurig fühlt. Die Arbeit berechnet, dass die Standardvariablen, die für die Gewichtung verwendet werden – Alter, Geschlecht, ethnische Zugehörigkeit, Bildung und Region –, nur etwa 1,7 Prozent der Unterschiede im berichteten Glück unter fast 70.000 Menschen im General Social Survey erklären. Da diese Variablen so wenig erklären, kann der Gewichtungsprozess nur etwa 1,7 Prozent des Bias korrigieren, der durch unglückliche Menschen verursacht wird, die aus der Studie ausscheiden. Er lässt mehr als 98 Prozent des Fehlers unberührt.

Dieser Befund stellt eine gängige Statistik auf den Kopf. Jahrelang haben Forscher die geringe Vorhersagekraft von Demografien als Beweis dafür angeführt, dass Glück ein interner Zustand ist und nicht nur ein Produkt materieller Umstände. Tsabans Arbeit zeigt, dass dieselbe niedrige Zahl auch die Reparaturrate der Standardkorrektur des Fachbereichs ist. Die Tatsache, dass Umstände Gefühle nur wenig bestimmen, ist genau das, was die Standard-Umfragekorrektur so ineffektiv macht. Die Arbeit demonstriert dies mit einem klaren Kontrast. In einer anderen Studie mit Gesundheitsdaten aus Dänemark hatten Forscher Zugriff auf nationale Register, die medizinische Unterlagen sowohl für Teilnehmer als auch für Nicht-Teilnehmer enthielten. Da Gesundheitsakten starke Prädiktoren dafür sind, wer aus einer Studie ausscheidet, erklärten die Gewichtungsvariablen in jenem Fall einen großen Teil des Ergebnisses. Dort entfernte die Gewichtung den Bias erfolgreich zum Großteil. Der Unterschied zwischen den beiden Fällen war nicht die Qualität der Mathematik, sondern die verfügbaren Informationen, um die Mathematik zu betreiben. In der Wohlbefindensforschung existieren die notwendigen Informationen in den Standard-Demografiedaten schlichtweg nicht.

Die Folgen dieser Vernachlässigung sind erheblich für unser Verständnis der Welt. Die Arbeit untersucht sechs häufige Arten von Schlussfolgerungen, die aus Wohlbefindens-Umfragen gezogen werden, wie etwa der Vergleich von Glück zwischen verschiedenen Ländern, die Verfolgung von Veränderungen im Zeitverlauf oder die Betrachtung von Unterschieden zwischen Altersgruppen. In fast jedem Fall läuft der Bias in eine vorhersehbare Richtung. Da unglückliche Menschen eher dazu neigen auszuscheiden, ist die verbleibende Gruppe etwas glücklicher als die wahre Bevölkerung. Das bedeutet, dass nationale Durchschnittswerte wahrscheinlich zu hoch sind und dass die Kluft zwischen glücklichen und unglücklichen Gruppen kleiner ist, als sie eigentlich ist. Wenn Forscher beispielsweise sehen, dass das Glück im Alter steigt, legt die Arbeit nahe, dass dies möglicherweise eine Illusion ist, die dadurch entsteht, dass die am wenigsten glücklichen älteren Menschen bereits aufgehört haben teilzunehmen. Ähnlich verhält es sich, wenn Forscher die Ungleichheit im Glück untersuchen: Die Daten stellen die Ungleichheit wahrscheinlich geringer dar, als sie tatsächlich ist, weil die am stärksten belasteten Individuen an der unteren Skala fehlen.

Trotz der Schwere des Problems stellt die Arbeit fest, dass die Forschungsgemeinschaft diesem Problem fast keine Aufmerksamkeit geschenkt hat. Eine Prüfung von über 1.600 aktuellen Artikeln in führenden Wohlbefindens-Journalen ergab, dass zwar 72 Prozent von ihnen auf Umfragedaten zurückgriffen, aber nur etwa 1,4 Prozent Non-Response, Attrition (Schwund) oder die Einschränkungen ihrer Stichprobe erwähnten. Forscher haben Jahrzehnte damit verbracht, die Fragen zu verfeinern, die sie stellen, und zu prüfen, ob verschiedene Kulturen die Worte gleich interpretieren, doch sie haben weitgehend ignoriert, ob die Menschen, die die Fragen beantworten, die gesamte Bevölkerung repräsentieren. Die Arbeit argumentt, dass dies ein kritischer blinder Fleck ist. Die Lösung erfordert keine neue Theorie des Glücks, sondern vielmehr eine Änderung darin, wie Forscher ihre Daten behandeln. Anstatt davon auszugehen, dass die Gewichtung das Problem gelöst hat, sollten Forscher berichten, wie viel des Bias bestehen bleibt, und Methoden aus der Gesundheitsforschung verwenden, um den möglichen Fehler einzugrenzen. Dies beinhaltet die Anerkennung, dass die endgültige Zahl ein Schätzwert mit einer bekannten, signifikanten Fehlermarge ist, statt einer präzisen Messung der Stimmung der Bevölkerung.

Die Studie kommt zu dem Schluss, dass das Fachgebiet aufhören muss, den gewichteten Durchschnitt als saubere Lösung zu behandeln. Die Standard-Demografieanpassungen sind kein Zauberstab, der die fehlenden Menschen erscheinen lässt; sie sind eine Teilreparatur, die nur dann funktioniert, wenn die fehlenden Menschen aus demografischen Gründen fehlen. Wenn sie jedoch aufgrund ihrer Gefühle fehlen, versagt die Korrektur. Der Weg nach vorn besteht darin, zu akzeptieren, dass die aktuellen Daten unvollständig sind, und neue Werkzeuge zu nutzen, um die Größe der Lücke zu messen. Indem sie Techniken aus der medizinischen Forschung übernehmen, in der fehlende Daten als ernsthafte Bedrohung für die Validität behandelt werden, können Wohlbefindens-Forscher endlich beginnen, das volle Bild des menschlichen Glücks zu sehen – einschließlich der Teile, die derzeit in der Stille derjenigen verborgen bleiben, die nicht geantwortet haben.