Correcting for Nonignorable Nonresponse Bias in Ordinal Observational Survey Data

Das große Umfrage-Rätsel: Wenn die Menschen, die nicht auftauchen, die wichtigsten sind

Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße aller Menschen in Ihrer Stadt zu erraten. Sie stehen auf dem Marktplatz und fragen Passanten: „Wie groß sind Sie?“ Die meisten Menschen, die anhalten, um zu antworten, sind durchschnittlich groß. Aber die sehr Großen sind zu beschäftigt damit, sich zu strecken, um das oberste Regal zu erreichen, und die sehr Kleinen verstecken sich unter Regenschirmen. Wenn Sie nur die Menschen zählen, die stehen geblieben sind, um zu plaudern, wird Ihre Schätzung falsch sein. Dies ist das Problem des Nonresponse-Bias (Antwortausfall-Verzerrung) in Umfragen. In der Politikwissenschaft und der Sozialforschung verlassen sich Wissenschaftler auf Umfragen, um zu verstehen, was die Menschen über alles Mögliche denken – von der Wirtschaft bis hin zu ihrem Glücksempfinden. Doch da immer mehr Menschen Anrufe ignorieren oder Online-Formulare unbeantwortet lassen, sorgen sich Forscher darum, dass sich die Menschen, die doch antworten, von denen unterscheiden, die es nicht tun.

Normalerweise versuchen Wissenschaftler, dies zu beheben, indem sie die Antworten „gewichten“. Wenn es in der Umfrage weniger junge Menschen gibt als in der Realität, zählen sie die Antworten der jungen Menschen einfach stärker, um die Waagschalen auszugleichen. Das funktioniert wunderbar, wenn der einzige Unterschied zwischen den Rednern und der schweigenden Menge ihr Alter oder ihr Geschlecht ist. Aber was, wenn das Schweigen selbst der entscheidende Hinweis ist? Was, wenn die Menschen, die das Antworten verweigern, gerade deshalb schweigen, weil sie unzufrieden, wütend oder missgestimmt sind? Dies nennt man nicht-ignorierbaren Antwortausfall (nonignorable nonresponse). Es ist, als ob die stillen Menschen auf dem Marktplatz nicht nur beschäftigt sind; sie verstecken sich, weil sie über ihre Körpergröße beschämt sind. Wenn Sie nicht berücksichtigen, war Warum sie sich verstecken, wird Ihre Mathematik nicht stimmen, egal wie viele junge Menschen Sie versuchen mitzuzählen. Dies ist das knifflige Rätsel, das die Arbeit von Lafférs, Mintal und Sutóris zu lösen versucht.

Die Arbeit: Die stille Menge mit einem „Kooperations-Meter“ einfangen

Die Autoren dieser im Jahr 2026 veröffentlichten Arbeit haben ein neues mathematisches Werkzeug entwickelt, um Umfragen zu korrigieren, bei denen die Menschen, die nicht antworten, sich von denen unterscheiden, die antworten – speziell dann, wenn die Antworten auf einer Skala erfolgen (wie von „Sehr glücklich“ bis „Sehr unglücklich“) und nicht nur ein einfaches „Ja“ oder „Nein“ sind.

Stellen Sie sich eine Standardumfrage wie ein Spiel namens „Errate den Punktestand“ vor. Normalerweise, wenn jemand nicht zum Spiel erscheint, ignoriert der Schiedsrichter ihn einfach. Aber diese Arbeit schlägt vor, dass der Schiedsrichter auf einen „Kooperations-Meter“ schauen kann, um zu erraten, welche Punktzahlen die fehlenden Spieler erzielt hätten. In ihrer Methode verwenden sie eine Frage, die nach dem Interview gestellt wird, wie etwa: „Wie sehr haben Sie dieses Gespräch genossen?“ oder „Wie kooperativ waren Sie?“ Dies ist ein Response-Propensity-Proxy (Stellvertreter für die Antwortbereitschaft). Es ist ein Hinweis, den die Menschen hinterlassen haben, die doch gesprochen haben.

Die Autoren erkannten: Wenn Menschen, die das Interview hassten (geringe Kooperation), auch dazu neigten, niedrige Werte bei der Lebenszufriedenheit anzugeben, dann haben die Menschen, die gar nicht erst an der Umfrage teilgenommen haben (Null-Kooperation), wahrscheinlich noch niedrigere Werte erzielt. Sie entwickelten eine Formel, die diese Punkte miteinander verbindet. Es ist, als würde man eine Schlange von Menschen beobachten, die auf eine Fahrt warten. Wenn die Menschen am Anfang der Schlange (die die Fahrt liebten) lächeln und die Menschen am Ende (die die Fahrt kaum ertragen haben) schmollen, kann man vermuten, dass die Menschen, die überhaupt nicht erst zur Schlange erschienen sind, wahrscheinlich noch viel stärker geschmollt haben.

Was sie herausfanden: Nicht jede Umfrage braucht eine Rettung

Das Team testete sein neues Werkzeug anhand der Daten der American National Election Studies (ANES) aus dem Jahr 2024, einer massiven Umfrage unter etwa 3.000 Personen. Sie simulierten ein Szenario, in dem etwa 65 % der Menschen nicht an der Umfrage teilnahmen (eine für moderne Umfragen sehr realistische Zahl). Dann nutzten sie ihre „Kooperations-Meter“-Methode, um zu erraten, was die stillen 65 % gesagt hätten.

Die Ergebnisse waren eine Mischung aus „Wow, das hat alles verändert“ und „Hm, nicht so sehr“.

• Die große Verschiebung (Lebenszufriedenheit): Als sie untersuchten, wie zufrieden die Menschen mit ihrem Leben waren, machte die Korrektur einen gewaltigen Unterschied. Die unkorrigierte Umfrage deutete darauf an, dass die meisten Menschen „sehr“ oder „extrem“ zufrieden waren. Doch nachdem die Autoren die stille, unzufriedene Menge berücksichtigt hatten, änderte sich das Bild. Die korrigierten Daten zeigten, dass ein viel größerer Teil der Bevölkerung tatsächlich nur „etwas zufrieden“ oder „gar nicht zufrieden“ war. Die Mathematik zeigte eine starke Verbindung (eine Korrelation von etwa 0,47) zwischen dem Hass auf das Interview und der Unzufriedenheit mit dem Leben. Es stellte sich heraus: Die Menschen, die zu mürrisch waren, um zu reden, waren diejenigen, die den Durchschnitt der Lebenszufriedenheit nach unten zogen.
• Die kleine Verschiebung (Die Wirtschaft): Als sie untersuchten, ob die Menschen die Meinung hatten, dass sich die nationale Wirtschaft verbesserte oder verschlechterte, bewegte die Korrektur die Nadel kaum. Die Verbindung zwischen dem Hass auf das Interview und der Meinung, dass die Wirtschaft schlecht sei, war sehr schwach (eine Korrelation von nur 0,14). Ob sie die stille Menge nun einbezogen oder nicht, die Umfrageergebnisse blieben in etwa gleich.
• Die „Keine Veränderung“-Zone: Bei Fragen zur Todesstrafe, Abtreibung oder dem Vertrauen in die Medien bewirkte die Korrektur fast gar nichts. Die stille Menge schien zu diesen Themen keine andere Meinung zu haben als die gesprächige Menge.

Das Fazit: Einheitslösungen gibt es nicht

Die wichtigste Lehre aus dieser Arbeit ist, dass die Behebung von Umfragefehlern kein Zauberstab ist, der für jede Frage gleichermaßen funktioniert. Die Autoren zeigen, dass man jedes Thema individuell prüfen muss. Für manche Dinge, wie etwa die Lebenszufriedenheit, verbergen die Menschen, die das Gespräch verweigern, eine ganz andere Realität, und sie zu ignorieren führt zu einem falschen Bild. Für andere Themen, wie die Meinung zur Wirtschaft oder zur Todesstrafe, denken die Menschen, die reden, und die, die schweigen, in etwa dasselbe.

Die Autoren haben dies nicht nur geraten; sie ließen Computersimulationen laufen, um zu beweisen, dass ihre Mathematik besser funktioniert als alte Methoden, und wandten sie dann auf reale Daten an. Sie fanden heraus, dass ihre neue Methode zwar leistungsstark ist, aber am nützlichsten, wenn der „Kooperations-Meter“ (wie etwa, wie sehr jemand das Interview mochte) tatsächlich stark variiert und deutlich signalisiert, wer bereit ist zu sprechen. Wenn sich der Meter nicht bewegt, kann die Methode nicht erraten, was die stillen Menschen denken.

Kurz gesagt: Diese Arbeit gibt Forschern einen neuen, praktischen Weg, um hinter den Vorhang des Schweigens in Umfragen zu blicken. Sie lehrt uns, dass die Menschen, die „Kein Kommentar“ sagen, manchmal die wichtigsten Stimmen von allen sind – aber nur, wenn wir wissen, wie wir auf die Hinweise hören müssen, die sie hinterlassen haben.