How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)

Stellen Sie sich vor, Sie möchten herausfinden, wie sehr die Menschen eine bestimmte Art von Essen wirklich mögen. Um dies zu ermitteln, lassen Sie sie eine Umfrage ausfüllen. Aber hier ist der Clou: Sie lassen sie selbst entscheiden, wie sie antworten. Einige füllen ein Papierformular aus, einige antworten auf einer Website und einige sprechen mit einer Person am Telefon.

Dieses Paper argumentiert, dass es die Ergebnisse tatsächlich auf zwei hinterhältige Arten verfälschen kann, wenn man den Menschen die Wahl lässt, wie sie antworten. Die Autoren verwenden ein Werkzeug namens „Directed Acyclic Graphs“ (DAGs) – das sind im Grunde einfache Flussdiagramme, die Ursache-Wirkungs-Beziehungen zeigen – um zu erklären, warum das passiert und wie man vermeidet, getäuscht zu werden.

Hier ist die Aufschlüsselung des Problems und der Lösungen, unter Verwendung alltäglicher Analogien.

Die zwei großen Probleme

1. Der „Modus-Effekt“ (Das Masken-Problem)
Stellen Sie sich vor, Sie fragen die Leute: „Essen Sie Gemüse?“

• Szenario A: Sie fragen sie persönlich im Gespräch mit einem freundlichen Interviewer. Die Leute sagen vielleicht „Ja!“, weil sie nicht schlecht dastehen wollen vor einem Menschen (sie sind sozial höflich).
• Szenario B: Sie fragen sie auf einem privaten Computerbildschirm. Sie tippen vielleicht „Nein“, weil sie sich sicher und ehrlich fühlen.

Die Wahrheit über ihre Essgewohnheiten hat sich nicht geändert, aber die Antwort, die sie geben, hat sich geändert, nur weil sich der „Modus“ (die Methode) geändert hat. Dies wird als Modus-Effekt bezeichnet. Es ist, als würde man eine Maske tragen, die das Gesicht verändert, je nachdem, wer gerade zusieht.

2. Die „Modus-Auswahl“ (Das Selbstselektions-Problem)
Stellen Sie sich nun vor, wer die Methode wählt.

• Technikaffine junge Menschen bevorzugen vielleicht die Website.
• Ältere Menschen oder Menschen ohne Internet bevorzugen vielleicht das Telefonat.

Das bedeutet, dass die Gruppe der Menschen, die auf der Website antworten, sich von der Gruppe unterscheidet, die am Telefon antwortet. Dies ist die Modus-Auswahl. Es ist, als würde man nur Leute fragen, die ein Auto besitzen, über ihre Fahrgewohnheiten; Ihre Stichprobe ist bereits verzerrt, weil Nicht-Autobesitzer gar nicht erst dabei sind.

Die Falle: Warum das „Reparieren“ es schlimmer machen kann

Die Hauptwarnung des Papers ist, was passiert, wenn Forscher versuchen, das „Masken-Problem“ zu beheben, ohne das „Selbstselektions-Problem“ zu berücksichtigen.

Die naive Lösung:
Wenn Sie bemerken, dass die Leute auf der Website „Nein“ zu Gemüse sagen und die Leute am Telefon „Ja“, könnte ein Forscher denken: „Okay, ich werde die Daten einfach trennen und sie miteinander vergleichen.“ Oder: „Ich füge meiner mathematischen Gleichung einfach eine ‚Modus‘-Box hinzu, um den Unterschied auszugleichen.“

Die Falle (Collider-Bias):
Die Autoren sagen, dass dies gefährlich ist, wenn die Art der Person (z. B. ihr Alter oder ihre Bildung) sowohl beeinflusst hat, welche Methode sie wählten, ALS AUCH was sie antworteten.

Stellen Sie sich das wie einen Türsteher im Club vor:

• Der „Türsteher“ ist der Umfrage-Modus (Website vs. Telefon).
• Die „VIPs“ sind die Leute, die die Website gewählt haben (vielleicht sind sie jünger).
• Die „Stammgäste“ sind die Leute, die das Telefon gewählt haben (vielleicht sind sie älter).

Wenn Sie versuchen, die Daten zu „korrigieren“, indem Sie die VIPs und die Stammgäste direkt miteinander vergleichen, könnten Sie versehentlich eine künstliche Verbindung herstellen, die zwischen Dingen besteht, die eigentlich nicht miteinander verwandt sind.

Die Warnung des Papers:
Wenn Sie versuchen, für den Umfrage-Modus zu „kontrollieren“ (indem Sie die Daten trennen oder die Mathematik anpassen), wenn die Menschen selbst den Modus basierend auf ihren Eigenschaften gewählt haben, könnten Sie versehentlich eine falsche Verbindung zwischen Ihren Variablen erzeugen. Es ist, als würde man eine Gruppe von Menschen beobachten, die alle rote Autos besitzen und alle Pizza lieben, und daraus schließen: „Rote Autos verursachen eine Liebe zu Pizza“, während es in Wirklichkeit einfach die Menschen waren, die beides gleichermaßen liebten und deshalb den „Roten-Autos-Club“ gewählt haben.

Das Paper nutzt Flussdiagramme (DAGs), um zu zeigen, dass:

• Wenn der Umfrage-Modus nur eine „Maske“ ist (das die Antwort beeinflusst, aber nicht durch die Eigenschaften der Person gewählt wurde), können Sie das Problem beheben, indem Sie die Modi trennen.
• Wenn der Umfrage-Modus ein „Türsteher“ ist (gewählt durch die Eigenschaften der Person), führt der Versuch, dies zu beheben, indem man die Modi trennt, tatsächlich zu neuen Fehlern (genannt Collider-Bias).

Was sollten Forscher tun?

Das Paper schlägt drei Wege vor, je nach Situation:

1. Nicht anfassen (Conditioning): Wenn Sie sicher sind, dass die Menschen den Modus nicht basierend auf ihren Eigenschaften gewählt haben, können Sie die Daten einfach nach dem Modus trennen. Aber wenn sie ihn doch gewählt haben, lassen Sie das!
2. Raten und Auffüllen (Imputation): Sie könnten versuchen zu raten, was die „Website-Leute“ gesagt hätten, wenn sie die „Telefon-Methode“ genutzt hätten, und die Lücken füllen. Das Paper warnt davor, dass dies riskant ist, da es voraussetzt, dass die fehlenden Daten zufällig sind, was sie normalerweise nicht sind. Es ist, als würde man versuchen, die Antwort eines Freundes auf eine Frage zu erraten, die ihm gar nicht gestellt wurde, unter der Annahme, dass er dieselbe Antwort gegeben hätte wie alle anderen.
3. Das „Was wäre wenn“-Spiel (Quantitative Bias Analysis): Dies ist die Methode, die die Autoren am meisten empfehlen. Anstatt zu versuchen, die Daten magisch zu reparieren, geben Sie zu, dass die Daten unordentlich sind. Sie sagen: „Okay, nehmen wir an, der Modus-Effekt war so groß. Wie würde das unsere Ergebnisse verändern?“ Und dann probieren Sie eine andere Größe aus. Wenn Ihr Hauptergebnis gleich bleibt, egal wie groß Sie den Fehler annehmen, können Sie vertrauensvoll in Ihren Erkenntnissen sein.

Das Fazle Wort

Wenn Sie verschiedene Wege mischen, um Umfragedaten zu sammeln (wie Telefon, Web und Papier), müssen Sie vorsichtig sein.

• Die Methode zählt: Sie verändert, wie Menschen antworten (Die Maske).
• Die Menschen zählen: Verschiedene Menschen wählen verschiedene Methoden (Der Türsteher).

Wenn Sie versuchen, das „Masken-Problem“ zu lösen, ohne zu erkennen, dass der „Türsteher“ da ist, könnten Sie versehentlich eine falsche Geschichte erfinden. Der beste Ansatz ist es, seine Annahmen abzubilden (unter Verwendung dieser Flussdiagramme), zu erkennen, dass man die Daten nicht immer perfekt korrigieren kann, und stattdessen zu testen, wie stark sich Ihre Ergebnisse ändern würden, wenn die Fehler größer oder kleiner wären.