A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel über die gesamte Bevölkerung einer Stadt zu lösen, aber Sie können nur eine kleine, zufällige Gruppe von Menschen interviewen. Das ist die Welt der Wahrscheinlichkeitsumfragen, des statistischen Werkzeugs, das Regierungen und Forscher verwenden, um alles zu verstehen – von der Frage, wie viele Schafe auf einem Feld sind, bis hin dazu, wie Menschen über ihren Job denken. Das große Problem? Nicht jeder öffnet die Tür. Manche Leute ignorieren den Detektiv, manche legen am Telefon auf, und manche weigern sich schlichtweg zu reden. Dies nennt man Non-Response (Antwortausfall).

Lange Zeit war die Standardregel für diese Detektive simpel: „Klopfe an jede einzelne Tür, die nicht geantwortet hat, bis jemand die Tür öffnet.“ Das Ziel war es, die höchstmögliche Antwortrate (Response Rate) zu erzielen – den Prozentsatz der Menschen, die mit „Ja“ geantwortet haben. Die Logik dahinter war: Wenn man mit mehr Menschen spricht, muss das Bild der Stadt klarer werden. Die Statistiker haben jedoch erkannt, dass eine hohe Antwortrate nicht immer eine qualitativ hochwertige Darstellung bedeutet. Man kann tausend Türen klopfen, nur um festzustellen, dass die Leute, die schließlich geantwortet haben, alle aus derselben Nachbarschaft stammen, was einem ein verzerrtes Bild der gesamten Stadt vermittelt. Das eigentliche Ziel ist nicht nur, möglichst viele „Ja“-Antworten zu bekommen; es geht darum, die genaueste Antwort mit dem verfügbaren Budget zu erhalten. Dieses Papier stellt eine entscheidende Frage: Wenn Sie ein begrenztes Budget zum Klopfen an Türen haben, wie sollten Sie dieses ausgeben, um das bestmögliche Ergebnis zu erzielen, statt nur das lauteste?

---

Das Dilemma des Detektivs: Warum das Klopfen an jede Tür Zeitverschwendung sein kann

In der Welt der amtlichen Statistik, wie sie beispielsweise vom Australian Bureau of Statistics erhoben wird, gibt es ein klassisches Tauziehen zwischen Kosten und Qualität. Umfragestatistiker verfügen über ein Budget für „Nonresponse Follow-up“ (NFU) – das Geld und die Zeit, die aufgewendet werden, um Menschen zu jagen, die beim ersten Mal nicht geantwortet haben. Die alte Strategie bestand darin, dieses Budget zu nutzen, um jeden einzelnen Nicht-Antwortenden nachzufassen, in der Hoffnung, ihn in einen Antwortenden zu verwandeln. Die Denkweise war: „Mehr Antwortende bedeuten bessere Daten.“

Doch die Autoren dieses Papiers, SM Tam, A Holmberg und S Wang, argumenten, dass dies so ist, als würde ein Detektiv sein gesamtes Geld dafür ausgeben, densenelben unkooperativen Zeugen immer und immer wieder zu interviewen, nur um zu sagen, dass er es versucht hat, während er andere Spuren ignoriert, die den Fall schneller lösen könnten. Sie weisen darauf hin, dass die Antwortrate ein schlechter Indikator für die Datenqualität ist. Manchmal macht eine Erhöhung der Antwortrate die Daten sogar schlechter, indem sie mehr Bias (Verzerrung) einführt.

Anstatt einer hohen Antwortrate nachzujagen, schlagen die Autoren eine neue Strategie vor: Minimierung des mittleren quadratischen Fehlers (Mean Squared Error, MSE). Vereinfacht gesagt ist der MSE ein Maß dafür, wie weit Ihre Schätzung vom wahren Wert entfernt ist. Das Ziel ist es, Ihr Follow-up-Geld so einzusetzen, dass Ihre endgültige Schätzung dem wahren Wert so nah wie möglich kommt, und nicht einfach nur so laut wie möglich ist.

Die neue Strategie: Die „Response Homogeneity Group“-Karte

Um dies zu lösen, schlagen die Autoren eine Methode vor, die ein wenig wie ein Strategieleitfaden für Videospiele klingt. Sie unterteilen die Nicht-Antwortenden in Gruppen, die Response Homogeneity Groups (RHGs) genannt werden. Stellen Sie sich diese Gruppen als Nachbarschaften vor, in denen alle einen ähnlichen „Bereitschaft zu sprechen“-Score haben, der als Propensity Score bekannt ist.

• Gruppe A: Menschen, die sehr wahrscheinlich antworten, wenn man nur höflich fragt (Hohe Propensity).
• Gruppe B: Menschen, die sehr hartnäckig sind und unabhängig davon, was man tut, unwahrscheinlich antworten (Niedrige Propensity).

Das Papier argumentt, dass man nicht jeden gleich behandeln sollte. Wenn Sie ein begrenztes Budget haben, sollten Sie nicht Ihre Energie darauf verschwenden, die super-sturen Mitglieder der Gruppe B zu überzeugen, nachdem Sie bereits fünfmal geklopft haben. Stattdessen sollten Sie Ihre Energie auf die Gruppen konzentrieren, in denen ein paar zusätzliche Klopfzeichen tatsächlich neue, nützliche Informationen einbringen.

Die Autoren verwenden einen mathematischen Rahmen namens Quasi-Randomisierung und Inverse-Propensity-Weighting. Stellen Sie sich vor, Sie fotografieren eine Menschenmenge. Wenn Sie nur die Menschen fotografieren, die in der ersten Reihe stehen, ist Ihr Foto verzerrt. Aber wenn Sie genau wissen, wie viele Menschen in der hinteren Reihe sind und wie wahrscheinlich es ist, dass sie nach vorne treten, können Sie dieses Foto mathematisch „dehnen“, damit es so aussieht, als hätten Sie alle gesehen. Dieses Papier schlägt vor, diese Mathematik zu nutzen, um zu entscheiden, wer den zusätzlichen Aufwand eines Follow-up-Besuchs verdient.

Das Schaffarm-Experiment

Um ihre Idee zu testen, führten die Autoren eine Simulation unter Verwendung realer Daten aus dem 2018/19 Rural Environment and Agricultural Commodities Survey (REACS) in Australien durch. Sie versuchten, die Anzahl der Schafe auf Farmen zu schätzen.

So haben sie das Experiment aufgebaut:

1. Die Daten: Sie betrachteten 4.696 Farmen. 3.525 waren bestehende Farmen (sie wurden zuvor bereits befragt) und 1.171 waren neue Farmen.
2. Die Vorhersage: Sie verwendeten einen Computer-Algorithmus namens Random Forest (eine Art von Entscheidungsbäume-basiertem maschinellem Lernen), um vorherzusagen, wie wahrscheinlich es für jede Farm ist, zu antworten. Für die neuen Farmen verwendeten sie eine „k-Nearest Neighbors“-Methode, um die ähnlichsten alten Farmen zu finden und deren Verhalten zu erraten.
3. Die Gruppen: Sie sortierten alle Nicht-Antwortenden in 10 Gruppen (RHGs) basierend auf ihrer Wahrscheinlichkeit zu antworten, von „Sehr unwahrscheinlich“ (0 % bis 10 % Chance) bis „Sehr wahrscheinlich“ (90 % bis 100 % Chance).
4. Das Budget: Sie setzten ein hypothetisches Follow-up-Budget von 30.000 $ fest.

Die Ergebnisse: Schlauer investieren, nicht härter arbeiten

Die Autoren nutzten einen Computer-Solver (wie einen superintelligenten Taschenrechner), um die perfekte Anzahl an Follow-up-Besuchen für jede Gruppe zu ermitteln, um den Fehler in ihrer Schafzählung zu minimieren, ohne das Budget zu sprengen.

Der alte Weg (Common Practice):
Wenn Sie einfach jede Tür die gleiche Anzahl an Malen klopfen, verbringen Sie vielleicht zu viel Zeit mit den super-sturen Farmen (wo Sie keine Ergebnisse erzielen) und zu wenig Zeit mit den „Vielleicht“-Farmen. In ihrer Simulation kostete dieser „Einheitsansatz“ 30.000 $ und führte zu einer 99%igen Antwortrate. Die Antwortrate war zwar hoch, aber der Fehler in ihrer Schafzählung war immer noch relativ hoch.

Der neue Weg (Optimale Allokation):
Die Methode der Autoren schlug einen ganz anderen Plan vor:

• Für die „Sehr unwahrscheinlichen“ Gruppen: Klopfen Sie 6 Mal bei der ersten Gruppe und 5 Mal bei der zweiten. Diese Gruppen haben eine hohe Varianz in ihren Daten, was bedeutet, dass sie am meisten zur allgemeinen Unsicherheit der Schätzung beitragen. Durch die Zuweisung von mehr Besuchen an diese Gruppen zielt die Strategie auf die spezifischen Gruppen ab, die die Unsicherheit am stärksten reduzieren.
• Für die „Sehr wahrscheinlichen“ Gruppen: Klopfen Sie nur 1 Mal. Diese Leute antworten bereits wahrscheinlich; Sie müssen kein Geld verschwenden, indem Sie 6 Mal klopfen.
• Die Kosten: Diese kluge Strategie kostete nur 19.640 $ (etwa zwei Drittel des Budgets).
• Das Ergebnis: Sie reduzierten die Non-Response-Varianz (den Fehler, der durch fehlende Personen entsteht) von 57,77 Milliarden Einheiten auf 38,21 Milliarden Einheiten.

Die große Überraschungsmeldung:
Die „Common Practice“ erreichte eine 99%ige Antwortrate, während die „Optimale Strategie“ nur eine 97%ige Antwortrate erreichte.

• Common Practice: 99 % Antwortrate, höherer Fehler, Kosten 30.000 $.
• Optimale Strategie: 97 % Antwortrate, niedrigerer Fehler, Kosten 19.640 $.

Das Papier zeigt, dass die 99%ige Antwortrate ein „falscher Sieg“ war. Es sah beeindruckend aus, kostete aber mehr Geld und lieferte tatsächlich ein weniger genaues Bild der Schafpopulation. Die optimale Strategie sparte Geld und lieferte eine bessere Antwort, obwohl weniger Menschen „Ja“ sagten. Speziell im Vergleich zur Standardmethode des „an jeder Tür klopfen“ reduzierte die optimale Allokation die Non-Response-Varianz um etwa 3,9 %. (Hinweis: Die erwähnte Reduktion von 10,4 % bezieht sich auf die Reduktion des Root Mean Squared Error im Vergleich zu gar keinem Follow-up, nicht im Vergleich zur Standardmethode).

Was dies für die Zukunft bedeutet

Die Autoren kommen zu dem Schluss, dass das Hinterherjagen einer hohen Antwortrate eine Falle ist. Es ist, als würde man versuchen, ein Spiel zu gewinnen, indem man nur zählt, wie oft man „Schach!“ ruft, anstatt tatsächlich zu prüfen, ob man eine gewinnende Hand hat.

Ihre Ergebnisse legen nahe, dass Umfragestatistiker aufhören sollten, zu versuchen, jeden Nicht-Antwortenden zu konvertieren. Stattdessen sollten sie Daten nutzen, um zu identifizieren, welche Gruppen einen kleinen zusätzlichen Anstoß benötigen und welche Gruppen bereits gut funktionieren. Indem sie Ressourcen baslich dort zuteilen, wo sie den Mean Squared Error am meisten reduzieren, können Behörden bessere Daten für weniger Geld erhalten.

Im speziellen Fall der Schafumfrage reduzierte die optimale Allokation den Fehler signifikant im Vergleich zu gar keinem Follow-up und um einen kleineren, aber bedeutsamen Betrag im Vergleich zur Standardmethode des „an jeder Tür klopfen“, und das bei gleichzeitiger Ersparnis von Tausenden von Dollar. Das Papier behauptet nicht, dass dies ein Allheilmittel für jedes Problem ist, bietet aber einen klaren, mathematisch fundierten Weg, um Survey-Follow-ups intelligenter zu gestalten, und beweist, dass es manchmal genauso wichtig ist, zu wissen, wann man aufhören sollte zu klopfen, wie zu wissen, wann man anfangen sollte.