A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Stel je voor dat je een rechercheur bent die een mysterie probeert op te lossen over de gehele bevolking van een stad, maar je kunt alleen een kleine, willekeurige groep mensen interviewen. Dit is de wereld van waarschijnlijkheidsenquêtes, de statistische instrumenten die overheden en onderzoekers gebruiken om alles te begrijpen, van hoeveel schapen er in een veld staan tot hoe mensen denken over hun baan. Het grote probleem? Niet iedereen doet de deur open. Sommige mensen negeren de rechercheur, sommigen hangen de telefoon op, en sommigen weigeren simpelweg te praten. Dit wordt non-respons genoemd.

Lange tijd was de standaardregel voor deze rechercheurs simpel: "Klop bij elke deur aan die niet openging, totdat er iemand opendoet." Het doel was om de hoogst mogelijke responsrate te krijgen—het percentage mensen dat "ja" zei. De logica was: als je met meer mensen praat, moet je beeld van de stad wel duidelijker zijn. Echter, statistici hebben zich gerealiseerd dat een hoge responsrate niet altijd een hoogwaardig beeld betekent. Je klopt misschien duizend deuren aan, om er vervolgens achter te komen dat de mensen die uiteindelijk antwoordden allemaal uit dezelfde buurt komen, waardoor je een vertekend beeld van de hele stad krijgt. Het echte doel is niet alleen om meer "ja"-antwoorden te krijgen; het is om het meest nauwkeurige antwoord te krijgen met het geld dat je hebt. Dit artikel stelt een cruciale vraag: Als je een beperkt budget hebt voor het aankloppen aan deuren, hoe moet je dat budget dan besteden om het beste resultaat te krijgen, in plaats van alleen het luidste?

---

Het Dilemma van de Rechercheur: Waarom bij elke deur aankloppen een verspilling van tijd kan zijn

In de wereld van de officiële statistiek, zoals die verzameld door het Australische Bureau van Statistiek, is er een klassieke touwtrekkerij tussen kosten en kwaliteit. Enquêteurs hebben een budget voor "Nonresponse Follow-up" (NFU)—het geld en de tijd die wordt besteed aan het achtervolgen van mensen die de eerste keer niet antwoordden. De ouderwetse strategie was om dit budget te gebruiken om iedereen die niet reageerde op te volgen, in de hoop hen alsnog tot respondent te maken. De gedachte was: "Meer respondenten staat gelijk aan betere data."

Maar de auteurs van dit artikel, SM Tam, A Holmberg en S Wang, stellen dat dit is alsof een rechercheur al zijn geld uitgeeft aan het herhaaldelijk proberen te interviewen van dezelfde oncoöperatieve getuige, alleen maar om te kunnen zeggen dat hij het geprobeerd heeft, terwijl hij andere sporen negeert die de zaak sneller zouden kunnen oplossen. Ze wijzen erop dat de responsrate een slechte indicator is voor de datakwaliteit. Soms maakt het verhogen van de responsrate de data zelfs slechter door meer bias (vertekening) te introduceren.

In plaats van te streven naar een hoge responsrate, stellen de auteurs een nieuwe strategie voor: Minimaliseer de Gemiddelde Kwadratische Fout (MSE). In gewone mensentaal is MSE een maatstaf voor hoe ver je schatting afwijkt van het werkelijke antwoord. Het doel is om je budget voor follow-up zo te besteden dat je uiteindelijke schatting zo dicht mogelijk bij de waarheid komt, en niet alleen zo luid mogelijk is.

De Nieuwe Strategie: De "Response Homogeneity Group" Kaart

Om dit op te lossen, stellen de auteurs een methode voor die een beetje lijkt op een strategiehandleiding voor een videogame. Ze verdelen de niet-respondenten in groepen genaamd Response Homogeneity Groups (RHG's). Denk aan deze groepen als buurten waar iedereen een vergelijkbare "bereidheid om te praten"-score heeft, ook wel een propensity score genoemd.

• Groep A: Mensen die zeer waarschijnlijk zullen antwoorden als je alleen maar beleefd vraagt (Hoge Propensity).
• Groep B: Mensen die erg koppig zijn en onwaarschijnlijk zullen antwoorden, wat je ook doet (Lage Propensity).

Het artikel betoogt dat je niet iedereen hetzelfde moet behandelen. Als je een beperkt budget hebt, moet je je energie niet verspillen aan het overtuigen van de superkoppige leden van Groep B nadat je al vijf keer hebt aangeklopt. In plaats daarvan moet je je energie richten op de groepen waar een paar extra klopjes daadwerkelijk nieuwe, nuttige informatie opleveren.

De auteurs gebruiken een wiskundig kader genaamd quasi-randomisatie en inverse propensity weighting. Stel je voor dat je een foto maakt van een menigte. Als je alleen de mensen fotografeert die in de voorste rij staan, is je foto vertekend. Maar als je precies weet hoeveel mensen er in de achterste rij staan en hoe waarschijnlijk het is dat zij naar voren stapten, kun je die foto wiskundig "uitrekken" zodat het lijkt alsof je iedereen hebt gezien. Dit artikel suggereert om die wiskunde te gebruiken om te beslissen wie de extra inspanning van een follow-up bezoek verdient.

Het Schapenboerderij-experiment

Om hun idee te testen, voerden de auteurs een simulatie uit met echte gegevens van de 2018/19 Rural Environment and Agricultural Commodities Survey (REACS) in Australië. Ze probeerden het aantal schapen op boerderijen te schatten.

Zo hebben zij het experiment opgezet:

1. De Data: Ze keken naar 4.696 boerderijen. 3.525 waren voortgezette boerderijen (die eerder waren onderzocht) en 1.171 waren nieuwe boerderijen.
2. De Voorspelling: Ze gebruikten een computeralgoritme genaamd Random Forest (een type machine learning dat werkt als een team van beslissingsbomen) om te voorspellen hoe groot de kans was dat elke boerderij zou reageren. Voor de nieuwe boerderijen gebruikten ze een "k-Nearest Neighbors"-methode, waarbij ze de meest vergelijkbare oude boerderijen zochten om het gedrag van de nieuwe te raden.
3. De Groepen: Ze sorteerden alle niet-reagerende boerderijen in 10 groepen (RHG's) op basis van hun waarschijnlijkheid om te reageren, variërend van "Zeer Onwaarschijnlijk" (0% tot 10% kans) tot "Zeer Waarschijnlijk" (90% tot 100% kans).
4. Het Budget: Ze stelden een hypothetisch follow-up budget vast van $30.000.

De Resultaten: Slimmer Werken, Niet Harder

De auteurs gebruikten een computeroplosser (zoals een super slimme rekenmachine) om het perfecte aantal follow-up bezoeken voor elke groep te bepalen, om de fout in hun schapen telling te minimaliseren zonder het budget te overschrijden.

De Oude Manier (Gangbare Praktijk):
Als je bij elke deur even vaak aanklopt, kom je er misschien achter dat je te veel tijd besteedt aan de superkoppige boerderijen (waar je geen resultaat krijgt) en te weinig aan de "misschien"-boerderijen. In hun simulatie kostte deze "one-size-fits-all"-aanpak $30.000 en resulteerde het in een responsrate van 99%. Echter, de fout in hun schatting van het aantal schapen bleef relatief hoog.

De Nieuwe Manier (Optimale Allocatie):
De methode van de auteurs suggereerde een heel ander plan:

• Voor de "Zeer Onwaarschijnlijke" groepen: Klop 6 keer aan bij de eerste groep en 5 keer bij de tweede groep. Deze groepen hebben een hoge variantie in hun data, wat betekent dat ze de meeste bijdrage leveren aan de totale onzekerheid van de schatting. Door meer bezoeken toe te wijzen aan deze groepen, richt de strategie zich op de specifieke groepen die de fout het meest zullen verminderen.
• Voor de "Zeer Waarschijnlijke" groepen: Klop slechts 1 keer aan. Deze mensen reageren al waarschijnlijk; je hoeft geen geld te verspillen aan 6 keer aankloppen bij hen.
• De Kosten: Deze slimme strategie kostte slechts $19.640 (ongeveer twee derde van het budget).
• Het Resultaat: Zelfs met minder geld verminderden ze de non-respons variantie (de fout veroorzaakt door ontbrekende mensen) van 57,77 miljard eenheden naar 38,21 miljard eenheden.

De Grote Verrassing:
De "Gangbare Praktijk" behaalde een responsrate van 99%, terwijl de "Optimale Strategie" een responsrate van 97% behaalde.

• Gangbare Praktijk: 99% responsrate, hogere fout, kost $30.000.
• Optimale Strategie: 97% responsrate, lagere fout, kost $19.640.

De auteurs laten zien dat de 99% responsrate een "valse overwinning" was. Het zag er indrukwekkend uit, maar het kostte meer geld en gaf een minder nauwkeurig beeld van de schapenpopulatie. De optimale strategie bespaarde geld en gaf een beter antwoord, zelfs met minder mensen die "ja" zeiden. Specifiek gezien, vergeleken met de standaardmethode van "bij elke deur aankloppen", verminderde de optimale allocatie de non-respons variantie met ongeveer 3,9%. (Opmerking: De genoemde reductie van 10,4% in het artikel verwijst naar de reductie in de Root Mean Squared Error vergeleken met het doen van geen follow-up, niet vergeleken met de standaardmethode).

Wat Dit Betekent voor de Toekomst

De auteurs concluderen dat het najagen van een hoge responsrate een valstrik is. Het is alsover je een spel probeert te winnen door alleen te tellen hoe vaak je "Check!" roept, in plaats van daadwerkelijk te controleren of je een winnende hand hebt.

Hun bevindingen suggereren dat enquêteurs moeten stoppen met het proberen te converteren van elke niet-respondent. In plaats daarvan zouden ze data moeten gebruiken om te identificeren welke groepen een klein extra zetje nodig hebben en welke groepen het al goed doen. Door middelen toe te wijzen op basis van waar ze de Gemiddelde Kwadratische Fout het meest zullen verminderen, kunnen instanties betere data verkrijgen voor minder geld.

In het specifieke geval van de schapenenquête verminderde de optimale allocatie de fout aanzienlijk vergeleken met niets doen, en met een kleinere maar betekenisvolle marge vergeleken met de standaardmethode van "bij elke deur aankloppen", terwijl er duizenden dollars werden bespaard. Het artikel beweert niet dat dit een wondermiddel is voor elk probleem, maar het biedt een duidelijke, wiskundig onderbouwde manier om enquête follow-ups slimmer te maken, waarmee wordt bewezen dat het soms net zo belangrijk is om te weten wanneer je moet stoppen met aankloppen als wanneer je moet beginnen.