A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Immagina di essere un detective che cerca di risolvere un mistero riguardante l'intera popolazione di una città, ma puoi intervistare solo un piccolo gruppo casuale di persone. Questo è il mondo dei sondaggi di probabilità, lo strumento statistico che i governi e i ricercatori usano per comprendere tutto, dal numero di pecore in un campo a come le persone si sentono riguardo al proprio lavoro. Il grande problema? Non tutti rispondono alla porta. Alcune persone ignorano il detective, altre riagganciano il telefono e altre ancora si rifiutano semplicemente di parlare. Questo si chiama non risposta.

Per molto tempo, la regola standard per questi detective è stata semplice: "Bussa a ogni singola porta che non ha risposto finché qualcuno non apre". L'obiettivo era ottenere il più alto possibile tasso di risposta — la percentuale di persone che hanno detto "sì". La logica era che se parli con più persone, la tua immagine della città deve essere più chiara. Tuttavia, i statistici si sono resi conto che un alto tasso di risposta non significa sempre un'immagine di alta qualità. Potresti bussare a mille porte solo per scoprire che le persone che hanno finalmente risposto appartengono tutte allo stesso quartiere, lasciandoti con una visione distorta dell'intera città. Il vero obiettivo non è solo ottenere più risposte "sì"; è ottenere la risposta più accurata possibile con il denaro che hai a disposizione. Questo articolo pone una domanda cruciale: se hai un budget limitato per bussare alle porte, come dovresti spenderlo per ottenere il miglior risultato possibile, piuttosto che solo quello più rumoroso?

---

Il dilemma del detective: perché bussare a ogni porta potrebbe essere una perdita di tempo

Nel mondo della statistica ufficiale, come quella raccolta dall'Australian Bureau of Statistics, c'è un classico tiro alla fune tra costo e qualità. I statistici dei sondaggi hanno un budget per il "Follow-up della non risposta" (NFU) — ovvero il denaro e il tempo spesi per dare la caccia a chi non ha risposto la prima volta. La strategia della vecchia scuola era quella di usare questo budget per dare seguito a ogni singolo non rispondente, sperando di trasformarlo in un rispondente. Il pensiero era: "Più rispondenti equivalgono a dati migliori".

Ma gli autori di questo articolo, SM Tam, A Holmberg e S Wang, sostengono che questo sia come un detective che spende tutti i suoi soldi cercando di intervistare lo stesso testimone poco collaborativo più e più volte, solo per dire che ci ha provato, ignorando al contempo altri indizi che potrebbero risolvere il caso più velocemente. Essi sottolineano che il tasso di risposta è un povero indicatore della qualità dei dati. A volte, aumentare il tasso di risposta può effettivamente rendere i dati peggiori introducendo ulteriore bias.

Invece di inseguire un alto tasso di risposta, gli autori propongono una nuova strategia: Minimizzare l'Errore Quadratico Medio (MSE). In parole semplici, l'MSE è una misura di quanto la tua stima sia lontana dalla risposta reale. L'obiettivo è spendere il tuo budget per il follow-up in modo da rendere la tua stima finale il più vicina possibile alla verità, non solo la più rumorosa.

La nuova strategia: la mappa dei "Gruppi di Omogeneità di Risposta"

Per risolvere questo problema, gli autori suggeriscono un metodo che somiglia un po' a una guida strategica di un videogioco. Dividono i non rispondenti in gruppi chiamati Gruppi di Omogeneità di Risposta (RHG). Pensa a questi gruppi come a quartieri dove tutti hanno un punteggio simile di "disponibilità a parlare", noto come punteggio di propensione.

• Gruppo A: Persone che sono molto propense a rispondere se glielo chiedi gentilmente (Alta Propensione).
• Gruppo B: Persone molto testarde e improbabili che rispondano, indipendentemente da tutto (Bassa Propensione).

L'articolo sostiene che non dovresti trattare tutti allo stesso modo. Se hai un budget limitato, non dovresti sprecare energie nel cercare di convincere i membri del super-testardi Gruppo B a parlare dopo che hai già bussato cinque volte. Invece, dovresti concentrare la tua energia sui gruppi dove pochi colpi extra porteranno effettmente nuove e utili informazioni.

Gli autori utilizzano un quadro matematico chiamato quasi-randomizzazione e pesatura dell'inversa della propensione. Immagina di scattare una foto a una folla. Se fotografi solo le persone in prima fila, la tua foto sarà distorta. Ma se sai esattamente quante persone ci sono nell'ultima fila e quanto è probabile che facciano un passo avanti, puoi matematicamente "tendere" la foto per far sembrare che tu abbia visto tutti. Questo articolo suggerisce di usare quella matematica per decidere chi merita lo sforzo extra di una visita di follow-up.

L'esperimento della fattoria delle pecore

Per testare la loro idea, gli autori hanno eseguito una simulazione utilizzando dati reali del 2018/19 Rural Environment and Agricultural Commodities Survey (REACS) in Australia. Cercavano di stimare il numero di pecore nelle fattorie.

Ecco come hanno impostato l'esperimento:

1. I Dati: Hanno esaminato 4.696 fattorie. 3.525 erano fattorie continuative (erano già state intervistate in precedenza) e 1.171 erano nuove fattorie.
2. La Predizione: Hanno utilizzato un algoritmo chiamato Random Forest (un tipo di machine learning che agisce come un team di alberi decisionali) per prevedere quanto fosse probabile che ogni fattoria rispondesse. Per le nuove fattorie, hanno usato un metodo "k-Nearest Neighbors", trovando le fattorie più simili tra quelle vecchie per indovinare il comportamento di quelle nuove.
3. I Gruppi: Hanno smistato tutte le fattorie non rispondenti in 10 gruppi (RHG) basati sulla loro probabilità di rispondere, che variavano da "Molto Improbabile" (0% - 10% di possibilità) a "Molto Probabile" (90% - 100%).
4. Il Budget: Hanno stabilito un budget ipotetico per il follow-up di $30.000.

I Risultati: Spendere con intelligenza, non con forza

Gli autori hanno utilizzato un risolutore matematico (come una calcolatrice super intelligente) per capire il numero perfetto di visite di follow-up per ogni gruppo, al fine di minimizzare l'errore nel conteggio delle pecore, senza sforare il budget.

Il Vecchio Modo (Pratica Comune):
Se bussi a ogni porta lo stesso numero di volte, potresti finire per spendere troppo tempo sulle fattorie super-testarde (dove non ottieni risultati) e non abbastanza su quelle "forse". Nella loro simulazione, questo approccio "taglia unica" è costato $30.000 e ha prodotto un tasso di risposta del 99%. Tuttavia, l'errore nel conteggio delle pecore era comunque relativamente alto.

Il Nuovo Modo (Allocazione Ottimale):
Il metodo degli autori suggeriva un piano molto diverso:

• Per i gruppi "Molto Improbabili": Bussa 6 volte sul primo gruppo e 5 volte sul secondo. Questi gruppi hanno un'alta varianza nei loro dati, il che significa che contribuiscono maggiormente all'incertezza complessiva della stima. Allocando più visite qui, la strategia mira ai gruppi che ridurranno l'errore maggiormente.
• Per i gruppi "Molto Probabili": Bussa solo 1 volta. Queste persone sono già propense a rispondere; non serve sprecare soldi bussando 6 volte.
• Il Costo: Questa strategia intelligente è costata solo $19.640 (circa due terzi del budget).
• Il Risultato: Anche con meno soldi spesi, hanno ridotto la varianza della non risposta (l'errore causato dalle persone mancanti) da 57,77 miliardi di unità a 38,21 miliardi di unità.

La Grande Sorpresa:
La "Pratica Comune" ha ottenuto un tasso di risposta del 99%, mentre la "Strategia Ottimale" ha ottenuto un tasso del 97%.

• Pratica Comune: 99% di tasso di risposta, errore più alto, costo $30.000.
• Strategia Ottimale: 97% di tasso di risposta, errore inferiore, costo $19.640.

L'articolo mostra che il tasso di risposta del 99% era una "falsa vittoria". Sembrava impressionante, ma costava di più e forniva in realtà un quadro meno accurato della popolazione ovina. La strategia ottimale ha risparmiato denaro e fornito una risposta migliore, anche con meno persone che dicevano "sì". Nello specifico, rispetto al metodo standard di "bussare a ogni porta", l'allocazione ottimale ha ridotto la varianza della non risposta di circa il 3,9%. (Nota: la riduzione del 10,4% menzionata nell'articolo si riferisce alla riduzione della Root Mean Squared Error rispetto al non fare alcun follow-up, non rispetto al metodo standard).

Cosa significa per il futuro

Gli autori concludono che inseguire un alto tasso di risposta è una trappola. È come cercare di vincere una partita contando quante volte urli "Scacco!" invece di controllare effettivamente se hai una mano vincente.

Le loro scoperte suggeriscono che i statistici dei sondaggi dovrebbero smettere di cercare di convertire ogni singolo non rispondente. Invece, dovrebbero usare i dati per identificare quali gruppi hanno bisogno di una piccola spinta extra e quali sono già a posto così. Allocando le risorse in base a dove ridurranno maggiormente l'Errore Quadratico Medio, le agenzie possono ottenere dati migliori per meno denaro.

Nel caso specifico del sondaggio sulle pecore, l'allocazione ottimale ha ridotto l'errore significativamente rispetto al non fare nulla e, con un margine minore ma significativo, rispetto al metodo standard di "bussare a ogni porta", il tutto risparmiando migliaia di dollari. L'articolo non sostiene che sia una soluzione magica per ogni problema, ma fornisce un modo chiaro e matematicamente solido per rendere i follow-up dei sondaggi più intelligenti, dimostrando che a volte, sapere quando smettere di bussare è importante quanto sapere quando iniziare.