📈 economics

Finite Population Inference for Factorial Designs and Panel Experiments with Imperfect Compliance

Questo articolo stabilisce un quadro di popolazione finita con stimatori non parametrici e distribuzioni asintotiche per analizzare gli effetti causali in disegni fattoriali ed esperimenti panel sotto compliance imperfetta, dimostrandone l'utilità attraverso simulazioni e una rianalisi di uno studio sulla mobilitazione degli elettori.

Autori originali: Pedro Picchetti

Pubblicato 2026-01-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pedro Picchetti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire cosa faccia crescere una pianta più in alto. Hai un giardino con migliaia di piante e vuoi testare due cose: dare acqua (Trattamento A) e dare fertilizzante (Trattamento B).

In un mondo perfetto, diresti a metà delle piante "Prendi acqua" e all'altra metà "Non prenderla", e faresti lo stesso per il fertilizzante. Ma nel mondo reale, le cose si fanno complicate. Alcune piante a cui hai detto di prendere acqua ti ignorano e rimangono asciutte. Altre piante a cui hai detto di non prendere acqua trovano furtivamente una pozzanghera e bevono comunque. In termini di ricerca, questo è chiamato compliance imperfetta (aderenza imperfetta).

Questo articolo, di Pedro Picchetti, è come un nuovo, super-intelligente libro di regole per capire la vera causa-effetto in queste situazioni complicate, specificamente quando stai testando più cose contemporaneamente (come acqua e fertilizzante) o quando stai testando cose nel tempo (come l'irrigazione il lunedì, poi il martedì, poi il mercoledì).

Ecco la suddivisione delle idee dell'articolo usando analogie semplici:

1. Il Problema: Il "Giardino Disordinato"

I metodi standard per analizzare gli esperimenti spesso falliscono quando:

Sono coinvolti molteplici trattamenti: Non stai testando solo una cosa; stai testando combinazioni (Solo acqua, Solo fertilizzante, Entrambi, o Nessuno dei due).
Le persone non seguono gli ordini: Il fatto che tu abbia assegnato un trattamento non significa che il soggetto lo abbia effettivamente ricevuto.
Il tempo è coinvolto: In un esperimento panel, osservi le stesse persone nel tempo. Il trattamento di ieri ha influenzato il risultato di oggi?

L'autore sostiene che se provi a usare i classici "rimedi rapidi" (come gli strumenti statistici standard) in questi scenari disordinati, potresti ottenere la risposta sbagliata. È come cercare di misurare l'altezza di una pianta ignorando che alcune piante hanno bevuto acqua extra che non avrebbero dovuto bere.

2. La Soluzione: Il "Filtro Magico" (Lo Stimatore)

L'autore inventa uno strumento matematico (uno stimatore non parametrico) che agisce come un filtro magico.

Come funziona: Immagina di avere una lista di ogni singola persona nel tuo esperimento. Lo strumento guarda chi è stato assegnato a ricevere il trattamento e chi lo ha effettivamente ricevuto.
Il concetto di "Complier": Lo strumento si concentra solo sulle persone che hanno fatto esattamente ciò che è stato loro detto (i "Compliers" o aderenti). Ignora le persone che hanno rifiutato il trattamento o che lo hanno ricevuto quando non dovevano.
Il trucco della "Differenza Multipla": Questo è il ingrediente segreto dell'articolo.
- Se vuoi conoscere l'effetto di una cosa, confronti il gruppo a cui è stato "ordinato di farlo" rispetto al gruppo a cui è stato "ordinato di non farlo".
- Se vuoi conoscere l'effetto di due cose (o di una sequenza nel tempo), lo strumento utilizza un approccio "Difference-in-Differences" (differenza nelle differenze). È come un gioco del "Trova le differenze", ma con quattro o più gruppi. Confronta:
  - (Entrambi assegnati) rispetto a (Nessuno assegnato)
  - (Solo A assegnato) rispetto a (Solo B assegnato)
- Sottraendo queste differenze l'una dall'altra, lo strumento elimina il rumore e isola l'effetto reale della specifica sequenza di trattamenti.

3. La Prospettiva della "Popolazione Finita"

La maggior parte dei libri di statistica assume che tu stia prelevando un campione da un oceano infinito di dati. Questo articolo adotta una visione diversa: il giardino è fisso.

L'autore dice: "Assumiamo che queste specifiche 1.000 persone siano le uniche persone che esistono per questo esperimento". La casualità deriva solo da come abbiamo assegnato i trattamenti (chi ha ricevuto la telefonata, chi no), non dalle persone stesse. Questo permette di calcolare in modo molto preciso gli intervalli di confidenza (quanto siamo sicuri della nostra risposta) senza inventare ulteriori assunzioni su come funziona il mondo.

4. Test nel Mondo Reale: L'esperimento della "Telefonata"

Per dimostrare che lo strumento funziona, l'autore lo ha applicato a un famoso esperimento del mondo reale riguardante l'incoraggiamento al voto tra i giovani (Get-Out-The-Vote).

La configurazione: I ricercatori hanno chiamato dei giovani elettori. Alcuni hanno ricevuto una chiamata da un volontario, altri da un professionista, alcuni entrambi, e altri nessuno.
Il disordine: Non tutti hanno risposto al telefono (compliance imperfetta).
Il risultato: Utilizzando questo nuovo strumento, l'autore ha confermato che le telefonate hanno effettivamente aumentato il voto. Interessante è stato scoprire che ricevere due chiamate non era due volte più efficace di riceverne una; la seconda chiamata aveva "rendimenti decrescenti". Lo strumento è riuscito a separare gli effetti della chiamata del volontario rispetto a quella del professionista, nonostante i dati fossero disordinati.

5. Perché questo è importante

L'articolo fornisce un modo rigoroso, "design-based", per analizzare esperimenti complessi in cui:

Sono presenti molteplici trattamenti (disegni fattoriali).
I trattamenti avvengono nel tempo (esperimenti panel).
Le persone non sempre seguono le regole (compliance imperfetta).

Offre un nuovo modo per calcolare l'effetto "reale" di una sequenza di trattamenti, assicurando che i ricercatori non vengano ingannati dal caos dei dati del mondo reale. Le simulazioni nell'articolo mostrano che questo nuovo strumento è accurato e affidabile, mentre gli strumenti più vecchi forniscono spesso risposte distorte (sbagliate) in questi scenari specifici.

In breve: L'articolo fornisce ai ricercatori un paio di occhiali migliori per vedere la vera relazione causa-effetto in esperimenti complessi e multi-fase, dove le persone non sempre fanno ciò che viene loro ordinato.

Sintesi Tecnica: Inferenza per Popolazione Finita per Disegni Fattoriali e Esperimenti Panel con Compliance Imperfetta

1. Definizione del Problema

I metodi standard delle Variabili Strumentali (IV), specificamente il framework dell'Effetto Locale del Trattamento (LATE) stabilito da Imbens & Angrist (1994), sono ben adatti a contesti trasversali con un singolo trattamento binario e un singolo strumento binario. Tuttavia, molte applicazioni empiriche deviano da questo scenario canonico. Due esempi prominenti sono i disegni fattoriali (dove vengono assegnati simultaneamente più trattamenti) e gli esperimenti panel (dove trattamenti e outcome vengono osservati nel tempo). In entrambi i contesti, la compliance imperfetta è comune: le unità assegnate al trattamento non sempre lo accettano, e le unità assegnate al controllo non sempre rimangono non trattate.

In questi contesti complessi, gli estimandi IV standard (come i minimi quadrati a due stadi, 2SLS) spesso mancano di una interpretazione causale diretta. I metodi standard possono non tener conto delle specifiche sequenze di trattamenti o della natura dinamica dell'accettazione del trattamento, portando potenzialmente a conclusioni fuorvianti riguardo agli effetti causali. Inoltre, la letteratura esistente sull'inferenza basata sul design in contesti IV si è concentrata ampiamente su scenari con singolo trattamento, lasciando un vuoto nell'inferenza per popolazioni finite in contesti multi-fattore e dinamici con compliance imperfetta.

2. Metodologia e Framework

Il documento sviluppa un framework di inferenza causale basato sul design e sulla popolazione finita. Questo approccio tratta gli outcome potenziali e i trattamenti potenziali come quantità fisse per una popolazione finita di $N$ unità, dove l'incertezza deriva esclusivamente dalla randomizzazione delle assegnazioni.

2.1 Assunzioni Core

La strategia di identificazione si basa su un insieme di assunzioni standard adattate per contesti multi-fattore e dinamici:

Assenza di Spillo (SUTVA): Gli outcome potenziali e i trattamenti di un'unità dipendono solo dalle proprie assegnazioni e trattamenti, escludendo l'interferenza tra unità.
Restrizioni di Esclusione:
- Esclusione dell'Outcome: Le assegnazioni influenzano gli outcome solo attraverso il loro effetto sull'accettazione del trattamento.
- Esclusione del Trattamento: Nei disegni fattoriali, l'accettazione del trattamento per il fattore $k$ dipende solo dall'assegnazione per il fattore $k$ . Negli esperimenti panel, l'accettazione del trattamento al tempo $t$ dipende solo dall'assegnazione al tempo $t$ .
Monotonicità: Le unità assegnate al trattamento hanno una probabilità almeno pari a quelle assegnate al controllo di accettare il trattamento. Ciò consente la classificazione delle unità in Always-takers, Never-takers e Compliers.
Randomizzazione Individualistica/Sequenziale: Le assegnazioni sono indipendenti dagli outcome potenziali e dai trattamenti, e indipendenti tra le unità (o sequenzialmente randomizzate nei contesti panel).
Supporto Comune: I punteggi di propensione per tutte le possibili sequenze di assegnazione sono lontani dallo zero e dall'uno.

2.2 Strategia di Identificazione

Il documento definisce gli effetti causali per sequenze di trattamenti (vettori di fattori o percorsi nel tempo).

Parametri Target: L'attenzione è rivolta all'effetto causale medio per la sottopopolazione dei compliers per una specifica sequenza di assegnazioni. Ciò include gli effetti congiunti di più fattori (nei disegni fattoriali) e gli effetti dinamici di lag- $p$ (negli esperimenti panel).
L'Approccio delle Differenze Multiple: L'intuizione centrale dell'identificazione è che gli effetti causali per una sequenza di trattamenti possono essere identificati sfruttando le variazioni nella corrispondente sequenza di assegnazioni utilizzando un formato di differenze multiple.
- Per un singolo fattore, questo si riduce a un classico stimatore Wald.
- Per due fattori (o due periodi temporali), assume la forma di un differenza nelle differenze (difference-in-differences).
- Per tre fattori (o periodi), assume la forma di una tripla differenza, e così via.
Stimatori di Horvitz-Thompson: L'autore utilizza estimandi di tipo Horvitz-Thompson, pesati per l'inverso delle probabilità di assegnazione (punteggi di propensione), per identificare le funzioni di risposta locali. L'effetto causale è quindi derivato come la differenza tra queste funzioni di risposta identificate.

2.3 Stima e Inferenza

Stimatori Nonparametrici: Il documento propone stimatori non parametrici per gli effetti causali identificati. Questi stimatori sono costruiti inserendo analoghi campionari delle quantità di Horvitz-Thompson.
Proprietà Asintotiche: L'autore deriva le distribuzioni asintotiche della popolazione finita di questi stimatori al crescere della dimensione della popolazione $N$ . Gli stimatori sono mostrati essere consistenti sulla distribuzione di randomizzazione e asintoticamente normali.
Inferenza: Per gestire l'inosservabilità degli outcome individuali potenziali (che impedisce il calcolo esatto della varianza), il documento propone intervalli di confidenza conservativi basati sul limite superiore della varianza della forma ridotta, seguendo l'approccio di Bloom (1984). Tali intervalli sono validi sotto le assunzioni dichiarate, sebbene possano essere conservativi in presenza di eterogeneità degli effetti causali.

3. Contributi Chiave

Nuova Identificazione per Contesti Multi-Fattore/Dinamici: Il documento fornisce un approccio di identificazione non parametrico per gli effetti causali in disegni fattoriali ed esperimenti panel con compliance imperfetta. Definisce una ricca classe di effetti causali (congiunti e dinamici) che catturano l'efficacia relativa di alternative sequenze di trattamento.
Inferenza per Popolazione Finita Basata sul Design: A differenza di lavori precedenti che spesso si affidano ad assunzioni di super-popolazione, questo documento sviluppa una prospettiva puramente basata sul design. Deriva distribuzioni asintotiche di popolazione finita per stimatori IV in contesti con molteplici trattamenti e strumenti.
Estensione della Letteratura IV Dinamica: Il documento estende i risultati di Bojinov et al. (2021) agli esperimenti panel con compliance imperfetta. Dimostra che gli estimatori IV standard (come il 2SLS specifico per periodo) generalmente non hanno un'interpretazione causale diretta in presenza di effetti dinamici, anche quando valgono le restrizioni di esclusione.
Nuovi Stimatori: Introduce stimatori specifici di tipo Horvitz-Thompson (a stadio singolo per singoli fattori, differenze multiple per sequenze) e fornisce procedure di inferenza valide (intervalli di confidenza conservativi) per questi stimatori.

4. Risultati

4.1 Simulazioni Monte Carlo

Il documento conduce estese simulazioni Monte Carlo per valutare le proprietà in campioni finiti dei proporposti stimatori.

Disegni Fattoriali: Nelle simulazioni con $N=1.000$ e $K=2$ fattori, i proporposti stimatori mostrano un bias trascurabile e intervalli di confidenza con tassi di copertura vicini al livello nominale del 95%.
Esperimenti Panel: Nelle simulazioni con $N=1.000$ e $T=2$ periodi, i proporposti stimatori di Horvitz-Thompson rimangono consistenti e non distorti. Al contrario, gli stimatori 2SLS standard specifici per periodo e gli stimatori 2SLS multivariati mostrano un bias severo e una scarsa copertura (molto al di sotto del 95%) quando sono presenti effetti dinamici. Le simulazioni evidenziano che all'aumentare del numero di periodi temporali, i metodi 2SLS standard performano sempre peggio a causa dell'eterogeneità variabile nel tempo.

4.2 Applicazione Empirica: Esperimento GOTV

Il documento applica l'estimatore per disegni fattoriali a un famoso esperimento di mobilitazione elettorale di Nickerson (2007), che ha studiato gli effetti delle telefonate di volontari e professionisti sull'affluenza alle urne dei giovani.

Risultati: L'analisi conferma che sia le telefonate dei volontari che quelle dei professionisti hanno effetti causali positivi sull'affluenza.
Effetti di Interazione: I risultati suggeriscono rendimenti decrescenti agli sforzi di GOTV (Get Out The Vote). L'effetto di ricevere entrambe le chiamate non è significativamente maggiore rispetto a riceverne solo una, e il termine di interazione implica un effetto negativo della combinazione dei trattamenti.
Inferenza: Le stime sono statisticamente significative sotto il proposto framework di inferenza conservativa. Il documento nota che, sebbene studi precedenti (Nickerson 2007, Blackwell 2017) abbiano trovato stime puntuali simili, l'interpretazione dell'incertezza differisce: questo lavoro tratta la popolazione come fissa e le assegnazioni come stocastiche, fornendo intervalli di confidenza validi per la popolazione finita.

5. Significato e Rivendicazioni

Il documento sostiene di apportare un contributo significativo alla letteratura sull'inferenza causale colmando il divario tra i metodi IV standard e i complessi disegni sperimentali che coinvolgono molteplici trattamenti e dinamiche temporali.

Affrontare Conclusioni Fuorvianti: Affronta il rischio di trarre conclusioni fuorvianti dai metodi IV standard in contesti fattoriali e panel con compliance imperfetta.
Rigore Teorico: Fornendo un framework di popolazione finita, offre una base rigorosa per l'inferenza che non dipende da assunzioni di super-popolazione, il che è particolarmente rilevante per gli esperimenti randomizzati dove la popolazione è fissa.
Utilità Pratica: Gli stimatori e le procedure di inferenza proposti si dimostrano efficaci nelle simulazioni e forniscono uno strumento robusto per ri-analizzare i dati sperimentali esistenti, come dimostrato dall'applicazione GOTV.

Il documento conclude che, sotto le standard assunzioni IV e le restrizioni di esclusione del trattamento, gli effetti causali associati a sequenze di trattamenti possono essere identificati e stimati utilizzando un approccio a differenze multiple a due stadi, offrendo un'alternativa affidabile ai metodi standard in contesti sperimentali complessi.