Sintesi Tecnica: Apprendimento di Politiche Adattive in Presenza di Interferenze di Rete Sconosciute

Enunciato del Problema

In molti contesti sperimentali, l'esito di un'unità dipende non solo dal proprio trattamento, ma anche dai trattamenti assegnati ai suoi vicini all'interno di una rete sottostante. Questo fenomeno, noto come interferenza o spillover, viola l'Assunzione di Valore di Trattamento Stabile per l'Unità (SUTVA). Sebbene la letteratura sull'inferenza causale abbia sviluppato metodi robusti per esperimenti statici in presenza di interferenza (ad es. Sussman e Airoldi, 2017; Aronow e Samii, 2017), questi approcci presuppongono tipicamente che la rete di interferenza sia nota o si basino su randomizzazioni grossolane a livello di cluster.

I metodi esistenti per la sperimentazione adattiva (sequenziale) presentano limitazioni significative:

1. Ipotesi di Rete Conosciuta: Metodi scalabili come Gleich et al. (2025) presuppongono che la struttura della rete sia completamente osservata, il che è irrealistico in molte applicazioni dove i legami sociali o comportamentali sono latenti.
2. Problemi di Scalabilità: I metodi che tentano di apprendere la struttura della rete, come Agarwal et al. (2024), si basano sull'analisi di Fourier su tutte le possibili configurazioni di vicini, risultando in un numero di parametri esponenziale rispetto alla dimensione del vicinato. Questi metodi non scalano oltre circa $n \approx 12$ unità.
3. Perdita di Granularità: Altri disegni adattivi (ad es. Viviano e Rudder, 2024) operano su cluster predefiniti, bypassando l'ottimizzazione a livello individuale e non riuscendo a recuperare la rete di interferenza stessa.

La sfida centrale affrontata da questo articolo è imparare congiuntamente la rete di interferenza sconosciuta e ottimizzare le allocazioni dei trattamenti a livello individuale in un contesto sequenziale per massimizzare gli esiti cumulativi (ad es. ricavi, metriche sanitarie).

Metodologia

Gli autori propongono un framework di Thompson Sampling (TS) che inferisce congiuntamente la rete di interferenza e i parametri di ricompensa utilizzando un campionatore di Gibbs.

1. Impostazione del Modello

• Contesto: Allocazione sequenziale di trattamenti binari $Z_t \in \{0, 1\}^n$ a $n$ unità su $T$ round, soggetta a un vincolo di budget $\|Z_t\|_1 \le B$.
• Ipotesi di Interferenza di Vicinato (NIA): L'esito dell'unità $i$ dipende solo dal proprio trattamento e dai trattamenti dei suoi vicini definiti da una matrice di adiacenza sconosciuta $A$.
• Modello di Ricompensa: L'esito atteso è lineare in un vettore di parametri $\theta$, ovvero $r(Z; A, \theta) = H(Z; A)\theta$. La matrice di progetto $H$ dipende dalla rete $A$.

2. Campionamento Posterore Congiunto tramite Gibbs

Poiché la verosimiglianza è non lineare in $A$ (a causa dei conteggi dei vicini), non è disponibile una forma chiusa per il posteriore. Gli autori impiegano un campionatore di Gibbs per gli archi per estrarre campioni congiunti approssimati dal posteriore $\pi(\theta, A | \mathcal{D}_{t-1})$:

• Aggiornamento dei Parametri ($\theta | A$): Con $A$ fissato, il modello si riduce a una regressione gaussiana coniugata standard. Il posteriore per $\theta$ è gaussiano.
• Aggiornamento degli Archi ($A | \theta$): Con $\theta$ fissato, il campionatore scorre su tutti gli archi $(i, j)$. La condizione completa per l'arco $A_{ij}$ dipende solo dalle serie di ricompensa dei nodi $i$ e $j$. La regola di aggiornamento è derivata tramite una trasformazione logit del rapporto di verosimiglianza, permettendo un campionamento efficiente senza enumerare tutte le $2^{\binom{n}{2}}$ configurazioni di grafo.

3. Algoritmo (Gibbs-TS)

Ad ogni round $t$:

1. Eseguire $K$ scansioni di Gibbs per ottenere un campione congiunto approssimato $(\theta^{(t)}, A^{(t)})$.
2. Selezionare il vettore di trattamento $Z_t$ che massimizza la ricompensa totale attesa campionata: $Z_t = \arg\max_{Z: \|Z\|_1 \le B} \mathbf{1}^\top H(Z; A^{(t)}) \theta^{(t)}$.
3. Osservare le ricompense e aggiornare la storia $\mathcal{D}_t$.
4. Avviare a caldo la catena di Gibbs del round successivo con il campione finale del round corrente.

4. Variante Explore-Then-Commit (ETC)

Per ricompense NIA generali in cui non vale il collasso modulare, gli autori analizzano una strategia ETC:

• Fase 1: Trattare ogni nodo in isolamento per $m$ round per stimare le probabilità degli archi basandosi sugli spillover osservati.
• Fase 2: Eseguire un algoritmo standard di Thompson Sampling (assumendo che la rete sia nota) utilizzando il grafo stimato $\hat{A}$.

Contributi Chiave

1. Framework di Apprendimento Congiunto: L'articolo formula il problema congiunto di recupero della rete e allocazione adattiva dei trattamenti sotto NIA. Introduce un algoritmo di Thompson Sampling che utilizza scansioni di Gibbs per gli archi per campionare dal posteriore congiunto della rete e dei parametri di ricompensa.
2. Inferenza Causale a valle: La rete stimata $\hat{A}$ non è meramente un sottoprodotto, ma un risultato scientifico. Supporta la stima post-sperimentale degli effetti diretti, indiretti e totali del trattamento, nonché la progettazione di esperimenti di follow-up.
3. Limiti Teorici del Rimpianto (Regret):
   • Modelli di Spillover Additivi: Per modelli in cui la ricompensa totale è lineare nel vettore di trattamento con coefficienti di punteggio latente (ad es. lineare nelle medie), gli autori dimostrano un limite di rimpianto bayesiano dell'ordine $O(\sqrt{nT \cdot B \log(en/B)})$ per il campionamento posteriore esatto. Questo limite dipende dalla dimensione del punteggio latente $n$, non dalla dimensione ambientale di $\theta$.
   • NIA Generale: Per ricompense generali, la variante ETC raggiunge un limite di rimpianto con un costo di scoperta del grafo di $O(n^2 \log T)$.
   • Limite Inferiore: Viene stabilito un limite inferiore informativo di $\Omega(n \log T)$, dimostrando che qualsiasi algoritmo coerente deve pagare un costo lineare in $n$ per la scoperta della rete.
4. Scalabilità: Il metodo scala a reti con centinaia di nodi (fino a $n=1000$ nel caso lineare nelle medie), superando significativamente i metodi esistenti limitati a $n \approx 12$.

Risultati Empirici

• Prestazioni di Rimpianto: Su due reti reali (una rete di prestiti tra famiglie con $n=63$ e una rete di amicizie scolastiche con $n=121$), l'algoritmo Gibbs-TS raggiunge un rimpianto sublineare. Sebbene vi sia un divario rispetto a un oracolo che conosce la vera rete, il rimpianto è significativamente inferiore rispetto alle linee di base che ignorano l'interferenza (che subiscono un rimpianto lineare).
• Confronto con lo Stato dell'Arte: Nei confronti diretti su reti piccole ($n=8$) dove Agarwal et al. (2024) è fattibile, Gibbs-TS ottiene una riduzione di oltre un ordine di grandezza nel rimpianto (ad es. rimpianto mediano di 141 contro 1571 per Agarwal et al. in condizioni specifiche).
• Recupero della Rete: L'algoritmo recupera con successo la rete di interferenza con alta accuratezza (punteggi F1 > 0.98 in contesti sintetici e 0.74 in contesti reali).
• Stima a valle: Utilizzando la rete recuperata $\hat{A}$, l'articolo dimostra che le stime degli effetti diretti, indiretti e totali del trattamento seguono da vicino quelle ottenute utilizzando la rete vera, con piccoli Errori Quadratici Medi (RMSE).

Significato e Affermazioni

L'articolo afferma di fornire il primo disegno sperimentale adattivo che impara congiuntamente la rete di interferenza e ottimizza le allocazioni dei trattamenti a livello individuale in un contesto sequenziale senza richiedere strutture di cluster predefinite.

• Valore Scientifico: La rete recuperata funge da output scientifico diretto, consentendo analisi causali (effetti diretti/indiretti) precedentemente inaccessibili in contesti adattivi.
• Impatto Pratico: Il metodo colma il divario tra l'inferenza causale teorica sotto interferenza e la sperimentazione adattiva pratica su larga scala. Permette a piattaforme e agenzie di ottimizzare le interventi (ad es. distribuzione di vaccini, marketing) in tempo reale, mappando simultaneamente le dinamiche sociali o comportamentali sottostanti.
• Insight Teorico: Il lavoro stabilisce che, sotto modelli di spillover additivi, la complessità del problema si riduce alla dimensione del vettore di punteggio latente, permettendo limiti di rimpianto indipendenti dalla complessità della topologia del grafo.

Gli autori riconoscono le limitazioni, inclusa la dipendenza dalla corretta specificazione della funzione di ricompensa, il collo di bottiglia computazionale della programmazione lineare intera per la selezione del trattamento in contesti NIA generali, e il divario tra il limite superiore $O(n^2)$ e il limite inferiore $\Omega(n)$ per i costi di scoperta del grafo. Tuttavia, affermano che il loro approccio rappresenta un passo significativo in avanti nella sperimentazione adattiva scalabile in presenza di interferenze di rete sconosciute.