Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Sintesi Tecnica: L'uso di LLM per Risultati MNAR (Missing-not-at-random): Un Approccio a Variabile Ombra Debole

1. Definizione del Problema

Il documento affronta la sfida di stimare quantità di popolazione, specificamente la media dell'esito $\theta = E[Y]$, quando i dati sono Missing Not at Random (MNAR). In molti contesti digitali e di scienze sociali (ad esempio, feedback degli utenti, recensioni del servizio clienti), la probabilità che un esito venga osservato dipende dal valore non osservato stesso. Ad esempio, gli utenti con opinioni estreme sono più propensi a lasciare un feedback rispetto a quelli con esperienze moderate.

In regime MNAR, gli stimatori standard basati esclusivamente sui dati osservati sono distorti, e la media della popolazione non è identificabile puntualmente senza assunzioni parametriche forti e spesso non verificabili (ad esempio, modelli di selezione di Heckman) o condizioni restrittive su variabili ausiliarie (ad esempio, variabili ombra classiche che richiedono la completezza). Gli autori propongono un framework di identificazione parziale per caratterizzare i limiti netti (sharp bounds) dell'estimand sotto assunzioni minime, sfruttando al contempo le predizioni di moderni modelli di machine learning per restringere tali limiti.

2. Metodologia

2.1. Identificazione Parziale tramite Programmazione Lineare (LP)
Gli autori stabiliscono innanzitutto un framework di base per identificare i limiti netti della media dell'esito senza informazioni ausiliarie.

• Decomposizione: La media della popolazione viene scomposta in probabilità congiunte osservate $\alpha(y) = P(Y=y, R=1)$ e probabilità di risposta non osservate $\pi(y) = P(R=1|Y=y)$.
• Insieme Ammissibile: Poiché $\pi(y)$ è ignota, gli autori definiscono un insieme ammissibile di distribuzioni di probabilità coerenti con i dati osservati.
• Formulazione LP: Il problema di trovare i limiti inferiori e superiori netti ($\theta_{min}, \theta_{max}$) viene riformulato come una coppia di programmi lineari. La funzione obiettivo rappresenta la media, e i vincoli codificano la struttura probabilistica dei dati osservati. Senza variabili ausiliarie, questi limiti sono derivati analiticamente e scalano linearmente con la probabilità di mancanza dei dati (missingness).

2.2. Variabili Ombra Deboli (Weak Shadow Variables)
Per restringere i limiti di identificazione, gli autori introducono le Variabili Ombra Deboli ($F$), come le predizioni da parte di Large Language Models (LLM).

• Definizione: Una variabile $F$ è una variabile ombra debole se soddisfa una restrizione di esclusione: $F \perp\!\!\!\perp R \mid Y, X$. Ovvero, condizionatamente al vero esito $Y$ e alle covariate $X$, la variabile ombra non fornisce alcuna informazione aggiuntiva sul meccanismo di mancanza dei dati.
• Rilassamento della Completezza: A differenza dei metodi classici con variabili ombra, questo approccio non richiede una condizione di completezza (che esige che $F$ identifichi completamente la distribuzione di $Y$). Ciò consente l'uso di predittori imperfetti (come gli LLM) che possono essere solo debolmente correlati all'esito.
• LP Raffinata: L'inclusione di $F$ introduce ulteriori vincoli lineari alla formulazione LP. La regione di identificazione netta è l'intersezione degli insiemi ammissibili definiti da questi vincoli. Se la variabile ombra è sufficientemente informativa (soddisfacendo una condizione di rango), i limiti collassano a un singolo punto (identificazione puntuale); altrimenti, rimangono un intervallo ristretto.

2.3. Stima in Campione Finito e Inferenza
Gli stimatori plug-in diretti per i limiti LP sono problematici in campioni finiti a causa della potenziale infeasibilità (i vincoli campionari possono essere incoerenti con la popolazione) e della non-smoothness (piccoli cambiamenti nelle stime possono cambiare i vincoli attivi).

• Stimatore Penalizzato Localizzato: Gli autori propongono un programma lineare penalizzato localizzato. Questo metodo rilassa i vincoli di uguaglianza aggiungendo un termine di penalità $L_1$ ($K\|Aw - \beta\|_1$) e restringe le variabili decisionali a un box limitato $[0, K]$. Ciò garantisce la fattibilità e la continuità Lipschitz della funzione valore.
• Tuning basato sui Dati: Un algoritmo basato sui dati seleziona il raggio di localizzazione $K$ minimizzando un "gap di certificazione", garantendo che lo stimatore sia coerente con il target di popolazione evitando una varianza non necessaria.
• Inferenza tramite Subsampling: Poiché la funzione valore dell'LP è non-smooth (a causa di potenziali soluzioni ottime multiple), i metodi bootstrap standard falliscono. Gli autori propongono un bootstrap di subsampling (Politis e Romano, 1994) per costruire intervalli di confidenza validi per gli endpoint della regione di identificazione. Questo metodo tiene conto del comportamento di "scambio dell'ottimo" (optimizer-switching) inerente all'LP.

2.4. Analisi di Sensibilità
Il framework include un'analisi di sensibilità (Assunzione 2) per quantificare la robustezza contro le violazioni della restrizione di esclusione. Introducendo un parametro di sensibilità $\rho$, gli autori permettono alla condizione di indipendenza condizionale di valere approssimativamente, espandendo la regione di identificazione monotonicamente al crescere di $\rho$.

3. Contributi Chiave

1. Nuovo Framework LP: Il documento introduce un framework di programmazione lineare per l'identificazione parziale in regime MNAR che unifica i setting con e senza predizioni ausiliarie. Fornisce soluzioni in forma chiusa per il caso di base e risultati analitici su come i segnali ausiliari restringano i limiti.
2. Variabili Ombra Deboli: Gli autori generalizzano l'approccio delle variabili ombra rilassando la condizione di completezza. Ciò consente l'uso di segnali ausiliari "imperfetti" (ad esempio, predizioni LLM) che soddisfano la restrizione di esclusione ma potrebbero non produrre di per sé l'identificazione puntuale.
3. Stima e Inferenza Robusta: Il documento sviluppa uno stimatore fattibile in campione finito utilizzando la penalizzazione localizzata e stabilisce una procedura di inferenza basata sul subsampling. Questo approccio garantisce tassi di convergenza $\sqrt{n}$ e regioni di confidenza valide anche quando l'LP sottostante presenta soluzioni multiple o quando i metodi bootstrap standard falliscono.

4. Risultati Sperimentali

Gli autori valutano il metodo attraverso simulazioni ed esperimenti semi-sintetici utilizzando dati reali di dialoghi del servizio clienti (dataset USS).

• Simulazioni:

  • Lo stimatore penalizzato localizzato raggiunge il tasso di convergenza parametrico $\sqrt{n}$.
  • Il selettore basato sui dati per il raggio di localizzazione $K$ recupera costantemente il raggio ottimale della popolazione.
  • L'inferenza tramite subsampling approssima correttamente la distribuzione limite non-gaussiana dello stimatore, mentre i metodi bootstrap standard mostrano un bias significativo e una copertura errata (ad esempio, 82% rispetto al target del 90%).

• Esperimenti Semi-Sintetici (Variabili Ombra basate su LLM):

  • Design del Prompt: Lo studio testa varie strategie di prompt per LLM (Digital Twin, Generic User, Service Auditor) per generare variabili ombra. I risultati indicano che i prompt depersonalizzati e focalizzati sul compito (ad esempio, "Service Auditor" che valuta il "Goal Completion") offrono il miglior compromesso tra rilevanza (correlazione con $Y$) e indipendenza (soddisfacimento della restrizione di esclusione).
  • Performance: L'integrazione di variabili ombra deboli basate su LLM ha ridotto la larghezza degli intervalli di identificazione dell'83% rispetto al baseline LP senza variabili ombra.
  • Confronto: Il metodo proposto (utilizzando il punto medio dell'intervallo della variabile ombra) ha ottenuto un errore assoluto medio di 0,06, superando significativamente i baseline MNAR classici come la Complete Case Analysis (CCA), la Naive Imputation, i modelli di selezione di Heckman e i modelli di Pattern-Mixture. In termini di stima dell'insieme (distanza di Hausdorff dalla verità), il metodo della variabile ombra ha ridotto la distanza da 1,07 (LP aggregato) a 0,18.

5. Significato e Rivendicazioni

Il documento sostiene che il suo framework offre un'alternativa robusta e trattabile ai metodi MNAR tradizionali.

• Robustezza: Adottando una prospettiva di identificazione parziale, il metodo evita i rischi di errata specificazione del modello inerenti ai modelli di selezione parametrici.
• Praticità: Sfrutta la crescente disponibilità di LLM come segnali ausiliari senza richiedere che siano predittori perfetti. La natura "debole" dell'assunzione della variabile ombra rende questo approccio più plausibile in pratica rispetto alle rigide condizioni di completezza dei metodi classici.
• Validità: La procedura di inferenza proposta fornisce garanzie di copertura valide per la regione di identificazione, affrontando le sfide statistiche poste dalla non-smoothness degli stimatori basati su LP.

Gli autori concludono che anche semplici predizioni binarie o a bassa dimensionalità degli LLM possono restringere significativamente i limiti di identificazione, rendendo questo approccio altamente prezioso per la valutazione delle piattaforme e la ricerca nelle scienze sociali dove il feedback è sistematicamente mancante.