Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

Questo articolo propone una metodologia di Inferenza Alimentata da IA Generativa (GPI) che sfrutta i grandi modelli linguistici per generare trattamenti e utilizza le loro rappresentazioni interne per una stima più accurata ed efficiente degli effetti causali da testi non strutturati, eliminando così la necessità di apprendere direttamente le rappresentazioni causali dai dati e superando sfide comuni come il confondimento e le violazioni della sovrapposizione.

L'essenziale

Immagina di essere un detective che cerca di capire se un dettaglio specifico in una storia cambia il modo in cui le persone percepiscono un personaggio. Supponiamo che tu voglia sapere: Avere un passato militare fa sì che gli elettori apprezzino di più un politico?

Il problema è che le storie della vita reale sono disordinate. Un politico con un passato militare potrebbe anche essere più anziano, avere un diverso livello di istruzione o scrivere la sua biografia con un tono più emotivo. Se confronti semplicemente due biografie casuali, non puoi capire se gli elettori hanno apprezzato il candidato per la parte militare o per la parte relativa all'istruzione. In scienza, chiamiamo questi dettagli extra disordinosi "confonditori" (confounders).

Tradizionalmente, i ricercatori hanno cercato di risolvere questo problema usando i computer per "leggere" il testo e indovinare quali siano i confonditori. Ma questo è come cercare di pulire una finestra sporca cercando di indovinare dove si trova lo sporco; è difficile, lento e spesso impreciso.

Questo articolo presenta un nuovo strumento chiamato GPI (Generative-AI Powered Inference). Ecco come funziona, usando un'analogia semplice:

La Fotocopiatrice Magica (La GenAI)

Invece di limitarsi a leggere storie esistenti, i ricercatori usano una "Fotocopiatrice Magica" (un Modello di Linguaggio di Grandi Dimensioni, o LLM) per scrivere le storie per loro.

1. Il Prompt: Il ricercatore dice alla macchina: "Scrivi una biografia di un politico che ha un passato militare". Poi dice: "Scrivi la biografia di un politico che non ha un passato militare".
2. Il Progetto Segreto: Ecco il superpotere. Quando l'IA scrive la storia, non si limita a sputare fuori parole; crea un "progetto" (una rappresentazione matematica) nascosto e interno di ciò che ha esattamente scritto.
3. Il Trucco: Poiché l'IA ha scritto la storia, i ricercatori hanno accesso a questo progetto perfetto e nascosto. Sanno esattamente cosa l'IA ha inserito nel testo per renderlo relativo al militare, e sanno cosa ha inserito per tutto il resto (come l'istruzione o il tono).

Il "Deconfounder" (Il Filtro)

I ricercatori usano questo progetto perfetto per costruire un filtro speciale chiamato Deconfounder.

• Vecchio Metodo: Immagina di cercare di separare biglie rosse e blu che sono incollate insieme. Devi indovinare come separarle.
• Metodo GPI: Poiché l'IA ha scritto la storia, i ricercatori hanno il "manuale di istruzioni". Possono guardare il progetto e dire: "Ok, questa parte del progetto è l'ingrediente 'Militare', e questa altra parte è l'ingrediente 'Istruzione'". Possono isolare matematicamente la parte militare senza rovinare la parte relativa all'istruzione.

Questo permette loro di chiedere: "Se manteniamo l'istruzione e il tono esattamente uguali, ma cambiamo solo la parte militare, come cambia il punteggio dell'elettore?"

Perché è Meglio

L'articolo sostiene che questo metodo sia come passare da una calcolatrice a manovella a un supercomputer per due ragioni principali:

1. Accuratezza: Poiché utilizzano il vero progetto interno dell'IA invece di indovinare il significato del testo, ottengono una risposta molto più chiara. Nei loro test, il loro metodo presentava meno "rumore" (errore) e forniva risultati più affidabili rispetto ai migliori metodi esistenti.
2. Velocità: I vecchi metodi sono come cercare di risolvere un enorme puzzle guardando ogni singolo pezzo uno alla volta. Il nuovo metodo è come avere l'immagine sulla scatola; risolve il problema circa 100 volte più velocemente.

Il Colpo di Scena del "Riutilizzo del Testo"

I ricercatori hanno anche scoperto una scorciatoia interessante. Se prendi una biografia esistente e chiedi all'IA di "riscrivere esattamente questa stessa storia", l'IA crea un nuovo, perfetto progetto per quel vecchio testo. Ciò significa che non è nemmeno necessario generare nuove storie da zero; puoi usare dati vecchi, darli in pasto all'IA e ottenere gli stessi risultati di alta qualità.

In Breve

L'articolo sostiene che usando l'IA Generativa non solo per generare testo, ma per comprendere la struttura nascosta di quel testo, possiamo finalmente districare la complicata rete di causa ed effetto nelle scienze sociali.

• L'Obiettivo: Misurare l'effetto reale di una cosa specifica (come il servizio militare) su un risultato (come la felicità dell'elettore).
• Il Problema: Altre cose (confonditori) sono mescolate.
• La Soluzione: Usare l'IA per generare o riscrivere il testo, prendere il suo "progetto segreto" e usare questo per separare perfettamente la causa dal rumore.

Gli autori hanno testato questo metodo su veri sondaggi elettorali e hanno scoperto che, sì, il passato militare sembra far sì che gli elettori provino un sentimento più caloroso verso i candidati, e sono stati in grado di dimostrarlo con molta più fiducia e velocità rispetto al passato. Notano inoltre che lo stesso ragionamento potrebbe essere applicato alle immagini e ai video in futuro, a patto che l'IA possa generarli con una precisione simile.

Sommario tecnico

Sintesi Tecnica: Inferenza Causale con l'Intelligenza Artificiale Generativa: Applicazione ai Testi come Trattamenti

Definizione del Problema
Il documento affronta la sfida di stimare gli effetti causali quando i trattamenti sono oggetti non strutturati e ad alta dimensionalità, come i testi. Nell'inferenza causale tradizionale con il testo, i ricercatori devono apprendere una rappresentazione a bassa dimensionalità delle caratteristiche confondenti (ad esempio, tono, lunghezza, temi specifici) dai dati per regolarizzarle. I metodi esistenti, come quelli che utilizzano gli embedding di BERT o i modelli di topic modeling, tentano di apprendere tali rappresentazioni direttamente dai testi di trattamento. Tuttavia, questo processo spesso fatica a disaggregare la specifica caratteristica del trattamento di interesse (ad esempio, il background militare) da altre caratteristiche confondenti correlate, portando a stime distorte e violazioni dell'assunzione di overlap (sovrapposizione). Inoltre, l'apprendimento di queste rappresentazioni dai dati è computazionalmente intensivo e potrebbe non produrre stime causali accurate, specialmente quando il confondimento è forte.

Metodologia: Inferenza Alimentata da GenAI (GenAI-Powered Inference - GPI)
Gli autori propongono la metodologia GPI, che sfrutta i modelli generativi profondi, specificamente i Large Language Models (LLM), per potenziare l'inferenza causale. L'innovazione principale risiede nell'utilizzo della vera rappresentazione interna dei testi generati direttamente dall'LLM, piuttosto che apprendere una rappresentazione dai dati.

1. Design Sperimentale:

   • I ricercatori utilizzano un LLM per generare oggetti di trattamento (testi) basati su prompt specifici. In alternativa, i testi esistenti possono essere "riutilizzati" istruendo l'LLM a riprodurli esattamente.
   • L'LLM deve operare in modalità di decodifica deterministica (ad esempio, ricerca greedy con temperatura impostata a zero) per garantire che l'output sia una funzione deterministica della rappresentazione interna.
   • La rappresentazione interna ($R_i$) del testo generato viene estratta direttamente dagli strati nascosti (hidden layers) dell'LLM.

2. Assunzioni Chiave:

   • Separabilità (Assunzione 5): La caratteristica del trattamento ($T$) e le caratteristiche confondenti ($U$) devono essere separabili. Nello specifico, $T$ non può essere una funzione deterministica di $U$, e $U$ non può essere una funzione deterministica di $T$. Ciò implica che si può intervenire sulla caratteristica del trattamento senza alterare le caratteristiche confondenti.
   • Decodifica Deterministica (Assunzione 6): L'output del modello generativo è una funzione deterministica della sua rappresentazione interna, garantendo che l'oggetto del trattamento dipenda dal prompt solo attraverso questa rappresentazione.

3. Identificazione e Stima:

   • Identificazione Nonparametrica: Sotto le assunzioni di separabilità e decodifica deterministica, gli autori dimostrano l'esistenza di una funzione deconfounder $f(R_i)$ che riassume le caratteristiche confondenti. Questo deconfounder è una rappresentazione a bassa dimensionalità della rappresentazione interna $R_i$ che soddisfa l'indipendenza condizionale: $Y_i \perp R_i \mid T_i, f(R_i)$.
   • Strategia di Stima: Gli autori impiegano un'architettura di rete neurale basata su TarNet per stimare simultaneamente il deconfounder e la funzione condizionale dell'outcome.
   • Double Machine Learning (DML): Per ottenere intervalli di confidenza asintoticamente validi, il metodo applica il DML. Fondamentalmente, il punteggio di propensione (propensity score) è modellato come una funzione del deconfounder stimato, non della rappresentazione interna grezza. Ciò evita la violazione dell'assunzione di overlap che si verificherebbe se il punteggio di propensione fosse modellato direttamente sulla rappresentazione interna ad alta dimensionalità (dove la caratteristica del trattamento è una funzione deterministica).
   • Trattamenti Percepiti: La metodologia è estesa a contesti in cui i rispondenti percepiscono diversamente le caratteristiche del trattamento utilizzando un approccio di variabili strumentali, dove l'effettiva caratteristica del trattamento funge da strumento per la caratteristica percepita.

Contributi Chiave

• Utilizzo delle Vere Rappresentazioni Interne: A differenza del lavoro precedente che apprende le rappresentazioni dai dati (ad esempio, tramite gli embedding di BERT), GPI estrae la vera rappresentazione vettorizzata direttamente dagli LLM open-source. Ciò elimina la necessità di apprendere rappresentazioni causali dai dati, migliorando l'accuratezza e l'efficienza computazionale.
• Formalizzazione della Separabilità: Il documento stabilisce formalmente l'assunzione di "separabilità" come una condizione necessaria per l'identificazione nonparametrica in questo contesto, collegandola al concetto di disentanglement e all'assunzione di overlap.
• Strumenti Diagnostici: Gli autori propongono strumenti diagnostici, inclusa l'analisi delle distribuzioni dei punteggi di propensione e dello score di Indipendenza del Supporto (IOSS), per rilevare potenziali violazioni dell'assunzione di separabilità.
• Stima Efficiente: Utilizzando la rappresentazione interna e una specifica architettura di rete neurale, il metodo evita la "maledizione della dimensionalità" e le violazioni di overlap comuni nei metodi esistenti di apprendimento della rappresentazione causale.

Risultati
Gli autori valutano la GPI attraverso studi di simulazione basati sull'esperimento del profilo del candidato (Fong e Grimmer, 2016) e un'applicazione empirica basata sullo stesso dataset.

• Studi di Simulazione:

  • Sotto l'assunzione di separabilità, la GPI (utilizzando sia nuovi testi generati che il riutilizzo del testo) dimostra un bias e un errore quadratico medio (RMSE) significativamente minori rispetto ai metodi allo stato dell'arte (Outcome Model con BERT e DML con BERT).
  • La GPI mantiene una copertura corretta degli intervalli di confidenza al 95% in scenari di confondimento debole, moderato e forte. Al contrario, i metodi basati su BERT soffrono di una grave sottocopertura o di un collasso sotto un confondimento forte.
  • Efficienza Computazionale: La GPI è più di dieci volte più veloce degli stimatori basati su BERT.
  • Riutilizzo del Testo: L'approccio di "riutilizzo del testo" (rigenerazione di testi esistenti) produce una varianza (RMSE) inferiore rispetto alla generazione di nuovi testi, probabilmente a causa della coerenza delle rappresentazioni interne.
  • Violazione delle Assunzioni: Quando l'assunzione di separabilità è violata (ovvero, le caratteristiche del trattamento e del confondimento sono intrecciate), tutti i metodi, inclusa la GPI, performano scarsamente, evidenziando l'importanza dell'assunzione.

• Applicazione Empirica:

  • Applicata all'esperimento del profilo del candidato, la GPI stima un effetto positivo e statisticamente significativo del background militare sulle valutazioni degli elettori (ATE $\approx$ 4.85).
  • I metodi concorrenti basati su BERT hanno prodotto risultati contrastanti: uno ha fornito un effetto negativo significativo, l'altro un effetto positivo irragionevolmente grande (ATE $\approx$ 45.7), probabilmente a causa di violazioni dell'overlap.
  • L'IOSS per la GPI era 0.10, indicando un migliore supporto di sovrapposizione rispetto allo 0.41 dei metodi basati su BERT.

Significato e Rivendicazioni
Il documento sostiene che la GPI migliora significativamente la validità dell'inferenza causale con trattamenti non strutturati sfruttando le capacità della GenAI. La significatività primaria risiede nella capacità di:

1. Disaggregare le caratteristiche del trattamento dalle caratteristiche confondenti utilizzando le vere rappresentazioni interne degli LLM.
2. Evitare la necessità di apprendere rappresentazioni causali dai dati, riducendo così l'errore di stima e i costi computazionali.
3. Formalizzare le condizioni (separabilità) richieste per una valida identificazione, fornendo una base teorica per l'uso della GenAI nell'inferenza causale.
4. Estendere l'inferenza causale alle caratteristiche del trattamento percepite tramite variabili strumentali.

Gli autori osservano che, sebbene l'attenzione sia rivolta al testo, la metodologia è applicabile alle immagini e potenzialmente ai video, a patto che le rappresentazioni interne possano essere gestite efficacemente. Essi sottolineano che il metodo dipende dalla disponibilità di LLM open-source che consentano l'accesso alle rappresentazioni interne e alla decodifica deterministica.