Realizing Common Random Numbers: Event-Keyed Hashing for Causally Valid Stochastic Models

Il paper dimostra che l'uso di generatori di numeri casuali basati su seed nello stato compromette la validità causale nelle simulazioni di modelli basati su agenti quando i percorsi di esecuzione cambiano, e propone l'adozione di generatori basati su contatori combinati con identificatori di eventi per garantire un'associazione stabile e causalmente coerente tra gli input stocastici e gli eventi simulati.

L'essenziale

Immagina di essere un medico che vuole capire se un nuovo vaccino funziona davvero. Per farlo, non puoi fare esperimenti su persone reali in modo etico o pratico per ogni scenario possibile. Allora, crei un mondo virtuale (un modello al computer) popolato da milioni di "agenti" digitali (persone simulate).

In questo mondo virtuale, fai due cose:

1. Simuli cosa succede senza il vaccino.
2. Simuli cosa succede con il vaccino.

Per essere sicuri che il confronto sia equo, devi usare lo stesso "fondo di fortuna" casuale per entrambi i mondi. Se un agente digitale ha una "sfortuna" (es. incontra un virus) nel mondo senza vaccino, deve avere la stessa identica sfortuna nel mondo con il vaccino, così puoi vedere se il vaccino lo ha salvato o meno. Questo concetto si chiama Numeri Casuali Comuni (CRN).

Il Problema: Il "Fiume" che Cambia Corso

Fino a ora, i programmatori usavano un metodo per generare numeri casuali che funzionava come un fiume in movimento.
Immagina di avere un lungo nastro di numeri casuali (1, 2, 3, 4, 5...). Ogni volta che il computer ha bisogno di un numero per prendere una decisione (es. "questa persona si ammala?"), prende il prossimo numero dal nastro e lo usa.

Il problema sorge quando il vaccino cambia la storia.

• Senza vaccino: La persona 1 si ammala. Il computer usa il numero 1 per decidere la malattia, poi usa il numero 2 per decidere quanto tempo starà male, e il numero 3 per la persona 2.
• Con vaccino: La persona 1 non si ammala (grazie al vaccino). Quindi, il computer non usa il numero 2 (perché non c'è bisogno di decidere la durata della malattia). Salta direttamente al numero 3 per la persona 2.

Risultato disastroso:
Nel primo mondo, la persona 2 ha usato il numero 3. Nel secondo mondo, la persona 2 ha usato il numero 2.
Anche se la persona 2 è identica e il vaccino non la tocca direttamente, ha ricevuto un "destino" diverso (un numero casuale diverso) solo perché la persona 1 è guarita prima!
È come se cambiassi il destino di un passeggero su un treno solo perché un altro passeggero è sceso una fermata prima. Il confronto non è più equo: stai confrontando due persone diverse, non la stessa persona in due scenari diversi.

Gli autori chiamano questo problema "dipendenza dal percorso di esecuzione". Il computer sta guardando quanto è lungo il viaggio fatto finora, invece di guardare chi è l'attore specifico.

La Soluzione: Le Chiavi Uniche (Event-Keyed Hashing)

Per risolvere questo, gli autori propongono di smettere di usare il "fiume" (il nastro sequenziale) e iniziare a usare delle chiavi uniche, come se ogni evento avesse la sua serratura personale.

Immagina che invece di prendere i numeri in fila, ogni evento abbia un'etichetta specifica, come un indirizzo postale preciso:

• "Malattia della Persona 1"
• "Durata malattia della Persona 1"
• "Malattia della Persona 2"

Ora, il computer non guarda il nastro. Guarda l'etichetta e dice: "Ah, mi serve il numero casuale per la Malattia della Persona 2. Non importa cosa è successo prima, non importa se la Persona 1 è guarita. Cerco il numero associato specificamente a quell'etichetta."

Con questo metodo:

• Se la Persona 1 si ammala o no, non cambia il numero usato per la Persona 2.
• Il numero per la Persona 2 è sempre lo stesso, perché l'etichetta "Malattia della Persona 2" è sempre la stessa.

Perché è importante?

1. Giustizia Scientifica: Per capire se un trattamento funziona, devi confrontare lo stesso "destino" in due mondi diversi. Se cambi il destino solo perché il computer ha saltato un passaggio, non stai misurando l'effetto del trattamento, ma un errore di calcolo.
2. Efficienza: Quando i numeri sono allineati correttamente, le differenze tra i due mondi sono più chiare e servono meno simulazioni per avere una risposta certa.
3. Chiarezza: Questo metodo costringe i ricercatori a pensare davvero a cosa significa "lo stesso evento" in due mondi diversi, rendendo il modello più solido e meno soggetto a bug nascosti.

In sintesi

Il paper dice: "Smettetela di usare i numeri casuali come una lista della spesa che si consuma in ordine. Usateli come un archivio di cassetti etichettati, dove ogni evento apre il suo cassetto specifico, indipendentemente da cosa è successo prima".

È come passare da un nastro trasportatore (dove se togli un oggetto, tutto il resto scivola in avanti e cambia posizione) a un sistema di caselle postali (dove togliere una lettera non sposta le altre: la lettera per il vicino rimane sempre nella sua casella).

Questo approccio, chiamato Event-Keyed Random Number Generation, rende i modelli al computer veri "esperimenti scientifici" capaci di rispondere a domande sul "cosa sarebbe successo se...", senza essere ingannati da errori di programmazione.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Realizing Common Random Numbers: Event-Keyed Hashing for Causally Valid Stochastic Models" di Vince Buffalo, Carl A. B. Pearson e Daniel Klein, presentato in italiano.

1. Il Problema: Incoerenza Causale nei Modelli Basati su Agenti (ABM)

I modelli basati su agenti (ABM) sono ampiamente utilizzati per stimare effetti causali tramite simulazioni di scenari controfattuali (es. "cosa succede se interveniamo con un vaccino?"). Una tecnica standard per ridurre la varianza in queste simulazioni è l'uso di Numeri Casuali Comuni (CRN - Common Random Numbers). L'idea è accoppiare le simulazioni di scenari diversi (baseline vs. intervento) condividendo gli stessi input casuali, in modo che le differenze nei risultati siano dovute esclusivamente all'intervento e non al rumore stocastico.

Tuttavia, l'implementazione pratica attuale dei CRN si basa su Generatori di Numeri Pseudo-Casuali (PRNG) con stato (es. Mersenne Twister). Questi generatori mantengono uno stato interno mutabile: ogni chiamata consuma un numero dalla sequenza e aggiorna lo stato per la chiamata successiva.

Il difetto fondamentale:
L'uso di PRNG con stato crea una dipendenza dal percorso di esecuzione. Se un intervento modifica il flusso di controllo del codice (es. prevenendo un'infezione che avrebbe richiesto un'ulteriore estrazione casuale per il periodo di incubazione), il numero di estrazioni precedenti cambia. Di conseguenza, tutti gli eventi a valle ricevono numeri casuali diversi rispetto allo scenario di base, anche se l'evento modellato è lo stesso.
Questo viola l'assunzione critica dei CRN: che lo stesso indice di estrazione corrisponda allo stesso evento modellato. Il risultato è una mismatch fondamentale tra la struttura causale scientifica che il modello intende rappresentare e la struttura causale a livello di programma indotta dall'implementazione del PRNG. Le comparazioni controfattuali diventano causalmente incoerenti.

2. Metodologia: Modelli Causali Strutturali (SCM) e Invarianza di Esecuzione

Gli autori analizzano il problema attraverso la lente dei Modelli Causali Strutturali (SCM) di Judea Pearl. In un SCM valido, un intervento (operatore do) modifica le equazioni strutturali o le variabili endogene, ma mantiene fisse le variabili esogene (il "rumore" o casualità di fondo $U$).

Perché un ABM sia un SCM valido, deve soddisfare la proprietà di Invarianza di Esecuzione:

Per ogni evento stocastico $e$ che si verifica in due scenari diversi (baseline e intervento), il valore del rumore esogeno $U_e$ deve essere identico, indipendentemente dalla storia di esecuzione precedente.

Attualmente, con i PRNG con stato, $U_e$ dipende dall'indice di estrazione ($K_e$), che è una variabile endogena dipendente dal percorso di esecuzione. Questo introduce percorsi causali spurii (es. l'infezione di un individuo A influenza il numero casuale usato per l'infezione di B, solo perché A ha consumato un numero in più).

3. Contributi Chiave e Soluzione Proposta

Il paper propone una soluzione metodologica e implementativa per ripristinare l'invarianza di esecuzione:

A. Generazione di Numeri Casuali Basata su Chiave Evento (Event-Keyed RNG)

Invece di affidarsi a uno stato mutabile sequenziale, gli autori propongono l'uso di Generatori di Numeri Casuali Basati su Contatore (Counter-Based PRNG, come Philox o Threefry).

• Meccanismo: Questi generatori sono funzioni pure (senza stato interno mutabile). L'output è determinato esclusivamente dagli argomenti di input: $R = g(\text{seed}, \text{counter})$.
• Implementazione: Il "counter" viene sostituito da un identificatore univoco dell'evento (Event Key). Ogni evento stocastico (es. "infezione dell'agente $i$ al tempo $t$") riceve un ID stabile.
• Risultato: La generazione del numero casuale diventa una funzione esplicita dell'identità dell'evento, non dell'ordine di esecuzione. Se un evento non si verifica in uno scenario (es. un incubazione non necessaria perché l'infezione è stata prevenuta), il suo ID non viene interrogato, ma questo non sposta gli indici di estrazione per gli altri eventi.

B. Definizione Semantica degli Identificatori Evento

Gli autori sottolineano che la scelta dell'identificatore dell'evento non è automatizzabile, ma è una scelta di modellazione sostanziale.

• Slot-keying: L'evento è definito dall'opportunità di contatto (es. "paziente $i$ al tempo $t$"). Se il partner cambia, il rumore esogeno rimane lo stesso (assunzione di scambiabilità).
• Dyad-keying: L'evento è definito dalla coppia specifica (paziente $i$ + operatore sanitario $j$). Se il partner cambia, cambia anche il rumore esogeno.
  Questa scelta definisce esplicitamente cosa significa "tenere tutto il resto uguale" in un confronto controfattuale.

4. Risultati e Analisi

• Coerenza Causale: La metodologia proposta garantisce che le simulazioni accoppiate rispettino la semantica degli SCM. Gli effetti individuali del trattamento (ITE) diventano ben definiti, poiché confrontano lo stesso agente sotto la stessa realizzazione di rumore esogeno, ma con diverse equazioni strutturali.
• Efficienza Statistica: Ripristina la riduzione della varianza attesa dai CRN. Con i PRNG con stato, la covarianza tra scenari può diventare negativa o nulla a causa dello sfasamento degli indici, rendendo le stime meno precise. Con l'approccio Event-Keyed, la covarianza positiva è massimizzata.
• Analisi Accessorie: Risolve problemi in analisi di sensibilità, decomposizione della varianza (indici di Sobol) e analisi di mediazione, che richiedono che piccole variazioni parametriche non alterino l'assegnazione del rumore agli eventi non correlati.
• Prestazioni: I generatori basati su contatore (es. Threefry) hanno prestazioni comparabili o superiori ai PRNG con stato, specialmente in ambienti paralleli (multicore), dove la natura senza stato permette un'elaborazione più efficiente.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma per la comunità dei modelli basati su agenti:

1. Riconciliazione Teorica: Dimostra che l'uso ingenuo di PRNG con stato rende gli ABM causalmente incoerenti per scopi controfattuali, anche se la logica meccanica del modello è corretta.
2. Nuovo Standard: Propone l'uso di PRNG basati su contatore combinati con identificatori di evento stabili come requisito fondamentale per la validità causale, non solo come dettaglio di ottimizzazione.
3. Trasparenza: Trasforma la scelta dell'identità degli eventi (transworld identity) da un effetto collaterale implicito e incoerente del codice a una scelta di modellazione esplicita e scrutinabile.

In sintesi, gli autori dimostrano che per ottenere inferenze causali valide da simulazioni stocastiche, è necessario disaccoppiare la generazione del numero casuale dall'ordine di esecuzione, rendendo il rumore esogeno una funzione stabile dell'identità dell'evento modellato.