Optimizing Likelihoods via Mutual Information: Bridging Simulation-Based Inference and Bayesian Optimal Experimental Design

Immagina di essere un detective che cerca di risolvere un mistero, ma non riesci a vedere la scena del crimine. Invece, hai un videogioco simulatore magico e super complesso in grado di ricreare il crimine ancora e ancora. Conosci le regole del gioco (la fisica dell'universo), ma non conosci le impostazioni specifiche che il "criminale" ha usato per creare il disordine. Il tuo obiettivo è scoprire quelle impostazioni nascoste eseguendo il simulatore, osservando i risultati e regolando i tuoi tentativi. Questo è il mondo dell'Inferenza Basata su Simulazione (SBI - Simulation-Based Inference). È il modo in cui gli scienziati scoprono le regole nascoste di tutto, dal modo in cui i farmaci interagiscono con le cellule a come le stelle esplodono, usando modelli informatici perché gli esperimenti reali sarebbero troppo costosi o pericolosi da eseguire.

Ma ecco la fregatura: eseguire questi simulatori è incredibilmente lento e costoso. Immagina se ogni volta che premevi "play" sulla tua console di gioco ti costasse un dollaro e richiedesse dieci minuti di caricamento. Hai un budget limitato di "partite" prima di esaurire i soldi. Quindi, devi essere intelligente su quali scenari simulare. È qui che entra in gioco il Design Sperimentale Ottimale Bayesiano (BOED - Bayesian Optimal Experimental Design). È come un super-stratega intelligente che chiede: "Se eseguo il gioco con questa specifica impostazione, imparerò di più sulle impostazioni nascoste del criminale?". Il documento affronta un problema complicato: di solito, la migliore strategia per trovare la risposta (BOED) e il modo migliore per imparare le regole del gioco (SBI) sono trattati come compiti separati, che spesso richiedono che il simulatore sia "trasparente" (matematicamente facile da modificare), cosa che i simulatori scientifici del mondo reale spesso non sono.

Gli autori, Vincent D. Zaballa ed Elliot E. Hui, hanno costruito un nuovo metodo chiamato SBI-BOED che unisce questi due mondi. Pensa a questo come all'insegnare a un singolo agente IA di fare due cose contemporaneamente: imparare le regole del gioco mentre si capisce quali siano le mosse migliori da compiere. Hanno scoperto che uno strumento matematico usato per misurare quanta informazione una cosa fornisce su un'altra (chiamato Informazione Mutua) può essere effettivamente usato come guida per l'addestramento. Regolando una specifica "manopola" nella loro matematica (un parametro che chiamano $\lambda$), hanno trovato un modo per far sì che l'IA impari le regole in modo più accurato senza bisogno di vedere il codice interno del simulatore.

Nei loro test, hanno trattato il simulatore come una "scatola nera" (black box): una macchina in cui inserisci input e ottieni output, ma non puoi sbirciare all'interno per vedere gli ingranaggi in movimento. Hanno dimostrato che il loro metodo poteva trovare gli esperimenti migliori da eseguire e apprendere i parametri nascosti altrettanto bene o meglio dei metodi esistenti, anche quando quei metodi avevano accesso ai meccanismi interni del simulatore. Hanno scoperto che, bilanciando il desiderio di esperimenti "sorprendenti" con la necessità di un apprendimento "accurato", potevano ottenere risultati migliori con meno esecuzioni del simulatore. Ad esempio, su un complesso modello biologico, il loro metodo ha utilizzato circa 50 volte meno chiamate al simulatore rispetto ad alcuni dei precedenti metodi di alto livello per raggiungere un'accuratezza simile. Hanno anche dimostrato che se ci si limita a inseguire l'esperimento "più informativo" senza essere attenti, si potrebbe finire con un modello che sembra intelligente ma che in realtà è sbagliato nei dettagli. Il loro approccio suggerisce che il modo migliore per imparare è essere un detective curioso e bilanciato, che dà valore sia al brivido di un nuovo indizio che alla precisione dell'evidenza.