An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

Nel mondo moderno dell'intelligenza artificiale, una strategia popolare per insegnare alle macchine come controllare sistemi fisici — come robot o auto a guida autonoma — è quella di far costruire prima alla macchina una mappa mentale di come funziona il mondo. Questa mappa, spesso chiamata "modello del mondo", prevede cosa accadrà dopo se viene intrapresa una specifica azione. Una volta che la macchina possiede questa mappa, utilizza un algoritmo di pianificazione per simulare migliaia di possibili futuri, cercando la sequenza di azioni che conduce al miglior risultato. L'assunto è stato a lungo che se questa mappa è abbastanza accurata sui dati che ha visto, sarà sicura da usare per la pianificazione. Se la mappa prevede il futuro correttamente in mille prove, si assume che sia una guida affidabile.

Tuttavia, un nuovo studio mette in discussione questo assunto esaminando cosa accade quando il mondo contiene eventi rari e improvvisi che la macchina non ha mai incontrato durante il suo addestramento. Immaginate un'auto che ha imparato a guidare su una strada liscia ma che non ha mai visto un muro. Se il muro è abbastanza raro da far sì che l'auto non ci sia mai andata contro durante il suo addestramento, la mappa mentale della macchina potrebbe semplicemente ignorare l'esistenza del muro, assumendo che la strada continui all'infinito. Il pericolo è che, quando la macchina proverà finalmente a guidare nel mondo reale, potrebbe pianificare un percorso dritto contro quel muro invisibile, credendo di poterlo attraversare. La domanda che i ricercatori si sono posti è se un controllo di sicurezza standard, che testa la mappa della macchina rispetto a campioni casuali del mondo, riuscirebbe a intercettare questo tipo specifico di cecità prima che causi un incidente.

I ricercatori hanno allestito una serie di esperimenti controllati per rispondere a questo quesito, utilizzando simulazioni fisiche semplici come un carrello che si muove lungo una pista o un pendolo che oscilla. In queste simulazioni, hanno introdotto una "regola rara": un arresto brusco, come un muro o un pavimento, che interromperebbe istantaneamente il moto dell'oggetto se lo toccasse. Hanno poi chiesto a un modello linguistico di grandi dimensioni di scrivere il codice per la mappa mentale della macchina, ma hanno deliberatamente nascosto l'esistenza di questo muro ai dati di addestramento del modello. Al modello era stato mostrato solo il movimento casuale del carrello o del pendolo che, per caso, evitava il muro. Poiché il muro era raro, il modello spesso non lo vedeva mai durante il suo addestramento.

I risultati sono stati netti. Quando i ricercatori hanno testato i modelli utilizzando un controllo di sicurezza standard — eseguendo il modello attraverso migliaia di scenari casuali per vedere se corrispondeva alla fisica reale — i modelli superavano frequentemente il test. Venivano accettati come "corretti" perché, nei migliaia di test casuali, il muro non veniva mai attivato. Eppure, quando questi modelli "verificati" venivano consegnati a un pianificatore per controllare il sistema, il pianificatore sterzava con fiducia il carrello o il pendolo direttamente contro il muro nascosto. Il modello, non avendo concetto del muro, avrebbe previsto il passaggio dell'oggetto attraverso di esso. Il pianificatore, fidandosi di questa falsa previsione, guiderebbe l'oggetto contro il muro, dove rimarrebbe incastrato. La macchina sarebbe quindi incapace di raggiungere il proprio obiettivo, perdendo quasi tutto il suo potenziale di successo. Lo studio ha scoperto che questo fallimento non era un errore di calcolo, ma una lacuna fondamentale nella conoscenza: il modello era cieco a una regola che esisteva ma che non era mai stata campionata.

I ricercatori hanno scoperto che la probabilità di questo disastro segue un preciso schema matematico basato sulla rarità. Se un evento pericoloso accade in un caso su cento tentativi casuali, e il controllo di sicurezza esegue solo cento tentativi, c'è una possibilità significativa che il controllo perda completamente l'evento. Se il controllo esegue mille tentativi, la probabilità di mancare l'evento scende, ma non raggiunge mai lo zero. Lo studio ha dimostto che finché i dati di addestramento non includono l'evento raro, nessun amount di pianificazione intelligente o perfezionamento del modello può scoprirlo. Il modello rimane cieco, e il controllo di sicurezza, per sua stessa natura di campionamento casuale, non può garantire che il punto cieco sia stato individuato.

Lo studio ha anche esplorato se la macchina potesse apprendere la regola se le fosse stato mostrato il muro durante l'addestramento. In compiti semplici, monodimensionali, come un carrello che si muove in linea retta, la risposta è stata sorprendentemente positiva. Quando al modello è stato mostrato anche solo un numero esiguo di esempi del carrello che colpiva il muro, il modello linguistico è stato in grado di scrivere il codice esatto per fermare il carrello, "riparando" efficacementamente la sua mappa mentale. Ha appreso la regola perfettamente. Tuttavia, i ricercatori si sono poi spostati in ambienti più complessi, bidimensionali, dove il muro era una chiazza circolare su una superficie piatta. In questi casi, anche quando al modello è stato mostrato l'impatto con la chiazza, esso non è riuscito a inferire la forma e la posizione corrette del confine dall'evidenza. Invece di apprendere la regola circolare, il modello inventava forme errate, come una linea retta o un quadrato, o semplicemente immobilizzava l'oggetto senza capirne il motivo. Il modello non riusciva a generalizzare dai pochi esempi visti all'intera forma dell'ostacolo.

Questa scoperta evidenzia un limite critico nel modo in cui questi sistemi apprendono. Lo studio ha dimostrato che, sebbene la macchina possa essere eccellente nel tradurre una regola che le viene esplicitamente detta o mostrata in un contesto semplice, fatica a inferire la forma e la posizione di una regola complessa da evidenze sparse. La capacità della macchina di "ripararsi" dipende fortemente dalla geometria del problema. In casi semplici, funziona; in casi complessi, bidimensionali, fallisce. I ricercatori hanno testato vari modi per aiutare il modello, come fornirgli più esempi, cambiare il modo in cui veniva interrogato o fornire indizi sulla forma dell'ostacolo. Nessuna di queste interazioni ha funzionato. Il modello falliva costantemente nell'indurre la corretta regola per la chiazza bidimensionale, sostituendola spesso con una forma più semplice e errata.

Le implicazioni di questo lavoro sono significative per chiunque si affidi all'IA per controllare sistemi fisici. Suggerisce che i controlli di sicurezza basati sul campionamento casuale sono insufficienti per intercettare fallimenti rari ma catastrofici. Un modello può superare ogni test che gli viene somministrato eppure essere pericolosamente errato riguardo a un evento specifico e raro. Lo studio dimostra che se un evento pericoloso è abbastanza raro da essere mancato dal processo di campionamento, il modello rimarrà cieco e il pianificatore sfrutterà questa cecità, portando al fallimento. L'unico modo per garantire la sicurezza è garantire che i dati di addestramento coprano i confini di questi eventi rari, o utilizzare un tipo diverso di verifica che non si basi sul caso casuale. La ricerca conclude che, sebbene l'IA possa essere straordinariamente brava a imparare dai dati, non può imparare ciò che non ha mai visto e, nel mondo fisico, ciò che non ha mai visto può essere esattamente ciò che causa il maggior danno.