Nel mondo dell'intelligenza artificiale, le macchine stanno imparando sempre più a prendere decisioni attraverso tentativi ed errori, un metodo noto come apprendimento per rinforzo. Immaginate un agente digitale che esplora un nuovo ambiente, provando diverse azioni per vedere quali portano ricompense, proprio come un bambino che impara ad andare in bicicletta cadendo e rialzandosi. Questo approccio ha prodotto sistemi capaci di giocare a giochi complessi e guidare robot, ma comporta un rischio significativo: la macchina potrebbe imparare a raggiungere il suo obiettivo facendo qualcosa di pericoloso o proibito. Per prevenire questo, gli ingegneri utilizzano un meccanza di sicurezza chiamato scudo. Pensate allo scudo come a un supervisore vigile che osserva le mosse proposte dall'agente e blocca quelle che violerebbero le regole, permettendo all'agente di apprendere liberamente solo all'interno di una zona sicura. Per anni, questi supervisori sono stati statici, costruiti su un insieme fisso di regole su come funziona il mondo. Essi assumono che l'ambiente si comporti esattamente come previsto, come una mappa che non cambia mai. Tuttavia, nel mondo reale, le condizioni cambiano, i sensori si guastano ed accadono eventi imprevisti. Quando l'ambiente rompe le regole su cui lo scudo è stato costruito, il supervisore spesso diventa paralizzato o eccessivamente cauto, impedendo all'agente di fare qualsiasi cosa di utile, o peggio, fallendo nel prevenire un disastro perché la sua mappa non corrisponde più alla realtà.

Ricercatori dell'Imperial College London e dell'Università di Buenos Aires hanno sviluppato un nuovo modo per gestire questo problema, creando un sistema di sicurezza che può apprendere e adattarsi quando le sue assunzioni vengono smentite. Il loro lavoro, presentato in una recente conferenza sull'apprendimento neurosimbolico, si concentra su un tipo specifico di framework logico che permette a questi supervisori di sicurezza di ripararsi da soli. Inveve di fare affidamento su un insieme rigido e immutabile di istruzioni, il loro sistema monitora l'ambiente in tempo reale. Se l'ambiente si comporta in un modo che contraddice le regole originali — come una pompa di una miniera che incontra una condizione di gas pericolosa che prima era considerata impossibile — il sistema rileva l'errore. Utilizza quindi una tecnica di apprendimento specializzata per riscrivere le proprie regole, trovando un nuovo modo per garantire la sicurezza pur permettendo all'agente di completare il proprio compito. Questo processo assicura che l'agente rimanga sicuro ed efficace anche quando il mondo non si comporta come previsto, colmando il divario tra la logica rigida della sicurezza formale e la natura imprevedibile dell'apprendimento nel mondo reale.

Il nucleo di questa innovazione risiede nel modo in cui i ricercatori gestiscono il concetto di "liveness" (vitalità), ovvero la capacità di un sistema di continuare a progredire e infine raggiungere i propri obiettivi, piuttosto che limitarsi a evitare il pericolo immediato. Nei loro esperimenti, hanno testato due scenari molto diversi. Il primo era un sistema di pompaggio di una miniera simulata, un classico problema in cui un controllore deve pompare l'acqua fuori da una miniera ma deve fermarsi immediatamente se viene rilevato metano per evitare un'esplosione. Le regole di sicurezza originali assumevano che l'acqua alta e il gas metano non si sarebbero mai verificati contemporaneamente. Nel mondo reale, tuttavia, questa assunzione può essere violata. Quando i ricercatori hanno introdotto questa situazione impossibile nella loro simulazione, i vecchi controllori di sicurezza statici sono falliti completamente. O hanno fermato interamente la pompa, lasciando che la miniera si allagasse, o hanno permesso alla pompa di funzionare, rischiando un'esplosione. Il nuovo sistema adattivo, al contrario, ha notato la contraddizione. Ha compreso che la regola secondo cui acqua e gas non si mescolano mai era falsa. Ha quindi aggiornato la propria logica dicendo: "Se il gas è presente, non pompare, ma se l'acqua è alta e il gas non è presente, pompa". Questa piccola riparazione logica ha permesso al sistema di continuare a operare in modo sicuro ed efficiente, mentre i sistemi statici erano bloccati.

Il secondo test si è svolto in un ambiente di gioco ad alto rischio chiamato Seaquest, dove un agente controlla un sottomarino. Le regole di sicurezza qui si basavano sull'assunzione che i livelli di ossigeno sarebbero diminuiti a un ritmo costante e prevedibile. Nel test, i ricercatori hanno modificato il gioco in modo che l'ossigeno si esaurisse molto più velocemente una volta raggiunta una certa soglia bassa, uno scenario che lo scudo di sicurezza originale non aveva anticipato. Gli scudi statici, costruiti sul vecchio tasso di perdita di ossigeno più lento, sono rimasti confusi. O hanno bloccato il sottomarino quando invece doveva muoversi, o non sono riusciti a impedire che l'ossigeno si esaurisse completamente. Lo scudo adattivo, tuttavia, ha rilevato che l'ossigeno stava svanendo più velocemente del previsto. Ha immediatamente regolato il suo modello interno del mondo, indebolendo le sue aspettative su quanto tempo il sottomarino potesse rimanere sott'acqua mantenendo la garanzia assoluta che l'ossigeno non arrivasse mai a zero. Ciò ha permesso al sottomarino di continuare a giocare, salvando subacquei e raccogliendo punti, anche se l'ambiente era diventato più ostile di quanto le regole originali consentissero.

I risultati di questi esperimenti sono stati chiari e misurabili. Nello scenario della pompa di miniera, il sistema adattivo ha ottenuto una perfetta conformità alla sicurezza e ha mantenuto un alto livello di prestazioni, ottenendo ricompense quasi altrettanto alte dei migliori sistemi statici che sono stati lasciati fallire. Nel gioco Seaquest, lo scudo adattivo ha permesso all'agente di avere successo in quasi tutti i tentativi, mentre gli agenti senza scudo e quelli con scudi statici hanno fallito frequentemente quando l'ambiente è cambiato. I ricercatori hanno scoperto che il sistema ha solo bisogno di intervenire occasionalmente, sostituendo l'azione proposta dall'agente con una sicura in meno del 20 percento dei passaggi nel test della pompa di miniera e ancora meno nel gioco. Questo basso tasso di interferenza dimostra che il sistema non ha bisogno di micromanaggiare costantemente l'agente; interviene solo quando l'ambiente rompe le regole, e lo fa aggiornando la propria comprensione di tali regole.

Ciò che rende questo approccio particolarmente potente è che non si limita a indovinare probabilità o a cercare di apprendere un modello perfetto del mondo, il che può essere impossibile in situazioni complesse. Invece, si concentra sulla struttura logica delle regole di sicurezza. Quando si verifica una violazione, il sistema utilizza un metodo chiamato programmazione logica induttiva per trovare il cambiamento più semplice alle regole che renderebbe la situazione nuovamente possibile. Ciò significa che le modifiche sono trasparenti e comprensibili; un ingegnere umano può guardare le nuove regole e vedere esattamente perché il sistema ha deciso di regolare il proprio comportamento. I ricercatori hanno dimostrato che questo metodo preserva la capacità dell'agente di apprendere e ottimizzare le proprie prestazioni, evitando la trappola in cui le misure di sicurezza rendono l'agente così cauto da non poter più svolgere il proprio lavoro. Permettendo allo scudo di sicurezza di evolversi insieme all'ambiente, il sistema mantiene un equilibrio tra rigida sicurezza ed efficacia pratica.

Lo studio ha inoltre evidenziato i limiti degli attuali metodi. I ricercatori hanno dimostrato che fare affidamento su regole fisse e create manualmente è una strategia fragile. Quando l'ambiente devia dalle assunzioni di progettazione, i controllori statici spesso diventano inutili, o bloccando ogni azione o fallendo nel prevenire danni. L'approccio adattivo ha dimostrato che è possibile costruire sistemi che siano robusti contro questi cambiamenti inaspettati senza sacrificare la capacità di apprendere. Tuttavia, i ricercatori hanno osservato che questo metodo funziona meglio attualmente in ambienti che possono essere descritti con passi chiari e discreti, come la pompa di miniera o le specifiche meccaniche del videogioco. In mondi con dinamiche fluide e continue, l'astrazione logica richiesta potrebbe essere più difficile da definire. Inoltre, il processo di riparazione delle regole richiede tempo e, per sistemi molto grandi o complessi, la velocità di questa riparazione potrebbe diventare un collo di bottiglia. Nonostante queste sfide, questo lavoro offre un passo avanti significativo nel rendere l'intelligenza artificiale più sicura e affidabile. Suggerisce un futuro in cui i sistemi di sicurezza non sono solo barriere rigide, ma partner intelligenti capaci di capire quando il mondo è cambiato e di regolare la propria protezione di conseguenza, garantendo che le macchine possano operare in sicurezza anche di fronte all'ignoto.