It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

Nel mondo dell'intelligenza artificiale, le macchine vengono spesso istruite a prendere decisioni inseguendo un singolo obiettivo, come un robot aspirapolvere che pulisce un pavimento o un programma che vince una partita a scacchi. Ma il mondo reale è raramente così semplice. Spesso, un agente deve gestire diversi obiettivi contrastanti contemporaneamente, come un'auto a guida autonoma che cerca di raggiungere una destinazione rapidamente, pur mantenendo la sicurezza e risparmiando energia. Quando questi obiettivi entrano in conflitto, la macchina ha bisogno di un modo per decidere quale sia più importante. Inoltre, le conseguenze di una decisione possono svilupparsi su diversi intervalli di tempo. Un piccolo errore potrebbe causare un problema immediato, mentre una serie di piccoli errori potrebbe sommare solo un disastro mesi dopo. Per anni, i ricercatori hanno sviluppato diversi strumenti matematici per gestire queste situazioni, ma hanno generalmente trattato ogni arco temporale come un problema separato, scegliendo un metodo per i rischi immediati e un altro per le medie a lungo termine.

Un nuovo studio mette in discussione questa separazione, sostenendo che le decisioni del mondo reale richiedono spesso che un agente si preoccupi delle conseguenze immediate, a medio termine e a lungo termine tutte contemporaneamente. I ricercatori, che lavorano tra istituzioni in Belgio, Brasile e Australia, dimostrano che fare affidamento su uno solo di questi metodi tradizionali può portare a esiti pericolosi o inefficienti quando sono coinvolte molteplici scale temporali. Simulando uno scenario che coinvolge lavoratori esposti a sostanze tossiche, mostrano che una strategia progettata per proteggere dall'esposizione media a lungo termine potrebbe accidentalmente sacrificare un lavoratore a un picco di pericolo a breve termine, mentre una strategia focalizzata sulla sicurezza immediata potrebbe ignorare una crisi sanitaria che si sviluppa lentamente. Il loro lavoro suggerisce che per costruire un'intelligenza artificiale veramente sicura ed efficace, abbiamo bisogno di nuovi modi di pensare che possano bilanciare questi diversi orologi simultaneamente.

Il cuore del problema risiede nel modo in cui misuriamo la "felicità" o l' "utilità" per un agente. In molti sistemi di IA standard, la macchina calcola la ricompensa media che si aspetta di ottenere in un lungo periodo e cerca di massimizzare quel numero. Questo funziona bene per una fabbrica che elabora migliaia di file video al giorno: se l'uso medio della potenza e la velocità sono buoni, il sistema è considerato efficace, anche se un file specifico ha richiesto troppo tempo per essere elaborato. Tuttavia, questo approccio fallisce quando un singolo esito negativo è catastrofico. Considerate un paziente che si sottopone a un trattamento medico. Quel paziente vivrà il trattamento una sola volta. Non gli interessa l'esito medio di migliaia di altri pazienti; gli interessa il proprio risultato specifico. Se un trattamento ha un rischio non lineare — ovvero, un piccolo aumento del dosaggio causa un enorme salto di pericolo — il calcolo della media nasconde il vero rischio. Il paziente ha bisogno di un sistema che valuti l'esito specifico del suo singolo viaggio, non la media di molti viaggi.

Esiste un terzo modo di guardare il tempo, che si concentra sul passo immediatamente successivo. Immaginate un'auto che urta un muro. Il pericolo di lesioni dipende in modo non lineare dalla forza dell'impatto. Un impatto forte è molto più pericoloso di uno debole, e il rischio non si somma semplicemente nel tempo; cento piccoli urti non equivalgono a un unico forte scontro. In questa visione, il sistema deve valutare il rischio di ogni singolo momento mentre accade, applicando una penalità immediatamente se si verifica una combinazione pericolosa di fattori. Per decenni, i ricercatori hanno trattato queste tre prospettive — medie a lungo termine, esiti del singolo viaggio e rischi immediati passo dopo passo — come strumenti separati per lavori separati. Gli autori di questo nuovo articolo sostengono che questa separazione è un difetto. Propongono che molti problemi complessi richiedano che un agente si occupi di tutte e tre le scale temporali contemporaneamente.

Per dimostrare questo punto, i ricercatori hanno creato una simulazione semplificata che coinvolge tre dipendenti e tre diversi compiti, ciascuno con un diverso livello di tossicità. L'obiettivo era assegnare questi lavoratori a compiti nell'arco di un mese mantenendoli al sicuro. La tossicità del lavoro non era solo un numero semplice; aveva effetti diversi a seconda di quando veniva misurata. C'era un rischio immediato di un'alta dose entro un singolo giorno, un rischio a medio termine di esposizione totale nel corso del mese e un rischio a lungo termine di danni cumulativi nell'arco di molti mesi. Il team ha eseguito la simulazione utilizzando i tre metodi tradizionali separatamente e poi ha tentato di combinarli.

Quando il sistema si è concentrato solo sulla media a lungo termine, ha trovato una strategia che manteneva al sicuro due lavoratori esperti attraverso una rotazione costante, ma ha efficacemente sacrificato il terzo, meno esperto, assegnandogli ripetutamente i compiti più pericolosi. La logica era che il rischio medio per il gruppo era basso, quindi il sistema ha ignorato il fatto che una persona stava subendo un sovraccarico. Quando il sistema si è concentrato solo sull'esito del singolo viaggio, ha imparato a ruotare i lavoratori frequentemente per garantire che nessuno affrontasse mai una dose totale pericolosamente alta per quel mese specifico. Questo manteneva tutti relativamente sicuri, ma comportava un sacco di cambi che avrebbero potuto non essere efficienti. Quando il sistema si è concentrato solo sul rischio immediato passo dopo passo, ha evitato di cambiare i lavoratori, preferendo mantenere i lavoratori su compiti che corrispondevano al loro livello di abilità, il che era un approccio sicuro ma rigido.

Il risultato più rivelatore è arrivato quando i ricercatori hanno cercato di ottimizzare per tutte e tre le scale temporali simultaneamente. Hanno utilizzato un metodo che combinava i rischi immediati, mensili e a lungo termine in un unico obiettivo. La strategia risultante era un mix delle altre, ma ha rivelato un difetto critico nel cercare di bilanciare questi orologi competitivi senza un nuovo framework. Il sistema tendeva ancora a sacrificare il lavoratore meno esperto, assegnandogli i compiti più difficili per proteggere gli altri sia dagli sbalzi immediati che dall'accumulo a lungo termine. La simulazione ha mostrato che cercare semplicemente di mediare le diverse scale temporali non funziona; la natura non lineare dei rischi significa che proteggere una scala temporale può involontariamente mettere in pericolo un'altra. I ricercatori hanno scoperto che le politiche che funzionavano bene per una scala temporale erano spesso le peggiori scelte quando tutte le scale venivano considerate insieme.

Questo risultato evidenzia una significativa lacuna nella ricerca attuale sull'intelligenza artificiale. Sebbene abbiamo strumenti potenti per gestire le medie a lungo termine o i rischi immediati, ci manca un metodo completo per gestirli insieme. Gli autori suggeriscono che i sistemi futuri debbano apprendere la distribuzione dei possibili risultati, comprendendo non solo il risultato medio, ma l'intero intervallo di ciò che potrebbe accadere attraverso diverse finestre temporali. Riconoscono che questa è una sfida difficile, poiché cambiare una politica per migliorare la sicurezza su una scala temporale potrebbe peggiorarla su un'altra, creando un complesso panorama di compromessi. Tuttavia, credono che lo sviluppo di questi approcci combinati sia essenziale per le applicazioni nel mondo reale, dalla gestione della radioterapia in medicina all'ottimizzazione del servizio clienti nelle attività commerciali, dove la sicurezza e la soddisfazione degli individui devono essere bilanciate rispetto all'efficienza dell'insieme.

Lo studio conclude che il modo in cui attualmente insegniamo alle macchine di prendere decisioni è troppo limitato. Trattando il tempo come una singola dimensione o scegliendo una prospettiva rispetto alle altre, rischiamo di creare sistemi che sono sicuri in teoria ma pericolosi in pratica. La strada da seguire richiede nuovi algoritmi che possano tenere a mente più scale temporali contemporaneamente, assicurando che un agente non si limiti a massimizzare una media o a evitare un singolo brutto giorno, ma comprenda veramente il peso totale delle sue azioni attraverso l'intero arco della sua esistenza. Questa non è solo una regolazione tecnica, ma un'evoluzione necessaria per garantire che l'intelligenza artificiale possa navigare nella realtà disordinata e multistrato della vita umana.