Immaginate un mondo in cui i computer che guidano i robot autonomi o gestiscono edifici intelligenti non siano macchine fragili e delicate, ma piuttosto sistemi robusti capaci di funzionare anche quando la loro memoria interna è leggermente danneggiata o imprecisa. Questa è la promessa di un campo chiamato architettura simbolica vettoriale, un modo di concepire l'intelligenza artificiale che trae ispirazione da come il cervello umano conserva le informazioni. Invece di fare affidamento su numeri precisi e fragili, questo approccio utilizza vasti schemi di dati ad alta dimensionalità che possono essere combinati e confrontati usando una matematica semplice. L'idea chiave è che questi schemi siano così numerosi e distinti da poter sovrapporsi senza confondersi l'un l'altro, proprio come una stanza affollata di persone che parlano lingue diverse permette di concentrarsi su una singola conversazione senza che il rumore di fondo diventi un amalgama confuso. Questa resilienza rende l'approccio particolarmente attraente per i dispositivi "edge" — computer che operano con energia limitata o in ambienti ostili dove la perfetta conservazione dei dati non può essere garantita.

I ricercatori dell'Università della California, Irvine, e i loro collaboratori hanno ora preso questo concetto e lo hanno applicato direttamente al modo in cui le macchine imparano a prendere decisioni. In un nuovo studio, hanno introdotto un metodo chiamato Gradiente di Politica Simbolica Vettoriale (Vector-Symbolic Policy Gradient). Per capire cosa abbiano fatto, aiuta prima comprendere il problema che stanno risolando. Nel reinforcement learning, un agente artificiale impara provando azioni e osservando le conseguenze, costruendo gradualmente una strategia per massimizzare le ricompense. Tradizionalmente, questa strategia è conservata in reti neurali complesse, che sono simili a intricati intrecci di connessioni che richiedono una calibrazione precisa. Se i numeri all'interno di queste reti vengono corrotti da un po' di rumore elettrico o da un difetto di fabbricazione, il processo decisionale dell'agente può collassare. I ricercatori si sono posti una domanda semplice: possiamo costruire un sistema decisionale che sia intrinsecamente resistente a questo tipo di danno, uno che impari memorizzando le informazioni in un modo che sia naturalmente tollerante?

La risposta che hanno trovato è sì. Il team ha sviluppato un sistema in cui ogni possibile azione che un agente può intraprendere è rappresentata da un modello unico e ad alta dimensionalità, o "ipervettore". Quando l'agente osserva l'ambiente circostante, converte tale osservazione in un modello simile. Per decidere cosa fare, il sistema controlla semplicemente quale modello di azione assomiglia di più all'osservazione corrente. La genialità del loro metodo risiede nel modo in cui il sistema impara. Invece di utilizzare calcoli complessi e multi-fase per regolare i propri pesi interni, il sistema aggiorna la sua memoria in un unico passaggio diretto. Quando un agente compie un'azione positiva e riceve una ricompensa, il sistema rafforza la connessione tra il modello di quell'azione e l'osservazione che l'ha generata. Se l'azione è stata negativa, indebolisce tale connessione. Questo processo è matematicamente equivalente a un metodo di apprendimento standard, ma viene eseguito tramite semplici addizioni e sottrazioni di questi grandi modelli, seguite da un passaggio di normalizzazione per mantenere stabili i modelli stessi.

Ciò che rende questa scoperta significativa è ciò che accade alla memoria nel tempo. Mentre l'agente impara, non conserva un elenco di ogni singola esperienza che ha mai avuto. Invece, comprime tutta quell'esperienza in un archivio di memoria a dimensione fissa. La memoria di ogni azione diventa un riassunto compresso di tutte le volte in cui quell'azione è stata utile, ponderata in base alla bontà del risultato. Ciò significa che il sistema può apprendere in modo efficiente senza dover memorizzare enormi quantità di dati grezzi. Inoltre, i ricercatori hanno dimostrato che questo metodo è incredibilmente robusto contro gli errori. Hanno testato cosa accadrebbe se bit casuali nella memoria venissero invertiti, simulando il tipo di corruzione che si verifica in hardware inaffidabili. Mentre le reti neurali tradizionali e i modelli lineari semplici subivano cali significativi di prestazioni in queste condizioni, il nuovo sistema basato sui vettori ha mantenuto la sua posizione. Gli errori sono stati mediati dalla dimensione e dalla struttura degli schemi stessi, permettendo al sistema di continuare a prendere decisioni corrette anche quando la sua memoria era imperfetta.

Il team ha testato il proprio metodo su una varietà di sfide, dai compiti di controllo classico come bilanciare un'asta su un carrello in movimento, alla navigazione in labirinti complessi e alla gestione dell'energia in sistemi edilizi multi-agente. In questi test, il nuovo metodo ha appreso velocemente quanto, e spesso più velocemente, degli approcci standard basati su reti neurali. Ha ottenuto risultati competitivi nel raggiungere obiettivi e massimizzare le ricompense, dimostrando di non sacrificare le prestazioni per la robustezza. Nei compiti di navigazione nel labirinto, dove l'agente deve ricordare di raccogliere una chiave prima di aprire una porta, il sistema ha imparato con successo la sequenza di azioni. Nelle simulazioni di controllo degli edifici, dove più agenti devono coordinarsi per gestire temperatura e umidità, il metodo ha funzionato bene in diverse condizioni climatiche.

Forse la cosa più importante è che lo studio ha mostrato come la capacità di generalizzazione del sistema — la sua capacità di applicare ciò che ha appreso in una situazione a una leggermente diversa — fosse direttamente legata a come i modelli iniziali venivano creati. I ricercatori hanno scoperto che la scelta di come convertire le osservazioni grezze in questi modelli ad alta dimensionalità era fondamentale. Alcuni metodi di conversione portavano a un apprendimento migliore e a memorie più stabili rispetto ad altri, suggerendo che il "linguaggio" in cui l'agente pensa è cruciale per il suo successo. Tuttavia, una volta addestrato, il sistema non aveva bisogno di conservare i dati grezzi delle sue sessioni di addestramento. Poteva scartare la cronologia e fare affidamento esclusivamente sulla memoria compressa a dimensione fissa, rendendolo altamente efficiente per l'implementazione su dispositivi reali.

I ricercatori hanno anche esplorato come la dimensione di questi modelli influenzasse le prestazioni. Hanno scoperto che aumentare la dimensionalità, ovvero il numero di elementi in ogni modello, migliorava la capacità del sistema di distinguere tra situazioni diverse e riduceva l'interferenza tra le memorie. Tuttavia, hanno anche notato che questo miglioramento raggiungeva un plateau, il che significa che esiste un punto di rendimenti decrescenti in cui rendere i modelli più grandi non aiuta molto di più. Questo equilibrio tra dimensione della memoria e prestazioni è una considerazione pratica per gli ingegneri che devono inserire questi sistemi su piccoli chip.

In definitiva, questo lavoro colma il divario tra robustezza teorica e applicazione pratica. Dimostra che è possibile creare agenti di apprendimento che siano non solo efficienti e veloci, ma anche resilienti alle imperfezioni del mondo reale. Rappresentando le decisioni come schemi distribuiti anziché come numeri precisi, il sistema evita la fragilità che affligge molti modelli moderni di intelligenza artificiale. Le scoperte suggeriscono una strada da seguire per l'implementazione di sistemi intelligenti in ambienti dove l'affidabilità è fondamentale, dagli veicoli autonomi che navigano in condizioni meteorologiche imprevedibili ai dispositivi medici che operano in contesti con risorse limitate. Il metodo non richiede hardware complesso o enormi data center; si basa su una struttura matematica semplice ed elegante che trasforma il potenziale punto debole della memoria rumorosa in un punto di forza. Come concludono i ricercatori, questo approccio offre una base promettente per la prossima generazione di intelligenza artificiale edge-based e robusta, dimostrando che, a volte, il modo migliore per costruire una macchina intelligente è lasciarla pensare in schemi troppo grandi per essere spezzati.