Columnar-Embedder: A Biologically Inspired Cortical Architecture for Binary Sparse Distributed Graph Representations

Per comprendere la sfida che questa ricerca affronta, è necessario prima capire come i computer cerchino attualmente di dare un senso alle reti complesse. Nel mondo digitale, le relazioni sono spesso mappate come grafi, dove punti chiamati nodi sono collegati da linee chiamate archi. Queste strutture rappresentano tutto, dalle connessioni dei social media e dalle reti di citazioni ai legami molecolari in un nuovo farmaco. Il problema è che queste reti non seguono le regole dritte e a griglia del mondo fisico in cui camminiamo; sono contorte e irregolari, il che rende difficile per gli algoritmi informatici standard trovare schemi al loro interno. Per risolvere questo problema, gli scienziati hanno sviluppato metodi per tradurre queste reti disordinate in elenchi ordinati di numeri, noti come embedding. Questi elenchi permettono ai computer di confrontare diverse parti di una rete, prevedere connessioni mancanti o classificare gli elementi in categorie. Tuttavia, i metodi più efficaci di oggi si basano su calcoli massicci e voraci di energia che richiedono al computer di vedere l'intera rete in una volta sola e di regolare le proprie impostazioni interne attraverso un processo lento e ripetitivo di tentativi ed errori. Questo approccio funziona bene ma è costoso e fatica quando la rete cambia o quando vengono aggiunti nuovi elementi senza dover riaddestrare l'intero sistema.

Un team di ricercatori della Portland State University ha proposto una strada diversa, che assomiglia meno a un programma per computer standard e più al modo in cui il cervello umano elabora le informazioni. Hanno costruito un sistema chiamato Columnar-Embedder, che imita la struttura della corteccia mammifera, lo strato esterno del cervello responsabile dell'elaborazione degli input sensoriali. Inveve di utilizzare pesanti calcoli globali, il loro sistema impara osservando flussi di dati, proprio come il cervello impara da un flusso continuo di immagini e suoni. I ricercatori hanno progettato questa architettura per creare un codice binario compatto per ogni nodo di una rete. In questo codice, l'informazione non è memorizzata come un lungo elenco di numeri decimali, ma come un modello rado di interruttori attivi e inattivi. Ciò significa che per qualsiasi dato, solo una minima frazione dei componenti del sistema è attiva contemporaneamente, similmente a come solo una piccola percentuale di neuroni si attiva quando riconosci un volto. Questa ispirazione biologica permette al sistema di apprendere continuamente, di adattarsi a nuovi dati senza dimenticare le lezioni apprese e di resistere agli errori che confonderebbero i metodi tradizionali.

Il cuore di questo lavoro è un nuovo modo per insegnare al computer come comprendere un grafo senza bisogno di un insegnante che corregga i suoi errori. I ricercatori hanno alimentato il sistema con percorsi casuali compiuti attraverso la rete, una tecnica nota come "random walks" (cammini casuali), che agiscono come uno scout che esplora una città per capire quali quartieri siano vicini tra loro. Mentre il sistema osservava questi percorsi, utilizzava una regola di apprendimento locale ispirata al modo in cui i neuroni biologici rafforzano le loro connessioni quando si attivano insieme. Questa regola, nota come regola BCM, ha permesso al sistema di regolare i propri pesi interni in base a quanto spesso due nodi apparivano insieme nello stesso contesto. Fondamentalmente, questo apprendimento avveniva localmente, il che significa che ogni parte del sistema aveva bisogno di conoscere solo i propri vicini immediati e l'attuale flusso di dati, piuttosto che l'intera rete. Il sistema ha anche impiegato un meccanismo per garantire che diversi nodi, anche quelli che sembravano molto simili, sviluppassero codici unici. Ciò è stato ottenuto attraverso un processo competitivo in cui i neuroni all'interno di un piccolo gruppo gareggiavano per essere quelli a rappresentare un input specifico, assicurando che il codice finale rimanesse distinto e utile.

Quando i ricercatori hanno testato questa nuova architettura, hanno scoperto che poteva eseguire compiti complessi con una sorprendente efficienza. Hanno applicato il sistema a diversi dataset standard, inclusi network di citazioni scientifiche e raccomandazioni di prodotti, e gli hanno chiesto di svolgere due lavori difficili: identificare la categoria di un nodo e prevedere se esistesse una connessione tra due nodi. In questi test, il Columnar-Embedder ha prodotto risultati competitivi con i metodi più avanzati e dispendiosi di energia attualmente disponibili. Ha raggiunto un'elevata precisione nella classificazione dei nodi e nella previsione dei collegamenti, eguagliando le prestazioni di sistemi che si affidano a enormi quantità di dati e complessa ottimizzazione matematica. Ciò che ha reso il risultato particolarmente sorprendente è stato il fatto che il sistema abbia ottenuto questo senza utilizzare alcun dato etichettato per guidare il suo apprendimento, senza dover vedere l'intero grafo in una volta sola e senza il lento processo di regolazione globale che caratterizza il deep learning moderno. Il sistema ha imparato puramente dalla struttura della rete stessa, creando una rappresentazione che era sia robusta che portabile.

I ricercatori hanno anche scoperto che il loro approccio ispirato alla biologia offriva vantaggi unici nel gestire errori e cambiamenti. Quando hanno intenzionalmente corrotto i dati invertendo i bit o introducendo rumore, le prestazioni del sistema sono degradate molto più lentamente rispetto a quelle dei metodi tradizionali. Questa resilienza deriva dalla natura del codice rado; poiché l'informazione è distribuita su molti componenti, perdere alcuni pezzi non distrugge il significato dell'insieme. Inoltre, il sistema ha mostrato la capacità di scalare su reti molto più grandi senza richiedere modifiche al suo design o alle sue impostazioni. Testato su grafi con decine di migliaia di nodi, il sistema ha mantenuto le sue alte prestazioni e la sua capacità di distinguere tra diversi tipi di nodi. Ciò suggerisce che i meccanismi interni del sistema, che imitano l'equilibrio omeostatico del cervello, gli permettono di adattarsi naturalmente alla dimensione e alla complessità dei dati che incontra. Il sistema non ha solo imparato a riconoscere schemi; ha imparato a organizzarli in modo da preservare la struttura sottostante della rete, anche mentre la rete cresceva.

Uno dei risultati più significativi di questo lavoro è che l'architettura è progettata per essere induttiva, il che significa che può teoricamente generare rappresentazioni per nuovi nodi non visti senza dover riaddestrare l'intero modello. Sebbene il documento confermi che l'architettura produce una rappresentazione competitiva e resiliente capace di questa capacità induttiva, non presenta espliciti risultati di generalizzazione zero-shot su flussi live di nodi non visti. Inveve, i ricercatori hanno dimostrato che il sistema scala su grafi più grandi e diversi tipi di dati senza cambiamenti architettonici o sintonizzazione degli iperparametri, suggerendo che il meccanismo di apprendimento sottostante è abbastanza robusto da gestire nuovi dati all'interno del suo framework. Questa capacità punta verso un futuro in cui i sistemi di apprendimento su grafi possono operare in tempo reale, adattandosi alle reti dinamiche man mano che cambiano. I ricercatori hanno dimostrato che il loro approccio poteva gestire diversi tipi di grafi, dalle reti di citazioni sparse ai grafi densi di raccomandazione prodotti, senza dover modificare le regole sottostanti. Questa versatilità suggerisce che i principi scoperti sono fondamentali per capire come comprendere i dati relazionali complessi, piuttosto che essere un trucco specifico per un tipo di dataset. La capacità del sistema di apprendere senza supervisione, senza coordinamento globale e senza il rischio di dimenticare le lezioni passate offre un'alternativa convincente allo stato dell'arte attuale.

Lo studio ha inoltre evidenziato l'efficienza della rappresentazione binaria e rada. Utilizzando un codice in cui solo un piccolo numero di bit è attivo in ogni momento, il sistema richiede molta meno memoria ed energia per archiviare ed elaborare le informazioni rispetto ai numeri densi e continui usati da altri metodi. Questa efficienza non è solo un beneficio teorico; i ricercatori hanno dimostrato che per reti grandi, il risparmio di memoria potrebbe essere sostanziale, permettendo al sistema di entrare in cache informatiche più piccole e veloci. Ciò rende l'approccio particolarmente attraente per applicazioni in cui le risorse sono limitate o la velocità è critica. Il design del sistema, che si basa su interazioni locali e regole semplici, lo rende anche ben adatto all'implementazione su hardware specializzato progettato per mimare il cervello, portando potenzialmente a un ulteriore risparmio energetico in futuro.

In definitiva, il lavoro presenta una prova di concetto secondo cui un'architettura ispirata alla biologia può risolvere problemi grafici difficili con un livello di prestazione che rivaleggia con i modelli matematici più sofisticati. Sfida l'assunto che il riconoscimento di schemi complessi richieda un calcolo massiccio e centralizzato. Al contrario, mostra che un sistema costruito su apprendimento locale, competizione e codifica sparsa può costruire una comprensione ricca e accurata di una rete. I ricercatori non hanno sostenuto di aver risolto ogni problema nell'apprendimento su grafi, né hanno suggerito che il loro sistema sia perfetto in ogni scenario. Hanno notato che il sistema potrebbe essere vulnerabile a specifici tipi di attacchi ingegnerizzati o in situazioni in cui i dati sono estremamente sparsi. Tuttavia, i risultati dimostrano chiaramente che una strada diversa è possibile, una che attinge ai milioni di anni di evoluzione che hanno plasmato il cervello mammifero. Traducendo i principi dell'architettura corticale in un framework di machine learning, i ricercatori hanno aperto una nuova via per la creazione di sistemi che non siano solo potenti, ma anche efficienti, robusti e capaci di apprendere continuamente in un mondo che cambia.