Sintesi Tecnica: Cognizione Non Supervisionata

Definizione del Problema

I metodi tradizionali di apprendimento non supervisionato si affidano principalmente al clustering matematico per raggruppare i dati in base alla prossimità in uno spazio di codifica (ad esempio, K-Means, Invariant Information Clustering). Gli autori sostengono che questi approcci soffrano di un limite fondamentale: ottimizzano relazioni matematiche piuttosto che relazioni "cognitive". Ad esempio, nel dataset MNIST, la relazione cognitiva tra i campioni è il valore numerico che rappresentano, mentre il clustering matematico spesso privilegia relazioni tra codifiche di pixel che non si allineano con la cognizione umana. Inoltre, i metodi esistenti tipicamente dividono uno spazio di input in sottospazi (prospettiva di ottimizzazione) invece di costruire astrazioni dei dati (prospettiva costruttiva). Ciò porta spesso a modelli che non riescono a gestire efficacemente dataset piccoli o incompleti, mancano di spiegabilità e non riescono a riconoscere quando un input non rientra in alcun pattern noto.

Metodologia: L'Algoritmo Nodule

Il documento propone Nodule, un algoritmo di apprendimento non supervisionato basato su primitive, ispirato al framework della Cognizione Sintetica e al Principio di Persistenza Auto-Proiettiva (SPPP). A differenza del clustering tradizionale, Nodule modella lo spazio di input in modo costruttivo, costruendo una struttura di rappresentazioni gerarchica e distribuita. L'architettura è composta da tre componenti principali:

1. L'Embodiment (Incarnazione)

L'Embodiment funisce da interfaccia che trasforma qualsiasi input (tabulare, immagine, ecc.) in Rappresentazioni Sparse Distribuite (SDR). Ciò garantisce che l'algoritmo sia indipendente dall'input (input-agnostic).

• Codifica: Gli input vengono convertiti in SDR. Per le immagini, i pixel sono normalizzati; per i dati numerici, i valori sono raggruppati in bin con una specifica sovrapposizione (es. 10%) per consentire il rilevamento della somiglianza; per i dati categorici, si utilizza il one-hot encoding.
• Decodifica: Un decoder corrispondente permette alle SDR interne di essere tradotte nuovamente in output comprensibili all'uomo (etichette).

2. Il Nodule (Unità di Elaborazione Centrale)

Il Nodule elabora le SDR utilizzando una struttura gerarchica ad albero composta da Footprints (Impronte) e Cells (Cellule).

• Footprint: La primitiva di base. Memorizza una SDR dei dati e una SDR di metadati (es. un'etichetta). Possiede una funzione di aggiornamento (che calcola la media mobile delle SDR) e una funzione di attivazione che genera un Archetype (Archetipo). L'Archetype è una rappresentazione astratta e costruttiva dell'input, derivata dallo SPPP.
• Cell: Un contenitore che raggruppa più Footprints per evitare ridondanze. Quando arriva un input, la Cell seleziona la Footprint più simile (in base a una soglia di somiglianza) per elaborarlo. Se nessuna Footprint è sufficientemente simile, ne viene creata una nuova.
• Gerarchia (Nodule): Le Cell sono organizzate in una struttura ad albero. Una Seed Cell (Cellula Seme) si trova alla radice. Quando una Footprint in una Cell riceve un input troppo dissimile dalle sue Footprints esistenti, viene creata una nuova Cell figlia per suddividere quel particolare sottoinsieme dello spazio di input. Ciò crea una gerarchia distribuita dove le Cell foglia rappresentano input specifici e le Cell di livello superiore rappresentano astrazioni più ampie.

Flusso di Elaborazione:

1. Fase di Filtraggio: La SDR di input viene confrontata con tutte le Footprints. Viene selezionata la Footprint più simile (che supera la soglia della Cell). Se nessuna Footprint corrisponde, ne viene creata una nuova nella Seed Cell.
2. Fase di Astrazione: La Footprint selezionata viene attivata, aggiornando la sua rappresentazione interna e generando un Archetype. Questo Archetype viene passato alla Cell genitore, aggiornando ricorsivamente le Footprints genitorie. Questa aggregazione permette al sistema di generalizzare e costruire rappresentazioni costruttive anziché semplici copie.

3. Modulatore di Attenzione Spaziale

Per evitare impostazioni arbitrarie delle soglie, l'algoritmo utilizza un Modulatore di Attenzione Spaziale. Questa componente calcola dinamicamente la soglia di somiglianza per ogni Cell in base alla media della somiglianza tra le Footprints all'interno di quella Cell. Ciò consente al sistema di autoregolare la discriminabilità spaziale, con le Cell figlie che sviluppano naturalmente soglie più elevate (discriminazione più fine) poiché rappresentano sottodomini più specifici.

Contributi Chiave

1. Rappresentazione Costruttiva: Il documento introduce un passaggio dalla partizione degli spazi di input alla costruzione di rappresentazioni costruttive (Archetypes) che approssimano l'informazione latente.
2. Architettura Indipendente dall'Input: Utilizzando le SDR, l'algoritmo gestisce diversi tipi di dati (tabulari, scala di grigi, colore) all'interno di un framework unificato.
3. Capacità "Non So": L'algoritmo può dichiarare esplicitamente quando un input non corrisponde a nessun pattern appreso (se la somiglianza scende sotto tutte le soglie), prevenendo allucinazioni e classificazioni errate.
4. Spiegabilità: Grazie alla struttura gerarchica delle SDR, il percorso decisionale può essere tracciato dalla Seed Cell fino alla Footprint attivata, rendendo trasparente il processo di classificazione.
5. Elaborazione Basata su Primitive: Il sistema si basa su una singola primitiva (Footprint) scalata attraverso una gerarchia, evitando i complessi paesaggi di ottimizzazione delle reti neurali profonde.

Risultati Sperimentali

Gli autori hanno valutato Nodule rispetto ai metodi non supervisionati allo stato dell'arte (K-Means, IIC) e ai baseline supervisionati (K-NN) attraverso quattro categorie sperimentali:

1. Classificazione Non Supervisionata:

   • Dataset: Tabulari (Sonar, Ionosphere, ecc.) e Immagini (MNIST, CIFAR10).
   • Risultati: Nodule ha performato in linea o meglio di K-Means e IIC. Notevolmente, ha raggiunto un'alta accuratezza con significativamente meno campioni di addestramento (es. <200 campioni per MNIST rispetto a ~1.700 per IIC) e ha richiesto un solo passaggio attraverso i dati (un'epoca), mentre IIC richiedeva centinaia di epoche.

2. Dataset Piccoli e Incompleti:

   • Setup: Dati mancanti simulati (fino al 50%) in sei dataset.
   • Risultati: Nodule ha superato Random Forest e SANDA (un metodo allo stato dell'arte per dati incompleti), dimostrando robustezza quando i dati sono scarsi o mancanti.

3. Classificazione Medica (Tipi di Cancro):

   • Setup: Classificazione di sottotipi di cancro utilizzando il dataset Cancer Type.
   • Risultati: Nodule ha raggiunto un'accuratezza di 0,746, superando le Graph Convolutional Networks (GCN), le Graph Attention Networks (GAT) e altri modelli allo stato dell'arte (che variavano da 0,712 a 0,735), nonostante sia un approccio non supervisionato.

4. Capacità Simili alla Cognizione (Robustezza al Rumore):

   • Setup: Digit MNIST con pixel rimossi casualmente (dallo 0% all'100% di rumore).
   • Risultati: Nodule ha dimostrato una robustezza superiore, mantenendo un'alta accuratezza anche quando fino all'80% dei pixel veniva rimosso. Ha ottenuto un'Area Sotto la Curva (AUC) di 92,60 (training) e 76,23 (test), superando significativamente K-Means, IIC e K-NN. Gli autori attribuiscono ciò alla natura gerarchica e costruttiva delle rappresentazioni, che permette al sistema di abbinare gli input rumorosi ad astrazioni intermedie piuttosto che a pattern letterali di pixel.

Significato e Rivendicazioni

Il documento sostiene che Nodule rappresenti uno stato dell'arte dirompente nell'apprendimento non supervisionato per il processo decisionale. La sua importanza risiede in:

• Allineamento Cognitivo: Esibisce un comportamento più simile alla cognizione umana (riconoscere pattern nonostante il rumore, comprendere gli input "sconosciuti") rispetto ai tradizionali algoritmi basati sull'ottimizzazione.
• Efficienza dei Dati: Raggiunge alte prestazioni con dati minimi e apprendimento a singolo passaggio, rendendolo adatto a scenari in cui i dati sono scarsi o costosi da etichettare.
• Trasparenza: Offre un livello di spiegabilità e di capacità "non so" che è raro nella moderna IA, affrontando il problema della "scatola nera".

Gli autori riconoscono i limiti, principalmente gli alti costi di memoria dovuto alla memorizzazione di numerose SDR e la mancanza di un obiettivo di ottimizzazione esplicito (il che potrebbe limitare l'accuratezza massima di classificazione rispetto ai modelli supervisionati finemente regolati). Tuttavia, sostengono che il compromesso sia giustificato dalla capacità dell'algoritmo di costruire rappresentazioni costruttive e significative dello spazio di input. Il lavoro futuro proposto mira ad affrontare la scalabilità della memoria attraverso meccanismi di inibizione della crescita e ad estendere l'architettura ad altre modalità (es. suono) e sequenze temporali.