Riepilogo Tecnico: Legame Ricorsivo a Basso Costo: Scultura di Sottospazi in Memorie Tensoriali di Ordine $p$

1. Definizione del Problema

Il documento affronta la tensione fondamentale nei sistemi di memoria neuro-simbolica tra fedeltà strutturale ed efficienza della memoria.

• Le Rappresentazioni di Prodotti Tensoriali (TPR) (Smolensky, 1990) offrono un legame matematicamente rigoroso tra "filler" (contenuto) e "ruoli" (struttura) tramite prodotti esterni, garantendo un'ortogonalità perfetta e un recupero lossless. Tuttavia, soffrono di una crescita esponenziale della dimensionalità; una struttura di profondità $k$ richiede uno spazio tensoriale di ordine $d^k$, rendendo il legame ricorsivo profondo intrattabile anche per dimensioni modeste.
• Le Architetture a Vettori Simbolici (VSA) (Kanerva, 2009) mantengono una dimensionalità costante comprimendo i legami nel vettore originale (ad esempio, tramite convoluzione circolare). Sebbene efficienti, questa compressione introduce rumore. Man mano che il numero di legami sovrapposti aumenta, il rapporto segnale-rumore (SNR) degrada, portando a interferenze e a un recupero inaffidabile in regimi ad alta capacità.

Le esistenti approssimazioni sparse delle TPR mitigano la scalabilità ma soffrono di un significativo degrado delle prestazioni su strutture profonde. La sfida centrale è supportare strutture ricorsive profonde e un'alta sovrapposizione entro un footprint di memoria costante senza sacrificare l'accuratezza del recupero.

2. Metodologia: Scultura di Sottospazi Ortogonali (OSC)

Gli autori propongono l'Orthogonal Subspace Carving (OSC), un'architettura di memoria che scollega l'ordine del tensore dalla profondità strutturale imponendo l'ortogonalità geometrica tramite proiezione piuttosto che tramite allocazione esplicita di coordinate.

Principi Fondamentali

• Esclusione Geometrica: Invece di assegnare i ruoli a specifiche dimensioni, l'OSC definisce i contesti come sottospazi "proibiti". I legami vengono posizionati nel complemento ortogonale (spazio nullo) di questi contesti.
• Rappresentazione dei Filler: A differenza delle VSA standard dove i filler sono singoli vettori, i filler OSC sono oggetti strutturati: tuple ordinate di $p$ vettori, $f = (v_1, \dots, v_p) \in (\mathbb{R}^d)^p$.
• Definizione del Contesto: Un contesto $C$ è associato a un sottospazio $S_C$ spaziato da $k$ direzioni mutuamente ortogonali. Diversi contesti non devono essere geometricamente correlati, permettendo precisione locale all'interno di un contesto e indipendenza globale tra i contesti.

Il Meccanismo di Legame

1. Scultura (Proiezione): Per legare un filler a un contesto, l'operatore di scultura $P^\perp_C = I - B_C^T B_C$ proietta ogni componente vettoriale $v_i$ nello spazio nullo della base del contesto $B_C$. Questo rimuove qualsiasi sovrapposizione con il sottospazio del contesto.
2. Normalizzazione e Fusione: Le componenti proiettate vengono normalizzate e fuse tramite un prodotto tensoriale di ordine $p$:
   $$T_{bound} = \bigotimes_{i=1}^p \left( \frac{P^\perp_C v_i}{\|P^\perp_C v_i\|} \right)$$
   Ciò produce un tensore di ordine $p$ che risiede interamente nel complemento ortogonale del contesto.
3. Sovrapposizione: La memoria $M$ è formata dalla semplice addizione (sovrapposizione) di questi tensori legati. Poiché ogni legame è ortogonale al proprio sottospazio di contesto, e i contesti definiscono sottospazi disgiunti, i legami si separano naturalmente nello spazio di memoria senza interferenze.

Query tramite Riconoscimento

L'OSC sposta il paradigma di recupero dal dislegame algebrico (ricostruzione di un vettore) al riconoscimento discriminativo.

• Meccanismo: Per interrogare, viene costruito un legame candidato utilizzando lo stesso meccanismo di scultura. Il punteggio di recupero è il prodotto interno di Frobenius tra il tensore di memoria e il tensore candidato.
• Ricerca nel Vocabolario: Il sistema identifica l'elemento memorizzato selezionando il candidato con il punteggio di somiglianza più elevato. Questo approccio è compatibile con i codici di "cleanup memory" standard utilizzati nelle VSA.
• Garanzia Teorica: Il Teorema 4.6 stabilisce che per $N$ legami indipendenti, il rumore di interferenza scala come $\sqrt{(N-1)/d^p}$. Aumentando l'ordine del tensore $p$ o la dimensione $d$, il rumore può essere soppresso, consentendo un recupero robusto anche con alta sovrapposizione.

Connessioni Teoriche

• Algebra di Clifford: Il documento dimostra che la TPR è un caso speciale di legame in algebra di Clifford. L'OSC è formulata come un'estensione naturale in cui i ruoli e i filler sono sottospazi ortogonali anziché vettori base disgiunti, permettendo una compressione dello spazio di memoria da $d^{|C|+1}$ a $\binom{d}{|C|+1}$ mantenendo proprietà di recupero esatte sotto specifici vincoli di ortogonalità.
• Generazione Procedurale: I contesti possono essere generati proceduralmente tramite hashing di etichette di ruolo per produrre seed casuali per i vettori base. Ciò scollega il numero di contesti rappresentabili dai vincoli di memoria, evitando i costi di archiviazione esponenziali delle TPR.

3. Contributi Chiave

1. Architettura OSC: Una nuova architettura di memoria che utilizza il legame basato su proiezione per scollare la dimensione del vettore componente dalla capacità di memoria.
2. Scalabilità Sub-lineare: Una riduzione significativa del footprint di memoria per compiti ad alta sovrapposizione. Gli autori mostrano che i vettori componente possono essere ordini di grandezza più piccoli del tensore di memoria pur mantenendo un recupero robusto.
3. Recupero Quasi Lossless: La capacità di ottenere un'accuratezza quasi lossless in regimi di alta sovrapposizione sfruttando la scalabilità sub-lineare dei filler, consentendo spazi di sovrapposzione più ampi all'interno di un footprint totale minore rispetto alle TPR.
4. Formulazione Clifford: Una dimostrazione che la TPR è un caso speciale del legame in algebra di Clifford e la fornitura di una formulazione Clifford per l'OSC.

4. Risultati Sperimentali

Gli autori hanno valutato l'OSC contro 14 VSA esistenti (incluse HRR, VTB, MAP, HLB) e le TPR su benchmark sintetici e compiti di Classificazione Multi-label Estrema (XML).

• Scalabilità ed Efficienza:
  • Nei test sintetici con 1.000 bundle, l'OSC (con $d=200, p=2$) ha raggiunto un'accuratezza di recupero del 99,77%, superando la migliore VSA con $d=4096$ (13,18% di accuratezza) e $d=8100$ (35,88% di accuratezza).
  • A 10.000 bundle, l'OSC ($d=80, p=3$) ha mantenuto un'accuratezza del 99,85%. Per eguagliare questo risultato, la migliore VSA (HLB) richiedeva $d=343.000$, risultando in un footprint di parametri 1.178 volte più grande.
  • L'OSC mostra una scalabilità logaritmica favorevole con la dimensione del codebook, simile alle VSA, ma con requisiti di memoria totale significativamente inferiori grazie alla crescita sub-lineare della dimensione del filler.
• Confronto con TPR: Per una profondità di ruolo 1, l'OSC raggiunge il 99% di accuratezza con meno parametri rispetto alle TPR una volta che i livelli di sovrapposizione superano una piccola soglia. Il rapporto di compressione favorisce sempre più l'OSC al crescere del numero di bundle.
• Applicazione Downstream (XML): L'OSC è stata integrata in un modello neuro-simbolico per la Classificazione Multi-label Estrema. Ha ottenuto prestazioni competitive (classificandosi prima nel 43,75% dei casi metrici su 8 dataset) rispetto a VTB, MAP e HLB, confermando la sua apprendibilità in sistemi basati su gradienti.
• Velocità di Inferenza: Sebbene le operazioni per elemento dell'OSC siano più complesse rispetto alle semplici operazioni element-wise delle VSA, l'OSC diventa più veloce su scala perché il collo di bottiglia si sposta dal calcolo alla larghezza di banda della memoria. Il minore footprint di memoria dell'OSC riduce i tempi di trasferimento dati, portando a tempi di recupero wall-clock inferiori in scenari di alta sovrapposizione.

5. Significato e Rivendicazioni

Il documento afferma che l'OSC risolve il "gap neuro-simbolico" fornendo un meccanismo per il legame ricorsivo profondo che sia sia computazionalmente trattabile che efficiente in termini di memoria.

• Cambio di Paradigma: Passando dal ricostruzione al riconoscimento e utilizzando l'esclusione geometrica (scultura) invece dell'espansione esplicita delle dimensioni, l'OSC evita la scalabilità esponenziale delle TPR e l'accumulo di rumore delle VSA.
• Praticità: La capacità di generare contesti proceduralmente e la scalabilità sub-lineare delle dimensioni dei filler rendono l'OSC adatta ad applicazioni che richiedono grandi vocabolari e strutture profonde senza costi di memoria proibitivi.
• Limitazioni: Gli autori notano con modestia che l'OSC non supporta il dislegame algebrico esatto (ricostruzione di vettori arbitrari) senza iterare attraverso un vocabolario, sebbene sostengano che ciò sia irrilevante per i sistemi di ragionamento simbolico che utilizzano comunque la ricerca nel codebook. Riconoscono inoltre che, sebbene l'OSC superi le VSA in efficienza di memoria totale, le VSA potrebbero ancora avere un leggero vantaggio quando il vincolo è strettamente la dimensione della memoria di sovrapposizione (non lo storage totale).

Il lavoro è presentato come un passo verso sistemi di memoria strutturati e scalabili compatibili con l'ottimizzazione moderna basata su gradienti, validato attraverso un'estesa verifica empirica contro i baseline allo stato dell'arte.