Toward a Functional Geometric Algebra for Natural Language Semantics

1. Enunciazione del Problema

Gli approcci distribuzionali e neurali attuali alla Semantica del Linguaggio Naturale (NLP) si basano quasi esclusivamente sulla Algebra Lineare (AL) convenzionale (vettori, matrici, tensori). Sebbene efficaci nel catturare la similarità lessicale, questi modelli affrontano limitazioni strutturali persistenti nella semantica composizionale:

• Composizione Debolmente Strutturata: Operazioni come l'addizione vettoriale o le moltiplicazioni di matrici apprese non codificano intrinsecamente come le parole si combinano (ad esempio, soggetto-verbo vs. aggettivo-sostantivo). La modalità composizionale deve essere interamente indotta dai dati.
• Inflazione dei Parametri: Modellare interazioni di ordine superiore (relazioni ternarie, strutture di eventi) richiede reti profonde o parametri tensoriali massicci, poiché la struttura di interazione è implicita nei pesi piuttosto che esplicita nell'algebra.
• Mancanza di Tipi Intrinseci: Il linguaggio naturale è fondamentalmente tipizzato (entità, predicati, proposizioni). L'AL non fornisce un meccanismo nativo per distinguere questi tipi; essi sono distinti solo per convenzione o architettura esterna.
• Divario Simbolico-Geometrico: Colmare il divario tra semantica simbolica formale (logica, vincoli, inferenza) e modelli distribuzionali continui rimane difficile nell'ambito dell'AL standard.

2. Metodologia: Algebra Geometrica Funzionale (FGA)

Il documento propone l'Algebra Geometrica Funzionale (FGA), un framework basato sulle Algebre di Clifford ($Cl(V, Q)$), per sostituire o potenziare la semantica algebrica lineare.

Fondamenti Matematici Centrali

• Il Prodotto Geometrico: A differenza del prodotto scalare (che restituisce una similarità scalare), il prodotto geometrico $ab$ di due vettori si decompone in uno scalare (prodotto interno, similarità) e un bivettore (prodotto esterno, piano orientato/relazione). Questo unifica similarità e struttura relazionale in una singola operazione.
• Struttura Graduata (Tipi): Un multivettore $M$ è una somma di componenti di diversi "gradi" (vettori-$k$).
  • Grado 0: Scalari (Valori di verità).
  • Grado 1: Vettori (Entità, predicati unari).
  • Grado 2: Bivettori (Relazioni binarie, vincoli di ruolo).
  • Grado $k$: Vettori-$k$ (Relazioni n-arie, frame di eventi).
  • Questo fornisce un sistema di tipi intrinseco in cui le operazioni algebriche impongono naturalmente vincoli di tipo.
• Operazioni Chiave:
  • Contrazione ($\lrcorner, \llcorner$): Riduce il grado. Usata per l'applicazione di funzioni (ad esempio, applicare un predicato a un argomento). La contrazione sinistra e destra sono distinte, codificando l'ordine degli argomenti (soggetto vs. oggetto).
  • Prodotto Esterno ($\wedge$): Aumenta il grado. Usato per il vincolo ruolo-riempitivo e la costruzione di strutture di eventi. È antisimmetrico ($a \wedge b = -b \wedge a$), codificando naturalmente la direzionalità.
  • Sandwich di Rotore ($Rx\tilde{R}$): Una trasformazione che preserva il grado, la norma ed è invertibile. Usata per la coercizione di tipo e la modulazione contestuale (ad esempio, ruotare "libro" verso "leggere" in "iniziare il libro").

L'Architettura a Tre Livelli

La FGA organizza l'elaborazione semantica in tre livelli utilizzando lo stesso substrato algebrico:

1. Livello 1 (Condizioni di Verità): Utilizza la contrazione per valutare i predicati rispetto agli argomenti, restituendo scalari (valori di verità).
2. Livello 2 (Struttura di Eventi): Utilizza il prodotto esterno per vincolare i ruoli tematici (Agente, Tema) alle entità, creando rappresentazioni di eventi strutturate (multivettori) che permettono il recupero esatto dei partecipanti.
3. Livello 3 (Applicazione Interna): Utilizza i rotori per eseguire l'Applicazione Interna (IA). Invece di trattare gli argomenti come interi indifferenziati (Applicazione Esterna), i predicati sondano la struttura interna degli argomenti (ad esempio, accedendo al quale telico di un "libro" per interpretare "iniziare").

3. Contributi Chiave

A. Unificazione Algebrica della Semantica

La FGA unifica operazioni che sono separate in altri framework:

• Similarità (prodotto interno) e Vincolo (prodotto esterno) sono componenti del singolo prodotto geometrico.
• Coercizione di Tipo è modellata come una rotazione geometrica (rotore), rendendola esplicita e invertibile, a differenza degli spostamenti contestuali opachi negli embedding dei Transformer.

B. Risoluzione di Fenomeni Linguistici Specifici

Il documento dimostra come la FGA gestisca casi in cui l'Algebra Lineare fallisce:

• Modificazione Sottoselettiva: "Coltello buono" vs. "Libro buono". Nella FGA, l'aggettivo "buono" è un vettore ruotato dal rotore di quale del sostantivo (ad esempio, telico per "coltello" $\to$ qualità di taglio; telico per "libro" $\to$ qualità di lettura).
• Coercizione del Complemento: "Aprire un libro" (incoativo/lettura) vs. "Aprire una porta" (cambiamento di stato). Il verbo "aprire" interagisce con la struttura di quale dell'oggetto tramite un rotore per spostare il tipo di evento.
• Svincolo Esatto: A differenza delle Rappresentazioni Ridotte Olografiche (HRR) che soffrono di accumulo di rumore, la FGA permette il recupero esatto di ruoli e riempitivi tramite contrazione con il vettore inverso ($r^{-1} \lrcorner (r \wedge f) = f$).

C. Efficienza dei Parametri e Struttura

• Interazioni di Ordine Superiore Strutturate: Mentre uno spazio vettoriale piatto richiede $O(n^k)$ parametri per relazioni k-arie, la struttura graduata dell'algebra di Clifford organizza queste interazioni in $\binom{n}{k}$ componenti. I vincoli algebrici (antisimmetria) eliminano gradi di libertà ridondanti, fornendo "gratuitamente" struttura di ordine superiore.
• Bias Induttivo: La struttura di grado agisce come un forte bias induttivo, vincolando lo spazio di apprendimento a composizioni ben tipizzate, potenzialmente migliorando la generalizzazione con meno dati.

D. Connessione con Architetture Neurali

Il documento sostiene che le operazioni GA chiave siano già implicite nei sistemi moderni:

• Embedding di Posizione Rotazionale (RoPE): Utilizzati in LLaMA e GPT, questi sono matematicamente equivalenti a rotori in un piano 2D ristretto.
• Attention Multi-Testa: Parallela alla decomposizione di uno spazio in diversi gradi/orientamenti.
• Implementazioni Esistenti: Cita GATr (Geometric Algebra Transformer), Versor e CliffordNet come prova che le reti neurali basate su multivettori sono scalabili ed efficienti.

4. Risultati ed Evidenze

• Derivazione Teorica: Il documento fornisce derivazioni formali per le voci lessicali, l'applicazione di predicati e la costruzione di eventi, mostrando che la FGA produce naturalmente le riduzioni di tipo corrette (ad esempio, $Cl_2 \times Cl_1 \to Cl_1$).
• Analisi Comparativa: La FGA è confrontata con DisCoCat (contrazione tensoriale), Type Composition Logic e Vector Symbolic Architectures (VSA). La FGA si dimostra superiore nella gestione dello svincolo esatto, dell'ordine degli argomenti (tramite contrazione asimmetrica) e della coercizione di tipo senza macchinari categoriali esterni.
• Contesto Empirico: Sebbene il documento si concentri sui fondamenti formali, sfrutta recenti risultati empirici della comunità ML (GATr, Versor) che mostrano come le architetture di algebra geometrica raggiungano prestazioni all'avanguardia con meno parametri e una migliore generalizzazione in compiti fisici e sequenziali.

5. Significato e Direzioni Future

• Colmare il Divario: La FGA offre un framework unificato che colma il divario tra semantica formale (logica, tipi, composizionalità) e semantica distribuzionale (vettori continui, apprendimento).
• Interpretabilità: Rendendo esplicite operazioni come la coercizione (rotori) e il vincolo (prodotti esterni), la FGA promette modelli più interpretabili rispetto ai Transformer "scatola nera".
• Percorso di Implementazione Neurale: Il documento delinea un percorso realistico per l'implementazione:
  1. Apprendimento di embedding di multivettori troncati per grado.
  2. Utilizzo di contrazione e prodotti esterni per compiti composizionali.
  3. Sostituzione dell'attention standard con interazioni geometriche sensibili al grado.
  4. Apprendimento della firma della forma quadratica (metrica) dai dati.

Conclusione:
Il documento sostiene che le limitazioni dei modelli NLP attuali non sono solo una questione di scala, ma di substrato algebrico. Passando dall'Algebra Lineare all'Algebra Geometrica, la FGA fornisce un framework matematicamente fondato, sensibile ai tipi e composizionale che codifica naturalmente le complessità strutturali del linguaggio umano, offrendo una strada verso modelli semantici più robusti, interpretabili ed efficienti in termini di dati.