Sintesi Tecnica: Rappresentazioni Gerarchiche e Composizionali Native con Embedding di Sottospazio

Problema

I tradizionali embedding vettoriali densi, che rappresentano i concetti come singoli punti in uno spazio Euclideo, affrontano limitazioni geometriche fondamentali quando modellano il linguaggio naturale. Sebbene efficaci nel catturare la similarità tramite prodotti scalari, la struttura piatta e simmetrica dello spazio Euclideo è inadatta per relazioni gerarchiche e asimmetriche come l'implicazione (entailment) e l'iponimia. Metriche standard come la similarità del coseno non possono distinguere relazioni direzionali (ad esempio, "cane" implica "animale", ma "animale" non implica "cane"). Inoltre, gli spazi vettoriali mancano di operatori nativi per la congiunzione logica, la disgiunzione e la negazione. Di conseguenza, i modelli spesso ricorrono a una composizione additiva (trattando le frasi come sacchi di parole), portando alla "cecità da negazione" dove gli embedding non riescono a escludere i concetti, degradando le prestazioni su query che coinvolgono la negazione logica. Le alternative esistenti, come gli embedding iperbolici o i modelli probabilistici basati su regioni (es. scatole, coni), impongono o priori strutturali rigidi, mancano di chiusura rispetto a tutte le operazioni logiche, o sacrificano la compatibilità con le pipeline di recupero Euclidee efficienti.

Metodologia

Gli autori propongono gli Embedding di Sottospazio (Subspace Embeddings), un framework in cui i concetti non sono rappresentati come punti, ma come sottospazi lineari all'interno di uno spazio ad alta dimensionalità $\mathbb{R}^d$.

Principi Geometrici Fondamentali

1. Rappresentazione: Un concetto è definito come lo span di un insieme di vettori di base latenti $\mathbf{X} \in \mathbb{R}^{d \times n}$. Il sottospazio $\mathcal{S}$ è rappresentato dal suo operatore di proiezione ortogonale $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$, dove $\mathbf{U}$ è una base ortonormale.
2. Gerarchia e Generalità:
   • Dimensionalità: La dimensione effettiva (rango) del sottospazio codifica la generalità semantica. I concetti più ampi (es. "animale") occupano sottospazi a dimensionalità superiore, mentre i concetti più specifici (es. "cane") occupano sottospazi a dimensionalità inferiore annidati in essi.
   • Inclusione: La gerarchia è modellata tramite l'inclusione di sottospazi ($\mathcal{S}_A \subseteq \mathcal{S}_B$), quantificata da un punteggio di inclusione normalizzato (Normalized Inclusion Score, NIS) derivato dalla traccia del prodotto delle matrici di proiezione.
3. Operazioni Logiche: Le relazioni logiche mappano direttamente su operazioni algebriche lineari sui sottospazi:
   • Congiunzione ($\land$): Intersezione di sottospazi ($\mathcal{S}_A \cap \mathcal{S}_B$).
   • Disgiunzione ($\lor$): Somma lineare (span) di sottospazi ($\mathcal{S}_A + \mathcal{S}_B$).
   • Negazione ($\neg$): Complemento ortogonale ($\mathcal{S}^\perp$).

Implementazione Tecnica: Sottospazi Differenziabili

Una sfida primaria è che il rango di un sottospazio è discreto e non differenziabile. Per consentire l'addestramento end-to-end, gli autori introducono Operatori di Proiezione Morbidi (Soft Projection Operators):

• Proiettore Morbido: Invece di una proiezione rigida, definiscono un proiettore morbido $\tilde{\mathbf{P}}$ utilizzando la regolarizzazione di Tikhonov: $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$.
• Differenziabilità: L'iperparametro $\lambda$ agisce come una temperatura, smussando gli autovalori del proiettore nell'intervallo $[0, 1)$. Ciò consente al modello di apprendere la dimensionalità effettiva di ogni sottospazio tramite la discesa del gradiente, permettendo al sottospazio di "aggiungere o rimuovere" vettori di base dinamicamente.
• Testa di Proiezione di Sottospazio (Subspace Projection Head, SPH): Un modulo neurale che converte gli stati nascosti dei transformer in un insieme di vettori latenti che spaziano un sottospazio. Utilizza l'Attention Multi-Testa (MHA) per il pooling, un MLP per l'espansione del rango (per rompere le dipendenze lineari e raggiungere il rango pieno) e il calcolo del proiettore morbido.

Strategia di Addestramento

Il framework è addestrato end-to-end utilizzando obiettivi standard:

• Ricostruzione Gerarchica: Perdita InfoNCE sulla similarità dei sottospazi.
• Predizione di Collegamenti (Link Prediction): Perdita Margin sulla Normalized Inclusion Score (NIS).
• Inferenza del Linguaggio Naturale (NLI): Un approccio ibrido che modella implicazione/contraddizione tramite una distribuzione Beta sugli score NIS e neutralità tramite un classificatore MLP.

Contributi Chiave

1. Apprendimento di Sottospazi Differenziabili: Un metodo innovativo per apprendere rappresentazioni del linguaggio come sottospazi lineari con dimensionalità dipendente dai dati e apprendibile, superando la non-differenziabilità del rango discreto.
2. Struttura Composizionale Emergente: Dimostrazione che le operazioni logiche (congiunzione, disgiunzione, negazione) emergono naturalmente dalla geometria delle rappresentazioni senza una supervisione esplicita per le regole logiche.
3. Scalabilità e Compatibilità: L'approccio preserva la compatibilità con le pipeline di ricerca vettoriale Euclidea standard (Maximum Inner Product Search), consentendo un recupero efficiente su larga scala, a differenza delle alternative non-Euclidee.

Risultati Sperimentali

Gli autori validano il framework su tre assi:

1. Modellazione Gerarchica (WordNet):

   • Ricostruzione: Gli embedding di sottospazio (SE) raggiungono prestazioni state-of-the-art nella ricostruzione di WordNet, superando i baseline Euclidei (R128) e Iperbolici (Poincaré P10, Lorentz H10) in termini di Mean Average Precision (mAP) e Mean Rank (MR).
   • Correlazione di Specificità: Il rango effettivo appreso di un sottospazio mostra una forte correlazione di Spearman ($\rho \approx 0.68$) con il rango tassonomico del concetto, confermando che la dimensionalità funge da misura emergente della specificità semantica.
   • Predizione di Collegamenti: I modelli SE superano significativamente i baseline in contesti di supervisione sparsa (0%–25% di copertura degli archi), raggiungendo F1 score fino al 95.9%.

2. Inferenza del Linguaggio Naturale (SNLI):

   • Gli embedding di sottospazio eguagliano o superano leggermente le prestazioni di forti baseline bi-encoder (es. all-MiniLM-L6-v2, mpnet-base-v2) in compiti standard di classificazione di implicazione/contraddizione a 2 e 3 vie.

3. Implicazione Composizionale (Zero-Shot):

   • Gestione della Negazione: Questa è la scoperta più critica. I baseline vettoriali standard degradano verso prestazioni quasi casuali (49–69% AUC) su ipotesi che coinvolgono la negazione. Al contrario, gli embedding di sottospazio mantengono un alto potere discriminativo (>90% AUC) su query negate senza addestramento esplicito sulla logica della negazione.
   • Confronto: I sottospazi superano gli "Box Embeddings" nei compiti di negazione, poiché il complemento di una scatola non è una scatola, mentre il complemento ortogonale di un sottospazio è un sottospazio valido all'interno dello stesso spazio.

4. Efficienza:

   • Velocità di Recupero: Formulando il punteggio di inclusione come un prodotto scalare tra matrici di proiezione vettorizzate, il metodo consente l'uso di librerie di ricerca approssimativa veloce (es. FAISS). SE128 è quasi 8 volte più veloce di un baseline Poincaré a 10 dimensioni utilizzando la ricerca brute-force.
   • Compressione: I sottospazi appresi esibiscono un rapido decadimento spettrale, consentendo una compressione di 4x tramite SVD troncata con una perdita di prestazioni trascurabile.

Significato e Rivendicazioni

Il paper sostiene che gli embedding di sottospazio offrono un modello di implicazione geometricamente fondato che concilia l'efficienza del recupero vettoriale con la struttura gerarchica e composizionale del linguaggio.

• Logica Nativa: A differenza di altri metodi che richiedono soluzioni ad hoc o falliscono sulla negazione, gli embedding di sottospazio catturano nativamente la composizione logica attraverso operazioni di algebra lineare.
• Interpretabilità: La dimensione effettiva di un sottospazio funge da misura interpretabile del contenuto informativo e della specificità semantica, emergendo direttamente dalla geometria dell'addestramento.
• Praticità: Il framework non sacrifica la scalabilità; rimane compatibile con l'infrastruttura di ricerca Euclidea standard, rendendolo applicabile a scale massive.

Gli autori concludono che questo approccio fornisce una strada promettente verso sistemi di apprendimento della rappresentazione più espressivi e interpretabili, particolarmente per compiti che richiedono il ragionamento su concetti gerarchici e negati.