Technische Samenvatting: Natieve Hiërarchische en Compositionele Representaties met Subspace Embeddings

Probleemstelling

Traditionele dichte vector-embeddings, die concepten representeren als enkelvoudige punten in een Euclidische ruimte, worden geconfronteerd met fundamentele geometrische beperkingen bij het modelleren van natuurlijke taal. Hoewel ze effectief zijn in het vastleggen van gelijkenis via inwendige producten, is de vlakke, symmetrische structuur van de Euclidische ruimte ongeschikt voor hiërarchische en asymmetrische relaties zoals implicatie (entailment) en hyponymie. Standaardmetrieken zoals cosinus-gelijkenis kunnen geen directionele relaties onderscheiden (bijv. "hond" impliceert "dier", maar "dier" impliceert niet "hond"). Bovendien missen vectoren ruimtes natuurlijke operatoren voor logische conjunctie, disjunctie en negatie. Bijgevolg vallen modellen vaak terug op additieve compositie (het behandelen van zinnen als 'bags of words'), wat leidt tot "negatie-blindheid", waarbij embeddings er niet in slagen concepten uit te sluiten, wat de prestaties bij queries met logische negatie verslechtert. Bestaande alternatieven, zoals hyperbolische embeddings of regio-gebaseerde probabilistische modellen (bijv. boxen, kegels), leggen ofwel rigide structurele priors op, missen sluiting onder alle logische operaties, of offeren compatibiliteit met efficiënte Euclidische retrieval-pipelines op.

Methodologie

De auteurs stellen Subspace Embeddings voor, een framework waarbij concepten niet worden gerepresenteerd als punten, maar als lineaire subruimten (regio's) binnen een hoogdimensionale ruimte $\mathbb{R}^d$.

Kerngeometrische Principes

1. Representatie: Een concept wordt gedefinieerd als de span van een set latente basisvectoren $\mathbf{X} \in \mathbb{R}^{d \times n}$. De subruimte $\mathcal{S}$ wordt gerepresenteerd door de orthogonale projectie-operator $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$, waarbij $\mathbf{U}$ een orthonormale basis is.
2. Hiërarchie en Generaliteit:
   • Dimensionaliteit: De effectieve dimensie (rang) van de subruimte codeert semantische generaliteit. Bredere concepten (bijv. "dier") nemen hoogdimensionale subruimten in beslag, terwijl specifieke concepten (bijv. "hond") lagere dimensies innemen die genest zijn binnen deze.
   • Insluiting: Hiërarchie wordt gemodelleerd via subruimte-insluiting ($\mathcal{S}_A \subseteq \mathcal{S}_B$), gekwantificeerd door een Normalized Inclusion Score (NIS) afgeleid van de spoorwaarde van het product van de projectiematrices.
3. Logische Operaties: Logische relaties mappen direct naar lineaire algebraïsche operaties op subruimten:
   • Conjunctie ($\land$): Subruimte-doorsnede ($\mathcal{S}_A \cap \mathcal{S}_B$).
   • Disjunctie ($\lor$): Lineaire som (span) van subruimten ($\mathcal{S}_A + \mathcal{S}_B$).
   • Negatie ($\neg$): Orthogonaal complement ($\mathcal{S}^\perp$).

Technische Implementatie: Differentiabele Subruimten

Een primaire uitdaging is dat de rang van een subruimte discreet en niet-differentieerbaar is. Om end-to-end training mogelijk te maken, introduceren de auteurs Soft Projection Operators:

• Soft Projector: In plaats van een harde projectie definiëren zij een soft projector $\tilde{\mathbf{P}}$ met behulp van Tikhonov-regularisatie: $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$.
• Differentiabiliteit: De hyperparameter $\lambda$ fungeert als een temperatuur, waardoor de eigenwaarden van de projector worden afgevlakt naar het bereik $[0, 1)$. Dit stelt het model in staat om de effectieve dimensionaliteit van elke subruimte via gradiëntafdaling te leren, waardoor de subruimte dynamisch basisvectoren kan "toevoegen of verwijderen".
• Subspace Projection Head (SPH): Een neuraal module die transformer hidden states omzet in een set latente vectoren die een subruimte spannen. Het maakt gebruik van Multi-Head Attention (MHA) voor pooling, een MLP voor rang-expansie (om lineaire afhankelijkheden te doorbreken en volledige rang te bereiken), en de berekening van de soft projector.

Trainingsstrategie

Het framework wordt end-to-end getraind met standaarddoelstellingen:

• Hiërarchie Reconstructie: InfoNCE loss op subruimte-gelijkenis.
• Link Predictie: Margin loss op de Normalized Inclusion Score (NIS).
• Natural Language Inference (NLI): Een hybride aanpak die implicatie/tegenspraak modelleert via een Beta-distributie over NIS-scores en neutraliteit via een MLP-classifier.

Belangrijkste Bijdragen

1. Differentiabel Subruimte Leren: Een nieuwe methode om taalrepresentaties te leren als lineaire subruimten met data-afhankelijke, leerbare dimensionaliteit, waarmee de niet-differentieerbaarheid van discrete rang wordt overwonnen.
2. Emergent Compositioneel Structuur: Demonstratie dat logische operaties (conjunctie, disjunctie, negatie) natuurlijk ontstaan uit de geometrie van de representaties zonder expliciete supervisie voor logische regels.
3. Schaalbaarheid en Compatibiliteit: De aanpak behoudt compatibiliteit met standaard Euclidische vector-search pipelines (Maximum Inner Product Search), wat efficiënte grootschalige retrieval mogelijk maakt, in tegenstelling tot niet-Euclidische alternatieven.

Experimentele Resultaten

De auteurs valideren het framework op drie assen:

1. Hiërarchische Modellering (WordNet):

   • Reconstructie: Subspace embeddings (SE) bereiken state-of-the-art prestaties op WordNet-reconstructie en presteren beter dan de Euclidische (R128) en Hyperbolische (Poincaré P10, Lorentz H10) baselines in Mean Average Precision (mAP) en Mean Rank (MR).
   • Specificiteitscorrelatie: De geleerde effectieve rang van een subruimte vertoont een sterke Spearman-correlatie ($\rho \approx 0.68$) met de taxonomische rang van het concept, wat bevestigt dat dimensionaliteit een emergente maatstaf is voor semantische specificiteit.
   • Link Predictie: SE-modellen presteren significant beter dan baselines in scenario's met schaarse supervisie (0%–25% edge coverage), met F1-scores tot 95.9%.

2. Natural Language Inference (SNLI):

   • Subspace embeddings evenaren of overtreffen licht de sterke bi-encoder baselines (bijv. all-MiniLM-L6-v2, mpnet-base-v2) op standaard 2-weg en 3-weg implicatie-classificatietaken.

3. Compositionele Implicatie (Zero-Shot):

   • Negatie-afhandeling: Dit is de meest cruciale bevinding. Standaard vector-baselines degraderen naar bijna willekeurige prestaties (49–69% AUC) op hypothesen die negatie bevatten. In tegen tegenstelling hiertoe behouden subspace embeddings een hoge discriminerende kracht (>90% AUC) op genegeerde queries zonder expliciete training op negatie-logica.
   • Vergelijking: Subspaces presteren beter dan Box Embeddings op negatie-taken, aangezien het complement van een box geen box is, terwijl het orthogonale complement van een subruimte een geldige subruimte is binnen dezelfde ruimte.

4. Efficiëntie:

   • Retrieval Snelheid: Door de inclusiescore te formuleren als een dot product tussen gevectoriseerde projectiematrices, maakt de methode gebruik van snelle benaderde zoekbibliotheken (bijv. FAISS). SE128 is bijna 8x sneller dan een 10-dimensionale Poincaré baseline met brute-force search.
   • Compressie: De geleerde subruimten vertonen een snelle spectrale verval, waardoor 4x compressie via truncated SVD mogelijk is met verwaarloosbaar prestatieverlies.

Betekenis en Claims

Het artikel claimt dat subspace embeddings een geometrisch gefundeerd model van implicatie bieden dat de efficiëntie van vector-retrieval verenigt met de hiërarchische en compositionele structuur van natuurlijke taal.

• Natieve Logica: In tegenstelling tot eerdere methoden die ad-hoc oplossingen vereisen of falen bij negatie, vangen subspace embeddings natuurlijke logische compositie op via lineaire algebraïsche operaties.
• Interpreteerbaarheid: De effectieve dimensie van een subruimte dient als een interpreteerbare maatstaf voor informatiegehalte en semantische specificiteit, die direct uit de trainingsgeometrie voortkomt.
• Praktische Bruikbaarheid: Het framework offert geen schaalbaarheid op; het blijft compatibel met standaard Euclidische zoekinfrastructuur, wat het levensvatbaar maakt voor grootschalige toepassingen.

De auteurs concluderen dat deze aanpak een veelbelovend pad biedt naar meer expressieve en interpreteerbare representatie-leersystemen, met name voor taken die vereisen dat er wordt geredeneerd over hiërarchische en genegeerde concepten.