Controlled Paraphrase Geometry in Sentence Embedding Space: Local Manifold Modeling and Latent Probing

1. Probleemstelling

Sentence embeddings zijn alomtegenwoordig in NLP, maar de lokale geometrie van deze ruimtes—specifiek hoe gecontroleerde semantische variaties (parafrazen) zijn georganiseerd—blijft slecht begrepen.

• De Kloof: Het is onduidelijk of semantisch verwante zinnen eenvoudige lineaire (affiene) clusters vormen of complexe, laagdimensionale niet-lineaire manifolds binnen de hoogdimensionale embedding-ruimte.
• De Uitdaging: Bestaande methoden voor data-augmentatie (bijv. lineaire interpolatie, willekeurige perturbatie) negeren vaak de onderliggende geometrische structuur van de embedding-wolk, wat potentieel punten genereert die geometrisch inconsistent zijn met het lokale semantische vlak.
• Het Doel: Om expliciet de lokale geometrie van gecontroleerde semantische klassen te modelleren met behulp van oppervlakken met lage graad die zijn aangepast, en om te bepalen of synthetische latente punten die op deze oppervlakken worden gegenereerd, geometrische validiteit behouden, en of deze validiteit vertaalt naar downstream discriminatieve bruikbaarheid.

2. Methodologie

Het artikel stelt een oppervlak-gebaseerde latente proceprocedure voor die in drie hoofdfasen werkt:

A. Dataconstructie (CoPaGE-300K)

Om lokale semantische variabiliteit te isoleren van het ruis van natuurlijke corpora, introduceerden de auteurs CoPaGE-300K, een gecontroleerde dataset met meer dan 300.000 zinsvarianten.

• Structuur: Zinnen worden gegenereerd uit drie template-families (Institutioneel, Educatief, Medisch) met 4 lexicaal slots.
• Regimes: Variaties lopen van enkel-slot veranderingen (C1) tot volledige combinatorische variaties van alle vier de slots (C5), waardoor gecontroleerde "embedding-wolken" van variërende complexiteit worden gecreëerd.
• Embeddings: Alle zinnen worden gecodeerd met sentence-transformers/all-mpnet-base-v2 (768-dim).

B. Lokale Geometrische Modellering

De kernhypothese is dat deze wolken liggen op laagdimensionale niet-lineaire manifolds.

1. Dimensionaliteitsreductie: De hoogdimensionale wolk ($d=768$) wordt geprojecteerd in een gereduceerde PCA-ruimte ($r \ll d$) die 90% van de variantie behoudt. Dit stabiliseert het aanpassingsproces. De dimensie $r$ is adaptief (varierend van 10 tot 37 afhankelijk van complexiteit).
2. Oppervlakte-aanpassing: De auteurs passen expliciete algebraïsche modellen aan op de gereduceerde wolk:
   • Affien (Lineair): Baseline.
   • Kwadratisch: $f(z) = z^T Q z + L^T z + C = 0$.
   • Kubisch: Gebruikt voor complexere geometrieën.
   • Aanpassing: Parameters worden geschat door de algebraïsche residual van de impliciete vergelijking te minimaliseren.

C. Oppervlak-gebaseerde Latente Generatie

In plaats van lineaire interpolatie worden nieuwe synthetische punten gegenereerd via een twee-staps proces:

1. Barycentrische Initialisatie: Een intern punt $v$ wordt gemaakt als een convexe combinatie van bestaande wolkpunten (gesampled via Dirichlet-verdeling).
2. Oppervlakprojectie: Het punt $v$ wordt geprojecteerd op het aangepaste lokale oppervlak met behulp van een gestabiliseerd Newton-type iteratief schema om $z^*$ te vinden zodat $f(z^*) \approx 0$.
3. Reconstructie: Het punt wordt teruggekaatst naar de originele embedding-ruimte.

D. Evaluatiemetrieken

Het artikel onderscheidt tussen Geometrische Validiteit en Discriminatieve Bruikbaarheid:

• Criteria voor Geometrische Validiteit:
  • Oppervlakte-consistentie: Residual afstand tot het aangepaste oppervlak.
  • Buurschaps-consistentie: Overlap van $k$-naaste buren met originele punten.
  • Verdelings-consistentie: Mahalanobis-afstand tot de empirische wolk.
  • Hessiaan-gebaseerde vorm-consistentie: Stabiliteit van tweede-orde vormbeschrijvers (kromming) na het toevoegen van synthetische punten.
  • Coëfficiënt-consistentie: Stabiliteit van de algebraïsche coëfficiënten van het aangepaste model.
• Discriminatieve Bruikbaarheid: Prestatie in een downstream few-shot classificatietaken (Logistische Regressie) met een context-gehouden buiten split (testen op ongezonde slot-combinaties).

3. Belangrijkste Bijdragen

1. CoPaGE-300K Dataset: Een nieuwe, gecontroleerde template-gebaseerde dataset met slot-niveau annotaties en vooraf berekende embeddings, specifiek ontworpen voor het bestuderen van lokale manifold-structuren.
2. Expliciete Lokale Modellering: Een raamwerk voor het benaderen van lokale semantische vlakken met behulp van oppervlakken met lage graad (kwadratisch/kubisch) die zijn aangepast in gereduceerde PCA-ruimte, verdergaand dan eenvoudige lineaire aannames.
3. Oppervlak-gebaseerde Generatie: Een methode voor het genereren van synthetische latente punten die expliciet zijn uitgelijnd met de aangepaste lokale geometrie, in plaats van alleen lineair te interpoleren.
4. Geometrische Validiteit versus Discriminatieve Bruikbaarheid: De introductie van een rigoureus evaluatiekader dat de geometrische correctheid van synthetische punten scheidt van hun vermogen om de prestaties van de classifier te verbeteren.
5. Criteria voor Geometrische Validiteit: Een reeks metrieken (inclusief Hessiaan-gebaseerde vorm-consistentie) om de stabiliteit van de lokale manifold-structuur te evalueren wanneer deze wordt aangevuld met synthetische data.

4. Experimentele Resultaten

RQ1: Vormen gecontroleerde klassen niet-lineaire manifolds?

• Ja. Niet-lineaire modellen (Kwadratisch en Kubisch) presteren aanzienlijk beter dan affiene modellen in het benaderen van de lokale embedding-wolken.
• Bewijs: Kwadratische modellen verlaagden de RMSE en MAE met ordes van grootte ten opzichte van affiene modellen in alle regimes. Kubische modellen boden verdere verbeteringen in complexe regimes (C5).
• Visualisatie: PCA-projecties tonen duidelijke kromlijnige structuren die lineaire modellen niet kunnen vangen.

RQ2: Kunnen aangepaste oppervlakken geometrisch valide punten genereren?

• Ja, maar met afwegingen.
• Fideliteit van Aangepaste Geometrie: De oppervlak-gebaseerde methode bereikte bijna nul oppervlak-residuals en de hoogste stabiliteit in Hessiaan-gebaseerde vorm en modelcoëfficiënten. Het behield de analytische structuur van het lokale vlak het beste.
• Fideliteit van Empirische Dichtheid: Omgekeerd, lokale willekeurige perturbatie presteerde beter dan oppervlak-gebaseerde generatie in het behoud van de empirische dichtheid en de structuur van de naaste buren.
• Conclusie: Oppervlak-gebaseerde generatie is superieur voor het behoud van de vorm van de manifold, terwijl perturbatie beter is voor het behoud van de dichtheid van de wolk.

RQ3: Verbetert geometrische validiteit downstream classificatie?

• Nee. Dit is een kritieke bevinding.
• Resultaat: In few-shot, context-gehouden buiten classificatietaken, verbeterde het toevoegen van synthetische punten (ofwel lineair, geperturbeerd, of oppervlak-gebaseerd) niet systematisch de nauwkeurigheid of Macro-F1 scores ten opzichte van de baseline (geen synthetische punten).
• Interpretatie: Geometrische validiteit (op de manifold zijn) garandeert geen discriminatieve bruikbaarheid. Als de embedding-ruimte al sterke invarianties bevat, kunnen synthetische punten op de manifold overbodig zijn voor de classifier en falen om de beslissingsgrens te verfijnen.

5. Betekenis en Implicaties

• Herformulering van Data-augmentatie: Het artikel betoogt dat geometrische validiteit en discriminatieve bruikbaarheid onderscheiden eigenschappen zijn. Een punt kan geometrisch perfect zijn maar nutteloos voor classificatie. Dit daagt de aanname uit dat "beter geometrie" automatisch gelijkstaat aan "beter prestatie".
• Offline Diagnostisch Hulpmiddel: De voorgestelde methode wordt het beste gezien als een offline analysehulpmiddel voor het onderzoeken van representatieruimtes, het begrijpen van lokale semantische buurschappen en het detecteren van anomalieën, in plaats van een universele "plug-and-play" classifier-booster.
• Toekomstige Toepassingen: Het vermogen om lokale geometrie expliciet te modelleren opent deuren voor:
  • Out-of-Distribution (OOD) detectie.
  • Adversariale filtering.
  • Het construeren van harde positieve voorbeelden voor contrastief leren.
  • Hallucinatie-analyse en onzekerheidsschatting.
• Methodologische Strenge: Door het gebruik van gecontroleerde templates isoleert de studie de geometrische effecten van semantische variatie, waardoor een duidelijker beeld wordt gegeven van hoe embedding-modellen betekenis coderen dan mogelijk is met ruisende natuurlijke corpora.

Kortom, het artikel stelt vast dat gecontroleerde semantische variaties meetbare, niet-lineaire lokale geometrieën induceren in sentence embedding-ruimtes die expliciet kunnen worden gemodelleerd. Hoewel oppervlak-gebaseerde generatie deze geometrie succesvol behoudt, vertaalt dit zich niet automatisch naar verbeterde downstream classificatie, wat de noodzaak benadrukt van discriminatieve filtering bij het gebruik van synthetische data.