Accurate and Efficient Statistical Testing for Word Semantic Breadth

Technische Samenvatting: Nauwkeurige en Efficiënte Statistische Toetsing voor Semantische Breedte van Woorden

Probleemstelling
Het artikel adresseert een kritieke tekortkoming bij het gebruik van niet-parametrische permutatietests om de "semantische breedte" (contextuele diversiteit) van twee woordtypes te vergelijken op basis van gecontextualiseerde token-embeddings. Hoewel op dispersie gebaseerde statistieken (bijvoorbeeld de spreiding van tokenvectoren op een eenheidssfeer) effectieve proxies vormen voor semantische breedte, levert naïeve permutatietoetsing opgeblazen Type-I-foutpercentages op.

De kernproblematiek ontstaat omdat woordembeddings vaak niet alleen verschillen in dispersie, maar ook in hun gemiddelde richting (semantische oriëntatie). Bij een standaard permutatietoets creëren het willekeurig schudden van labels tussen twee groepen met verschillende gemiddelde richtingen "gepermuteerde" groepen die een groter gebied van de embeddingruimte beslaan dan de oorspronkelijke groepen. Dit leidt tot een kunstmatige inflatie van de geschatte dispersie van de gepermuteerde groepen, waardoor de test de nulhypothese ten onrechte verwerpt (een significant breedteverschil claimend) zelfs wanneer de ware dispersies identiek zijn. Dit is vooral problematisch in het "regime van kleine verschillen", waar statistische toetsing het meest nodig is om echte effecten te onderscheiden van steekproefruis.

Methodologie
De auteurs stellen een Householder-gelijkgerichte permutatietoets voor om dispersieverschillen te isoleren van richtingsverschillen. De methodologie bestaat uit drie hoofdfasen:

1. Householder Gemiddelde-Richting Gelijkrichting:
   Voordat de permutatietoets wordt uitgevoerd, richt de methode de gemiddelde richting van de twee woordtypes op elkaar. Gegeven twee verzamelingen van genormaliseerde eenheids-embeddings, $X$ en $Y$, met gemiddelde richtingen $\hat{\mu}_X$ en $\hat{\mu}_Y$, wordt een Householder-reflectiematrix $H$ geconstrueerd:
   $$H = I - 2 \frac{vv^\top}{v^\top v}, \quad \text{waarbij } v = \hat{\mu}_X - \hat{\mu}_Y$$
   Deze matrix voldoet aan $H\hat{\mu}_X = \hat{\mu}_Y$. Het toepassen van $H$ op alle vectoren in $X$ roteert de wolk zodat deze dezelfde gemiddelde richting deelt als $Y$, terwijl normen en relatieve geometrie behouden blijven. Dit zorgt ervoor dat latere permutaties alleen labels schudden binnen een gemeenschappelijk directioneel gebied, waardoor kunstmatige inflatie van dispersie wordt voorkomen.

2. Dispersieproxy en Toetsingsstatistiek:
   Semantische breedte wordt gekwantificeerd met de Gemiddelde Resultante Lengte (MRL), $r(X) = \|\frac{1}{n}\sum x_i\|_2$. Een kleinere $r$ duidt op hogere dispersie (breder betekenis). De auteurs definiëren een breedteproxy $v(X)$ als een omgekeerde concentratiemaatstaf afgeleid van $r(X)$. De toetsingsstatistiek is het log-volumeverschil tussen de gelijkgerichte verzameling $X'$ en de ongewijzigde verzameling $Y$:
   $$T_{obs} = \log v(X') - \log v(Y)$$

3. GPU-versnelde Permutatie-inferentie:
   Om de rekenintensiteit van permutatietoetsing aan te pakken, introduceren de auteurs een vectoriseerde, GPU-georiënteerde implementatie.

   • Vectorisatie: In plaats van door permutaties te itereren, gebruikt de methode een tekenmatrix $S \in \{+1, -1\}^{B \times N}$ om $B$ permutaties te representeren. Groepssommen worden berekend via één enkele General Matrix Multiplication (GEMM)-operatie: $U = SX$.
   • Geheugenefficiëntie: Permutaties worden in chunks verwerkt om het geheugen te beheren, waarbij de overschrijdingsaantal voor p-waarden direct wordt bijgewerkt zonder alle tussentijdse statistieken op te slaan.
   • Efficiëntie: De toepassing van Householder is geoptimaliseerd zodat deze slechts één inproduct en een gesubtracte vector per vector vereist, waardoor expliciete $d \times d$-matrixoperaties worden vermeden.

Belangrijkste Bijdragen

1. Identificatie van een Falingsmodus: Het artikel identificeert dat verschillen in gemiddelde richting in embeddingruimtes fungeren als een verstorende variabele in naïeve permutatietests, wat systematisch leidt tot inflatie van Type-I-fouten en de validiteit van significantieclaims voor semantische breedte ondermijnt.
2. Householder-Gelijkgerichte Test: Een nieuwe statistische procedure die een enkele Householder-reflectie gebruikt om de storende factor van gemiddelde richting te verwijderen. Dit stelt de permutatietoets in staat specifiek gericht te zijn op dispersieverschillen, wat gekalibreerde p-waarden oplevert.
3. Schaalbare Implementatie: Een GPU-versnelde implementatie van de permutatietoets die een 23$\times$ snelheidswinst bereikt ten opzichte van een CPU-baseline, waardoor grootschalige resampling haalbaar wordt voor statistieken van embeddingverzamelingen.

Experimentele Resultaten
De auteurs evalueerden de methode met ModernBERT-embeddings op het British National Corpus (BNC) en BERT-large op het BCCWJ (Japans) corpus, met een vergelijking tegen WordNet-zinsemeningen als gouden standaard.

• Type-I-Foutreductie: In het regime van kleine verschillen (rangschikkingsgaten van 1–10) verlaagde de voorgestelde methode het Type-I-foutpercentage met 32,5% ten opzichte van de naïeve baseline. Bijvoorbeeld, bij een rangschikkingsgat van 10 daalde het foutpercentage van 4,0% (baseline) naar 2,67% (voorgesteld), terwijl de precisie bij het detecteren van echte zinsemeningenverschillen behouden bleef of verbeterde.
• Kalibratie: De gelijkgerichte test vertoonde een conservatiever gedrag, waarbij de afwijzingspercentages dichter bij het nominale significantieniveau ($\alpha = 0.05$) bleven onder de nulhypothese, terwijl de baseline in uitdagende scenario's verhoogde vals-positieve rates vertoonde.
• Prestaties: De GPU-implementatie verlaagde de tijd per permutatie van 1,588 ms (CPU) naar 0,069 ms, waardoor het uitvoeren van 20.000 permutaties in ongeveer 1,4 seconden mogelijk werd.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage niet de schatting van het aantal zinsemeningen op zich is, maar het bieden van een goed gekalibreerde toetsprocedure. Deze procedure stelt onderzoekers en lexicografen in staat om:

• Woorden te onderscheiden die plausibel goed worden gedekt door huidige zinsemengranulariteiten van diegenen die aanvullende zinsemensplitsing vereisen.
• Betrouwbare statistische inferentie uit te voeren in het "regime van kleine verschillen", waar naïeve tests falen door directionele verstorende factoren.
• Permutatietoetsing te schalen naar grote vocabulaires en corpora door efficiënte GPU-versnelling.

De auteurs merken op dat hoewel de methode uitgaat van unimodale en isotrope verdelingen (vergelijkbaar met von Mises-Fisher-modellen), deze effectief waarneembare regelmatigheden in tokenwolken van woordtypes vastlegt. Zij positioneren dit werk als een fundamentele stap voor objectieve, corpusgedreven lexicografie en vocabulaireselectie, waarbij spurious detecties veroorzaakt door mismatches in semantische richting worden vermeden.