Accurate and Efficient Statistical Testing for Word Semantic Breadth

Resumen Técnico: Pruebas Estadísticas Precisas y Eficientes para la Amplitud Semántica de Palabras

Enunciado del Problema
El artículo aborda una falla crítica en el uso de pruebas de permutación no paramétricas para comparar la "amplitud semántica" (diversidad contextual) de dos tipos de palabras basándose en incrustaciones de tokens contextualizadas. Si bien las estadísticas basadas en la dispersión (por ejemplo, la dispersión de los vectores de tokens en una esfera unitaria) sirven como proxies efectivos para la amplitud semántica, las pruebas de permutación ingenuas producen tasas infladas de error de Tipo I.

El problema central surge porque las incrustaciones de palabras a menudo difieren no solo en su dispersión, sino también en su dirección media (orientación semántica). En una prueba de permutación estándar, mezclar aleatoriamente las etiquetas entre dos grupos con diferentes direcciones medias crea grupos "permutados" que abarcan un área más amplia del espacio de incrustaciones que los grupos originales. Esto infla artificialmente la dispersión estimada de los grupos permutados, llevando a la prueba a rechazar falsamente la hipótesis nula (afirmar una diferencia significativa de amplitud) incluso cuando las dispersiones reales son idénticas. Esto es particularmente problemático en el "régimen de pequeñas diferencias", donde la prueba estadística es más necesaria para distinguir efectos genuinos del ruido de muestreo.

Metodología
Los autores proponen una prueba de permutación alineada con Householder para aislar las diferencias de dispersión de las diferencias direccionales. La metodología consta de tres etapas principales:

1. Alineación de la Dirección Media con Householder:
   Antes de realizar la prueba de permutación, el método alinea la dirección media de los dos tipos de palabras. Dado dos conjuntos de incrustaciones normalizadas a unidad, $X$ e $Y$, con direcciones medias $\hat{\mu}_X$ y $\hat{\mu}_Y$, se construye una matriz de reflexión de Householder $H$:
   $$H = I - 2 \frac{vv^\top}{v^\top v}, \quad \text{donde } v = \hat{\mu}_X - \hat{\mu}_Y$$
   Esta matriz satisface $H\hat{\mu}_X = \hat{\mu}_Y$. Aplicar $H$ a todos los vectores en $X$ rota la nube para compartir la misma dirección media que $Y$ mientras preserva las normas y la geometría relativa. Esto asegura que las permutaciones posteriores solo mezclen etiquetas dentro de una región direccional común, evitando la inflación artificial de la dispersión.

2. Proxy de Dispersión y Estadístico de Prueba:
   La amplitud semántica se cuantifica utilizando la Longitud Media del Resultante (MRL), $r(X) = \|\frac{1}{n}\sum x_i\|_2$. Un $r$ más pequeño indica mayor dispersión (significado más amplio). Los autores definen un proxy de amplitud $v(X)$ como una medida de concentración inversa derivada de $r(X)$. El estadístico de prueba es la diferencia de volumen logarítmico entre el conjunto alineado $X'$ y el conjunto inalterado $Y$:
   $$T_{obs} = \log v(X') - \log v(Y)$$

3. Inferencia de Permutación Acelerada por GPU:
   Para abordar la intensidad computacional de las pruebas de permutación, los autores introducen una implementación vectorizada orientada a GPU.

   • Vectorización: En lugar de iterar sobre las permutaciones, el método utiliza una matriz de signos $S \in \{+1, -1\}^{B \times N}$ para representar $B$ permutaciones. Las sumas de grupo se calculan mediante una única operación de Multiplicación de Matrices General (GEMM): $U = SX$.
   • Eficiencia de Memoria: Las permutaciones se procesan en fragmentos para gestionar la memoria, actualizando el recuento de excedencias para los valores p sobre la marcha sin almacenar todas las estadísticas intermedias.
   • Eficiencia: La aplicación de Householder se optimiza para requerir solo un producto punto y una resta de vectores escalada por vector, evitando operaciones explícitas de matrices $d \times d$.

Contribuciones Clave

1. Identificación de un Modo de Fallo: El artículo identifica que las diferencias en la dirección media en los espacios de incrustación actúan como un factor de confusión en las pruebas de permutación ingenuas, inflando sistemáticamente el error de Tipo I y socavando la validez de las afirmaciones de significancia para la amplitud semántica.
2. Prueba Alineada con Householder: Un procedimiento estadístico novedoso que utiliza una única reflexión de Householder para eliminar el factor de molestia de la dirección media. Esto permite que la prueba de permutación se dirija específicamente a las diferencias de dispersión, produciendo valores p calibrados.
3. Implementación Escalable: Una implementación acelerada por GPU de la prueba de permutación que logra una aceleración de 23$\times$ sobre una línea base de CPU, haciendo factible el remuestreo a gran escala para estadísticas de conjuntos de incrustaciones.

Resultados Experimentales
Los autores evaluaron el método utilizando incrustaciones ModernBERT en el Corpus Nacional Británico (BNC) y BERT-large en el corpus BCCWJ (japonés), comparando contra los conteos de sentidos de WordNet como estándar de oro.

• Reducción del Error de Tipo I: En el régimen de pequeñas diferencias (brechas de clasificación de 1–10), el método propuesto redujo el error de Tipo I en un 32.5% en comparación con la línea base ingenua. Por ejemplo, en una brecha de clasificación de 10, la tasa de error bajó del 4.0% (línea base) al 2.67% (propuesto), manteniendo o mejorando la precisión en la detección de diferencias de sentido genuinas.
• Calibración: La prueba alineada demostró un comportamiento más conservador, manteniendo las tasas de rechazo más cercanas al nivel de significancia nominal ($\alpha = 0.05$) bajo la hipótesis nula, mientras que la línea base mostró tasas elevadas de falsos positivos en escenarios desafiantes.
• Rendimiento: La implementación en GPU redujo el tiempo por permutación de 1.588 ms (CPU) a 0.069 ms, permitiendo la ejecución de 20,000 permutaciones en aproximadamente 1.4 segundos.

Significado y Afirmaciones
El artículo afirma que su contribución principal no es la estimación del número de sentidos en sí, sino la provisión de un procedimiento de prueba bien calibrado. Este procedimiento permite a investigadores y lexicógrafos:

• Distinguir entre palabras que están plausible y bien cubiertas por las granularidades de sentido actuales y aquellas que requieren una división adicional de sentidos.
• Realizar inferencia estadística confiable en el "régimen de pequeñas diferencias" donde las pruebas ingenuas fallan debido a factores de confusión direccionales.
• Escalar las pruebas de permutación a vocabularios y corpus grandes mediante una aceleración eficiente por GPU.

Los autores señalan que, aunque el método asume distribuciones unimodales e isótropas (similares a los modelos von Mises-Fisher), captura eficazmente regularidades observables en las nubes de tokens de tipos de palabras. Sitúan este trabajo como un paso fundamental para la lexicografía objetiva impulsada por corpus y la selección de vocabulario, evitando detecciones espurias causadas por desajustes en la dirección semántica.