Accurate and Efficient Statistical Testing for Word Semantic Breadth

Resumo Técnico: Testes Estatísticos Precisos e Eficientes para a Amplitude Semântica de Palavras

Enunciado do Problema
O artigo aborda uma falha crítica no uso de testes de permutação não paramétricos para comparar a "amplitude semântica" (diversidade contextual) de dois tipos de palavras com base em embeddings de tokens contextualizados. Embora estatísticas baseadas em dispersão (por exemplo, a dispersão de vetores de tokens em uma esfera unitária) sirvam como proxies eficazes para a amplitude semântica, testes de permutação ingênuos produzem taxas infladas de erro Tipo I.

O problema central surge porque os embeddings de palavras frequentemente diferem não apenas na dispersão, mas também em sua direção média (orientação semântica). Em um teste de permutação padrão, a mistura aleatória de rótulos entre dois grupos com direções médias diferentes cria grupos "permutados" que abrangem uma área mais ampla do espaço de embeddings do que os grupos originais. Isso infla artificialmente a dispersão estimada dos grupos permutados, levando o teste a rejeitar falsamente a hipótese nula (afirmando uma diferença significativa de amplitude) mesmo quando as dispersões verdadeiras são idênticas. Isso é particularmente problemático no "regime de pequena diferença", onde o teste estatístico é mais necessário para distinguir efeitos genuínos de ruído de amostragem.

Metodologia
Os autores propõem um teste de permutação alinhado por Householder para isolar diferenças de dispersão de diferenças direcionais. A metodologia consiste em três etapas principais:

1. Alinhamento da Direção Média por Householder:
   Antes de conduzir o teste de permutação, o método alinha a direção média dos dois tipos de palavras. Dados dois conjuntos de embeddings normalizados por unidade, $X$ e $Y$, com direções médias $\hat{\mu}_X$ e $\hat{\mu}_Y$, uma matriz de reflexão de Householder $H$ é construída:
   $$H = I - 2 \frac{vv^\top}{v^\top v}, \quad \text{onde } v = \hat{\mu}_X - \hat{\mu}_Y$$
   Esta matriz satisfaz $H\hat{\mu}_X = \hat{\mu}_Y$. Aplicar $H$ a todos os vetores em $X$ rotaciona a nuvem para compartilhar a mesma direção média que $Y$, preservando normas e geometria relativa. Isso garante que permutações subsequentes apenas misturem rótulos dentro de uma região direcional comum, prevenindo a inflação artificial da dispersão.

2. Proxy de Dispersão e Estatística de Teste:
   A amplitude semântica é quantificada usando o Comprimento Resultante Médio (MRL), $r(X) = \|\frac{1}{n}\sum x_i\|_2$. Um $r$ menor indica maior dispersão (significado mais amplo). Os autores definem um proxy de amplitude $v(X)$ como uma medida de concentração inversa derivada de $r(X)$. A estatística de teste é a diferença de log-volume entre o conjunto alinhado $X'$ e o conjunto inalterado $Y$:
   $$T_{obs} = \log v(X') - \log v(Y)$$

3. Inferência de Permutação Acelerada por GPU:
   Para abordar a intensidade computacional do teste de permutação, os autores introduzem uma implementação vetorizada e orientada a GPU.

   • Vetorização: Em vez de iterar sobre permutações, o método usa uma matriz de sinais $S \in \{+1, -1\}^{B \times N}$ para representar $B$ permutações. Somas de grupo são computadas via uma única operação de Multiplicação de Matriz Geral (GEMM): $U = SX$.
   • Eficiência de Memória: As permutações são processadas em blocos para gerenciar a memória, atualizando a contagem de excedência para valores-p sobre a marcha sem armazenar todas as estatísticas intermediárias.
   • Eficiência: A aplicação de Householder é otimizada para exigir apenas um produto escalar e subtração de vetor escalada por vetor, evitando operações explícitas de matriz $d \times d$.

Principais Contribuições

1. Identificação de um Modo de Falha: O artigo identifica que diferenças de direção média em espaços de embeddings atuam como um fator de confusão em testes de permutação ingênuos, inflando sistematicamente o erro Tipo I e minando a validade de alegações de significância para amplitude semântica.
2. Teste Alinhado por Householder: Um procedimento estatístico inovador que usa uma única reflexão de Householder para remover o fator de incômodo da direção média. Isso permite que o teste de permutação vise especificamente diferenças de dispersão, produzindo valores-p calibrados.
3. Implementação Escalável: Uma implementação acelerada por GPU do teste de permutação que alcança uma aceleração de 23$\times$ sobre uma baseline de CPU, tornando a reamostragem em grande escala viável para estatísticas de conjuntos de embeddings.

Resultados Experimentais
Os autores avaliaram o método usando embeddings ModernBERT no Corpus Nacional Britânico (BNC) e BERT-large no corpus BCCWJ (japonês), comparando com contagens de sentidos do WordNet como padrão-ouro.

• Redução do Erro Tipo I: No regime de pequena diferença (lacunas de classificação de 1–10), o método proposto reduziu o erro Tipo I em 32,5% em comparação com a baseline ingênua. Por exemplo, em uma lacuna de classificação de 10, a taxa de erro caiu de 4,0% (baseline) para 2,67% (proposto), mantendo ou melhorando a precisão na detecção de diferenças genuínas de sentidos.
• Calibração: O teste alinhado demonstrou um comportamento mais conservador, mantendo as taxas de rejeição mais próximas do nível de significância nominal ($\alpha = 0.05$) sob a hipótese nula, enquanto a baseline mostrou taxas elevadas de falsos positivos em cenários desafiadores.
• Desempenho: A implementação em GPU reduziu o tempo por permutação de 1,588 ms (CPU) para 0,069 ms, permitindo a execução de 20.000 permutações em aproximadamente 1,4 segundos.

Significado e Alegações
O artigo afirma que sua contribuição principal não é a estimativa do número de sentidos em si, mas a provisão de um procedimento de teste bem calibrado. Este procedimento permite que pesquisadores e lexicógrafos:

• Distingam entre palavras que são plausivelmente bem cobertas pelas granularidades de sentidos atuais e aquelas que exigem divisão adicional de sentidos.
• Realizem inferência estatística confiável no "regime de pequena diferença", onde testes ingênuos falham devido a confusões direcionais.
• Escalem o teste de permutação para grandes vocabulários e corpora através de aceleração eficiente por GPU.

Os autores observam que, embora o método assuma distribuições unimodais e isotrópicas (semelhantes aos modelos von Mises-Fisher), ele captura efetivamente regularidades observáveis em nuvens de tokens de tipos de palavras. Eles posicionam este trabalho como um passo fundamental para a lexicografia objetiva e orientada por corpus e seleção de vocabulário, evitando detecções espúrias causadas por incompatibilidades de direção semântica.