How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule

Resumo Técnico: Uma Lei de Escala para Detecção de Desvio de Distribuição

Definição do Problema
O artigo aborda o desafio de detectar desvios de distribuição em fluxos de embeddings de alta dimensão. Embora as abordagens padrão abordem isso como uma escolha de estatística (ex: desvio de covariância, estimativa de densidade ou resumos topológicos como homologia persistente), o autor argumenta que a eficácia de qualquer detector baseado em momentos é fundamentalmente limitada pela escala espacial ($\varepsilon$) da mudança e pela fração de massa ($f$) que ela carrega, e não pelo número de características ou pela dimensionalidade do espaço. O trabalho investiga especificamente se os métodos topológicos (Homologia Persistente) oferecem uma vantagem distinta sobre as estatísticas baseadas em momentos, particularmente sob condições adversariais.

Metodologia e Estrutura Teórica
O núcleo do artigo é a derivação e validação empírica de uma lei de escala que rege a complexidade necessária para detectar mudanças distributivas.

1. A Lei de Escala (Limite Inferior):

   • O autor prova que certificar uma característica de escala espacial $\varepsilon$ carregando uma fração de massa $f$ requer testes polinomiais de grau $N^*$ satisfazendo:
     $$N^* \ge \frac{\log(1/f)}{2\varepsilon}$$
   • Este limite é derivado do problema extremal de Chebyshev. Isso implica que o custo de detecção é governado pela finura da característica, não pela contagem de características.
   • Para uma topologia de complexidade $b$ (ex: $b$ loops), um limite inferior de $N^* \ge 4b - 1$ é estabelecido usando argumentos de quadratura de Gauss.

2. O Limite Superior e a Regra de Calibração:

   • Embora o limite inferior seja estrito para testes polinomiais, o artigo identifica que funções de teste Gaussianas (o testemunho do RKHS de um kernel RBF) podem atingir uma taxa de $N^* \propto \log(1/f)/\varepsilon$.
   • Isso leva a uma regra de calibração prática: a largura de banda ($\sigma$) de um teste MMD deve ser definida para corresponder à escala da característica ($\sigma \approx \varepsilon$).

3. Contraexemplos e Limitações:

   • A lei é de via única: ela fornece um limite inferior na ordem necessária, mas nunca certifica a suficiência.
   • Um contraexemplo específico é construído: um anel com espessura não nula carrega uma primeira homologia não trivial ($H_1 \neq 0$), mas compartilha sua média, covariância e todos os momentos até a ordem quatro com um disco preenchido. Isso refuta a ideia de que "a informação de quarta ordem governa a mudança topológica canônica" em todos os casos.

4. Avaliação Empírica:

   • Datasets: Streams de embeddings reais (MiniLM, bge-1024) de corpora 20 Newsgroups e AG News.
   • Adversário: Um adversário baseado em gradiente otimizado para evitar estatísticas específicas do defensor ($\mu, \Sigma$, k-NN, curtose) enquanto preserva a topologia alvo.
   • Baselines: Desvio de covariância, distância de Mahalanobis, densidade k-NN, curtose de Mardia e vários resumos topológicos (Primeira Paisagem de Persistência, Persistência Total, etc.).
   • Protocolo: Janelas deslizantes ($W=200$), redução por PCA para a dimensão intrínseca, e avaliação em taxas fixas de Falsos Positivos (FPR) e Comprimentos Médios de Corrida (ARL).

Principais Resultados

1. Validação da Lei de Escala:

   • Experimentos confirmam que a largura de banda ideal do MMD $\sigma^*$ é aproximadamente igual à escala da característica $\varepsilon$ (razão mediana $\sigma^*/\varepsilon = 1.12$, IQR $[1.01, 1.52]$).
   • Uma estimativa de $\varepsilon$ baseada nos dados permite que o teste MMD alcance um AUC $\ge 0.95$.
   • Contra um adversário adaptativo otimizado contra $\{\mu, \Sigma, \text{k-NN}, \text{curtose}\}$, todas essas estatísticas são evitadas. Apenas o teste de kernel com largura de banda correspondente (MMD-RBF) detecta com sucesso o desvio.

2. Desempenho da Homologia Persistente (PH):

   • A Escolha do Resumo é Crítica: O desempenho da PH é dominado pela escolha da estatística de resumo.
     • Primeira Paisagem de Persistência: Desempenha mal (AUC $\approx 0.75$, recall 0.00 em FPR=1%). Seu desempenho degrada com a dimensão ambiente e é sensível à dimensão de redução.
     • Persistência Total: Desempenha significativamente melhor (AUC $\approx 0.99$, recall 0.75 em FPR=1%), igualando o desempenho da curtose em configurações não adversariais.
   • Redundância: O resumo "Persistência Total" comporta-se estruturalmente como um momento de baixa ordem (um readout do perfil radial). No regime de mudanças grosseiras e de escala única (o foco do estudo), ele é redundante com a curtose, mas incorre em um custo computacional massivo (116$\times$ a curtose).
   • Falha Adversarial: Contra o adversário adaptativo, tanto a Persistência Total quanto a curtose falham simultaneamente. O único detector sobrevivente é o teste de kernel com largura de banda correspondente.

3. Custo vs. Poder:

   • Não há um "gap de poder" onde a PH detecta o que os momentos perdem nesta tarefa específica; em vez disso, há um gap de custo.
   • A PH (mesmo com o melhor resumo) custa aproximadamente 116 vezes mais que a curtose e falha sob as mesmas condições adversariais.
   • A "degradação com a dimensão ambiente" observada em algumas métricas é uma propriedade do resumo da paisagem, não da homologia persistente em si.

Significância e Alegações
O artigo conclui com um conjunto de alegações modestas, porém precisas:

• A Lei de Escala: Estabelece um limite inferior teórico para a ordem de momento necessária para detectar características de uma determinada escala, provando que o custo de detecção é uma função da finura da característica, não da contagem de características.
• Regra de Calibração: Fornece uma regra concreta, empiricamente validada, para definir a largura de banda de testes de dois grupos de kernel ($\sigma \approx \varepsilon$), o que é crítico para seu sucesso contra adversários adaptativos.
• Veredito sobre a Topologia: O artigo não afirma que os resumos topológicos sejam inúteis. No entanto, conclui que para monitoramento grosseiro e de escala única (o regime dos experimentos), os resumos topológicos são dominados por testes de kernel em termos de custo.
  • O resumo que funciona (Persistência Total) age essencialmente como um momento, alinhando-se com a previsão da lei de que momentos de baixa ordem são suficientes para características grosseiras.
  • O artigo sugere que o valor genuíno da homologia persistente reside na detecção de estruturas finas ou de múltiplas escalas, onde a ordem de momento equivalente seria proibitivamente alta, um regime não presente nos desvios de embeddings testados.

Em resumo, o trabalho argumenta que para a detecção de desvio de distribuição em embeddings, a escolha da estatística é limitada pela escala do desvio. A abordagem prática ideal é um teste de kernel com largura de banda correspondente a essa escala, enquanto os métodos topológicos não oferecem vantagem em custo ou poder para a classe específica de deformações grosseiras testadas.