Resumo Técnico: LOTTERY

Definição do Problema

O artigo aborda o desafio do teste de duas amostras adaptativo aos dados sob condições de assimetria severa no tamanho das amostras. Em muitos cenários de monitoramento do mundo real (ex: detecção de mudança de dataset, detecção adversária, monitoramento de modelos), os profissionais possuem um conjunto de dados de referência histórico abundante ($X \sim P$), mas recebem apenas um punhado de amostras de consulta ($Y \sim Q$) para testar contra a referência.

Os testes de duas amostras baseados em aprendizado existentes normalmente dependem de um paradigma de divisão treino-teste para desacoplar o aprendizado de representação do teste de hipótese, garantindo o controle válido do erro do Tipo I. No entanto, em configurações de poucos exemplos (few-shot), onde $|Y|$ é extremamente pequeno, dividir os dados de consulta é prejudicial:

1. Instabilidade de Aprendizado: Usar um subconjunto minúsculo de $Y$ para treinamento leva a extratores de características de alta variância e instáveis.
2. Ruído de Teste: Alocar os poucos pontos restantes para teste resulta em calibração ruidosa e baixo poder estatístico.
3. Gargalo: Simplesmente aumentar o tamanho da amostra de referência não mitiga o escassez fundamental de pontos de consulta.

A questão central proposta é: Como se pode manter a adaptatividade dos testes baseados em aprendizado evitando o aprendizado a partir de dados de consulta escassos?

Metodologia: LOTTERY

Os autores propõem o LOTTERY (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY), um framework que altera o paradigma de "aprender uma discrepância entre $X$ e $Y$" para "aprender uma coleção de sinais de compatibilidade a partir de $X$ e testar $Y$ contra eles".

1. Aprendizado Apenas de Referência (RDR)

Em vez de dividir $Y$, o LOTTERY aprende Representações Dependentes da Referência (RDRs) exclusivamente a partir dos dados de referência abundantes $X$. Uma RDR é uma função $f: \mathcal{X} \to \mathbb{R}$ treinada em $X$ tal que valores maiores de $f(y)$ indicam menor compatibilidade com a distribuição de referência $P$.
O framework emprega uma família de RDRs complementares para capturar diversos aspectos estruturais de $P$:

• ME-RDR (Embedding de Média): Captura padrões de similaridade local usando kernels característicos e localizações de teste. Teoricamente garantido como consistente para qualquer alternativa $P \neq Q$.
• Mahalanobis-RDR: Captura a estrutura global (deslocamentos de média e covariância).
• kNN-RDR: Captura a geometria de suporte e escala local via distâncias de vizinhos mais próximos.
• LOF-RDR: Captura irregularidades de densidade relativa local.

2. Agregação Guiada por Incerteza

Como nenhuma RDR é uniformemente poderosa contra todas as alternativas, o LOTTERY agrega evidências de toda a família. Para otimizar essa agregação sem usar dados de consulta, os autores introduzem um esquema de ponderação guiado pela incerteza:

• Estabilidade: Quantificada pela variância da média do lote da RDR ao reamostrar a partir do conjunto de calibração de referência. RDRs instáveis (alta variância) são penalizadas.
• Sensibilidade: Quantificada pela resposta da RDR a pequenas perturbações controladas dos dados de referência.
• Ponderação: O peso final para uma RDR $f$ é $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$, favorecendo representações que são simultaneamente estáveis sob a nulidade e sensíveis a desvios.
• Estatística de Teste: A estatística final é uma soma ponderada de deslocamentos padronizados de média ao quadrado: $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$.

3. Teste de Permutação Agrupado

Para garantir o controle válido do erro do Tipo I sem dividir os dados de consulta, o LOTTERY utiliza um teste de permutação agrupado (pooled permutation test).

• Um conjunto de referência retido ($X_{hold}$) é combinado com o lote de consulta $Y$ para formar uma amostra agrupada $U$.
• Sob a hipótese nula ($P=Q$), todos os pontos em $U$ são permutáveis.
• A estatística de teste é computada para o $Y$ observado e comparada contra uma distribuição gerada ao amostrar aleatoriamente subconjuntos de tamanho $|Y|$ de $U$.
• Isso produz o controle exato do erro do Tipo I em amostras finitas ao nível $\alpha$.

Principais Contribuições

1. Framework Apenas de Referência: Introduz um novo paradigma para testes de duas amostras no regime de assimetria de tamanho e poucos exemplos, eliminando a necessidade de dividir escassos dados de consulta para o aprendizado de representação.
2. Agregação Guiada por Incerteza: Propõe um mecanismo para ponderar adaptativamente múltiplas representações dependentes da referência com base em sua estabilidade e sensibilidade, derivadas exclusivamente dos dados de referência.
3. Garantias Teóricas:
   • Controle de Erro do Tipo I: Prova que o procedimento de permutação agrupada controla o erro do Tipo I ao nível $\alpha$ para amostras finitas.
   • Consistência: Mostra que o poder do teste converge para 1 conforme o tamanho das amostras cresce, desde que a família de representações contenha pelo menos uma representação consistente (ex: ME-RDR).
4. Desempenho Empírico: Demonstra forte desempenho em benchmarks sintéticos e reais, particularmente superando métodos baseados em kernel e métodos de aprendizado com divisão de dados em cenários extremos de poucos exemplos.

Resultados Experimentais

Os autores avaliam o LOTTERY em dados sintéticos (BLOB) e conjuntos de dados reais (Higgs Boson, detecção adversária de CIFAR-10).

• Variando o Tamanho da Referência ($N$): Com um tamanho de consulta fixo e pequeno, o LOTTERY mostra um crescimento de poder significativamente mais rápido à medida que $N$ aumenta em comparação com os baselines. Ele supera todos os métodos quando $N$ é suficientemente grande (ex: $N \ge 300$ no BLOB).
• Variando o Tamanho da Consulta ($M$): Em regimes extremos de poucos exemplos (ex: $M=2$ a $M=10$), o LOTTERY alcança um poder substancialmente maior que os baselines baseados em kernel (MMD-FUSE, MMDAgg) e de aprendizado com divisão (MMD-Deep, RL-TST), que frequentemente operam próximos ao nível do acaso.
• Estudos de Ablação:
  • Remover o mecanismo de seleção guiada por incerteza leva a uma queda consistente no poder, confirmando o valor de penalizar RDRs instáveis.
  • A agregação de múltiplas famílias de RDR gera melhores resultados do que qualquer única RDR, confirmando sua complementaridade através de diferentes tipos de desvios de distribuição (média global, variância, densidade local).
• Erro do Tipo I: Verificações empíricas confirmam que o teste mantém o erro do Tipo I próximo ao nível de significância $\alpha = 0,05$ em todas as configurações.

Significância e Alegações

O artigo afirma que o LOTTERY fornece uma abordagem fundamentada e eficaz para testes de duas amostras sob extrema desproporção de classes. Sua significância reside em:

• Resolver o Gargalo de Poucos Exemplos: Ele contorna a instabilidade inerente à divisão de pequenos lotes de consulta, uma limitação que afeta os testes adaptativos de dados existentes.
• Unir Teste de Uma Classe e de Duas Amostras: Ele adapta o sucesso da classificação de uma classe (aprendendo de uma única distribuição) em um rigoroso framework de teste de duas amostras com garantias formais de erro do Tipo I, distinguindo-se da detecção de anomalias padrão, que muitas vezes carece de garantias de teste de nível-$\alpha$.
• Utilidade Prática: Oferece uma ferramenta de diagnóstico para aplicações de alto risco, como detecção adversária e monitoramento de modelos, onde os dados de consulta são escassos, mas os dados de referência são abundantes, permitindo a detecção mais confiável de mudanças de distribuição e falhas silenciosas.

Os autores enfatizam que o método é de natureza estatística e destinado a ser um componente de diagnóstico dentro de um pipeline mais amplo, e não uma regra de decisão isolada para indivíduos.