Resumo Técnico: Conformal C2ST

Declaração do Problema

O artigo aborda o problema de teste de duas amostras (two-sample testing problem), uma tarefa fundamental em estatística e aprendizado de máquina que visa determinar se dois conjuntos de amostras, extraídos de distribuições subjacentes $p$ e $q$, são identicamente distribuídos ($p=q$). Uma aplicação primária é a avaliação de modelos generativos e modelos de Estimativa de Posterior Neural (NPE), onde $p$ representa o processo gerador de dados real (ou o posterior real) e $q$ é uma aproximação aprendida.

A abordagem padrão, o Teste de Duas Amostras por Classificador (C2ST), treina um classificador para distinguir entre amostras de $p$ e $q$. Se o classificador atingir alta acurácia, as distribuições são consideradas diferentes. No entanto, o artigo identifica uma limitação crítica: a confiabilidade e o poder do C2ST dependem da disponibilidade de um classificador próximo ao ótimo de Bayes. Na prática, os classificadores são frequentemente fracos, enviesados, sofrem overfitting ou são mal calibrados devido a dados limitados ou capacidade do modelo. Isso cria uma ambiguidade: se um modelo "passa" em um C2ST, não está claro se as distribuições são verdadeiramente idênticas ou se o classificador simplesmente carece de poder para detectar a diferença. As garantias teóricas existentes para o C2ST frequentemente assumem o acesso a um classificador ótimo ou assintoticamente consistente, uma condição raramente atendida em cenários do mundo real como o NPE.

Metodologia

Os autores propõem o Conformal C2ST, um framework que converte os escores de qualquer classificador treinado — independentemente de sua fraqueza ou viés — em $p$-valores exatos de amostra finita. O método baseia-se no framework de predição conformal de Hu & Lei (2024), mas o adapta para o regime específico de avaliação de modelos generativos acessíveis onde as distribuições marginais podem ser iguais.

O mecanismo central envolve a calibração conformal em vez de limiarização rígida:

1. Pontuação (Scoring): Um classificador $f$ é treinado para distinguir $p$ de $q$, produzindo um escore $s(x)$ (ex: log-odds) para qualquer entrada $x$.
2. $p$-valor Conformal: Para um ponto de teste $\tilde{X} \sim q$, um $p$-valor conformal $U$ é computado comparando seu escore contra um conjunto de escores de calibração extraídos de $p$. O $p$-valor representa o ranking relativo do escore do ponto de teste entre o conjunto de calibração.
3. Agregação: Para testar a hipótese global $H_0: p=q$, este procedimento é repetido para múltiplos pontos de teste independentes de $q$. A coleção resultante de $p$-valores é agregada (ex: usando um teste de Kolmogorov–Smirnov) para avaliar o desvio da uniformidade.

O artigo introduz duas variantes específicas:

• Teste Uniforme Conformal (Conformal Uniform Test): Utiliza um conjunto de calibração novo para cada ponto de teste. Isso oferece validade exata de amostra finita e maximiza o poder, mas requer amostragem adicional de $p$.
• Teste Múltiplo Conformal (Conformal Multiple Test): Utiliza um único conjunto de calibração compartilhado para todos os pontos de teste. Isso iguala o orçamento computacional do C2ST padrão (uma amostra de $p$ e uma de $q$ por par) enquanto mantém a robustez.

Principais Contribuições

1. Validade Teórica: Os autores estabelecem que o Conformal C2ST fornece controle de erro do Tipo I exato de amostra finita sob a hipótese nula ($p=q$) para qualquer função de pontuação determinística. Esta validade mantém-se independentemente da qualidade do classificador, efetivamente desacoplando o controle de erro da acurácia discriminativa.
2. Robustez a Classificadores Fracos: O artigo prova que o teste mantém poder não trivial sob a alternativa ($p \neq q$) mesmo quando o classificador é fraco ou mal especificado. Resultados teóricos mostram que o poder degrada suavemente (como $O(\epsilon^{2/3})$) com o erro de estimativa da razão de densidade, desde que o classificador preserve um sinal de ranking razoável (medido pela AUC).
3. Ranking sobre Acurácia: A metodologia desloca o foco da acurácia de classificação (limiar em 0.5) para a qualidade do ranking. O teste depende da ordenação relativa dos escores (AUC), que é mais robusto a má calibração e fronteiras de decisão fracas do que estimativas de probabilidade absoluta.
4. Variantes Práticas: A introdução do teste "Múltiplo" permite testes de duas amostras robustos sem aumentar o orçamento de simulação em comparação ao C2ST padrão, tornando-o viável para simuladores caros.

Resultados Experimentais

Os autores avaliam o Conformal C2ST contra baselines incluindo o C2ST padrão, Calibração Baseada em Simulação (SBC), Teste de Acurácia com Pontos Aleatórios (TARP), Calibração Discriminativa (DC) e testes baseados em kernel (MMDFuse) através de vários benchmarks:

• Perturbações Controladas: Em experimentos com posteriors Gaussianos perturbados (deslocamentos de média, escalonamento de covariância, caudas pesadas), as variantes do Conformal C2ST superaram consistentemente o C2ST padrão e outros baselines na detecção de discrepâncias sutis. Notavelmente, o DC falhou em controlar o erro do Tipo I nestes cenários.
• Degradação do Classificador: Os autores degradaram sistematicamente a qualidade do classificador interpolando parâmetros treinados com inicialização aleatória. Os resultados mostraram que o poder do C2ST padrão colapsou rapidamente conforme o classificador enfraquecia. Em contraste, o Conformal C2ST manteve alto poder, demonstrando resiliência a classificadores enviesados ou mal treinados.
• Imagens de Alta Dimensão: No CIFAR-10 com várias corrupções (blur, swirl, ruído), o Conformal C2ST alcançou o estado da arte em poder e permaneceu robusto quando o classificador subjacente era fraco.
• Problema Inverso Científico Real: Em um benchmark de lente gravitacional, o Conformal C2ST detectou vieses em níveis menores que os concorrentes e permaneceu válido sob a degradação do classificador, enquanto outros métodos (como o DC) foram inválidos devido ao erro do Tipo I inflado.

Significância e Alegações

O artigo afirma que o Conformal C2ST estabelece uma ferramenta de diagnóstico prática e teoricamente fundamentada para validação de modelos. Sua principal significância reside na resolução da ambiguidade do "classificador fraco": um modelo que passa no teste Conformal C2ST é um indicador mais confiável de igualdade de distribuição do que passar em um C2ST padrão, porque a validade deste último não depende do classificador ser próximo do ótimo.

Os autores enfatizam que um classificador próximo do ótimo de Bayes não é estritamente necessário para uma validação de modelo confiável; um ranking fraco, porém informativo, é suficiente. Isso torna o método particularmente valioso para a avaliação de NPE e modelos generativos, onde obter classificadores perfeitos é frequentemente inviável. O trabalho é de escopo modesto, focando na validação do posterior aprendido $q$ contra o posterior verdadeiro $p$ (o cenário $M$-closed) em vez do problema mais amplo de $M$-open de validar o próprio simulador contra dados do mundo real. Os autores também observam limitações, como a natureza global do teste (ele não localiza as incompatibilidades) e o custo computacional da variante Uniform quando a amostragem de $p$ é cara.