Anytime-Valid Confirmation of Label-Shift Corrections

Resumo Técnico: Confirmação de Correções de Desvio de Rótulo com Validade a Qualquer Momento

1. Definição do Problema

Em implantações científicas de pequenos lotes (small-batch), os resultados alvo rotulados são frequentemente escassos demais para estimar confiavelmente desvios de rótulo (onde a distribuição marginal $p(y)$ muda enquanto $p(x|y)$ permanece estável) usando métodos tradicionais de alvo não rotulado, como BBSE ou MLLS. Nesses cenários, os profissionais frequentemente possuem uma correção candidata pré-especificada derivada de conhecimento de domínio, especificações regulatórias ou experimentos de ponte.

O problema central abordado não é a estimativa do desvio, mas sim a confirmação de se os resultados rotulados que chegam sustentam uma correção de desvio de rótulo fixa e postulada em relação a um modelo preditivo de origem. Isso é formulado como um problema de confirmação, em vez de um problema de estimação, exigindo uma ferramenta estatística que possa lidar com a chegada sequencial de dados sem um tamanho de amostra pré-especificado, controlando o erro do Tipo I sob parada opcional.

2. Metodologia

O artigo propõe uma estrutura de teste sequencial baseada em e-values e e-processes (Vovk & Wang, 2021; Shafer, 2021).

Construção Central:
Dado um preditivo de origem fixo $p_s(y|x, D_{tr})$ e um peso candidato $w(y)$ derivado de conhecimento de domínio, os autores definem um preditivo inclinado (tilted predictive):
$$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$$
O teste acumula a razão de verossimilhança por observação entre o preditivo inclinado e o preditivo de origem:
$$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$$
onde $Z_w(x_i)$ é a constante de normalização.

Garantias Teóricas:

• E-valor Condicional: Sob a hipótese nula preditiva $H_0^{pred}$ (onde os resultados seguem o preditivo de origem $p_s$), a esperança de $e_i$ dado os dados passados e o input atual é 1. Assim, $e_i$ é um e-valor condicional válido.
• Propriedade de Martingala: O produto corrente $M_t = \prod_{i=1}^t e_i$ forma uma martingala não negativa (um e-processo).
• Validade a Qualquer Momento (Anytime-Valid): Pela desigualdade de Ville, a regra de parada $\tau^* = \inf\{t : M_t > 1/\alpha\}$ controla o erro do Tipo I no nível $\alpha$ simultaneamente para todos os tamanhos de amostra $t$, sem necessidade de correção para parada opcional.
• Identidade do Gap de NLPD: O log-patrimônio $\log M_t$ é igual à diferença cumulativa na Densidade de Log-Predição Negativa (NLPD) entre a origem e o preditivo inclinado:
  $$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$$
  A rejeição ocorre quando o diferencial de log-score acumulado pelo preditivo inclinado excede $\log(1/\alpha)$.

Forma Fechada para Processos Gaussianos:
Para fontes de Processos Gaussianos (GP) com razões de desvio de rótulo gaussianas, os autores derivam expressões de forma fechada para a constante de normalização $Z_w(x)$ e para o log e-valor por amostra. Isso permite computação eficiente usando apenas as saídas da posterior do GP ($\mu_s, \sigma^2_s$) e os parâmetros de desvio.

Testes Múltiplos:
Para testes paralelos de $K$ fluxos, o artigo recomenda o procedimento e-BH (Wang & Ramdas, 2022) usando e-valores de lote para controlar a Taxa de Descoberta Falsa (FDR), em vez de correções de Bonferroni conservadoras.

3. Principais Contribuições

1. Identidade do Gap de NLPD: Conecta a aposta otimizada de Kelly à avaliação de modelos, mostrando que o gap de NLPD cumulativo serve como o log-patrimônio de um e-processo válido.
2. Teste de Confirmação com Validade a Qualquer Momento: Fornece um teste sequencial formal para um desvio fixo postulado que não requer tamanho de amostra pré-especificado e controla o erro do Tipo I sob parada opcional.
3. E-valores de Forma Fechada para GP: Deriva soluções analíticas para e-valores sob inclinações de desvio de rótulo gaussianas, permitindo implementação prática em regressão GP.
4. Caracterização da Taxa de Crescimento: Prova que, sob a alternativa (especificação correta), o teste possui potência assintótica um, com uma taxa de crescimento igual à divergência KL média entre o preditivo inclinado e o de origem.
5. Validação Empírica: Demonstra controle de Tipo I, potência de amostra finita, sensibilidade à má calibração e a vantagem de usar um prior confiável sobre a reestimação ruidosa em pequenos lotes.

4. Resultados Experimentais

Os autores validam o método usando simulações de regressão GP de ponta a ponta:

• Controle de Tipo I: Sob a nulidade preditiva, a taxa empírica de falso alarme permanece estritamente abaixo do $\alpha$ nominal (0,05) em todos os horizontos, confirmando a garantia de validade a qualquer momento.
• Potência vs. LRT de Amostra Fixa: Embora os Testes de Razão de Verossimilhança (LRT) de amostra fixa calibrados para tamanhos de amostra específicos mostrem uma potência ligeiramente maior em horizontos grandes, o e-processo mantém a validade sob tempos de parada arbitrários, ofere uma troca fundamental entre potência e flexibilidade.
• Vantagem de Pequenos Lotes: Em cenários com pequenos tamanhos de lote alvo ($n_t=10$), uma correção de prior confiável (oráculo) supera significativamente a reestimação adaptativa em termos de NLPD de teste (held-out). O teste de confirmação fornece evidência formal para apoiar o uso de tais priors.
• Sensibilidade à Má Calibração: O teste é altamente sensível à má calibração do preditivo de origem. A subestimação da variância pelo GP de origem (ex: fator $c=2$) causa uma inflação acentuada do erro do Tipo I (até 36,45%), destacando que a garantia de validade depende de o modelo de origem estar bem calibrado.
• Robustez à Especificação Incorreta: Quando o desvio postulado é mal especificado (magnitude ou direção erradas), a potência do teste diminui, mas o erro do Tipo I permanece controlado desde que o peso seja fixo antes do teste. O teste não rejeita falsamente a nulidade devido à má especificação; ele simplesmente falha em rejeitar.

5. Significância e Alegações

O artigo afirma fornecer uma ferramenta necessária para um cenário específico, frequentemente negligenciado na implantação de modelos: confirmação em vez de estimação.

• Distinção de Estimação: Os autores enfatizam que a rejeição confirma que a correção postulada é consistente com os dados em relação à origem, mas não quantifica o grau exato do desvio. Para estimação quantitativa, métodos de alvo não rotulado continuam sendo a ferramenta apropriada.
• Utilidade Prática: O método permite que profissionais validem formalmente correções baseadas em conhecimento de domínio (ex: especificações regulatórias) conforme os dados chegam, evitando a falta de confiabilidade de reestimar desvios a partir de dados rotulados escassos.
• Limitações: Os autores declaram explicitamente que a garantia de controle de Tipo I é condicional à nulidade preditiva (ou seja, o modelo de origem deve estar bem calibrado). O teste não é robusto a má especificação arbitrária do modelo sem camadas de calibração adicionais. Além disso, o peso candidato deve ser fixado antes do início do fluxo de teste; usar dados do fluxo de teste para estimar o peso invalida a propriedade do e-valor.

Em resumo, o artigo oferece uma estrutura rigorosa e válida a qualquer momento para confirmar correções de desvio de rótulo pré-especificadas, unindo o conhecimento de domínio e a evidência estatística sequencial em ambientes de escassez de dados.