When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Resumo Técnico: Diagnósticos de Calibração para Regressão com Pseudo-rótulos

1. Declaração do Problema

Os pipelines modernos de aprendizado de máquina utilizam cada vez mais escores de probabilidade calibrados provenientes de classificadores treinados em subconjuntos rotulados pequenos ($L$) para informar tarefas de regressão a jusante em grandes populações não rotuladas ($U$). Aplicações comuns incluem a estimação de efeitos em nível populacional, prevalências ou disparidades para grupos latentes (por exemplo, atributos protegidos em auditorias de equidade ou risco de doença em imagens médicas).

Uma prática dominante nesse cenário semi-supervisionado é o pseudo-rótulo: converter a probabilidade calibrada $p$ em um rótulo binário rígido $\hat{G}$ aplicando um limiar de confiança $\tau_{thr}$ (por exemplo, 0,9). Embora empiricamente bem-sucedido para classificação, este artigo aborda uma lacuna crítica: como esse limiar distorce o coeficiente de regressão a jusante? A literatura existente carece de uma conta quantitativa de como o limiar de confiança atenua ou distorce o estimando de interesse, especificamente no contexto de modelos de regressão parcialmente lineares onde o objetivo é estimar a associação entre um indicador de grupo latente $G$ e um resultado $Y$, controlando para covariáveis $X$.

2. Metodologia e Configuração

O artigo opera dentro de um framework onde:

• Dados: Duas amostras i.i.d. são observadas: um conjunto rotulado $L = \{(W_i, X_i, G_i, Y_i)\}$ e um conjunto não rotulado maior $U = \{(W_i, X_i, Y_i)\}$.
• Características: O classificador é treinado em um conjunto de características $W$, enquanto a regressão a jusante controla para um subconjunto $X \subseteq W$. Crucialmente, o artigo impõe uma separação estrutural onde $W$ deve ser estritamente mais rico que $X$ ($X \subsetneq W$) para garantir identificabilidade.
• Modelo: O parâmetro alvo $\tau$ é definido via uma regressão parcialmente linear: $E[Y | G, X] = \mu(X) + \tau G$.
• Pressuposto: A saída do classificador $p = f(W)$ é condicionalmente calibrada, satisfazendo $E[G | p, X] = p$.

Baseando-se em um resultado de identificação complementar [8], os autores utilizam uma equação de momento para identificar $\tau$ usando diretamente a pontuação calibrada $p$ (o estimador "suave"). Em seguida, eles analisam as propriedades do estimador "rígido", que substitui $p$ por um rótulo binário limiarizado $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$.

3. Contribuições Principais e Resultados Teóricos

O artigo deriva cinco previsões específicas e um procedimento de diagnóstico, formalizados da seguinte maneira:

I. Viés de Atenuação em Forma Fechada (Previsão 1)
O artigo deriva uma expressão em forma fechada para o viés de atenuação induzido pelo pseudo-rótulo rígido. O limite em probabilidade do estimador rígido $\hat{\tau}_{hard}$ é:
$$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$$
onde o fator de atenuação $\kappa(\tau_{thr})$ é a inclinação OLS da população do rótulo rígido residualizado sobre a pontuação suave residualizada.

• Significado: Este fator é computável antes de executar qualquer inferência, exclusivamente a partir da distribuição conjunta de $(p, X)$ no conjunto não rotulado. Ele quantifica exatamente quanto sinal é perdido ao binarizar a probabilidade em um limiar específico.

II. Variância de Sanduíche para Estimadores Suaves (Previsão 2)
A variância assintótica do estimador suave (usando $p$ diretamente) escala inversamente com o quadrado da variância da pontuação residual $V^* = E[\text{Var}(p|X)]$.

• Implicação: Mesmo reduções modestas na informatividade da pontuação (baixa $V^*$) levam a perdas massivas de precisão. O artigo fornece um plug-in de variância de sanduíche que produz intervalos de Wald válidos.

III. Arrependimento Viés-Variância do Limiar de Confiança (Previsão 3)
Para métodos que restringem o pseudo-rótulo a um subconjunto confiante (por exemplo, estilo FixMatch), o Erro Quadrático Médio (MSE) decompõe-se em um termo de viés quadrático (impulsionado por $\kappa_{FM}$) e um termo de variância (inflado pelo tamanho reduzido da amostra $|C|$).

• Descoberta: À medida que o limiar se torna mais seletivo, a variância cresce monotonicamente, enquanto o viés pode flutuar. O MSE total frequentemente torna-se impulsionado pela variância, tornando o estimador suave superior em muitos regimes, apesar de sua falta de rótulos "rígidos".

IV. Limite de Sensibilidade sob Deriva de Calibração (Previsão 4)
Sob deslocamento de distribuição limitado onde a condição de calibração se mantém com um erro $\eta(p, X)$ limitado por $\delta$, o viés assintótico é limitado por:
$$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$$

• Implicação: Maior variância residual $V^*$ (pontuações mais informativas) reduz proporcionalmente o viés do pior caso para um determinado nível de deriva de calibração.

V. A Fronteira de Colapso $V^*$ (Previsão 5)
O artigo identifica uma fronteira nítida: $V^* = 0$ se e somente se $p$ for uma função determinística de $X$.

• Requisito Estrutural: Se as características do classificador $W$ forem idênticas aos controles a jusante $X$, então $p = f(X)$, $V^*=0$, e a equação de momento torna-se não informativa (a identificação falha). O remédio é garantir que $W$ contenha características não controladas na regressão a jusante.

4. O Procedimento de Diagnóstico

Os autores propõem um algoritmo de diagnóstico prático de uma página (Algoritmo 1) para que os praticantes decidam se o limiar de confiança é seguro:

1. Computar $V^*$: Estimar a variância residual da pontuação calibrada após regressar $X$ no conjunto não rotulado.
2. Computar $\hat{\kappa}$: Para uma grade de limiares, estimar o fator de atenuação.
3. Regra de Decisão:
   • Se o erro padrão implícito do estimador suave for muito alto (devido à baixa $V^*$), prefira a linha de base supervisionada (usando apenas $L$).
   • Se $\hat{\kappa}$ estiver longe de 1 para todos os limiares, o limiar rígido causa atenuação significativa; prefira o estimador suave.
   • Caso contrário, qualquer um é aceitável, embora o estimador suave seja recomendado por sua robustez à escolha do limiar.

5. Resultados Experimentais

O artigo valida essas previsões através de cinco simulações controladas e uma ilustração com dados reais no conjunto de dados UCI Adult Income:

• Atenuação: As estimativas empíricas de $\hat{\tau}_{hard}$ corresponderam às previsões em forma fechada de $\kappa(\tau_{thr})$ em seis limiares diferentes com alta significância estatística.
• Variância: A fórmula de variância de sanduíche previu com precisão a variância de Monte Carlo e alcançou uma cobertura nominal de 95%.
• Arrependimento: Os experimentos confirmaram que limiares de alta confiança frequentemente levam a alto MSE devido à inflação da variância, validando a análise de trade-off viés-variância.
• Sensibilidade: O limite de sensibilidade derivado manteve-se sob vários cenários de deriva de calibração, com o viés empírico permanecendo bem abaixo do envelope teórico do pior caso.
• Caso Real: No experimento UCI Adult, o diagnóstico identificou corretamente que a linha de base supervisionada (OLS em $L$) superou os estimadores com pseudo-rótulos porque o conjunto rotulado era suficientemente informativo e a probabilidade condicional era bem explicada pelos controles (baixa $V^*$ relativa ao ruído). Por outro lado, o diagnóstico mostrou que rótulos rígidos neste conjunto de dados incorreram em atenuação mínima ($\hat{\kappa} \approx 0,92$) devido à riqueza das características do classificador.

6. Significado e Alegações

O artigo reivindica uma contribuição operacional em vez de uma nova arquitetura algorítmica. Ele não propõe um novo algoritmo de pseudo-rótulo nem compete com funções de perda de classificação de última geração (como FixMatch). Em vez disso, fornece:

1. Uma justificativa quantitativa de por que o limiar de confiança distorce os coeficientes de regressão a jusante.
2. Uma ferramenta de diagnóstico (regra de decisão $(V^*, \kappa)$) que permite aos praticantes computar, a priori, se o uso de rótulos rígidos é seguro ou se devem aderir a pontuações suaves ou a uma abordagem puramente supervisionada.
3. Uma insight estrutural de que a separação entre características do classificador ($W$) e controles a jusante ($X$) não é meramente uma escolha de design, mas uma necessidade matemática para a identificação neste cenário.

Os autores enfatizam que seu framework é "consciente da calibração", traduzindo a qualidade abstrata da calibração de um classificador em limites concretos sobre o viés de estimação a jusante, fechando assim a lacuna entre o desempenho de classificação e a inferência causal/associativa.