When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Resumen Técnico: Diagnósticos de Calibración para Regresión con Pseudo-etiquetado

1. Planteamiento del Problema

Las pipelines modernas de aprendizaje automático utilizan cada vez más puntuaciones de probabilidad calibradas provenientes de clasificadores entrenados en subconjuntos etiquetados pequeños ($L$) para informar tareas de regresión aguas abajo en poblaciones grandes no etiquetadas ($U$). Las aplicaciones comunes incluyen la estimación de efectos a nivel poblacional, prevalencias o disparidades para grupos latentes (por ejemplo, atributos protegidos en auditorías de equidad o riesgo de enfermedad en imágenes médicas).

Una práctica dominante en este escenario semi-supervisado es el pseudo-etiquetado: convertir la probabilidad calibrada $p$ en una etiqueta binaria dura $\hat{G}$ aplicando un umbral de confianza $\tau_{thr}$ (por ejemplo, 0.9). Aunque empíricamente exitoso para la clasificación, este artículo aborda una brecha crítica: ¿cómo sesga este umbralización el coeficiente de regresión aguas abajo? La literatura existente carece de una cuenta cuantitativa de cómo el umbral de confianza atenúa o distorsiona el estimando de interés, específicamente en el contexto de modelos de regresión parcialmente lineales donde el objetivo es estimar la asociación entre un indicador de grupo latente $G$ y un resultado $Y$, controlando por covariables $X$.

2. Metodología y Configuración

El artículo opera dentro de un marco donde:

• Datos: Se observan dos muestras i.i.d.: un conjunto etiquetado $L = \{(W_i, X_i, G_i, Y_i)\}$ y un conjunto no etiquetado más grande $U = \{(W_i, X_i, Y_i)\}$.
• Características: El clasificador se entrena sobre un conjunto de características $W$, mientras que la regresión aguas abajo controla por un subconjunto $X \subseteq W$. Críticamente, el artículo impone una separación estructural donde $W$ debe ser estrictamente más rico que $X$ ($X \subsetneq W$) para garantizar la identificabilidad.
• Modelo: El parámetro objetivo $\tau$ se define mediante una regresión parcialmente lineal: $E[Y | G, X] = \mu(X) + \tau G$.
• Supuesto: La salida del clasificador $p = f(W)$ está calibrada condicionalmente, satisfaciendo $E[G | p, X] = p$.

Basándose en un resultado de identificación complementario [8], los autores utilizan una ecuación de momentos para identificar $\tau$ utilizando directamente la puntuación calibrada $p$ (el estimador "suave"). Luego analizan las propiedades del estimador "duro", que reemplaza $p$ por una etiqueta binaria umbralizada $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$.

3. Contribuciones Clave y Resultados Teóricos

El artículo deriva cinco predicciones específicas y un procedimiento de diagnóstico, formalizados de la siguiente manera:

I. Sesgo de Atenuación de Forma Cerrada (Predicción 1)
El artículo deriva una expresión de forma cerrada para el sesgo de atenuación inducido por el pseudo-etiquetado duro. El límite en probabilidad del estimador duro $\hat{\tau}_{hard}$ es:
$$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$$
donde el factor de atenuación $\kappa(\tau_{thr})$ es la pendiente OLS poblacional de la etiqueta dura residualizada sobre la puntuación suave residualizada.

• Significado: Este factor es computable antes de ejecutar cualquier inferencia, únicamente a partir de la distribución conjunta de $(p, X)$ en el conjunto no etiquetado. Cuantifica exactamente cuánto señal se pierde al binarizar la probabilidad en un umbral específico.

II. Varianza de Sándwich para Estimadores Suaves (Predicción 2)
La varianza asintótica del estimador suave (usando $p$ directamente) escala inversamente con el cuadrado de la varianza de la puntuación residual $V^* = E[\text{Var}(p|X)]$.

• Implicación: Incluso reducciones modestas en la informatividad de la puntuación (baja $V^*$) conducen a pérdidas masivas de precisión. El artículo proporciona un plug-in de varianza de sándwich que produce intervalos de Wald válidos.

III. Arrepentimiento Sesgo-Varianza del Umbral de Confianza (Predicción 3)
Para métodos que restringen el pseudo-etiquetado a un subconjunto confiable (por ejemplo, estilo FixMatch), el Error Cuadrático Medio (MSE) se descompone en un término de sesgo al cuadrado (impulsado por $\kappa_{FM}$) y un término de varianza (inflado por el tamaño de muestra reducido $|C|$).

• Hallazgo: A medida que el umbral se vuelve más selectivo, la varianza crece monótonamente mientras que el sesgo puede fluctuar. El MSE total a menudo se vuelve impulsado por la varianza, haciendo que el estimador suave sea superior en muchos regímenes a pesar de su falta de etiquetas "duras".

IV. Límite de Sensibilidad bajo Deriva de Calibración (Predicción 4)
Bajo un desplazamiento de distribución acotado donde la condición de calibración se cumple con un error $\eta(p, X)$ acotado por $\delta$, el sesgo asintótico está acotado por:
$$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$$

• Implicación: Una mayor varianza residual $V^*$ (puntuaciones más informativas) reduce proporcionalmente el sesgo en el peor de los casos para un nivel dado de deriva de calibración.

V. El Límite de Colapso de $V^*$ (Predicción 5)
El artículo identifica un límite agudo: $V^* = 0$ si y solo si $p$ es una función determinista de $X$.

• Requisito Estructural: Si las características del clasificador $W$ son idénticas a los controles aguas abajo $X$, entonces $p = f(X)$, $V^*=0$, y la ecuación de momentos se vuelve no informativa (falla la identificación). El remedio es asegurar que $W$ contenga características no controladas en la regresión aguas abajo.

4. El Procedimiento de Diagnóstico

Los autores proponen un algoritmo de diagnóstico práctico, de una página (Algoritmo 1), para que los practicantes decidan si el umbral de confianza es seguro:

1. Calcular $V^*$: Estimar la varianza residual de la puntuación calibrada después de regredir $X$ en el conjunto no etiquetado.
2. Calcular $\hat{\kappa}$: Para una cuadrícula de umbrales, estimar el factor de atenuación.
3. Regla de Decisión:
   • Si el error estándar implícito del estimador suave es demasiado alto (debido a una $V^*$ baja), preferir la línea base supervisada (usando solo $L$).
   • Si $\hat{\kappa}$ está lejos de 1 para todos los umbrales, el umbral duro causa una atenuación significativa; preferir el estimador suave.
   • De lo contrario, cualquiera es aceptable, aunque se recomienda el estimador suave por su robustez frente a la elección del umbral.

5. Resultados Experimentales

El artículo valida estas predicciones mediante cinco simulaciones controladas y una ilustración con datos reales en el conjunto de datos UCI Adult Income:

• Atenuación: Las estimaciones empíricas de $\hat{\tau}_{hard}$ coincidieron con las predicciones de forma cerrada $\kappa(\tau_{thr})$ a través de seis umbrales diferentes con alta significancia estadística.
• Varianza: La fórmula de varianza de sándwich predijo con precisión la varianza de Monte Carlo y logró una cobertura nominal del 95%.
• Arrepentimiento: Los experimentos confirmaron que los umbrales de alta confianza a menudo conducen a un MSE alto debido a la inflación de la varianza, validando el análisis de compensación sesgo-varianza.
• Sensibilidad: El límite de sensibilidad derivado se mantuvo bajo diversos escenarios de deriva de calibración, con un sesgo empírico que se mantuvo muy por debajo del sobreteórico del peor de los casos.
• Caso del Mundo Real: En el experimento con Adult de UCI, el diagnóstico identificó correctamente que la línea base supervisada (OLS en $L$) superó a los estimadores con pseudo-etiquetas porque el conjunto etiquetado era suficientemente informativo y la probabilidad condicional estaba bien explicada por los controles (baja $V^*$ relativa al ruido). Por el contrario, el diagnóstico mostró que las etiquetas duras en este conjunto de datos incurrieron en una atenuación mínima ($\hat{\kappa} \approx 0.92$) debido a la riqueza de las características del clasificador.

6. Significado y Afirmaciones

El artículo reclama una contribución operativa en lugar de una nueva arquitectura algorítmica. No propone un nuevo algoritmo de pseudo-etiquetado ni compite con pérdidas de clasificación de última generación (como FixMatch). En su lugar, proporciona:

1. Una justificación cuantitativa de por qué el umbral de confianza sesga los coeficientes de regresión aguas abajo.
2. Una herramienta de diagnóstico (regla de decisión $(V^*, \kappa)$) que permite a los practicantes calcular, a priori, si el uso de etiquetas duras es seguro o si deben ceñirse a puntuaciones suaves o a un enfoque puramente supervisado.
3. Una perspectiva estructural de que la separación entre las características del clasificador ($W$) y los controles aguas abajo ($X$) no es meramente una elección de diseño, sino una necesidad matemática para la identificación en este escenario.

Los autores enfatizan que su marco es "consciente de la calibración", traduciendo la calidad abstracta de la calibración de un clasificador en límites concretos sobre el sesgo de estimación aguas abajo, cerrando así la brecha entre el rendimiento de clasificación y la inferencia causal/associativa.