Resumen Técnico: Aprendizaje a partir de Etiquetas Faltantes Dependientes de la Incertidumbre para la Clasificación Semi-supervisada

1. Planteamiento del Problema

En la clasificación semi-supervisada, las etiquetas faltantes se consideran tradicionalmente como una fuente de pérdida de información, lo que reduce la eficiencia y complica la inferencia. Sin embargo, en muchos escenarios prácticos —como el procesamiento de imágenes médicas, el aprendizaje activo y la moderación en línea— las etiquetas no faltan al azar (MAR) en un sentido pasivo. En cambio, la probabilidad de que una etiqueta falte suele depender de las características observadas ($Y$) y, crucialmente, de la incertidumbre de la clasificación posterior derivada del propio modelo de etiquetas.

El problema central abordado es cómo caracterizar el contenido de información de tales etiquetas faltantes dependientes de la incertidumbre. Mientras que la teoría de la información clásica dicta que observar una versión reducida de un experimento completo no puede aumentar la información más allá del experimento completo aumentado, este artículo investiga si el indicador de ausencia ($M$) mismo, cuando es generado por un mecanismo dependiente de la incertidumbre, puede actuar como una señal observable que mejore el rendimiento de la estimación y la clasificación en relación con los estándares de líneas base de etiquetas completas o parcialmente etiquetadas no informativas bajo un presupuesto fijo.

2. Metodología

2.1. Marco Estadístico

Los autores consideran un escenario de clasificación con $g$ clases, características $Y$ y etiquetas $Z$. El indicador de ausencia $M \in \{0, 1\}$ denota si una etiqueta está observada ($M=0$) o ausente ($M=1$). El mecanismo de ausencia se modela como:
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
donde $h$ es una función de enlace inversa, y $\eta_{\theta,\xi}(Y)$ es un predictor que depende de los parámetros del modelo de etiquetas $\theta$, los parámetros del mecanismo $\xi$, y un resumen de la incertidumbre de la clasificación posterior $u(Y; \theta)$. Los ejemplos de $u(Y; \theta)$ incluyen la entropía de Shannon posterior, la entropía negativa o la varianza posterior.

La verosimilitud de los datos observados se construye como:
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)]\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
donde el primer término se aplica cuando las etiquetas están observadas y el segundo (densidad marginal de las características) cuando faltan.

2.2. Descomposición de la Información

La contribución metodológica central es una teoría de la información basada en la verosimilitud que descompone la información de Fisher observada $I_{obs}(\theta)$.

Caso de Especificación Correcta:
Utilizando la identidad de información observada de Louis, los autores derivan una descomposición que separa la información en un componente de etiquetado parcial y un término de curvatura del mecanismo:
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{Componente de etiquetado parcial}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{Curvatura del mecanismo}}$$

• $I_{CC}(\theta)$: Información de Fisher de datos completos.
• $I_{CC}^{(miss,r)}(\theta, \xi)$: Pérdida de información faltante ponderada.
• $I_{mech}(\theta, \xi)$: Un término semidefinido positivo que cuantifica la curvatura contribuida por los indicadores de ausencia $M_j$. Para enlaces logísticos, este término depende de la varianza de la probabilidad de ausencia y el gradiente del resumen de la incertidumbre.

Caso de Especificación Incorrecta:
Reconociendo que tanto el modelo de etiquetas como el mecanismo pueden estar mal especificados en la práctica, los autores extienden el marco al marco de covarianza Godambe–Eicker–Huber–White (sandwich). Derivan las particiones de sensibilidad y de covarianza sandwich para la estimación conjunta de $(\theta, \xi)$, demostrando que la descomposición estructural (etiquetado parcial + curvatura del mecanismo) persiste incluso bajo la especificación incorrecta, aunque la cuantificación de la incertidumbre se desplaza de la información de Fisher inversa a la covarianza sandwich.

2.3. Límites Teóricos

El artículo clarifica la relación entre el experimento parcialmente etiquetado observado y el experimento "aumentado" donde tanto las etiquetas como los indicadores del mecanismo son observados. Demuestra que, si bien la ausencia dependiente de la incertidumbre puede producir una ausencia favorable (mayor información que una línea base no informativa con un presupuesto equivalente), no puede exceder el límite de información del experimento aumentado $(Y, Z, M)$. Los datos observados $(Y, M, Z_{obs})$ son un desvanecimiento (coarsening) de los datos aumentados, satisfaciendo las desigualdades de información estándar.

2.4. Análisis de Riesgo

Para clasificadores de tipo plug-in, los autores conectan la descomposición de la información con límites de exceso de riesgo basados en el margen. En entornos de mezcla de dos componentes regulares, establecen que el exceso de riesgo converge a la tasa paramétrica $O_p(n^{-1})$. Las constantes en esta tasa están determinadas por la información con ajuste de variables de molestia en las direcciones discriminantes, lo que implica que una curvatura de mecanismo favorable puede reducir la varianza asintótica de la frontera de decisión.

3. Contribuciones Clave

1. Descomposición de la Información: Derivación de una descomposición de la información de Fisher que aísla explícitamente un término de "curvatura del mecanismo" no negativo. Este término explica cómo el indicador de ausencia, cuando depende de la incertidumbre posterior, porta información adicional sobre el clasificador.
2. Robustez bajo Especificación Incorrecta: Extensión de la descomposición al marco de covarianza sandwich bajo la especificación incorrecta conjunta del modelo de etiquetas y el mecanismo de ausencia, proporcionando una base rigurosa para la inferencia en entornos prácticos donde se utilizan modelos de trabajo.
3. Tasas de Exceso de Riesgo: Establecimiento de límites de exceso de riesgo basados en el margen para clasificadores plug-in bajo ausencia dependiente de la incertidumbre, demostrando que la ausencia favorable conduce a un mejor rendimiento de clasificación (menor varianza asintótica) bajo presupuestos de etiquetado fijos.
4. Clarificación de la "Ausencia Favorable": Una definición y prueba rigurosa de que la ausencia favorable es una ganancia relativa sobre las líneas base no informativas o de etiquetas completas con el mismo presupuesto, y no una violación de las desigualdades de información clásicas respecto al experimento de datos completos aumentado.

4. Resultados

4.1. Ilustraciones Numéricas (Mezclas Gaussianas)

• Ganancia de Información: En un entorno de mezcla gaussiana de dos componentes, las simulaciones de Monte Carlo demuestran que los mecanismos de ausencia dependientes de la entropía pueden generar un aumento de tres veces en la información de Fisher a lo largo de la dirección discriminante en comparación con una línea base no informativa (MCAR) con la misma tasa de ausencia.
• Dependencia del Régimen: La ganancia de información es no monótona con respecto a la tasa de ausencia y la sensibilidad del diseño. Se maximiza cuando hay un solapamiento de clases moderado, una tasa de ausencia no excesiva y un mecanismo lo suficientemente sensible como para concentrar la ausencia cerca de las observaciones de alta incertidumbre sin saturarse.
• Análisis Costo-Beneficio: Bajo un presupuesto total fijo (equilibrando el costo de recolección de características y el costo de etiquetado), la tasa de ausencia óptima aumenta con el costo relativo del etiquetado. Los diseños dependientes de la incertidumbre permiten tamaños de muestra de características más grandes manteniendo o mejorando la eficiencia de la estimación en comparación con los diseños totalmente supervisados.

4.2. Caso de Estudio (Diagnóstico Médico)

El marco se aplicó a un conjunto de datos de diagnóstico gastrointestinal (videos de colonoscopia) donde las etiquetas se derivaron del consenso de los endoscopistas.

• Validación del Mecanismo: Los datos confirmaron que la ausencia de etiquetas (fal la de consenso) estaba fuertemente asociada con una mayor entropía posterior (incertidumbre).
• Rendimiento: Los modelos semi-supervisados (SSL) basados en la entropía superaron a un referente supervisado entrenado solo con los 35 casos etiquetados disponibles.
  • El modelo SSLlogit logró la tasa de error de predicción más baja (0.1325) en comparación con el referente supervisado (0.1775).
  • Los modelos SSL exhibieron matrices de información de Fisher ajustadas más grandes, lo que indica una mayor eficiencia de estimación impulsada por el término de curvatura del mecanismo.

5. Significación y Reivindicaciones

El artículo afirma proporcionar un marco basado en la verosimilitud para comprender cómo la ausencia dependiente de la incertidumbre reconfigura la geometría de la información en el aprendizaje semi-supervisado. Su importancia radica en:

• Reencuadre de la Ausencia: Cambiar la perspectiva de las etiquetas faltantes de ser un estorbo (nuisance) a ser imputado o ignorado, a ser una señal estructurada que puede modelarse explícitamente para mejorar la inferencia.
• Resolución de la Paradoja: Clarificar que la "ausencia favorable" no viola la teoría de la información clásica; más bien, explota el hecho de que el indicador de ausencia $M$ es una variable observable generada por un mecanismo vinculado a la incertidumbre del clasificador.
• Utilidad Práctica: Demostrar que modelar explícitamente el mecanismo de ausencia (por ejemplo, mediante el enmascaramiento dependiente de la entropía) puede conducir a mejoras tangibles tanto en la estimación de parámetros (mediante el aumento de la información de Fisher) como en la precisión de la clasificación (mediante la reducción del exceso de riesgo) bajo restricciones de recursos fijas.
• Robustez: Proporcionar una base teórica (vía el estimador sandwich) que sigue siendo válida incluso cuando los modelos de trabajo para la distribución de etiquetas o el mecanismo de ausencia son imperfectos, lo cual es típico en aplicaciones del mundo real.

Los autores concluyen que, si bien las ganancias son locales y dependen del régimen, el marco ofrece una forma fundamentada de aprovechar los efectos de selección en la recolección de datos para un aprendizaje semi-supervisado más eficiente.