Neyman-Pearson multiclass classification under label noise via empirical likelihood

Resumen Técnico: Clasificación Multiclase de Neyman-Pearson bajo Ruido de Etiquetas mediante Verosimilitud Empírica

1. Planteamiento del Problema

En aplicaciones de aprendizaje automático de alto riesgo (como diagnóstico médico o detección de fraude), las consecuencias de los errores de clasificación no son simétricas. El marco de Clasificación Multiclase de Neyman-Pearson (NPMC) aborda esto minimizando un riesgo de error ponderado, sujeto a límites superiores estrictos en las probabilidades de error específicas por clase.

Sin embargo, la mayoría de los métodos NPMC existentes asumen que las etiquetas de entrenamiento son perfectas. En la práctica, los datos suelen estar contaminados por ruido de etiquetas (errores de anotación, medición o variabilidad de modelos de lenguaje), lo que puede distorsionar severamente el control de errores y llevar a violaciones de las restricciones de seguridad.

El problema central: ¿Cómo diseñar un clasificador NPMC que garantice el control de errores específicos por clase cuando solo se dispone de datos de entrenamiento con etiquetas ruidosas, sin conocer de antemano la matriz de transición de ruido (la probabilidad condicional de una etiqueta ruidosa dada la verdadera)?

2. Metodología Propuesta

Los autores proponen un nuevo marco basado en la Verosimilitud Empírica (EL) que no requiere conocimiento previo de los parámetros de ruido. La metodología se estructura en tres pilares:

• Modelado de la Relación entre Etiquetas:
  Se asume un ruido independiente de la instancia (la probabilidad de error depende de la clase verdadera, no de las características $X$). Se establece una relación entre la distribución de las etiquetas verdaderas ($Y$) y las ruidosas ($\tilde{Y}$) mediante un Modelo de Razón de Densidad (DRM) con inclinación exponencial.
  $$\frac{d\tilde{P}_l}{dP_0}(x) = \sum_{k} M^*_{lk} \exp(\gamma^*_k + \langle \beta^*_k, g(x) \rangle)$$
  Donde $M^*$ es la matriz de confusión y los parámetros $\gamma, \beta$ modelan la relación entre las distribuciones condicionales.

• Estimación mediante Verosimilitud Empírica (MELE):
  En lugar de estimar primero la matriz de ruido y luego los parámetros del clasificador, el método estima simultáneamente:

  1. Las proporciones de clase verdaderas ($w^*_k$).
  2. Las probabilidades posteriores de las etiquetas limpias ($\pi^*_k(x)$).
  3. Los parámetros del modelo de razón de densidad.

  Esto se logra maximizando una función de verosimilitud empírica perfilada, tratando las etiquetas verdaderas como variables latentes.

• Algoritmo de Expectación-Maximización (EM):
  Dado que las etiquetas verdaderas son no observables, se desarrolla un algoritmo EM eficiente:

  • Paso E: Calcula la probabilidad posterior de que una observación con etiqueta ruidosa pertenezca a una clase verdadera específica, utilizando los parámetros actuales.
  • Paso M: Actualiza los parámetros del modelo ($w, \gamma, \beta, T$) maximizando la verosimilitud esperada. La actualización de los parámetros de regresión logística se realiza resolviendo una regresión logística multinomial ponderada.

• Construcción del Clasificador:
  Una vez obtenidos los estimadores consistentes de las proporciones y probabilidades posteriores limpias, se aplica el solucionador dual NPMC existente (propuesto por Tian & Feng, 2025) para obtener el clasificador final con control de errores.

3. Contribuciones Clave

• Eliminación de suposiciones previas: A diferencia de métodos anteriores (como el algoritmo "Umbrella" de NP ajustado al ruido), el método propuesto no requiere conocer la matriz de transición de ruido ni sus cotas. Aprende estos parámetros directamente de los datos.
• Garantías Teóricas Rigurosas:
  • Se demuestra la identificabilidad estricta de los parámetros bajo condiciones de regularidad estándar.
  • Se establece la consistencia y normalidad asintótica de los estimadores de máxima verosimilitud empírica (MELE) con tasas de convergencia óptimas ($O(n^{-1/2})$).
  • Se prueban desigualdades de oráculo NP: el clasificador resultante satisface las restricciones de error de clase específicas con respecto a las etiquetas verdaderas, con un término de error que desaparece asintóticamente.
• Generalidad: El marco es aplicable tanto a clasificación binaria como multiclase, llenando un vacío en la literatura que se centraba principalmente en casos binarios o requería conocimiento del ruido.

4. Resultados Empíricos

Los autores evaluaron el método mediante simulaciones extensas y experimentos con datos reales (conjuntos de satélites Landsat y granos secos).

• Comparación con Baselines: Se comparó contra:
  • Vanilla: Ignora el ruido (aplica NPMC directamente a etiquetas ruidosas).
  • NPC/NPC:* Métodos existentes que requieren conocer la matriz de ruido o sus cotas.
  • Oracle: El clasificador ideal entrenado con etiquetas limpias.
• Desempeño:
  • El método "Vanilla" resulta excesivamente conservador, inflando drásticamente el error de tipo II (falsos negativos) para intentar cumplir las restricciones de tipo I.
  • El método propuesto logra un rendimiento cercano al óptimo (Oracle), controlando los errores de tipo I en el nivel objetivo y minimizando el error de tipo II, incluso cuando el modelo de razón de densidad está mal especificado.
  • En datos reales, el método supera significativamente a los enfoques que ignoran el ruido y se mantiene robusto a medida que aumenta el nivel de ruido ($\eta$).

5. Significado e Impacto

Este trabajo es fundamental para la implementación segura de sistemas de IA en dominios críticos. Al demostrar que es posible recuperar el control de errores estricto de Neyman-Pearson sin conocer la naturaleza exacta del ruido de las etiquetas, el método:

1. Aumenta la viabilidad práctica de la clasificación NPMC en escenarios del mundo real donde la anotación perfecta es imposible o costosa.
2. Reduce el riesgo de seguridad al evitar que los sistemas de clasificación se vuelvan excesivamente conservadores (lo que podría llevar a no detectar enfermedades o fraudes) o demasiado agresivos (violando límites de seguridad).
3. Proporciona un marco teórico sólido para el aprendizaje supervisado bajo ruido, conectando la verosimilitud empírica con la teoría de control de errores asimétricos.

En resumen, la propuesta ofrece una solución robusta, teóricamente fundamentada y computacionalmente eficiente para el desafío de la clasificación multiclase con garantías de error en presencia de datos contaminados.