Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

Este trabajo presenta un marco robusto para la cuantificación de incertidumbre en datos con etiquetas corruptas, analizando la resistencia del método de predicción conforme con información privilegiada ante errores de ponderación e introduciendo una nueva técnica de imputación incierta que, junto con garantías teóricas y validación empírica, permite construir un sistema triplemente robusto para generar conjuntos de predicción válidos.

Lo esencial

¡Hola! Imagina que eres un chef experto (el modelo de aprendizaje automático) que intenta predecir qué plato le gustará más a un cliente (la respuesta o etiqueta). Tu objetivo no es solo decir "te gustará el sushi", sino dar un abanico de opciones seguras: "Te gustará el sushi, el sashimi o los rollos de aguacate". A esto, en el mundo de la inteligencia artificial, le llamamos Conformal Prediction (Predicción Conformada). La promesa es: "Estoy 90% seguro de que tu plato favorito estará en esta lista".

El problema es que, a veces, la receta que usaste para entrenarte (los datos de entrenamiento) está estropeada.

En este artículo, los autores (Shai, Stephen y Yaniv) se enfrentan a dos problemas comunes en la vida real:

1. Etiquetas corruptas: A veces, en la receta, el ingrediente principal está tachado, escrito mal o simplemente falta (como si te dijeran "comiste algo de marisco" pero no especifican cuál).
2. Información Privilegiada (PI): Imagina que, mientras aprendías a cocinar, tenías acceso a un chef estrella (un experto) que te susurraba secretos sobre los clientes (su historial de alergias, gustos ocultos, etc.). Pero, ¡oh no! Cuando llega el cliente real a tu restaurante, ese chef estrella ya no está. No tienes esos secretos en el momento de la predicción.

Aquí te explico las tres soluciones que proponen, con analogías sencillas:

1. El Problema: "El Chef sin sus Secretos"

Normalmente, para hacer una buena predicción, necesitas que los datos de entrenamiento y los de la realidad sean iguales. Pero si las etiquetas están rotas (falta información), tu "receta" se desequilibra. Si intentas predecir solo con lo que ves, fallarás.

2. Solución A: "El Peso de la Confianza" (Privileged Conformal Prediction - PCP)

Imagina que intentas compensar la falta de datos usando los susurros del chef estrella que tuviste antes. Sabes que ciertos clientes (por ejemplo, los que tienen un perfil específico) suelen tener recetas más "sucias" o incompletas.

• La idea: Das más peso a las recetas que parecen limpias y menos a las que parecen sospechosas, basándote en lo que sabía el chef estrella.
• El hallazgo de los autores: Descubrieron algo sorprendente. ¡No necesitas ser perfecto! Incluso si tus cálculos sobre "cuánto peso dar" no son exactos (si el chef susurraba un poco mal), tu predicción sigue siendo segura. Es como si tuvieras una red de seguridad: aunque calcules mal la tensión de la cuerda, mientras no te pases demasiado, no caerás.

3. Solución B: "La Adivinanza con Incertidumbre" (Uncertain Imputation - UI)

Esta es la estrella del show. Imagina que tienes un ingrediente faltante en la receta (la etiqueta corrupta).

• El error común: La mayoría de la gente diría: "Bueno, el ingrediente promedio es sal, así que pondré sal". Esto es peligroso porque asumes que es exactamente sal, eliminando la duda.
• La idea de los autores (UI): En lugar de poner solo "sal", dices: "Pondré sal, pero como no estoy 100% seguro, añadiré un poco de pimienta y un poco de especia extra para cubrir todas las posibilidades".
• Cómo funciona: Usan la información del chef estrella (que sí tienen en el entrenamiento) para adivinar qué ingrediente falta, pero agregan un "ruido" o variación que simula la incertidumbre. No adivinan el valor exacto, adivinan el rango de valores posibles.
• El resultado: Al incluir esa "duda" en la predicción, la lista de platos posibles se vuelve más amplia y, por lo tanto, mucho más segura. Es como llevar un paraguas grande en lugar de uno pequeño; si llueve un poco más de lo esperado, sigues seco.

4. La Solución Definitiva: "El Equipo de Tres" (Triply Robust)

Los autores dicen: "¿Por qué elegir solo una estrategia? ¡Usemos las tres a la vez!".
Imagina que tienes tres guardias de seguridad en la puerta de tu restaurante:

1. Guardia 1: Confía en que tu modelo de cocina es perfecto.
2. Guardia 2: Confía en que tus cálculos de peso (PCP) son buenos.
3. Guardia 3: Confía en que tu adivinanza con incertidumbre (UI) es correcta.

La regla es simple: Si al menos uno de los tres guardias tiene razón, la puerta se cierra y el cliente está seguro. No importa si los otros dos se equivocan; mientras uno mantenga la promesa de seguridad, el sistema funciona. Esto hace que el método sea extremadamente resistente a errores.

En Resumen

Este paper nos enseña que, incluso cuando los datos están sucios, faltan etiquetas o perdemos información privilegiada, podemos seguir haciendo predicciones seguras.

• No necesitas ser un genio matemático para calcular los pesos exactos (la robustez).
• Es mejor adivinar con "duda" incluida que adivinar con falsa certeza (la imputación incierta).
• Y lo mejor de todo: si combinas varias estrategias, creas un sistema a prueba de fallos (triplemente robusto).

Es como decir: "No sé exactamente qué plato te gustará porque mi receta está rota, pero gracias a estas técnicas, te prometo que tu plato favorito estará en esta lista de opciones, con un 90% de seguridad, sin importar los errores en mi entrenamiento".

Resumen técnico

Resumen Técnico: Predicción Conformal con Etiquetas Corruptas

1. Planteamiento del Problema

El trabajo aborda el desafío de la cuantificación de incertidumbre robusta en escenarios de aprendizaje automático donde los datos de entrenamiento tienen etiquetas corruptas (ruidosas o faltantes).

• Contexto: La predicción conformal (CP) es una herramienta estadística estándar para generar conjuntos de predicción que cubren la etiqueta verdadera con una probabilidad predefinida (ej. 90%). Sin embargo, la validez teórica de la CP asume que los datos de entrenamiento y prueba son intercambiables (i.i.d.).
• El Desafío: Cuando las etiquetas están corruptas (ej. faltan aleatoriamente dependiendo de ciertas características), se produce un cambio de distribución (distribution shift). Aplicar CP de manera ingenua solo con los datos observados o limpios resulta en conjuntos de predicción que no logran la cobertura nominal deseada (subcobertura o sobre-cobertura).
• Limitaciones de Métodos Previos:
  • La Predicción Conformal Ponderada (WCP) puede corregir este sesgo utilizando información privilegiada (PI) para re-pesar la distribución, pero requiere que las características de la PI estén disponibles en el momento de la prueba, lo cual a menudo no ocurre (ej. por privacidad).
  • La Predicción Conformal Privilegiada (PCP) intenta resolver esto sin acceso a la PI en la prueba, pero asume que se conocen las pesos verdaderos de la distribución. En la práctica, estos pesos deben estimarse, y la literatura previa no había analizado rigurosamente qué sucede si estas estimaciones son inexactas.

2. Metodología Propuesta

Los autores proponen un marco que analiza la robustez de los métodos existentes y introduce una nueva técnica de imputación.

A. Análisis de Robustez de PCP y WCP

• Se estudia la sensibilidad de PCP y WCP ante errores en la estimación de los pesos ($w$).
• Hallazgo Teórico: Contrario a la intuición de que se necesitan pesos perfectos, el análisis demuestra que estos métodos pueden mantener una cobertura válida incluso con errores significativos en los pesos, bajo ciertas condiciones relacionadas con si la CP ingenua (Naive CP) tiende a subcobrir o sobrecobrir.
• Se establecen condiciones teóricas (Teoremas 2 y 3) que definen regiones de error en los pesos donde la validez se preserva.

B. Imputación Incierta (Uncertain Imputation - UI)

• Concepto: Se introduce una nueva metodología que no depende de la estimación de pesos, sino de la capacidad de estimar bien la etiqueta limpia ($Y$) a partir de la Información Privilegiada ($Z$).
• Mecanismo:
  1. Se entrena un modelo $\hat{g}(X, Z)$ para predecir la etiqueta limpia usando la PI.
  2. En lugar de imputar la etiqueta corrupta con una sola predicción puntual (lo que reduciría la incertidumbre artificialmente), se imputa añadiendo un error residual aleatorio extraído de una distribución de errores observada en un conjunto de referencia.
  3. La etiqueta imputada $\bar{Y}$ se define como: $\bar{Y} = \hat{g}(X, Z) + \epsilon$, donde $\epsilon$ captura la incertidumbre del modelo.
• Garantía: Bajo la suposición de que los errores residuales son independientes de la predicción dada la PI, y que la densidad de la distribución de $Y$ es "picuda" dentro del intervalo de predicción, se demuestra teóricamente que la cobertura marginal se mantiene válida (Teorema 4).

C. Calibración Triplemente Robusta (TriplyRobust)

• Se propone combinar tres enfoques en un solo conjunto de predicción:
  1. CP Ingenua: Válida si el modelo base es perfecto y no hay cambio de distribución.
  2. PCP: Válida si los pesos (probabilidad de corrupción) se estiman bien.
  3. UI: Válida si la etiqueta se puede predecir bien a partir de la PI.
• Resultado: El conjunto final es la unión de los tres ($C_{Triply} = C_{Naive} \cup C_{PCP} \cup C_{UI}$). Esto garantiza la validez estadística si al menos una de las tres condiciones subyacentes se cumple, ofreciendo una robustez máxima.

3. Contribuciones Clave

1. Análisis de Robustez de PCP: Se proporciona la primera caracterización teórica de las condiciones bajo las cuales PCP y WCP mantienen la validez con pesos estimados inexactos, demostrando que la validez es más robusta de lo que se pensaba.
2. Nueva Metodología (UI): Introducción de la "Imputación Incierta", un esquema de calibración que preserva la incertidumbre al imputar etiquetas corruptas, garantizando validez sin necesidad de estimar pesos de distribución.
3. Marco Triplemente Robusto: Integración de métodos complementarios para asegurar cobertura válida bajo múltiples escenarios de fallo de supuestos.
4. Validación Empírica y Teórica: Demostración de que UI supera a PCP cuando los pesos son difíciles de estimar, y que el método combinado mantiene la eficiencia estadística.

4. Resultados Experimentales

Los autores validaron sus métodos en datos sintéticos y reales (incluyendo conjuntos como MEPS, Facebook, Bio, House y NSLM):

• Robustez de Pesos: En experimentos sintéticos, se mostró que PCP mantiene la cobertura del 90% incluso con errores de peso constantes o variables, siempre que se cumplan las condiciones teóricas derivadas.
• Comparación UI vs. PCP: En escenarios donde la estimación de los pesos es difícil (mecanismo de falta complejo), PCP falla (subcobertura), mientras que UI logra consistentemente la cobertura nominal del 90%.
• TriplyRobust: El método combinado logra la cobertura deseada en todos los escenarios probados, incluso cuando los componentes individuales (como un modelo de regresión cuantílica degenerado o pesos estimados mal) fallan por separado.
• Eficiencia: A pesar de ser la unión de tres intervalos, TriplyRobust no es excesivamente conservador; los intervalos resultantes son razonablemente estrechos cuando al menos uno de los métodos subyacentes es preciso.

5. Significado e Impacto

• Aplicabilidad en el Mundo Real: Este trabajo es crucial para aplicaciones de alto riesgo (salud, finanzas, justicia) donde los datos de entrenamiento a menudo son incompletos o ruidosos, y donde la privacidad impide el acceso a ciertas variables (PI) en tiempo de prueba.
• Avance Teórico: Cambia la perspectiva sobre la necesidad de estimaciones perfectas en métodos de re-pesado, ofreciendo garantías de validez bajo incertidumbre paramétrica.
• Nueva Dirección: La técnica de "Imputación Incierta" ofrece una alternativa prometedora a los métodos de imputación clásicos (que suelen ser deterministas y subestiman la incertidumbre), alineándose mejor con los principios de la cuantificación de incertidumbre.
• Reproducibilidad: El código y los experimentos están disponibles públicamente, facilitando la adopción de estas técnicas robustas en la comunidad de aprendizaje automático.

En resumen, el artículo proporciona un marco teórico y práctico sólido para realizar inferencias confiables en presencia de datos corruptos, superando las limitaciones de los métodos de conformalidad tradicionales y ofreciendo una solución "a prueba de fallos" mediante la combinación de estrategias complementarias.