Resumen Técnico: Unificación y Optimización del Aprendizaje Supervisado Robusto

Enunciado del Problema

En el aprendizaje supervisado, los profesionales enfrentan una secuencia de decisiones bajo incertidumbre, que abarca desde la recopilación y etiquetado de datos hasta el despliegue del modelo. En cada etapa, pueden ocurrir modos de fallo, incluyendo degeneraciones por muestras finitas (datos no representativos), ruido en las etiquetas (anotaciones subjetivas o inconsistentes) y desplazamientos de distribución (diferencias entre los entornos de entrenamiento y despliegue). Aunque existe una vasta literatura que propone alternativas robustas a la Minimización del Riesgo Empírico (ERM)—tales como la Optimización Robusta Distribucional (DRO), el Alisado de Etiquetas, la Minimización del Riesgo Vicinal (VRM) y Mixup—, estos métodos suelen desarrollarse de forma aislada.

Esta fragmentación obliga a los profesionales a comprometerse a priori con un único modo de fallo y un mecanismo de robustez correspondiente, incluso cuando la fuente dominante de incertidumbre para una tarea específica no está clara. Además, las elecciones de modelado implícitas subyacentes a estos métodos (cómo se representan las distribuciones de datos, qué desviaciones se consideran plausibles y cómo se resuelve la incertidumbre) están entrelazadas dentro de objetivos específicos, lo que dificulta la comparación y combinación sistemáticas. El artículo argumenta que los mecanismos dirigidos a diferentes modos de fallo pueden combinarse para superar a cualquier método individual cuando coexisten múltiples modos, sin embargo, los marcos actuales carecen de una forma unificada para descubrir estas combinaciones óptimas.

Metodología: Un Marco Unificado

Los autores proponen un marco unificado que descompone el aprendizaje supervisado robusto en tres ejes de diseño ortogonales, tratándolos como dimensiones independientes en lugar de componentes fijos de algoritmos específicos.

1. Los Tres Ejes de Diseño

El marco define un problema general de aprendizaje robusto basado en:

• Distribución de Referencia ($P_{ref}$): La distribución alrededor de la cual se definen las perturbaciones. Puede ser la distribución empírica ($P_n$) o una variante suavizada/aumentada (por ejemplo, mediante VRM o Mixup).
• Conjunto de Ambigüedad ($U(P_{ref})$): Un conjunto de distribuciones plausibles que capturan la incertidumbre en las entradas, las etiquetas o ambas. Se define mediante una distancia de distribución $\Delta$ (por ejemplo, distancia de Wasserstein o divergencia KL) y un radio de perturbación $\varrho$. El conjunto se define formalmente como $U(P_{ref}) = \{Q \in \mathcal{P}(\mathcal{X} \times \mathcal{Y}) : \Delta(Q, P_{ref}) \leq \varrho\}$.
• Principio de Desambiguación ($\Phi$): Una regla que codifica la postura del profesional frente a la incertidumbre dentro del conjunto de ambigüedad.
  • Pesimista: Asume que las desviaciones representan amenazas posteriores al despliegue (por ejemplo, ataques adversarios, desplazamiento de covariables) y busca el riesgo del peor caso ($\sup$).
  • Optimista: Asume que las desviaciones representan contaminación previa al despliegue (por ejemplo, ruido en las etiquetas) que puede ser parcialmente corregible y busca el riesgo del mejor caso ($\inf$).
  • Neutral: Corresponde a la agregación estándar (por ejemplo, esperanza).

El objetivo general se formula como:
$$\hat{h}_{robust} = \arg \min_{h \in \mathcal{H}} \Phi_{Q \in U(P_{ref})} \mathbb{E}_{(x,y) \sim Q} [\ell(h(x), y)]$$

2. Conexiones Teóricas

El artículo demuestra que muchos métodos existentes son casos especiales de este marco al fijar elecciones específicas a lo largo de los tres ejes. Para modelos lineales con pérdida cuadrática, los autores derivan reducciones en forma cerrada que muestran cómo estos métodos se comportan como regularizadores:

• VRM (ruido gaussiano): Se reduce a ERM con un término de regularización $\ell_2$ ($\sigma^2 \|w\|^2$).
• Mixup: Para mínimos cuadrados lineales, Mixup deja el minimizador sin cambios en comparación con ERM, ya que penaliza la varianza residual, la cual ya es cero en el óptimo de ERM.
• W-DRO: Se reduce a ERM con un regularizador lineal en $\|w\|$ pero escalado por la media empírica del residuo absoluto.
• Alisado de Etiquetas: Reescala la magnitud de la solución de ERM sin cambiar su dirección.

3. Procedimiento de Entrenamiento Tractable

Para hacer práctico este marco, los autores derivan una única tubería de entrenamiento que expone todas las opciones de diseño como hiperparámetros continuos. El procedimiento procesa un mini-lote a través de cuatro etapas secuenciales antes de una actualización de gradiente:

1. Riqueza de la Distribución de Referencia: Aplica perturbaciones en el espacio de entrada (por ejemplo, ruido gaussiano para VRM o interpolación para Mixup) o deja los datos intactos.
2. Perturbación en el Espacio de Entrada ($\Phi_X$): Aplica perturbaciones instancia a instancia dentro de una bola de Wasserstein (mediante Descenso de Gradiente Proyectado) con una elección de postura pesimista, neutral u optimista.
3. Perturbación en el Espacio de Etiquetas ($\Phi_Y$): Aplica perturbaciones en las etiquetas dentro de un conjunto credal (por ejemplo, alisado de etiquetas, relajación o desplazamiento adversario) con una elección de postura.
4. Agregación a Nivel de Muestra ($\Phi_S$): Agrega las pérdidas a través del lote utilizando una formulación dual restringida por KL (por ejemplo, ERM inclinada para agregación pesimista/optimista).

Esta función de pérdida unificada permite la Optimización Conjunta de Hiperparámetros (HPO). En lugar de seleccionar un método manualmente, los profesionales pueden ajustar el espacio de búsqueda completo $(\sigma, \varrho, \alpha, \tau)$ conjuntamente utilizando optimizadores de caja negra estándar (por ejemplo, optimización bayesiana). Esto replantea el papel del profesional, pasando de seleccionar un mecanismo de robustez a especificar un presupuesto de búsqueda.

Contribuciones Clave

1. Marco Unificado: Una formulación general que abarca tres ejes de modelado explícitos (Distribución de Referencia, Conjunto de Ambigüedad, Principio de Desambiguación) que recupera una amplia clase de métodos existentes como casos especiales.
2. Clarificación Teórica: Reducciones en forma cerrada para VRM, Mixup y W-DRO en modelos lineales, aclarando sus relaciones cualitativas y sus efectos de regularización distintos.
3. Procedimiento Tractable: Una única tubería de entrenamiento donde todas las opciones de diseño son hiperparámetros continuos, lo que permite el entrenamiento de extremo a extremo mediante retropropagación y HPO conjunta.
4. Aplicabilidad Práctica: Evidencia empírica de que la optimización conjunta es competitiva con las mejores líneas base de método único en diversas tareas, ofreciendo una opción predeterminada confiable cuando el modo de fallo dominante es desconocido.

Resultados Experimentales

Los autores evaluaron el marco a través de tres modalidades: datos tabulares (benchmarks TableShift), datos de imagen (Waterbirds, CelebA) y modelado de recompensas (HH-RLHF). Compararon la configuración "Conjunta" contra ocho líneas base que representan diferentes modos de fallo (W-DRO, KL-DRO, W-DFO, KL-DFO, Alisado de Etiquetas, Relajación de Etiquetas, VRM y ERM), utilizando un presupuesto de HPO coincidente de 50 ensayos.

• Datos Tabulares: La configuración Conjunta fue competitiva con las mejores líneas base en precisión. Notablemente, mejoró significativamente el riesgo de cola (medido por CVaR), reduciéndolo a aproximadamente la mitad de la de ERM en varios conjuntos de datos.
• Datos de Imagen: En Waterbirds, donde el desequilibrio de grupos causa un desplazamiento de distribución significativo, la configuración Conjunta logró valores de CVaR un orden de magnitud menores que ERM sin costo medible en precisión. Las intervenciones del lado de las etiquetas (LS, LR) y los métodos del conjunto de ambigüedad (KL-DRO, Conjunta) fueron particularmente efectivos.
• Modelado de Recompensas: La configuración Conjunta logró la mayor precisión OOD (0.713 frente a 0.687 para la línea base más fuerte, W-DFO) y redujo el CVaR OOD.
• Análisis de Shapley: Un análisis de la tarea de modelado de recompensas reveló que las contribuciones de componentes individuales no predicen el comportamiento en combinación. Por ejemplo, el Alisado de Etiquetas (LS) fue débil en aislamiento pero dominante al interactuar con DRO para la precisión, mientras que DRO por sí solo fue el más fuerte para el riesgo de cola. Esto confirma la necesidad de optimización conjunta para descubrir la configuración correcta.
• Presupuesto de HPO: Las curvas de rendimiento de la mejor ejecución mostraron que la configuración Conjunta se estabilizó en la misma escala de tiempo que las líneas base más simples, lo que indica que su superior rendimiento no fue un artefacto de un espacio de búsqueda más grande o más ensayos.

Significado y Afirmaciones

El artículo afirma que el significado principal de este trabajo radica en liberar a los profesionales de la carga de comprometerse a priori con un único mecanismo de robustez. Al unificar el aprendizaje robusto en un único espacio de búsqueda, el marco permite el descubrimiento basado en datos de la combinación óptima de mecanismos para una tarea dada.

Los autores afirman que, aunque las líneas base de un solo eje bien ajustadas pueden igualar la configuración Conjunta en modalidades específicas, seleccionar el método correcto requiere conocer el modo de fallo dominante con antelación. La configuración Conjunta evita este problema de selección, manteniéndose consistentemente competitiva a través de modalidades y proporcionando una opción predeterminada robusta cuando los modos de fallo son desconocidos o interactúan. El trabajo avanza el campo al pasar de un paradigma de métodos aislados y competitivos a uno de opciones de diseño configurables y composibles.