Density-Ratio Losses for Post-Hoc Learning to Defer

Enunciado del Problema
Aprender a Diferir (L2D) aborda el desafío de desplegar modelos de aprendizaje automático (ML) en dominios de alto riesgo (por ejemplo, salud, finanzas) donde la fiabilidad es primordial. El objetivo es permitir que un modelo se abstenga de hacer una predicción y, en su lugar, diferir a un experto (potencialmente humano) cuando la salida del modelo se considere poco fiable. Mientras que Aprender a Rechazar (L2R) permite que los modelos se abstengan basándose en su propia confianza, L2D incorpora explícitamente a un experto en el proceso de entrenamiento para aprender cuándo es probable que el experto supere al modelo.

Una restricción crítica en el ML moderno es el entorno "post-hoc", donde un modelo base preentrenado $h$ está fijo, y solo se aprende el mecanismo de diferimiento (receptor) $r$. Reentrenar modelos grandes a menudo es prohibitivamente costoso. Los enfoques post-hoc existentes suelen depender de heurísticas simples (por ejemplo, umbrales de confianza) o intentan estimar objetivos de comparación punto a punto con el experto (prediciendo cuándo el experto es correcto y el modelo no). Sin embargo, estos métodos pueden fallar bajo desplazamientos de distribución o cuando los expertos son especializados. Además, muchos métodos existentes requieren reentrenamiento para ajustar la tasa de diferimiento, lo que limita su adaptabilidad.

Metodología
El artículo propone un marco novedoso para L2D post-hoc basado en distribuciones ideales y estimación de la razón de densidad.

1. Distribuciones Ideales: Los autores definen una "distribución ideal" como un reponderamiento regularizado por divergencia de la distribución de datos verdadera $P$, bajo la cual un par específico de clasificador-pérdida alcanza una pérdida baja. Introducen dos tipos:

   • Ideal Marginal ($Q_m$): Optimizado sobre el espacio de observación $X$.
   • Ideal Conjunto ($Q_j$): Optimizado sobre el espacio conjunto $X \times Y$.
     Para la divergencia de Kullback-Leibler (KL), se demuestra que estos ideales son reponderamientos multiplicativos de la distribución de datos, donde los pesos dependen de la pérdida esperada del clasificador (o del experto) bajo la posterior de clase de Bayes.

2. Regla de Diferimiento por Razón de Densidad: En lugar de aprender un receptor binario directamente, los autores definen el diferimiento comparando las distribuciones ideales del modelo $h$ y del experto $h^{(e)}$. La decisión de diferir se toma umbralizando la razón de densidad $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$.

   • Si la observación $x$ se explica mejor por la distribución ideal del experto (es decir, la razón es baja), el modelo difiere.
   • Este enfoque separa naturalmente al puntuador (el estimador de la razón de densidad) del umbral de diferimiento, permitiendo ajustar la tasa de diferimiento después del entrenamiento sin reentrenar al puntuador.

3. Conexiones Teóricas:

   • Regla de Chow: Para ideales KL marginales, la regla derivada recupera la clásica regla de Chow bajo la distribución de datos original.
   • Posterior Tiltada por Experto: Para ideales KL conjuntos, la regla corresponde a una decisión al estilo de Chow bajo una distribución "tiltada por experto". Esta distribución repondera las etiquetas basándose en la pérdida del experto, incorporando efectivamente la ventaja comparativa del experto en la decisión de diferir.
   • Prueba de Hipótesis: La regla de diferimiento se enmarca como una prueba de hipótesis de Neyman-Pearson que distingue entre la distribución ideal del modelo y la distribución ideal del experto.

4. Pérdidas DR CPE: Dado que las distribuciones ideales dependen de la posterior de Bayes desconocida y requieren acceso punto a punto al experto (lo cual no está disponible en tiempo de prueba), los autores no pueden utilizar soluciones de forma cerrada. En su lugar, reducen la Estimación de la Razón de Densidad (DRE) a la Estimación de Probabilidad de Clase (CPE).

   • Derivan una familia de pérdidas DR CPE ($L_m$ y $L_j$) que permiten aprender la razón de densidad entre las distribuciones ideales del modelo y del experto mediante una tarea de clasificación binaria.
   • Se demuestra que la pérdida DR CPE conjunta ($L_j$) es estimable de manera práctica y sirve como cota superior para la pérdida marginal ($L_m$).
   • El artículo establece conexiones entre este enfoque y los métodos existentes de estimación de comparación con expertos (por ejemplo, regresión sobre la diferencia en la precisión cero-uno) y la detección de anomalías.

Contribuciones Clave

• Formulación Distribucional: El artículo introduce un marco de L2D post-hoc basado en la comparación de distribuciones ideales del modelo y del experto, en lugar de la estimación directa del rendimiento punto a punto.
• Ideales Marginales vs. Conjuntos: Analiza la distinción entre distribuciones ideales marginales y conjuntas, mostrando que la regla conjunta corresponde al diferimiento bajo una distribución tiltada por experto, lo cual es significativamente práctico ya que tiene en cuenta las fortalezas específicas del experto.
• Pérdidas DR CPE: Los autores derivan una nueva familia de funciones de pérdida (DR CPE) que permiten aprender reglas de diferimiento mediante estimación estándar de probabilidades de clase, cerrando la brecha entre las distribuciones ideales teóricas y el aprendizaje práctico.
• Adaptabilidad: El método desacopla al puntuador del umbral, permitiendo el ajuste de las tasas de diferimiento sin reentrenamiento.

Resultados Experimentales
Los autores evalúan su enfoque DR CPE en los conjuntos de datos CIFAR-100 y MedMNIST bajo diversas configuraciones de corrupción (ruido en las etiquetas, distribuciones de cola larga y subconjuntos de especialistas).

• Competitividad: El enfoque DR CPE se desempeña de manera competitiva frente a líneas base comunes, incluidas heurísticas basadas en confianza, métodos de pérdida sustituta de dos etapas y estimadores de comparación con expertos.
• Robustez: El método demuestra una robustez superior en diversas combinaciones de corrupción de conjuntos de datos en comparación con las líneas base. Por ejemplo, mientras que otros métodos luchan significativamente en subconjuntos de especialistas (por ejemplo, DermaMNIST especialista), DR CPE mantiene un rendimiento estable.
• Ablación: Los experimentos muestran que la elección de la función de pérdida (por ejemplo, Entropía Cruzada Generalizada frente a Cero-Uno Probabilística) y el parámetro de temperatura $\gamma$ afectan el rendimiento, pero el enfoque DR CPE conjunto permanece robusto.

Significado y Afirmaciones
El artículo afirma plantear el L2D post-hoc como un problema de aprendizaje de la razón de densidad entre distribuciones ideales. Esta perspectiva:

• Cierra la brecha entre las reglas clásicas al estilo de Chow y los métodos modernos de comparación con expertos.
• Ilustra las conexiones con entornos de aprendizaje relacionados, como la detección de anomalías.
• Proporciona un método fundamentado teóricamente que es robusto y adaptable en la práctica, abordando las limitaciones del reentrenamiento de modelos grandes y la inestabilidad de heurísticas simples en entornos de alto riesgo y desplazados.

Los autores señalan que, aunque su enfoque no proporciona actualmente garantías de consistencia para las pérdidas sustitutas (una limitación teórica en comparación con algunos métodos de extremo a extremo), ofrece una solución práctica y robusta para el diferimiento post-hoc que aprovecha eficazmente la información del experto sin requerir un reentrenamiento completo del modelo.