Learning the Pareto Frontier of Predictive Models under Distribution Shift

Resumen Técnico: Aprendizaje de la Frontera de Pareto de Modelos Predictivos bajo Desplazamiento de Distribución

Planteamiento del Problema
El aprendizaje automático moderno depende cada vez más de la reutilización de modelos fundacionales preentrenados en diversas tareas derivadas. Sin embargo, estos modelos difieren no solo en su rendimiento, sino también en su accesibilidad: algunos son de "caja negra" (proporcionan únicamente predicciones vía API), mientras que otros son de "caja blanca" (permiten el acceso a sus representaciones internas). Al desplegar estos modelos en un dominio objetivo con un desplazamiento de distribución, ninguna estrategia única —reutilización zero-shot, ajuste fino (fine-tuning) o entrenamiento directo sobre datos del objetivo— es uniformemente óptima. La elección depende de la naturaleza desconocida del desplazamiento entre la fuente y el objetivo. Los analistas se enfrentan a un dilema: los modelos zero-shot pueden ser convenientes pero estar mal calibrados; los modelos ajustados mediante fine-tuning pueden sufrir sobreajuste con datos limitados del objetivo; y los modelos entrenados directamente pueden carecer de eficiencia. Los enfoques actuales suelen forzar una elección entre estas estrategias mutuamente excluyentes, descartando potencialmente información complementaria.

Metodología: Aprendizaje de la Frontera (Frontier Learning)
Los autores proponen el Aprendizaje de la Frontera, un marco que trata una biblioteca de modelos candidatos (que abarcan diferentes historias de entrenamiento y regímenes de acceso) como fuentes de información complementarias en lugar de alternativas.

1. Construcción de una Representación Unificada:

   • El marco construye un vector de características unificado del dominio objetivo, $\Psi(x)$, concatenando señales de todos los modelos candidatos.
   • Para los candidatos de caja blanca, extrae representaciones internas (por ejemplo, características del cuello de botella o de la capa penultimate, $r_m(x)$).
   • Para los candidatos de caja negra, utiliza las salidas de predicción ($q_m(x)$), tales como logits o probabilidades.
   • La representación de la frontera resultante es $\Psi(x) = [\psi_1(x); \dots; \psi_M(x)]$, donde $\psi_m$ es una representación o una predicción.

2. Aprendiz Supervisado del Objetivo:

   • Un aprendiz supervisado ligero y regularizado $g_\theta$ se entrena utilizando la representación de la frontera concatenada empleando datos etiquetados del dominio objetivo.
   • Para regresión, se utiliza un modelo lineal regularizado; para clasificación, regresión logística o logística multinomial regularizada.
   • El objetivo es minimizar el riesgo empírico regularizado: $\hat{\theta} = \arg\min_\theta \left[ \frac{1}{|I_{tr}|} \sum \ell(y_i, g_\theta(\Psi(x_i))) + \lambda \Omega(\theta) \right]$.
   • Crucialmente, los modelos candidatos permanecen fijos; solo se aprenden los pesos de combinación finales.

3. Propiedad Teórica:

   • La clase de hipótesis del Aprendizaje de la Frontera contiene las estrategias estándar (zero-shot, fine-tuning, entrenamiento directo) como casos especiales.
   • En consecuencia, el método garantiza lograr un riesgo empírico en la muestra de entrenamiento no peor que el de cualquier candidato base individual. Esto proporciona una base estructural para una composición cautelosa sin garantías incondicionales de un menor riesgo de prueba.

Contribuciones Clave

1. Formulación: El artículo formula la predicción bajo desplazamiento de distribución como un problema de aprendizaje de "frontera de modelos", motivado por el ecosivo heterogéneo de los modelos fundacionales (con variaciones en el régimen de entrenamiento y modo de acceso).
2. Marco Unificado: Introduce un método que combina simultáneamente representaciones internas de modelos accesibles (caja blanca) y salidas de predicción de modelos inaccesibles (caja negra).
3. Garantía Estadística: Establece una propiedad de "riesgo empírico no peor" mediante la contención de la clase de hipótesis, demostrando que las estrategias estándar son recuperables como casos límite.
4. Evaluación Empírica: El marco se evalúa en simulaciones y en dos entornos del mundo real, demostrando robustez a través de diversos grados de compatibilidad entre la fuente y el objetivo.

Resultados Experimentales
Los autores evaluaron el Aprendizaje de la Frontera en tres entornos:

• Simulaciones: En un experimento de regresión controlado variando el número de dimensiones de características compartidas ($d_{share}$) entre la fuente y el objetivo:

  • Ninguna base única (zero-shot, fine-tuning o directa) fue uniformemente la mejor en todos los regímenes de desplazamiento.
  • El Aprendizaje de la Frontera logró consistentemente el Error Cuadrático Medio (MSE) más bajo en todas las configuraciones.
  • Las mejoras fueron más significativas cuando los candidatos individuales eran débiles o capturaban información complementaria (por ejemplo, una reducción del ~89% en el MSE cuando $d_{share}=0$).

• Adaptación de Dominio Visual (DomainNet/VisDA):

  • Tarea: Clasificar imágenes en el dominio "Painting" utilizando modelos entrenados en "Real", "Clipart", "Sketch" y entrenamiento directo en "Painting".
  • Configuración: Combinó representaciones de cuello de botella de modelos de caja blanca (Direct, Fine-tuned Real, Fine-tuned Clipart) con salidas de predicción de un modelo zero-shot de caja negra (Sketch).
  • Resultado: El Aprendizaje de la Frontera alcanzó un 69.55% de precisión top-1, superando al candidato base más fuerte (Direct Painting con 68.17%) y superando significativamente al débil candidato zero-shot (31.76%).

• Predicción de Mortalidad Clínica (MIMIC-IV-Note):

  • Tarea: Predecir la mortalidad intrahospitalaria en el dominio CVICU utilizando resúmenes de alta.
  • Configuración: Combinó representaciones a nivel de nota de modelos ajustados (MICU), zero-shot (SICU, CCU) y entrenados directamente (CVICU). Todos fueron tratados como caja blanca para la extracción de representaciones.
  • Resultado: El Aprendño de la Frontera alcanzó el AUPRC más alto (0.6638), mejorando al mejor candidato individual (Fine-tuning MICU con 0.6494) en aproximadamente un 2.2%. También logró la precisión y el F1 score más altos.

Significancia y Reivindicaciones
El artículo sostiene que en una era de proliferación de modelos fundacionales de caja negra y de caja blanca, el Aprendizaje de la Frontera ofrece una alternativa práctica y estadísticamente fundamentada para no comprometerse con un único modelo preentrenado.

• Robustez: Al aprender cómo combinar las representaciones y predicciones de los candidatos basándose en las etiquetas del objetivo, el marco se adapta al régimen de desplazamiento específico en lugar de depender de una estrategia preseleccionada.
• Eficiencia: El método añade un overhead computacional mínimo, ya que solo entrena un aprendiz ligero sobre las salidas fijas de los candidatos.
• Cautela: Los autores enfatizan que el método proporciona una garantía de "riesgo no peor" en el riesgo de entrenamiento y una base estructural para la composición cautelosa, pero no garantiza incondicionalmente un menor riesgo de prueba sin una regularización y validación adecuadas.
• Cambio de Paradigma: El trabajo sugiere un cambio de seleccionar un único modelo "mejor" a aprender sobre una frontera heterogénea de candidatos, permitiendo una reutilización más fiable de los modelos de IA a gran escala bajo desplazamiento de distribución.

Los autores señalan limitaciones, incluyendo la dependencia de la diversidad de la biblioteca de candidatos y el uso de una concatenación de características simple, sugiriendo que métodos de fusión más sofisticados podrían ser una dirección para trabajos futuros.