CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

Resumen Técnico de CRoFT: Ajuste Fino Robusto con Optimización Concurrente para la Generalización OOD y la Detección OOD de Conjunto Abierto

Enunciado del Problema
Recientes modelos preentrenados visión-idioma (VL-PTM), como CLIP, han demostrado un éxito notable en tareas de vocabulario abierto. Sin embargo, su despliegue en escenarios del mundo real a menudo requiere un ajuste fino para aplicaciones posteriores. Este proceso introduce un desafío crítico: el ajuste fino estándar puede distorsionar el conocimiento general de los modelos, perjudicando su capacidad para manejar cambios de distribución. Los entornos del mundo real presentan dos tipos distintos de cambios de distribución:

1. Cambios de Covariable (OOD de Conjunto Cerrado): Cambios en los estilos de imagen o entornos donde las etiquetas de clase permanecen iguales a los datos de entrenamiento (por ejemplo, un perro en estilo de boceto).
2. Cambios Semánticos (OOD de Conjunto Abierto): La presencia de clases en el momento de la prueba que no fueron vistas durante el entrenamiento (por ejemplo, un panda cuando el modelo fue entrenado con perros).

Los métodos existentes de ajuste fino suelen centrarse en mejorar la robustez frente a cambios de covariable (generalización OOD) o en la detección de clases no vistas (detección OOD de conjunto abierto) de forma aislada. A menudo fallan al abordar ambos simultáneamente. Además, los métodos de detección basados en energía suelen tener dificultades porque las distribuciones de energía de los datos ID de conjunto cerrado y los datos OOD de conjunto abierto se superponen significativamente, lo que dificulta la discriminación. El artículo plantea la pregunta: ¿Cómo pueden ajustarse finamente los VL-PTM para mejorar la generalización a datos OOD de conjunto cerrado mientras se detectan simultáneamente y de manera efectiva las clases no vistas de conjunto abierto?

Metodología
Los autores proponen CRoFT, un marco unificado de ajuste fino que permite la optimización concurrente de la generalización OOD y la detección OOD de conjunto abierto. La metodología se basa en tres componentes principales:

1. Función de Pérdida de Reconfiguración de Distribución de Energía (EDR):
   En lugar de minimizar directamente las puntuaciones de energía en los datos de distribución interna (ID), los autores proponen minimizar la magnitud del gradiente de las puntuaciones de energía. Teóricamente, minimizar la magnitud del gradiente de las puntuaciones de energía ($\nabla_\theta E_\theta(x) \to 0$) conduce a Hessianos consistentes con el dominio de la función de pérdida de clasificación. Esta pérdida EDR se formula como la minimización de la norma al cuadrado del vector gradiente del log-sum-exp de los términos de energía. Este enfoque reconfigura la distribución de energía para distinguir mejor las clases conocidas de las desconocidas sin sacrificar la precisión de clasificación.

2. Límite de Generalización OOD Basado en Hessiano:
   A través de un análisis teórico, los autores establecen un vínculo entre la pérdida EDR y la generalización OOD. Demuestran que la pérdida EDR induce Hessianos consistentes con el dominio, lo que ayuda a acotar el rendimiento de generalización en datos de prueba OOD de conjunto cerrado bajo escenarios de peor caso. Específicamente, derivan un límite de generalización que muestra que la brecha de rendimiento entre los dominios fuente y objetivo está relacionada con el riesgo empírico en datos con cambios de covariable de peor caso y la curvatura (Hessiano) de la función de riesgo.

3. Marco de Optimización Concurrente:
   Para minimizar el límite de generalización derivado, CRoFT emplea una estrategia de aprendizaje adversarial. Genera características de imagen con "peor caso" de cambios de covariable que preservan la información semántica pero difieren de las características ID. El marco optimiza una función objetivo unificada que comprende:

   • Pérdida de clasificación estándar en características ID.
   • Una pérdida ($L_c$) optimizada en las características OOD de peor caso generadas para mejorar la robustez.
   • La pérdida EDR ($L_e$) aplicada tanto a características ID como a características OOD generadas para reconfigurar las distribuciones de energía.

   El marco utiliza un ajuste fino ligero (inyectando proyecciones lineales de una capa/adaptadores en los codificadores CLIP congelados) para garantizar la eficiencia computacional.

Contribuciones Clave

• Marco Unificado: CRoFT es el primer marco que optimiza simultáneamente la generalización OOD de conjunto cerrado y la detección OOD de conjunto abierto durante el ajuste fino de VL-PTM.
• Perspectiva Teórica: El artículo proporciona una prueba teórica de que minimizar la magnitud del gradiente de las puntuaciones de energía (pérdida EDR) conduce a Hessianos consistentes con el dominio, acotando así teóricamente el error de generalización OOD. Esto revela una conexión oculta entre la detección OOD y la generalización OOD.
• Función de Pérdida Novel: La introducción de la pérdida EDR, que reconfigura las distribuciones de energía minimizando las magnitudes de gradiente en lugar de solo los valores de energía, mejora la separación entre datos ID y OOD.
• Generación Adversarial: El método genera características con cambios de covariable de peor caso para entrenar explícitamente al modelo contra cambios de distribución, mejorando la robustez.

Resultados Experimentales
Se realizaron experimentos extensos en dos configuraciones:

• Configuración-I: Variantes de ImageNet a gran escala con 40% de clases de conjunto cerrado y 60% de clases de conjunto abierto, incluyendo conjuntos de datos con cambios de covariable (ImageNet-A, R, Sketch, V2).
• Configuración-II: Evaluación entre conjuntos de datos utilizando conjuntos de datos de generalización de dominio (PACS, VLCS) como conjunto cerrado y otros conjuntos de datos (Caltech101, DTD, Food101) como conjunto abierto.

Hallazgos Clave:

• Detección de Conjunto Abierto: CRoFT supera significativamente a los métodos de ajuste fino más avanzados (por ejemplo, CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F). En la Configuración-I, logró una reducción de hasta un 25.3% en FPR95 (Tasa de Falsos Positivos al 95% de recuperación) en comparación con CLIP de cero disparos, y una mejora de hasta un 20% en la detección de clases no vistas de conjunto abierto en comparación con otros métodos de ajuste fino.
• Generalización OOD: CRoFT demuestra un rendimiento de generalización comparable o superior en conjuntos de prueba OOD de conjunto cerrado (por ejemplo, ImageNet-Sketch, ImageNet-A) en comparación con los métodos existentes.
• Estudios de Ablación: Eliminar ya sea la pérdida EDR ($L_e$) o la pérdida adversarial ($L_c$) resultó en un rendimiento degradado en ambas tareas, validando la necesidad de la optimización concurrente.
• Visualización de Características: Las visualizaciones t-SNE y los gráficos de distribución de energía muestran que CRoFT reduce con éxito la superposición entre las distribuciones de energía ID y OOD y aprende representaciones de características más distintas para la discriminación abierto-vs-cerrado.

Significado y Afirmaciones
El artículo afirma que CRoFT aborda una brecha crítica en el despliegue de VL-PTM al permitirles manejar simultáneamente cambios de distribución conocidos y clases desconocidas. Los autores enfatizan que su descubrimiento teórico: que optimizar para la detección de conjunto abierto mediante la pérdida EDR mejora inherentemente la generalización OOD, proporciona una nueva dirección para el ajuste fino robusto. El método se presenta como una solución práctica para aplicaciones de alto riesgo (por ejemplo, conducción autónoma, imágenes médicas) donde detectar clases no vistas es tan crucial como mantener la precisión en clases conocidas bajo cambios ambientales. El código está disponible para facilitar investigaciones adicionales en la adaptación robusta de modelos visión-idioma.