The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

Resumen Técnico: GRACE para la Robustez en Modelos Visuales-Lingüísticos (VLMs)

1. El Problema: El Compromiso de Tres Vías

Los modelos Visuales-Lingüísticos (VLMs) preentrenados, como CLIP, son potentes extractores de características con cero disparos (zero-shot). Sin embargo, al adaptarlos a tareas específicas mediante fine-tuning (ajuste fino), surge un compromiso crítico de tres vías que las estrategias existentes no logran resolver simultáneamente:

1. Precisión In-Distribution (ID): Rendimiento en la distribución de entrenamiento.
2. Generalización Out-of-Distribution (OOD): Robustez ante cambios de dominio naturales (ej. bocetos, renderizados).
3. Robustez Adversarial: Resistencia a ataques de perturbación de gradiente (ej. PGD).

Análisis del Estado del Arte:

• Los métodos enfocados en generalización (ej. WiSE-FT, TPGM) mantienen buen rendimiento ID/OOD pero son extremadamente vulnerables a ataques adversarios.
• Los métodos de entrenamiento adversarial (AT) mejoran la robustez ante ataques pero degradan drásticamente la precisión ID y OOD.
• Diagnóstico Geométrico: Los autores identifican que este fallo no es solo un problema de hiperparámetros, sino de geometría del modelo:
  • Mínimos Agudos y Anisotrópicos: El espacio de parámetros converge a regiones de alta curvatura, haciéndolo inestable ante perturbaciones.
  • Inestabilidad de la Variedad de Características: Las representaciones de las clases se deforman bajo cambios de distribución o ataques, perdiendo la alineación entre entradas limpias, OOD y adversarias.

2. Metodología: GRACE

Los autores proponen GRACE (Gram-aligned Robustness via Adaptive Curvature Estimation), un marco unificado de fine-tuning basado en la teoría PAC-Bayesiana robusta. GRACE regulariza simultáneamente la curvatura en el espacio de parámetros y la invariancia en el espacio de características.

Componentes Clave:

1. Ajuste Fino con LoRA (Proximidad al Prior):

   • Se utiliza Low-Rank Adaptation (LoRA) para actualizar solo una subespacio de bajo rango de los pesos preentrenados. Esto actúa como un regularizador de proximidad, evitando que el modelo se desvíe demasiado de la variedad preentrenada (manteniendo la capacidad zero-shot).

2. Perturbación Adversarial de Pesos de Bajo Rango Adaptativa por Capa (LAR-AWP):

   • Objetivo: Controlar la "agudeza" (sharpness) del paisaje de pérdida.
   • Mecanismo: En lugar de usar una perturbación de pesos uniforme, GRACE introduce perturbaciones adversarias en el subespacio de LoRA.
   • Adaptatividad: Utiliza un currículo de rango adaptativo. Estima la curvatura local (vía el trazo de la matriz Hessiana aproximada por el gradiente) para cada capa. Las capas con mayor curvatura (más "agudas") reciben un rango de perturbación mayor, mientras que las capas planas reciben perturbaciones mínimas. Esto suaviza selectivamente las regiones más inestables del paisaje de pérdida.

3. Pérdida de Alineación de Volumen Gram (Gram-Volume Alignment Loss):

   • Objetivo: Garantizar la estabilidad de la variedad de características (feature manifold).
   • Mecanismo: Para cada muestra, se generan tres vectores de características:
     1. Entrada limpia ($f_{ID}$).
     2. Entrada adversarial ($f_{Adv}$).
     3. Entrada con perturbación de pesos LAR-AWP ($f_{AWP}$).
   • Se construye una matriz Gram de $3 \times 3$ con los productos internos de estos vectores. La pérdida minimiza el volumen (determinante) de este paralelepípedo.
   • Efecto: Esto fuerza a que las representaciones bajo ataques y perturbaciones de pesos permanezcan cercanas a la representación limpia, preservando la estructura de clase y la alineación a través de dominios.

Función de Objetivo:
$$\mathcal{L}_{GRACE} = \mathcal{L}_{task} + \lambda_{LAR} \mathcal{L}_{LAR-AWP} + \lambda_{GV} \mathcal{L}_{GV}$$

3. Contribuciones Clave

1. Análisis Teórico y Geométrico: Proporcionan una derivación PAC-Bayesiana que descompone el riesgo robusto en tres términos: proximidad al prior, agudeza del espacio de parámetros y discrepancia en el espacio de características. Identifican cómo los métodos actuales fallan al optimizar solo un subconjunto de estos términos.
2. Marco Unificado (GRACE): Diseñan un método que aborda simultáneamente la agudeza del paisaje de pérdida (mediante LAR-AWP) y la invariancia de características (mediante Gram-Volume), resolviendo el trilema ID-OOD-Adversarial.
3. Validación Empírica: Demuestran que GRACE supera a los métodos de fine-tuning robusto y entrenamiento adversarial existentes, logrando mejoras significativas en precisión ID, robustez OOD y resistencia a ataques sin sacrificar el rendimiento en cero disparos.

4. Resultados Experimentales

Los experimentos se realizaron ajustando CLIP (ViT-B/32 y ViT-B/16) en ImageNet y evaluando en múltiples benchmarks.

• Rendimiento Generalizado:
  • Precisión ID: GRACE logra 74.21% (vs. 74.86% del fine-tuning estándar), manteniendo una precisión casi óptima.
  • Robustez Adversarial: Mejora drásticamente la precisión adversarial en 13.5% en comparación con el fine-tuning estándar, alcanzando un 22.44% (vs. 0% en muchos métodos de generalización).
  • Generalización OOD: Mantiene una precisión OOD promedio del 57.01%, comparable a la línea base zero-shot (57.4%) y superior a métodos que priorizan la robustez adversarial (que suelen caer por debajo del 40%).
• Comparación con el Estado del Arte:
  • GRACE supera consistentemente a métodos como WiSE-FT (bueno en OOD, malo en adversarial), TeCoA (bueno en adversarial, malo en OOD/ID) y FARE.
  • Logra el mejor Promedio Armónico entre ID, OOD y Robustez Adversarial, demostrando un equilibrio superior.
• Análisis Geométrico:
  • Confirman que GRACE converge a mínimos más planos (menor valor propio máximo de la Hessiana) y mantiene una alineación de características (cosine similarity) alta entre dominios ID, OOD y adversarios, evitando la distorsión de la variedad.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Desmitifica el Trilema: Demuestra que el compromiso entre precisión, generalización y robustez no es inevitable, sino el resultado de una optimización geométrica incompleta.
• Eficiencia Computacional: Al utilizar LoRA y perturbaciones de bajo rango, GRACE es más eficiente que el entrenamiento adversarial completo, ofreciendo un mejor compromiso entre rendimiento y coste de cómputo (1.4x más rápido que métodos adversariales previos con mejor rendimiento).
• Nueva Paradigma: Establece que la geometría del paisaje de pérdida y la estabilidad de la variedad de características son los mecanismos clave para lograr una adaptación multimodal robusta y generalizable.

En conclusión, GRACE ofrece un enfoque principiado y geométricamente fundamentado para desbloquear el potencial completo de los VLMs en entornos del mundo real, donde la distribución de datos es variable y las amenazas adversariales son reales.