The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

Título: A Geometria da Robustez: Otimização da Curvatura da Paisagem de Perda e Alinhamento de Variedade de Características para Ajuste Fino Robusto de Modelos Visão-Linguagem

1. O Problema

Os Modelos Visão-Linguagem (VLMs) de grande escala, como o CLIP, demonstram forte transferência zero-shot e robustez a várias mudanças de distribuição natural. No entanto, ao serem adaptados para tarefas específicas (fine-tuning), eles enfrentam um compromisso crítico de três vias que as estratégias existentes não conseguem resolver simultaneamente:

1. Precisão em Distribuição (ID): Manter alta acurácia nos dados de treinamento.
2. Generalização Fora de Distribuição (OOD): Manter desempenho em dados com distribuição diferente (ex: ImageNet-V2, ImageNet-R).
3. Robustez Adversarial: Resistir a ataques baseados em gradiente (ex: PGD).

Análise do Estado da Arte:

• Métodos focados em generalização (ex: WiSE-FT, TPGM) preservam a acurácia ID/OOD, mas deixam o modelo vulnerável a ataques adversariais.
• Métodos de Treinamento Adversarial (AT) melhoram a robustez a ataques, mas degradam severamente a acurácia ID e a generalização OOD.
• Insight Geométrico: Os autores identificam que essa falha decorre de dois modos de falha geométrica:
  1. Mínimos Agudos e Anisotrópicos: O espaço de parâmetros converge para regiões de alta curvatura, tornando o modelo sensível a pequenas perturbações nos pesos.
  2. Instabilidade da Variedade de Características: As representações de características (features) deformam-se sob perturbações ou mudanças de distribuição, quebrando o alinhamento entre entradas limpas, adversariais e OOD.

2. Metodologia: O Framework GRACE

Os autores propõem o GRACE (Gram-aligned Robustness via Adaptive Curvature Estimation), um framework unificado de ajuste fino fundamentado na teoria PAC-Bayesiana Robusta. O objetivo é regularizar simultaneamente a curvatura no espaço de parâmetros e a invariância no espaço de características.

O GRACE é composto por três módulos principais:

A. Ajuste Fino com LoRA (Proximidade ao Prior)

Utiliza Low-Rank Adaptation (LoRA) para atualizar apenas uma subespaço de baixo posto dos pesos do modelo pré-treinado. Isso atua como um regularizador de proximidade, mantendo o modelo próximo ao seu estado pré-treinado (controlando o termo de divergência KL na bound PAC-Bayes), preservando assim o conhecimento zero-shot.

B. Perturbação Adversarial de Pesos de Baixo Posto Adaptativa por Camada (LAR-AWP)

Para controlar a curvatura do espaço de parâmetros (termo de "sharpness"):

• O método injeta perturbações adversariais nos pesos, mas restritas ao subespaço LoRA.
• Adaptatividade: Diferente de métodos uniformes, o GRACE utiliza uma curriculum de rank adaptativo. Ele estima a curvatura local (via traço do Hessiano aproximado) para cada camada.
• Camadas com curvatura mais alta (mínimos mais agudos) recebem ranks de perturbação maiores, enquanto camadas mais planas recebem perturbações mínimas. Isso "achata" seletivamente a paisagem de perda onde é mais necessário, sem penalizar excessivamente a acurácia.

C. Perda de Alinhamento de Volume Gram (Gram-Volume Alignment Loss)

Para controlar a estabilidade no espaço de características (divergência entre domínios):

• Define-se uma matriz Gram $3 \times 3$ para cada amostra, calculada a partir dos produtos internos de três vetores de características:
  1. Entrada limpa ($f_{ID}$).
  2. Entrada adversarial ($f_{Adv}$).
  3. Entrada com pesos perturbados por LAR-AWP ($f_{AWP}$).
• A perda minimiza o volume do paralelepípedo formado por esses três vetores.
• Objetivo: Garantir que as representações permaneçam próximas (baixo volume) entre si, mantendo a estrutura da classe e o alinhamento mesmo sob ataques ou mudanças de distribuição, evitando a dispersão das características.

3. Contribuições Principais

1. Análise Teórica e Geométrica: Fornecem uma análise baseada em PAC-Bayes que decompõe o compromisso de robustez em três termos críticos: proximidade ao prior, curvatura do espaço de parâmetros e estabilidade do espaço de características. Mapeiam falhas de métodos existentes a violações específicas desses termos.
2. Framework GRACE: Propõem uma solução unificada que combina regularização de curvatura adaptativa (LAR-AWP) e invariância de características (Gram-Volume), resolvendo o trilema ID-OOD-Adversarial.
3. Validação Empírica: Demonstram que o GRACE supera o estado da arte em múltiplos backbones (ViT-B/32, ViT-B/16) e benchmarks, alcançando ganhos simultâneos em acurácia ID, robustez OOD e adversarial.

4. Resultados Experimentais

Os experimentos foram conduzidos no CLIP (ViT-B/32 e ViT-B/16) ajustado no ImageNet-1K e testado em diversos benchmarks (ImageNet-V2, ImageNet-R, ImageNet-S, ImageNet-A, ImageNet-A-Plus e conjuntos zero-shot).

• Desempenho Unificado: O GRACE alcançou um aumento de 10,8% na acurácia ID e 13,5% na acurácia adversarial em comparação com o ajuste fino padrão, mantendo 57,0% de acurácia OOD (próximo à linha de base zero-shot de 57,4%).
• Comparação com SOTA:
  • Superou métodos focados em generalização (como WiSE-FT) em robustez adversarial (22,4% vs 0% em alguns cenários de ataque forte).
  • Superou métodos focados em adversarial (como TeCoA, FARE) em acurácia ID e OOD, evitando a degradação severa típica do treinamento adversarial puro.
  • Média Harmônica: O GRACE obteve a melhor média harmônica entre ID, OOD e Robustez Adversarial (39,69%), indicando o melhor equilíbrio global.
• Análise Geométrica: Confirma-se que o GRACE converge para mínimos mais planos (menor traço do Hessiano) e mantém a estrutura da variedade de características estável sob mudanças de distribuição, ao contrário dos métodos de base que sofrem de mínimos agudos ou dispersão de features.

5. Significado e Impacto

O trabalho estabelece um novo paradigma para o ajuste fino de modelos fundacionais multimodais. Ao demonstrar que a geometria da paisagem de perda e a estabilidade da variedade de características são os fatores determinantes para a robustez generalizada, o GRACE oferece uma solução principial para o dilema clássico de "robustez vs. acurácia".

A principal inovação é a capacidade de tratar perturbações adversariais e mudanças de distribuição natural (OOD) como problemas geométricos relacionados, resolvendo-os simultaneamente através de regularização adaptativa de curvatura e alinhamento de features. Isso permite a implantação de VLMs mais confiáveis em cenários do mundo real, onde tanto ataques maliciosos quanto variações naturais de dados são inevitáveis.