SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

Resumo Técnico: SAMPLe: Um Otimizador Baseado em Minimização de Consciência de Nitidez para Aprendizado de Prompts em Modelos de Visão-Linguagem

Problema
Modelos de Visão-Linguagem (VLMs) pré-treinados, como o CLIP, servem como poderosos modelos de fundação para aplicações downstream. No entanto, adaptar esses modelos via aprendizado de prompts apresenta um dilema significativo de desempenho-generalização. Embora o aprendizado de prompts permita a adaptação eficiente de tarefas ao ajustar um conjunto limitado de parâmetros aprendíveis (prompts) enquanto mantém o backbone congelado, essa restrição frequentemente leva ao overfitting. O espaço de parâmetros limitado torna o processo de otimização altamente sensível, causando frequentemente a convergência de modelos para "mínimos agudos" (sharp minima) no landscape de perda. Essas soluções agudas resultam em alta acurácia em distribuições de treinamento vistas, mas sofrem de uma baixa generalização para dados ou classes não vistas. Métodos existentes de Minimização de Consciência de Nitidez (SAM) tentam abordar isso buscando mínimos mais planos, mas frequentemente falham em equilibrar o trade-off entre minimizar a perda de treinamento (explotação) e explorar regiões planas (exploração), particularmente quando aplicados ao subespaço restrito do aprendizado de prompts.

Metodologia: SAMPLe
Os autores propõem o SAMPLe (Sharpness-Aware Minimization Prompt Learning), um otimizador agnóstico ao modelo projetado especificamente para melhorar a generalizabilidade de prompts de VLMs. Diferente de otimizadores convencionais ou variantes padrão de SAM (ex: F-SAM, SAGM) que podem aplicar perturbações uniformes ou depender de hiperparâmetros heurísticos, o SAMPLe introduz um framework de objetivo duplo que se adapta dinamicamente ao estado atual da otimização.

O núcleo do SAMPLe envolve três mecanismos estratégicos:

1. Otimização de Objetivo Duplo: O método otimiza para um mínimo de perda que é simultaneamente baixo na perda de treinamento e plano no landscape de perda. Isso garante estabilidade e robustez sem sacrificar a acurácia nos dados vistos.
2. Alinhamento de Gradiente e Ortogonalidade: O SAMPLe garante que as atualizações de gradiente computadas em um ponto desviado (perturbado por SAM) estejam coerentemente alinhadas com os gradientes de Minimização de Risco Empírico (ERM). Crucialmente, ele restringe as atualizações de gradiente SAM no ponto perturbado para serem ortogonais ao gradiente de full-batch.
   • Ele decompõe o gradiente de mini-batch em um componente alinhado com o gradiente de full-batch e um componente "específico de batch" ortogonal a este.
   • A função objetivo inclui termos que direcionam o gradiente perturbado em direção ao componente específico de batch (exploração) enquanto resistem ao componente de full-batch (que pode levar ao over-smoothing e redução da generalização).
3. Adaptação Dinâmica: O otimizador equilibra automaticamente a explotação (minimização da perda ERM) e a exploração (busca de mínimos planos) em cada iteração com base na curvatura local e propriedades de gradiente, em vez de depender de hiperparâmetros fixos.

A análise teórica no artigo demonstra que, sob suposições padrão (gradientes limitados e continuidade K-Lipschitz), o SAMPLe converge com uma taxa de $O(\frac{\log T}{\sqrt{T}})$, comparável ao SGD e Adam.

Principais Contribuições

• Otimizador Inovador: Introdução do SAMPLe, o primeiro otimizador baseado em SAM especificamente adaptado para o aprendizado de prompts de VLM, definindo um framework de objetivo duplo que equilibra adaptativamente a baixa perda ERM e mínimos planos.
• Insight Teórico: Uma análise estabelecendo as limitações dos métodos de consciência de nitidez existentes no contexto do espaço de parâmetros limitado do aprendizado de prompts, motivando a necessidade de uma abordagem de objetivo duplo e adaptativa.
• Avaliação Abrangente: Experimentos extensivos integrando o SAMPLe em múltiplos frameworks de aprendizado de prompts (CoOp, CoCoOp, MaPLe, TCP e Co-Prompt) através de diversos datasets.

Resultados Experimentais
O artigo avalia o SAMPLe através de três configurações principais usando 11 datasets de classificação de imagem e várias variantes do ImageNet:

1. Generalização Base-para-Novo: Em cenários de aprendizado few-shot, o SAMPLe melhora consistentemente a média harmônica (HM) das acurácias de classes base e novas em comparação com baselines e outras variantes de SAM (SAM, F-SAM, SAGM). Por exemplo, em média, o CoOp melhorou de 77.65 (com SAGM) para 78.88 com o SAMPLe.
2. Generalização Zero-Shot Cross-Dataset: Quando modelos treinados no ImageNet são testados em 10 datasets alvo não vistos sem fine-tuning, o SAMPLe aumenta consistentemente o desempenho de transferência. Para o CoOp, a acurácia média aumentou de 63.88% para 65.85%.
3. Generalização Cross-Domain: Em variantes do ImageNet que representam shifts de distribuição (V2, Sketch, Adversarial, Rendition), o SAMPLe aumentou a robustez. O CoOp+SAMPLe alcançou uma acurácia média de 60.41%, superando o CoOp padrão (59.28%) e outros baselines fortes.

Os resultados indicam que o SAMPLe atinge um trade-off mais estável entre especialização em classes base e transferência para classes não vistas, frequentemente superando métodos de última geração sem degradar drasticamente o desempenho nas distribuições vistas.

Significância e Alegações
O artigo alega que o SAMPLe estabelece uma solução robusta e agnóstica ao modelo para o aprendizado de prompts ao abordar diretamente a natureza propensa ao overfitting do espaço de parâmetros aprendíveis limitado em VLMs. Ao incorporar a consciência do landscape de perda e equilibrar dinamicamente a exploração e a explotação, o SAMPLe preserva o potencial de generalização dos modelos pré-treinados. Os autores afirmam que sua abordagem eleva os existentes frameworks de aprendizado de prompts, proporcionando um aumento consistente de desempenho em diversos cenários e demonstrando que a otimização cuidadosa do landscape de perda é crítica para o aprendizado de prompts eficaz em VLMs.