Robust Adaptation of Foundation Models with Black-Box Visual Prompting

1. O Problema

Os Modelos Pré-treinados (PTMs) ou Modelos de Fundação (Foundation Models) têm revolucionado diversas áreas, mas sua adaptação para tarefas específicas (Transfer Learning) enfrenta dois obstáculos principais no mundo real:

1. Acesso Limitado aos Parâmetros (Caixa-Preta): A maioria dos PTMs de ponta é disponibilizada como APIs ou software proprietário. Isso impede o acesso total aos parâmetros e à arquitetura do modelo, tornando impossível o fine-tuning tradicional (que exige backpropagation através de toda a rede) ou métodos de Prompt Tuning que exigem acesso aos pesos internos.
2. Requisitos de Memória: Mesmo os métodos de Transfer Learning eficientes em parâmetros (PETL), como o Visual Prompting (VP) existente, exigem que o usuário armazene todas as ativações intermediárias para calcular gradientes via backpropagation. Para modelos grandes, isso demanda uma capacidade de memória (VRAM) proibitiva para muitos usuários.

O artigo identifica a necessidade de um método que permita adaptar modelos de visão pré-treinados sem acesso aos parâmetros (black-box) e com requisitos mínimos de memória, mantendo a robustez contra mudanças de distribuição (ruído, viés de correlação, etc.).

---

2. Metodologia: BlackVIP

Os autores propõem o BlackVIP (Black-Box Visual Prompting), uma abordagem que adapta PTMs através da otimização de prompts visuais no espaço de entrada (pixels), sem precisar ver o interior do modelo. O método baseia-se em dois componentes principais:

A. O Coordenador (Coordinator)

Diferente de métodos anteriores que usam um prompt visual fixo e independente da entrada (ex: uma moldura fixa na borda da imagem), o BlackVIP introduz um gerador de prompts dependente da entrada.

• Funcionamento: O Coordenador é uma pequena rede neural que recebe uma imagem de entrada $x$ e gera um prompt visual $v_\phi(x)$ que tem o mesmo tamanho da imagem.
• Arquitetura:
  • Um Encoder (frozen) extrai características da imagem. No BlackVIP padrão, usa-se um encoder pré-treinado com aprendizado auto-supervisionado (SSL).
  • Um Decoder leve gera o prompt visual baseado nas características extraídas e em um vetor de "gatilho" (trigger) aprendível específico da tarefa.
• Vantagem: Isso permite que o prompt altere semanticamente a imagem de forma adaptativa para cada exemplo, cobrindo toda a região da imagem e não apenas uma área fixa.

B. Otimizador SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction)

Como não há acesso aos gradientes reais (devido ao modelo ser caixa-preta), o método utiliza otimização de ordem zero (zeroth-order).

• SPSA: Otimiza os parâmetros do Coordenador estimando o gradiente com base apenas em duas consultas ao modelo (uma com parâmetros perturbados positivamente e outra negativamente).
• Correção de Gradiente (GC): O SPSA padrão pode ser instável e lento em problemas de alta dimensão. Os autores propõem o SPSA-GC, que incorpora um mecanismo de "look-ahead" baseado em Nesterov (momentum). Isso corrige as estimativas de gradiente ruidosas, acelerando a convergência e estabilizando o treinamento.

C. Variação Eficiente: BlackVIP-SE

Para reduzir ainda mais o custo computacional e de memória, os autores propõem o BlackVIP-SE (Statistical feature-guided Efficient prompt).

• Substitui o encoder neural pré-treinado (que requer uma passagem forward extra) por uma simples projeção baseada em Análise de Componentes Principais (PCA) calculada diretamente nas estatísticas dos dados de treinamento.
• Isso elimina a necessidade de carregar um encoder adicional, reduzindo drasticamente o tempo de inferência e o uso de memória, mantendo desempenho competitivo.

---

3. Contribuições Principais

1. Novo Paradigma de Adaptação: É o primeiro trabalho a propor Visual Prompting robusto para modelos de visão em regime de caixa-preta, eliminando a necessidade de acesso a parâmetros ou grandes quantidades de memória para ativações.
2. Projeto de Prompt Dependente da Entrada: A introdução do Coordinator supera as limitações de prompts manuais e fixos, permitindo adaptações flexíveis que cobrem toda a imagem e se ajustam ao conteúdo semântico de cada entrada.
3. SPSA-GC: Um novo otimizador que melhora significativamente a velocidade de convergência e a estabilidade da otimização de ordem zero em comparação com métodos existentes (como RGF ou SPSA padrão).
4. BlackVIP-SE: Uma variante altamente eficiente que utiliza estatísticas de baixa dimensão (PCA) em vez de redes neurais auxiliares, tornando a adaptação viável em dispositivos com recursos limitados.
5. Análise Teórica de Robustez: Os autores estabelecem uma conexão teórica entre Visual Prompting e Suavização Randomizada (Randomized Smoothing). Eles demonstram que, sob certas condições, o prompt aprendido atua como um classificador suavizado, garantindo teoricamente robustez contra perturbações $L_2$ e melhor generalização.

---

4. Resultados Experimentais

Os métodos foram avaliados em 19 conjuntos de dados, cobrindo tarefas de reconhecimento de objetos, cenas, ações, imagens de satélite e dados sintéticos.

• Desempenho em Few-Shot: Em cenários de poucos exemplos (16-shot), o BlackVIP e o BlackVIP-SE superaram consistentemente as linhas de base (Zero-Shot, BAR, VP com SPSA-GC) na maioria dos conjuntos de dados (13/14 e 14/14 respectivamente).
• Robustez a Mudanças de Distribuição:
  • Em Biased MNIST (viés de cor), o BlackVIP superou significativamente os métodos que usam prompts fixos, demonstrando capacidade de quebrar correlações espúrias.
  • Em Loc-MNIST (objetos em locais variados), a abordagem dependente da entrada mostrou superioridade ao focar no objeto real, ignorando distrações no centro da imagem.
• Eficiência de Memória e Consulta:
  • Memória: O BlackVIP-SE requer apenas ~1K parâmetros aprendíveis e reduz drasticamente o pico de memória de treinamento em comparação com métodos de caixa-branca (Fine-Tuning) ou até mesmo com o VP padrão.
  • Custo de API: O método é altamente eficiente em consultas (queries). Os autores estimam que é possível melhorar o desempenho de um modelo zero-shot em 2-3 vezes com apenas 10.000 chamadas de API (custo estimado em ~12 USD).
• Compatibilidade: O método é compatível com prompting de texto (funciona bem combinado com métodos de otimização de texto em caixa-preta) e funciona em modelos quantizados (8-bit).

---

5. Significado e Impacto

Este trabalho é fundamental para democratizar o uso de Modelos de Fundação em cenários do mundo real onde:

• Segurança e Propriedade: Modelos proprietários não podem ser abertos para fine-tuning.
• Recursos Limitados: Usuários não possuem GPUs de alta memória para treinar grandes modelos.
• Robustez: Aplicações críticas exigem que os modelos sejam resistentes a ruídos e mudanças de domínio.

Ao provar que é possível adaptar modelos massivos com poucos parâmetros, sem acesso interno e com garantias teóricas de robustez, o BlackVIP abre caminho para aplicações de IA mais seguras, acessíveis e generalizáveis em ambientes dinâmicos e restritos. A análise teórica que liga o prompting visual à robustez certificada também oferece novas direções para o desenvolvimento de algoritmos de aprendizado de máquina mais confiáveis.