Resumo Técnico: Descoberta de Fusão de Prompts Específica por Camada via Busca Diferenciável em Modelos de Fundação de Visão

1. Definição do Problema

O Ajuste de Prompt Visual (VPT - Visual Prompt Tuning) emergiu como uma estratégia de ajuste fino parametricamente eficiente (PEFT) para adaptar Vision Transformers (ViTs) de larga escala a tarefas de jusante (downstream). No VPT padrão, tokens de prompt aprendíveis são injetados nos espaços de entrada e de características de um backbone ViT congelado. A operação central envolve a fusão desses tokens de prompt com os tokens de imagem antes que eles entrem nas camadas do transformer.

Atualmente, a comunidade depende predominantemente de um esquema de fusão único e fixo — seja concatenação ou adição — aplicado uniformemente em todas as camadas do transformer. O artigo identifica uma lacuna fundamental nesta abordagem: permanece desconhecido se um único esquema de fusão é ideal para todos os níveis e tarefas, e se uma moda de fusão híbrida (combinando diferentes esquemas em diferentes camadas) poderia aproveitar melhor a semântica por camada dos ViTs. A literatura existente raramente explora o design da regra de fusão como um componente aprendível, tratando-a frequentemente como um hiperparâmetro estático.

2. Metodologia: Auto-Prompting

Os autores propõem um framework unificado, denominado Auto-Prompting, que trata a fusão entre prompts e tokens de imagem como um componente pesquisável e diferenciável. O método é formulado como um problema de otimização bi-nível resolvido via Busca de Arquitetura Neural Diferenciável (DARTS).

2.1 Design do Espaço de Busca

Para enriquecer o espaço de busca além da concatenação e adição padrão, os autores introduzem dois operadores de fusão adicionais e leves:

1. Concatenação ($\Delta_{concat}$): Prefixa os tokens de prompt aos tokens de imagem e aplica uma matriz de redução preservadora de tokens para manter a interface fixa do backbone ($k \times d$).
2. Adição ($\Delta_{add}$): Injeta um viés residual dependente do prompt através da sumarização dos prompts via média de LayerNorm e transmissão (broadcasting).
3. Transformação Afim ($\Delta_{affine}$): Aplica Modulação Linear por Características (FiLM), usando resumos de prompt para gerar parâmetros de escala e deslocamento por canal.
4. Atenção Cruzada ($\Delta_{cross}$): Permite o roteamento adaptativo ao conteúdo, onde os tokens de imagem atendem a uma memória de prompt (tratada como fonte de chave/valor).

2.2 Otimização Bi-Nível

O framework opera em duas fases:

• Loop Interno (Treinamento): Otimiza os parâmetros de prompt aprendíveis ($\phi$) e os pesos internos dos operadores de fusão no conjunto de treinamento.
• Loop Externo (Validação): Otimiza os logits da arquitetura ($\alpha$), que determinam os pesos de mistura ($\pi$) para os operadores de fusão em cada camada. Isso é feito por meio de uma aproximação unrollada de um passo com produtos vetor-Hessiano para aproximar o gradiente da perda de validação em relação aos parâmetros da arquitetura.

O objetivo externo inclui termos de regularização:

• Regularização de Entropia: Incentiva a exploração do espaço de busca para evitar o colapso prematuro para um único operador.
• Regularização de Custo: Direciona a busca para operadores mais leves (Add/Concat), a menos que operadores mais pesados (Affine/Cross-Attention) proporcionem ganhos significativos de precisão, garantindo um equilíbrio entre precisão e latência.

2.3 Discretização

Após a fase de busca, os pesos de mistura contínuos são discretizados selecionando o operador com a maior probabilidade para cada camada. Uma curta fase de ajuste fino segue para recuperar o desempenho com a arquitetura discretizada e podada.

2.4 Perspectiva Teórica: Gargalo de Informação (IB)

Os autores interpretam o método através da lente do princípio do Gargalo de Informação (IB). Eles observam que a otimização conjunta de prompts e esquemas de fusão leva a um substituto de IB empírico menor comparado à otimização apenas de prompts. Especificamente, a fusão híbrida aprendida permite que as camadas mais profundas comprimam a variação dependente da entrada (reduzindo $I(T; X)$) enquanto alinham melhor com a informação do rótulo (aumentando $I(T; Y)$), sugerindo um compromisso de compressão-relevância mais favorável.

3. Principais Contribuições

1. Investigação Fundamental: O artigo desafia a suposição de que um único esquema de fusão é suficiente, revelando que a fusão fixa (concatenação ou adição) falha em produzir o desempenho ideal em diversas tarefas e camadas.
2. Framework de Otimização Inovador: Propõe um método de fusão híbrida formulado como um problema de otimização bi-nível, resolvido via busca de arquitetura diferenciável para aprender conjuntamente prompts e regras de fusão específicas por camada.
3. Expansão do Espaço de Busca: Introduz Transformação Afim e Atenção Cruzada como novos primitivos leves ao espaço de busca de VPT, permitindo uma base de fusão mais expressiva, porém eficiente.
4. Validação Abrangente: O trabalho fornece tanto interpretação teórica (via IB) quanto extensas avaliações empíricas, respondendo a questões-chave sobre a necessidade e escalabilidade da fusão híbrida no ajuste de prompt visual.

4. Resultados Experimentais

O método foi avaliado em 34 conjuntos de dados através de três principais benchmarks: VTAB-1k (19 conjuntos de dados), FGVC (5 conjuntos de dados de grão fino) e HTA (10 conjuntos de dados diversos). O backbone utilizado foi um ViT-Base/16 congelado.

• Ganhos de Desempenho:

  • VTAB-1k: Alcançou uma precisão média de 77,01%, superando a forte linha de base VPT-Deep (69,43%) em +7,58% e variantes recentes como VFPT (75,49%) em +1,52%.
  • FGVC: Alcançou 92,5% de precisão média, superando o VPT-Deep (85,5%) em +7,0%.
  • HTA: Alcançou 91,6% de precisão média, melhorando sobre o VPT-Deep (85,5%) em +6,1%.
  • Eficiência de Parâmetros: O método ajusta apenas 0,75% dos parâmetros do ViT (incluindo a cabeça específica da tarefa), comparável ou inferior a outros métodos SOTA de PEFT.

• Generalização:

  • O método demonstrou robustez através de diferentes paradigmas de pré-treinamento (MAE e MoCo v3), superando consistentemente as linhas de base sob objetivos de reconstrução e de contraste.
  • Também foi validado no Swin-Base, mostrando ganhos e adaptabilidade semelhantes para backbones hierárquicos.

• Estudos de Ablação:

  • Único vs. Híbrido: Nenhum operador único (Concat, Add, Affine ou Cross-Attention) foi uniformemente ótimo. A abordagem híbrida pesquisável superou consistentemente qualquer linha de base de operador único fixo.
  • Padrões por Camada: A análise revelou que as camadas rasas preferem operadores leves (Concat/Add) para preservar pistas estruturais, enquanto as camadas profundas mudam para operadores semânticos (Affine/Cross-Attention) para calibração de características e roteamento adaptativo ao conteúdo.
  • Eficiência: Embora a fase de busca incorra em um overhead de treinamento (aprox. 1,38x o VPT-Deep), o modelo discretizado final adiciona apenas 7,4% de latência de inferência (15,9ms vs. 14,8ms) enquanto entrega melhorias significativas de precisão.

5. Significância e Alegações

O artigo alega que a forma como os prompts se fundem com os tokens de imagem é um fator de primeira ordem para a generalização no ajuste de prompt visual. Ao passar de um esquema de fusão fixo para uma fusão híbrida aprendida e específica por camada, o método aproveita efetivamente as distintas necessidades de representação das diferentes camadas do ViT.

Os autores afirmam que suas descobertas fornecem uma nova perspectiva para a pesquisa de ajuste de prompt visual, preenchendo a lacuna entre a Busca de Arquitetura Neural (NAS) e o ajuste fino leve. Eles concluem que uma moda de fusão híbrida não é apenas ótima, mas também altamente escalável, capaz de incorporar perfeitamente novos esquemas de fusão única no espaço de busca. Essa abordagem permite que os backbones congelados se adaptem de forma mais eficaz a mudanças de domínio e tarefas complexas (particularmente raciocínio estruturado) sem recorrer a cabeças mais pesadas ou vieses indutivos manuais.