HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models

Resumo Técnico: HeBA (Adaptadores de Gargalo Heterogêneos)

1. O Problema

A adaptação de Modelos Visão-Linguagem (VLMs) de grande escala, como o CLIP, para tarefas downstream (especialmente em cenários de Few-Shot Learning) enfrenta desafios significativos devido a uma abordagem arquitetural "tamanho único" (one-size-fits-all).

• Homogeneidade Arquitetural: Os métodos atuais tratam tokens visuais e textuais de forma idêntica, geralmente utilizando camadas lineares densas (MLPs) ou prompts aprendíveis. Isso ignora a natureza estrutural distinta das modalidades:
  • Imagens: Possuem correlações espaciais intrínsecas (localidade 2D).
  • Texto: É uma sequência densa de significado semântico global.
• Falhas dos Métodos Atuais: Adaptadores que expandem dimensionalmente (como o "Inverse Bottleneck" de 4x) aumentam o risco de overfitting em dados escassos. Além disso, a prática comum de inicialização zero em camadas de adaptação pode levar a gradientes que desaparecem no início do treinamento, atrasando a convergência e a adaptação a mudanças de distribuição.

2. Metodologia: HeBA

O HeBA (Heterogeneous Bottleneck Adapter) propõe um framework unificado que introduz vieses indutivos específicos da modalidade diretamente na arquitetura, sem descongelar o backbone pré-treinado do CLIP.

A. Arquitetura Heterogênea (Biases Indutivos)
O HeBA bifurca o processamento em dois fluxos distintos:

1. Fluxo Visual (Spatial-Aware): Utiliza convoluções 2D separáveis por profundidade (depthwise-separable convolutions).
   • Os tokens de imagem são remodelados em uma grade 2D.
   • Aplica-se uma convolução $1\times1$ para compressão, seguida de uma convolução $3\times3$ depthwise para capturar correlações espaciais locais (texturas, formas).
   • Isso preserva a geometria espacial que seria perdida em uma abordagem puramente 1D.
2. Fluxo Textual (Semantic-Preserving): Utiliza projeções lineares densas.
   • Como o texto não possui localidade espacial, o adaptador mantém a integridade semântica global através de camadas lineares, evitando convoluções desnecessárias.

B. Regularização Estrutural via Gargalo (Bottleneck)

• Diferente de métodos que expandem a dimensão interna (ex: $D \to 4D$), o HeBA emprega uma estrutura de gargalo compressiva ($D \to D/4$).
• Função: Força o modelo a aprender representações de baixo posto e compactas da mudança de domínio. Atua como um regularizador intrínseco, filtrando ruído irrelevante e prevenindo o overfitting sem a necessidade de regularizadores externos complexos.

C. Inicialização de Gradiente Ativo (Active Gradient Initialization)

• Desafio ao Consenso: Métodos como MaPLe e Tip-Adapter usam inicialização zero ($W_{up} = 0$) para preservar a identidade do modelo pré-treinado.
• Inovação HeBA: Utiliza uma Inicialização Kaiming Ativa (distribuição Normal) para as camadas de projeção ascendente.
• Benefício: Garante um fluxo de gradiente robusto desde a primeira iteração ($t=0$), acelerando a convergência e permitindo que o adaptador mapeie rapidamente resíduos específicos do domínio, sem comprometer o conhecimento pré-treinado do backbone (que permanece congelado).

D. Otimização e Regularização

• Escalonamento Dinâmico: Uso de um cronograma estocástico "slow-fast" para modular a magnitude do adaptador durante o treinamento, evitando instabilidade.
• Label Smoothing: Substituição da perda de Entropia Cruzada padrão por Label Smoothing para evitar previsões excessivamente confiantes em exemplos few-shot.

3. Resultados Principais

Os experimentos foram conduzidos em 11 benchmarks diversos (incluindo ImageNet, EuroSAT, DTD, Oxford Pets, etc.) e em cenários de generalização de domínio.

• Generalização Base-to-Novel (Few-Shot):
  • O HeBA estabeleceu um novo estado da arte (SOTA) com uma Média Harmônica (HM) de 81,35%, superando o anterior líder LwEIB (81,21%).
  • A precisão em classes Novel (não vistas) atingiu 78,62%, superando significativamente métodos como CoOp (63,22%) e LwEIB (78,21%).
• Desempenho em Domínios Sensíveis à Estrutura:
  • Em datasets de texturas (DTD) e imagens de satélite (EuroSAT), o HeBA mostrou ganhos substanciais (ex: +2,37% em DTD sobre o LwEIB), validando a eficácia das convoluções 2D para capturar padrões geométricos locais.
• Generalização de Domínio (Out-of-Distribution):
  • O modelo manteve robustez superior em variantes adversariais (ImageNet-A), alcançando 51,36% de precisão, superando métodos concorrentes. Isso sugere que a inicialização ativa ajuda a manter fronteiras de decisão robustas.
• Avaliação Cross-Dataset:
  • Ao treinar no ImageNet e testar em 10 outros datasets sem fine-tuning, o HeBA alcançou a maior precisão média (68,71%), demonstrando excelente transferibilidade.

4. Contribuições Chave

1. Heterogeneidade Arquitetural: A separação explícita entre processamento visual (convolucional 2D) e textual (linear) respeita a natureza dos dados, resolvendo o problema da "amnésia espacial" em adaptadores comuns.
2. Regularização por Gargalo Compressivo: A substituição de expansões paramétricas por compressão ($D \to D/4$) atua como um regularizador estrutural eficaz para cenários de poucos dados.
3. Paradigma de Inicialização Ativa: A mudança da inicialização zero para Kaiming Ativa resolve o problema de convergência lenta e gradientes vanishing, permitindo uma adaptação mais rápida e estável.

5. Significado e Impacto

O trabalho HeBA demonstra que a eficiência paramétrica em VLMs não deve ser alcançada apenas através de otimização de hiperparâmetros ou escalas dinâmicas, mas sim através de design arquitetural inteligente. Ao alinhar a estrutura do adaptador com os vieses indutivos inerentes aos dados (espaço para visão, semântica global para texto), o HeBA supera as limitações de métodos homogêneos.

A pesquisa estabelece que a estabilidade e a plasticidade em Few-Shot Learning podem ser equilibradas não apenas congelando o backbone, mas também projetando módulos leves que forçam a extração de características robustas e compactas desde o início do treinamento. Isso é particularmente crucial para aplicações em domínios especializados (como medicina ou sensoriamento remoto), onde a estrutura espacial é vital e os dados de treinamento são limitados.