Resumo Técnico: Aprendizado de Prompt com Restrição de Conceito para Adaptação de CLIP em Poucos Disparos (Few-Shot)

1. Declaração do Problema

O aprendizado de prompts em poucos disparos (few-shot) emergiu como uma estratégia eficiente para adaptar o CLIP (Contrastive Language-Image Pre-training) a tarefas de domínio específico sem realizar o ajuste fino (fine-tuning) dos massivos codificadores de imagem e texto. Métodos como o CoOp otimizam um pequeno conjunto de tokens de contexto aprendíveis que são prefixados aos nomes das classes. No entanto, existe uma limitação crítica: a otimização desses prompts baseando-se apenas na supervisão de classes base frequentemente leva ao overfitting. Embora o desempenho nas classes vistas (base) melhore, a capacidade do modelo de generalizar para classes não vistas (novas) frequentemente degrada.

Esse compromisso (trade-off) surge porque as atualizações de prompts baseadas apenas em classes podem levar os embeddings de texto para longe das direções semanticamente ricas originalmente codificadas pelo codificador de texto do CLIP. Nomes de classes (ex: "floresta" ou "trançado") são semanticamente esparsos, carecendo de pistas visuais explícitas sobre material, padrão ou layout. Consequentemente, os prompts aprendidos podem derivar para vieses específicos do conjunto de dados em vez de preservar a estrutura semântica de vocabulário aberto necessária para a transferência para novas classes.

2. Metodologia: Aprendizado de Prompt com Restrição de Conceito (CCPL)

Os autores propõem o Concept-Constrained Prompt Learning (CCPL), um framework de regularização leve projetado para ancorar os prompts de classe aprendíveis a protótipos de texto de nível de conceito congelados. O método opera sob as seguintes restrições e mecanismos:

2.1 Arquitetura Central

• Codificadores Congelados: Como o CoOp, o CCPL mantém os codificadores de imagem e texto do CLIP inteiramente congelados.
• Tokens de Contexto Compartilhados: Os únicos parâmetros treináveis são um conjunto de $M$ tokens de contexto compartilhados ($\theta$), idênticos à configuração do CoOp.
• Sem Novos Componentes Aprendíveis: O CCPL não introduz parâmetros aprendíveis adicionais além dos tokens de contexto.

2.2 Banco de Conceitos e Construção de Protótipos

• Banco de Conceitos: Um arquivo JSON elaborado manualmente mapeia as classes do conjunto de dados para listas de frases conceituais descritivas (ex: para "floresta": "copa densa de árvores", "área de mata").
• Protótipos Congelados: Para cada classe $c$, um protótipo de conceito $\tilde{t}^{con}_c$ é pré-computado através da média dos embeddings de texto normalizados de suas frases conceituais associadas, utilizando o codificador de texto congelado do CLIP. Esses protótipos são congelados e nunca são atualizados durante o treinamento.
• Escopo: Os protótipos são construídos para todas as classes (base e novas) usando apenas nomes de classes e frases conceituais, sem acessar imagens ou rótulos de novas classes.

2.3 Objetivo de Treinamento

O processo de treinamento minimiza uma função de perda composta sobre as classes base:
$$\mathcal{L}_{CCPL} = \mathcal{L}_{ce} + \lambda_{text}\mathcal{L}_{text}$$

• $\mathcal{L}_{ce}$: Perda de entropia cruzada padrão nas predições das classes base.
• $\mathcal{L}_{text}$: Uma perda de consistência de cosseno no espaço de texto que alinha o embedding do prompt de classe aprendível ($t^{cls}_c$) com o protótipo de conceito congelado ($t^{con}_c$).
  $$\mathcal{L}_{text} = \frac{1}{|C_{base}|} \sum_{c \in C_{base}} (1 - \cos(t^{cls}_c, t^{con}_c))$$
• Dropout de Conceito: Para evitar a dependência excessiva de frases específicas, um subconjunto de frases conceituais é aleatoriamente mascarado (probabilidade $p_{drop}$) durante a computação do protótipo para a perda de consistência.

2.4 Estratégia de Inferência

Na inferência, o CCPL suporta a fusão de logits guiada por conceito. Os logits finais são uma combinação convexa dos logits do prompt de classe ($z^{cls}$) e dos logits do protótipo de conceito ($z^{con}$):
$$z_i = (1 - \alpha) z^{cls}_i + \alpha z^{con}_i$$
onde $\alpha \in [0, 1]$ é um hiperparâmetro ajustável que controla a força da orientação por conceito. A configuração padrão utiliza uma fusão fraca ($\alpha = 0.1$).

3. Principais Contribuições

1. Formulação: O artigo formula a adaptação de CLIP em poucos disparos como um problema de regularização semântica no espaço de texto, introduzindo frases conceituais de nível de classe como âncoras congeladas sem adicionar parâmetros treináveis.
2. Mecanismo: Constrói protótipos de conceito congelados a partir de um banco de conceitos de nível de classe e alinha os prompts aprendíveis via um objetivo de consistência de cosseno.
3. Robustez e Controle: Introduz o dropout de conceito para robustez no treinamento e um peso de fusão controlável em tempo de inferência ($\alpha$) para gerenciar o equilíbrio entre base e nova classe.
4. Análise Empírica: Fornece experimentos controlados identificando as condições de contorno onde as restrições de conceito são eficazes (datasets de cena/textura) versus onde são neutras ou menos úteis (categorias de grão fino).

4. Resultados Experimentais

Experimentos foram conduzidos em três datasets (DTD, EuroSAT, OxfordPets) usando divisões de fallback geradas automaticamente e um protocolo base-para-nova de 4 disparos com CLIP ViT-B/16.

• EuroSAT (Classificação de Cenas): O CCPL alcançou a melhoria mais significativa, aumentando a média harmônica ($H$) de base-para-nova de 66,0% (CoOp) para 68,9%. Esse ganho foi impulsionado principalmente por um salto na precisão das novas classes (56,3% $\to$ 60,6%), enquanto a precisão da base permaneceu estável.
• DTD (Classificação de Texturas): O CCPL mostrou uma melhoria moderada, elevando $H$ de 62,6% para 63,2 (+0,6). Os ganhos foram pequenos, atribuídos ao uso de conceitos baseados em templates simples ("{class} textura").
• OxfordPets (Raças de Grão Fino): O desempenho foi quase neutro, com uma ligeira queda em $H$ (96,3% $\to$ 96,2%). Os autores observam que os templates genéricos falharam em capturar as pistas sutis e específicas de raça necessárias para a discriminação de grão fino.
• Estudos de Ablação:
  • Remover a regularização no espaço de texto ($\lambda_{text}=0$) reduziu o desempenho, confirmando o valor do objetivo de alinhamento.
  • Remover a fusão de inferência ($\alpha=0$) também reduziu o desempenho, indicando que os protótipos congelados carregam sinais de classificação úteis mesmo sem serem um alvo de treinamento.
  • Compromisso (Trade-off): Aumentar $\alpha$ (ex: para 0,4) melhorou ainda mais a precisão das novas classes, mas degradou significativamente a precisão das classes base, destacando um compromisso controlável.

5. Significância e Alegações

O artigo alega modestamente que o CCPL oferece uma direção de regularização prática e interpretável para o aprendizado de prompts, particularmente para tarefas envolvendo semânticas de nível de cena ou de nível de material (como texturas e cenas de satélite).

• Condições de Contorno: Os autores identificam explicitamente que as restrições de conceito são mais eficazes quando as frases de conceito se alinham naturalmente com a semântica visual do dataset. Elas são menos eficazes para categorias de grão fino (como raças de animais de estimação), onde templates genéricos não conseguem codificar as características discriminativas necessárias.
• Sem Overfitting aos Baselines: Os autores enfatizam que seus resultados são baseados em "divisões de fallback geradas automaticamente" e pretendem ser uma comparação dentro do protocolo contra o CoOp, não uma afirmação direta de superioridade sobre todos os métodos de estado da arte nos splits oficiais.
• Natureza Leve: O método é destacado por sua eficiência, adicionando um overhead computacional negligenciável e nenhum novo parâmetro treinável, tornando-o uma adição de baixo custo aos pipelines existentes de aprendizado de prompt.

Em conclusão, o CCPL demonstra que ancorar prompts aprendíveis a descrições conceituais interpretáveis por humanos pode preservar as capacidades de generalização de vocabulário aberto do CLIP, desde que os conceitos sejam semanticamente relevantes para o domínio alvo.