Resumo Técnico: PERL (Raciocínio Eficiente em Parâmetros no Espaço Latente do CLIP)

Declaração do Problema

Modelos visão-linguagem treinados contrastivamente, como o CLIP, destacam-se na transferência zero-shot ao alinhar imagens e texto em um espaço de incorporação compartilhado. No entanto, adaptar esses modelos a tarefas específicas de downstream sem degradar sua generalização de vocabulário aberto permanece um desafio. Os métodos existentes de adaptação eficiente em parâmetros (por exemplo, prompts aprendidos, adaptadores ou transformações multimodais) tipicamente aumentam a capacidade de adaptação adicionando parâmetros treináveis. Os autores investigam se a capacidade de adaptação pode emergir não do aumento da contagem de parâmetros, mas do raciocínio iterativo sobre representações latentes. Especificamente, eles questionam se um modelo visão-linguagem discriminativo congelado pode ser adaptado ao direcionar progressivamente representações pré-treinadas para regiões de decisão relevantes para a tarefa através de computação repetida, em vez de armazenar mais parâmetros específicos da tarefa.

Metodologia

Os autores propõem o PERL (Raciocínio Eficiente em Parâmetros no Espaço Latente do CLIP), um framework leve que amplia um modelo CLIP congelado com um módulo de raciocínio compacto e compartilhado aplicado recursivamente.

Arquitetura e Mecanismo

1. Divisão do Codificador: Para cada modalidade (visão $v$ e texto $t$), o codificador CLIP congelado é dividido na profundidade $J$ em um módulo base ($B_m$, blocos inferiores) e um módulo de refinamento ($R_m$, blocos superiores). O módulo base processa a entrada para produzir uma representação agrupada inicial ($h^{(0)}_m$).
2. Raciocínio Recorrente: Em vez de uma única passagem forward, o PERL realiza $K$ etapas de refinamento. Em cada etapa $k$:
   • Um projetor de pensamento ($\phi_m$) leve e treinável, implementado como um MLP de duas camadas com um gargalo de rank-$r$, mapeia a representação agrupada atual $h^{(k-1)}_m$ para um token de raciocínio $z^{(k)}_m$.
   • Este token é anexado à sequência de tokens gerados anteriormente e à sequência base original.
   • O módulo de refinamento ($R_m$) processa essa sequência aumentada para produzir uma representação agrupada atualizada $h^{(k)}_m$.
   • Crucialmente, o mesmo projetor $\phi_m$ é reutilizado em todas as $K$ etapas, o que significa que a capacidade de adaptação cresce com o número de aplicações recorrentes, e não com o número de parâmetros.
3. Invariância de Leitura: A previsão final é sempre lida a partir da posição original do token CLS (imagem) ou EOS (texto), e não a partir dos tokens de pensamento gerados. Os tokens de pensamento influenciam a leitura via autoatenção, mas não servem como saída em si mesmos.
4. Objetivo de Treinamento: O modelo é treinado usando uma combinação de:
   • Perda de Entropia Cruzada ($L_{cls}$): Para melhorar a separabilidade específica da tarefa.
   • Perda de Âncora ($L_{anchor}$): Uma penalidade de similaridade cosseno entre a incorporação refinada $v^{(K)}_i$ e a incorporação zero-shot original $v^{(0)}_i$. Isso garante que os refinamentos permaneçam compatíveis com a geometria multimodal pré-treinada do CLIP, prevenindo o overfitting a pequenos conjuntos de suporte.

Princípios de Design

• Computação como Recurso: A capacidade de adaptação é trocada por computação (etapas iterativas) em vez de contagem de parâmetros.
• Raciocínio Específico à Modalidade: Projetores separados são usados para visão e texto.
• Inserção Intermediária: Tokens de raciocínio são injetados em camadas intermediárias para refinar representações semânticas, preservando ao mesmo tempo características pré-treinadas de baixo nível.

Principais Contribuições

1. Computação como Recurso de Adaptação: O artigo demonstra que o raciocínio latente iterativo pode fornecer refinamento útil específico da tarefa com uma contagem de parâmetros fixa e baixa, oferecendo um eixo complementar à escala de parâmetros.
2. Framework PERL: Um mecanismo de adaptação recorrente e leve para modelos CLIP congelados que usa um projetor compartilhado para gerar dinamicamente tokens de raciocínio, refinando representações latentes sem atualizações de gradiente no tempo de teste.
3. Fortes Trade-offs Parâmetro-Desempenho: Sob otimização restrita (uma época, few-shot), o PERL alcança desempenho competitivo ou superior comparado a métodos que usam ordens de magnitude mais parâmetros.

Resultados Experimentais

Os autores avaliaram o PERL em 15 benchmarks, incluindo generalização base-para-novo, transferência entre conjuntos de dados e variantes fora de distribuição (OOD) do ImageNet.

• Generalização Base-para-Novo: O PERL alcançou a maior precisão média de classes novas (75,74%) entre os métodos comparados, superando frameworks maiores como MMRL++ e PromptSRC. Alcançou uma média harmônica (HM) de 74,79 usando apenas 6 mil parâmetros treináveis, o que é 817 vezes menos que o maior método comparado (MMRL) e 113 vezes menos que o MMAC.
• Transferência entre Conjuntos de Dados: Quando treinado no ImageNet e avaliado em 10 conjuntos de dados downstream, o PERL alcançou uma precisão média de destino de 65,56%. Permaneceu competitivo com métodos muito maiores (por exemplo, a 0,13 pontos do MaPLe, enquanto usava 583 vezes menos parâmetros) e superou baselines compactas de ajuste de prompts.
• Estudos de Ablação:
  • Modalidade: O raciocínio conjunto texto-visão performou melhor, embora o raciocínio apenas em texto tenha gerado ganhos mais fortes do que apenas em visão.
  • Camada de Injeção: Injetar raciocínio em camadas intermediárias (especificamente a camada 7) foi ótimo; injeção precoce degradou o desempenho, enquanto injeção profunda especializou-se demais à custa da generalização.
  • Etapas: O desempenho melhorou consistentemente até 4 etapas de raciocínio, após o que os ganhos saturaram.
  • Capacidade: Aumentar o número de projetores independentes (por exemplo, por etapa ou por camada) melhorou o desempenho ainda mais, confirmando que o raciocínio iterativo fornece um eixo de capacidade distinto.
• Dinâmicas: A análise mostrou que o raciocínio iterativo estabiliza progressivamente as previsões e realoca evidências visuais para regiões semanticamente consistentes, particularmente para amostras que requerem correção (transições de errado-para-certo).

Significado e Alegações

O artigo alega que o raciocínio latente iterativo fornece um mecanismo de adaptação complementar à escala de parâmetros em modelos visão-linguagem discriminativos congelados.

• Eficiência: O PERL demonstra que um módulo pequeno e compartilhado, reutilizado recursivamente, pode alcançar forte adaptação com parâmetros treináveis mínimos (~6 mil), reduzindo significativamente o ônus de armazenamento e treinamento para implantações multi-tarefa ou multi-domínio.
• Mecanismo: Diferentemente de métodos que dependem da acumulação de parâmetros específicos da tarefa, o PERL mostra que "pensar por mais tempo" (refinamento iterativo) permite que o modelo direcione representações pré-treinadas para regiões de decisão, preservando a geometria zero-shot original.
• Trade-offs: Os autores reconhecem um trade-off: embora a eficiência de parâmetros seja alta, o método incorre em um custo computacional (avaliar o módulo de refinamento $K+1$ vezes por modalidade). No entanto, isso é favorável em cenários onde armazenamento e manutenção de parâmetros são gargalos.
• Limitações: Os autores notam que o PERL fica atrás dos métodos mais fortes do "regime pesado" (aqueles com orçamentos grandes de adaptação) em texturas específicas fora de distribuição (EuroSAT) e categorias de granularidade fina (Flowers102), sugerindo que tarefas OOD extremamente difíceis ainda podem se beneficiar de orçamentos de adaptação maiores.

Em resumo, o PERL postula que, para modelos fundacionais congelados, a adaptação não precisa surgir exclusivamente do armazenamento de mais parâmetros; ela também pode emergir do refinamento progressivo de representações através de computação iterativa e eficiente em parâmetros.