Evolving Prompt Adaptation for Vision-Language Models

O artigo propõe o EvoPrompt, um novo framework que utiliza um projetor de prompts compartilhado entre modalidades e uma estratégia evolutiva de treinamento para adaptar modelos visão-linguagem a tarefas com poucos dados sem esquecer o conhecimento pré-treinado, alcançando desempenho state-of-the-art em aprendizado com poucos exemplos enquanto preserva as capacidades zero-shot originais.

O essencial

Imagine que você tem um gênio poliglota (o modelo de IA) que passou anos estudando milhões de livros e fotos na internet. Ele sabe de tudo: desde como identificar um gato em uma foto até explicar a teoria da relatividade. Esse é o "Modelo de Visão e Linguagem" (VLM) pré-treinado.

O problema é: se você quiser ensinar esse gênio a fazer algo muito específico, como "identificar apenas os 5 tipos de pássaros raros do seu quintal", usando apenas poucas fotos (digamos, 5 de cada um), ele tende a esquecer tudo o que sabia antes. Ele fica tão focado nos pássaros do seu quintal que esquece o que é um "cachorro" ou "carro". Isso é chamado de "esquecimento catastrófico".

Aqui entra o EvoPrompt, a solução proposta por este artigo. Vamos explicar como funciona usando analogias do dia a dia:

1. O Problema: O "Aprendizado Desajeitado"

Antes do EvoPrompt, os métodos existentes tentavam ensinar o gênio colando "post-its" (chamados de prompts) em diferentes partes do cérebro dele.

• O defeito: Eles colavam post-its aleatórios e independentes em cada camada do cérebro. Isso era como tentar ensinar alguém a dirigir colando bilhetes soltos no painel, no volante e no banco. O sistema ficava confuso, o fluxo de informação quebrava e, ao focar nos pássaros, o cérebro apagava as memórias antigas.

2. A Solução: O "EvoPrompt" (Adaptação Evolutiva)

Os autores criaram um sistema que guia a evolução desse aprendizado, garantindo que o gênio aprenda o novo sem apagar o velho. Eles usaram três truques principais:

A. O "Projetor de Prompts Compartilhado" (MPP)

• A Analogia: Em vez de colar post-its soltos e independentes, imagine que você tem um maestro (o projetor) que toca uma única partitura mestre. Essa partitura é enviada para todos os músicos (camadas do cérebro) de forma coordenada.
• O que faz: Isso garante que todas as partes do cérebro "conversem" entre si e entendam o contexto geral, criando uma harmonia entre visão (fotos) e linguagem (texto), em vez de cada um tocar sua própria música.

B. A "Evolução Direcional" (O Segredo Principal)

• A Analogia: Pense em aprender a andar de bicicleta.
  • No início, você aprende a direção (equilíbrio, pedalar para frente). Isso é fundamental e não deve mudar.
  • Depois, você ajusta a força (quão forte você pisa, quão rápido vira).
• O Truque do EvoPrompt: O método separa o aprendizado em duas coisas:
  1. Direção: O que o modelo aprendeu no início (o equilíbrio) é congelado. Ele não pode mudar. Isso preserva o conhecimento original (saber o que é um gato, um carro, etc.).
  2. Magnitude (Força): O modelo só pode ajustar a intensidade ou a força desses aprendizados para se adaptar aos pássaros do seu quintal.
• Resultado: O modelo aprende a tarefa nova sem "virar de cabeça para baixo" e esquecer o básico. É como ajustar o volume da música em vez de trocar de estação de rádio.

C. A "Regra de Geometria" (Regularização)

• A Analogia: Imagine que você está organizando uma biblioteca. Se você jogar todos os livros em uma pilha no chão, fica tudo bagunçado e difícil de achar (colapso de representação).
• O Truque: O EvoPrompt usa uma "regra de organização" que força os livros (características da imagem) a ficarem em prateleiras separadas e organizadas. Isso impede que o modelo fique confuso e garanta que cada detalhe da imagem seja entendido de forma única e clara.

3. O Resultado: O Gênio Perfeito

Com essas técnicas, o EvoPrompt consegue:

1. Aprender rápido: Com apenas 5 fotos de cada pássaro, ele aprende a identificá-los perfeitamente.
2. Não esquecer nada: Ele continua sabendo identificar gatos, carros e paisagens como se nunca tivesse estudado os pássaros.
3. Ser eficiente: Ele não precisa reescrever todo o cérebro do gênio, apenas ajusta pequenos detalhes (o que economiza muita energia e tempo de computador).

Resumo Final

O EvoPrompt é como um tutor inteligente que ensina um aluno genial uma nova matéria. Em vez de fazer o aluno decorar a nova matéria e esquecer a antiga, o tutor diz: "Mantenha firme no que você já sabe (a direção), e apenas ajuste a intensidade do seu foco (a magnitude) para o novo tema."

Isso permite que as IAs sejam adaptadas para tarefas específicas (como medicina ou agricultura) sem perder a inteligência geral que as torna tão poderosas.

Resumo técnico

Título: Evolving Prompt Adaptation for Vision-Language Models (EvoPrompt)

1. Problema Identificado

A adaptação de modelos de visão-linguagem (VLMs) de grande escala, como o CLIP, para tarefas específicas com poucos dados rotulados (few-shot learning) enfrenta desafios significativos:

• Esquecimento Catastrófico: Métodos de ajuste fino (fine-tuning) eficientes, como o prompt learning (aprendizado de prompts), frequentemente causam a perda das capacidades de generalização "zero-shot" originais do modelo pré-treinado. O modelo tende a superajustar (overfit) aos dados limitados da tarefa de destino, abandonando o conhecimento fundamental aprendido durante o pré-treinamento.
• Limitações Estruturais: Abordagens existentes tratam os prompts como parâmetros independentes em cada camada do encoder, o que interrompe o fluxo hierárquico de informações semânticas. Além disso, muitas técnicas apresentam viés centrado no texto, falhando em aproveitar a interação complementar entre visão e linguagem.
• Instabilidade na Evolução: Durante o treinamento, os prompts aprendidos tendem a desviar rapidamente de suas "âncoras" semânticas iniciais, levando a uma degradação da generalização.

2. Metodologia Proposta: EvoPrompt

O EvoPrompt é um novo paradigma que governa explicitamente a trajetória evolutiva dos prompts para garantir uma adaptação estável e que preserve o conhecimento. A arquitetura baseia-se em três pilares principais:

A. Projetor de Prompt Compartilhado por Modalidade (MPP - Modality-Shared Prompt Projector)

• Em vez de injetar prompts isolados em cada camada, o MPP cria um espaço de embedding unificado e aprendível ($E$).
• Este embedding compartilhado é projetado em prompts específicos para cada camada e para cada modalidade (visual e textual) através de adaptadores de baixo rank.
• Objetivo: Estabelecer uma ponte para sinergia entre camadas e modalidades, permitindo que o modelo distila e propague informações benéficas através da profundidade do encoder, capturando a progressão semântica hierárquica.

B. Estratégia de Aprendizado Consciente da Trajetória Evolutiva

O núcleo da inovação é a decomposição e o controle da atualização dos parâmetros ao longo do tempo:

• Decomposição Magnitude-Direção: As atualizações de baixo rank (resíduos) são fatoradas em uma direção (matriz normalizada) e uma magnitude (coeficiente escalar $\alpha$).
• Congelamento de Direções Históricas: Durante o treinamento, as direções aprendidas em épocas anteriores são congeladas para preservar a estrutura geométrica e o conhecimento semântico inicial. Apenas as magnitudes ($\alpha$) e a nova direção atual são otimizadas.
• Redução Adaptativa de Rank: Em estágios posteriores do treinamento, o rank das matrizes aprendíveis é reduzido progressivamente. Isso atua como uma regularização estrutural, limitando a capacidade de superajuste e estabilizando a paisagem de otimização.

C. Regularização Geométrica de Recursos (FGR - Feature Geometric Regularization)

• Para evitar o colapso de representações (onde as dimensões dos recursos se tornam redundantes ou altamente correlacionadas), o método introduz uma perda baseada no framework Soft-HGR (Soft Hirschfeld-Gebelein-Rényi).
• Esta perda força a decorrelação das características dentro de cada modalidade, promovendo ortogonalidade e garantindo que o espaço de recursos permaneça bem estruturado e informativo.

D. Função de Objetivo Total

A otimização combina:

1. Perda de alinhamento contrastivo padrão (InfoNCE).
2. Perda de regularização geométrica ($\mathcal{L}_{fgr}$).
3. Perda de constância de conhecimento ($\mathcal{L}_{kcl}$), que mede a similaridade entre as características com prompts e as características originais do CLIP congelado, garantindo que o modelo não se afaste drasticamente de sua distribuição original.

3. Contribuições Principais

1. Paradigma de Evolução Guiada: Introdução de uma abordagem que trata o ajuste de prompts não como uma injeção estática, mas como um processo evolutivo controlado, prevenindo o esquecimento catastrófico.
2. Arquitetura Unificada e Eficiente: Design do MPP que substitui prompts isolados por um espaço compartilhado, reduzindo parâmetros e melhorando a transferência de conhecimento entre camadas e modalidades.
3. Mecanismo de Controle Dinâmico: Decuplagem inovadora entre direção e magnitude das atualizações, permitindo o refinamento de tarefas sem descartar o conhecimento pré-treinado.
4. Regularização Geométrica: Uso de princípios de correlação máxima para manter a integridade estrutural do espaço de características em regimes de poucos dados.

4. Resultados Experimentais

O EvoPrompt foi avaliado em quatro cenários padrão: generalização base-novo, transferência entre datasets, generalização de domínio e aprendizado few-shot.

• Generalização Base-Novo: Em 11 benchmarks de classificação de imagens (incluindo ImageNet, Caltech101, OxfordPets, etc.), o EvoPrompt alcançou o estado da arte (SOTA).
  • Obteve uma melhoria de 0,96% na precisão de classes "novas" e 0,76% na média harmônica (HM) em relação ao melhor modelo anterior.
  • Demonstrou um equilíbrio superior entre a precisão nas classes de treino (base) e a generalização para classes não vistas (novas).
• Transferência entre Datasets: Ao ser treinado no ImageNet e testado em 10 outros datasets sem ajuste adicional, o EvoPrompt alcançou a maior precisão média (66,82%), superando métodos como MaPLe e MMA.
• Generalização de Domínio: Mostrou robustez superior em variantes desafiadoras do ImageNet (V2, Sketch, A, R), preservando melhor as capacidades de generalização fora da distribuição (OOD) do CLIP original.
• Eficiência Computacional:
  • Requer apenas 0,764M de parâmetros treináveis (comparável ou inferior a métodos anteriores).
  • Redução de 4,6x no número de parâmetros em comparação com o MaPLe.
  • Alta velocidade de inferência (1282.1 FPS).

5. Significado e Impacto

O trabalho EvoPrompt representa um avanço significativo na adaptação eficiente de VLMs. Ao reconhecer que a adaptação deve ser um processo evolutivo e não estático, o método resolve o dilema fundamental entre a especialização em tarefas específicas e a preservação da capacidade de generalização zero-shot.

A descoberta de que congelar as direções semânticas iniciais enquanto se ajusta apenas a magnitude permite que o modelo aprenda novas habilidades sem "esquecer" o conhecimento fundamental. Isso torna o EvoPrompt uma solução robusta e escalável para aplicações do mundo real onde dados rotulados são escassos e a generalização é crítica, estabelecendo um novo padrão de desempenho para modelos de visão-linguagem.