Prompt Tuning for CLIP on the Pretrained Manifold

O artigo apresenta o ManiPT, um framework que melhora o ajuste de prompts em modelos CLIP sob supervisão limitada ao restringir as representações aprendidas à variedade pré-treinada por meio de restrições de consistência e viés estrutural, resultando em melhor generalização e mitigação de overfitting.

O essencial

Imagine que você tem um gênio da lâmpada (o modelo CLIP) que foi treinado lendo milhões de livros e vendo bilhões de fotos. Ele conhece o mundo geral: sabe o que é um "cachorro", uma "cadeira" ou um "pôr do sol". Ele é muito inteligente, mas não foi treinado especificamente para a sua tarefa nova, como identificar raças específicas de cães de raça pura ou detectar doenças raras em raios-X.

O problema é que, quando tentamos ensinar esse gênio uma tarefa nova com pouquíssimos exemplos (digamos, apenas 5 fotos de cada tipo), ele tende a "aprender errado". Ele começa a decorar detalhes irrelevantes, como o fundo da foto ou a textura do papel, em vez de aprender o conceito real. É como um aluno que, para passar numa prova difícil com pouco tempo de estudo, decora as respostas de um único livro de exercícios, mas falha se a pergunta for feita de um jeito diferente.

Os pesquisadores deste paper chamam esse fenômeno de "Deriva do Manifold" (Manifold Drift). Em linguagem simples: o modelo sai do "caminho seguro" onde ele é inteligente e confiável, e começa a andar por atalhos perigosos que funcionam só para aquele pequeno conjunto de dados, mas falham no mundo real.

A Solução: O ManiPT (O Guia de Navegação)

Os autores criaram uma nova técnica chamada ManiPT. Pense nela como um GPS de alta precisão que impede o modelo de se perder.

Aqui está como funciona, usando analogias do dia a dia:

1. A "Bússola de Consistência" (Restrições de Cosseno)

Imagine que o conhecimento prévio do modelo é um grande parque (o "manifold pré-treinado"). Quando o modelo aprende algo novo, ele deve ficar caminhando dentro desse parque, perto das trilhas principais que ele já conhece.

O ManiPT usa uma "bússola" que verifica constantemente: "Ei, você ainda está perto da trilha principal?".

• No Texto: Se o modelo está aprendendo sobre "gatos", ele é forçado a manter a descrição do gato próxima à ideia geral de "gato" que ele já tinha, em vez de inventar uma definição estranha baseada apenas nas 5 fotos que você mostrou.
• Na Imagem: Se a foto é de um gato, a representação visual deve permanecer próxima ao que o modelo já sabe que é um gato, sem se distorcer para capturar apenas o tapete onde o gato está sentado.

Isso evita que o modelo "saia do parque" e se perca em áreas desconhecidas e perigosas.

2. O "Corretor Incremental" (Viés Estrutural)

Aqui está a parte mais inteligente. Muitas vezes, os métodos anteriores tentam substituir o conhecimento antigo pelo novo. O ManiPT faz o oposto: ele age como um editor de texto experiente.

Imagine que você tem um rascunho de um livro (o conhecimento antigo) e precisa adicionar uma nova página.

• Métodos antigos: Rasgariam o livro inteiro e escreveriam um novo do zero, correndo o risco de perder a essência da história.
• ManiPT: Ele pega o livro original, lê a página, e faz pequenas anotações nas margens (os "prompts") para ajustar a história. Ele não muda o livro inteiro; ele apenas faz correções sutis e incrementais.

Essa técnica garante que o modelo faça apenas ajustes necessários, seguindo a direção que já funciona bem, em vez de tentar reinventar a roda.

3. O "Mentor com IA" (Enriquecimento de Conhecimento)

Para ajudar o modelo a entender o que ele deve aprender, o ManiPT usa uma Inteligência Artificial (LLM) para escrever descrições ricas e detalhadas de cada classe (ex: em vez de só "cachorro", a IA descreve "um animal de quatro patas, com pelo, orelhas caídas e cauda abanando"). Isso serve como uma âncora de ouro, garantindo que o modelo tenha uma referência sólida e rica para se apoiar, em vez de depender apenas de poucas fotos.

Por que isso é importante?

Em resumo, o ManiPT resolve o problema de "estudar demais para a prova errada".

• Sem ManiPT: O modelo estuda apenas as 5 fotos que você deu, memoriza o fundo e falha quando vê um cachorro em outro lugar.
• Com ManiPT: O modelo usa o que já sabe (o conhecimento geral), faz ajustes pequenos e seguros, e continua sendo inteligente e generalizável.

Os testes mostraram que, em situações com poucos dados (como identificar novas raças de animais ou adaptar-se a novos estilos de fotos), o ManiPT supera todos os outros métodos, mantendo o modelo estável e preciso, sem "alucinar" ou esquecer o que ele já sabia. É como dar ao gênio da lâmpada um mapa e um guia, para que ele possa aprender novas tarefas sem se perder no caminho.

Resumo técnico

Resumo Técnico: ManiPT

1. O Problema: Deriva do Manifold e Overfitting

O artigo aborda um desafio fundamental no ajuste fino de modelos de visão e linguagem pré-treinados em larga escala, como o CLIP, sob condições de supervisão limitada (poucos dados ou few-shot).

• Contexto: O Prompt Tuning é uma técnica eficiente em parâmetros que introduz vetores de prompt aprendíveis para adaptar modelos congelados a tarefas específicas.
• O Desafio: Sob supervisão limitada, o prompt tuning tende a explorar sinais discriminativos locais e espúrios (como padrões de fundo ou artefatos de textura) que são válidos apenas no conjunto de treinamento restrito.
• A Consequência (Deriva do Manifold): Essa estratégia faz com que as representações aprendidas se afastem do manifold pré-treinado (a estrutura geométrica robusta aprendida durante o pré-treinamento em larga escala). Essa "deriva" (drift) leva a um overfitting severo, onde o modelo perde a capacidade de generalização para classes não vistas (unseen classes) ou para distribuições de domínio diferentes.
• Limitação das Métodos Atuais: Abordagens existentes focam em tornar os prompts mais expressivos ou adicionam regularização heurística (baseada em logits ou parâmetros), mas não controlam explicitamente como as atualizações do prompt alteram a geometria das representações em relação às características congeladas do CLIP.

2. Metodologia: O Framework ManiPT

Os autores propõem o ManiPT (Manifold Prompt Tuning), um framework que realiza o ajuste de prompts diretamente sobre o manifold pré-treinado, garantindo que as adaptações permaneçam dentro da vizinhança geométrica válida. O método baseia-se em três pilares principais:

A. Enriquecimento de Conhecimento via LLM

• Para reduzir a dependência de semântica espúria aprendida com poucos dados, o ManiPT utiliza um Grande Modelo de Linguagem (LLM) para gerar descrições ricas e estáveis para cada classe.
• Essas descrições são codificadas pelo CLIP para formar um banco de características de texto, servindo como protótipos semânticos robustos para restringir o ajuste.

B. Restrições de Consistência Cosenal (Cosine Consistency Constraints)

• O método impõe restrições geométricas tanto no lado visual quanto no textual para confinar as representações aprendidas dentro da vizinhança do manifold pré-treinado.
• Lado Visual: Minimiza a divergência cosenual entre as características visuais adaptadas e as características visuais congeladas do CLIP original.
• Lado Textual: Garante que as características de texto adaptadas permaneçam alinhadas com os protótipos semânticos derivados do LLM, evitando a deriva semântica.
• Isso impede que o modelo se desvie significativamente do suporte válido do manifold pré-treinado.

C. Viés Estrutural (Structural Bias) via Agregação Aditiva

• Apenas permanecer na vizinhança do manifold não é suficiente, pois soluções de "atalho" (shortcuts) ainda podem existir localmente.
• O ManiPT introduz um viés estrutural que força correções incrementais. Em vez de substituir as características congeladas, o modelo agrega as características do prompt às características congeladas e renormaliza o resultado:
  $$f = \frac{z_{frozen} + h_{prompt}}{\|z_{frozen} + h_{prompt}\|}$$
• Efeito Geométrico: Essa estrutura aditiva induz uma contração geométrica, garantindo que a representação final esteja geometricamente mais próxima da referência congelada do que a representação do prompt isolado. Isso guia a adaptação ao longo de direções transferíveis e suprime a dependência de atalhos específicos do conjunto de dados.

D. Análise Teórica

• Os autores fornecem garantias teóricas de que, sob riscos empíricos comparáveis, o ManiPT atinge um limite de risco populacional menor.
• A análise demonstra que as restrições de consistência limitam a magnitude da perturbação dos logits, e o viés estrutural garante que a adaptação seja incremental, mitigando o overfitting em regimes de poucos dados.

3. Principais Contribuições

1. Identificação da Deriva do Manifold: O trabalho identifica e quantifica a "deriva do manifold" como um fator crítico que limita a generalização no prompt tuning sob supervisão limitada.
2. Novo Framework (ManiPT): Propõe um método que combina restrições de consistência cosenual (para confinamento geométrico) e um viés estrutural aditivo (para correções incrementais).
3. Garantias Teóricas: Fornece uma análise teórica rigorosa sobre os limites de erro de generalização, provando que o método reduz a tendência de overfitting.
4. Desempenho Superior: Demonstra experimentalmente que o ManiPT supera consistentemente métodos state-of-the-art (como CoOp, CoCoOp, MaPLe, PromptSRC) em múltiplos cenários.

4. Resultados Experimentais

O ManiPT foi avaliado em 15 conjuntos de dados abrangendo classificação de objetos gerais, granulação fina, cenas, texturas e imagens de satélite, além de variantes do ImageNet.

• Generalização Base-para-Nova (Base-to-Novel): O ManiPT alcançou a melhor média harmônica (HM) entre classes base e novas em 11 conjuntos de dados, superando todos os baselines. Isso indica um equilíbrio superior entre reter conhecimento prévio e generalizar para novas classes.
• Transferência entre Conjuntos de Dados (Cross-Dataset): Ao treinar no ImageNet e testar em 10 outros conjuntos, o ManiPT alcançou a maior precisão média (68,04%), superando métodos como CoPrompt e TAC.
• Generalização de Domínio: O método manteve alta robustez em variantes do ImageNet (V2, Sketch, A, R), confirmando que ancorar as representações no backbone congelado filtra ruído específico de domínio.
• Classificação Few-Shot: Em cenários extremos (1-shot e 2-shot), o ManiPT manteve ganhos de desempenho claros sobre os baselines, validando sua eficácia em regimes de dados escassos.
• Análise de Deriva: Medições quantitativas da deriva do manifold (usando PCA) mostraram que o ManiPT mantém a distância das características adaptadas em relação ao manifold pré-treinado próxima de zero, enquanto outros métodos apresentam deriva significativa.
• Eficiência: O método é computacionalmente eficiente, com tempo de treinamento por época comparável ao CoOp e significativamente mais rápido que métodos profundos como MaPLe, utilizando apenas 0,25M de parâmetros treináveis.

5. Significado e Impacto

O ManiPT oferece uma nova perspectiva sobre como adaptar modelos fundacionais (Foundation Models) sem comprometer sua generalização intrínseca.

• Mudança de Paradigma: Em vez de apenas aumentar a plasticidade dos prompts (o que leva a overfitting), o ManiPT foca em confinamento geométrico e correção incremental.
• Solução para Dados Escassos: O trabalho resolve o dilema de como adaptar modelos grandes a tarefas específicas com poucos dados sem perder a robustez aprendida durante o pré-treinamento massivo.
• Interpretabilidade Geométrica: Ao visualizar e controlar a deriva no espaço de características, o método fornece uma explicação clara de por que o overfitting ocorre em prompt tuning e como mitigá-lo geometricamente.

Em suma, o ManiPT estabelece que, para uma generalização robusta em regimes de poucos dados, a adaptação deve ser vista como um ajuste incremental dentro da estrutura geométrica pré-existente, e não como uma reescrita completa das representações.