🤖 machine learning

Revisit Visual Prompt Tuning: The Expressiveness of Prompt Experts

Este artigo propõe o *Visual Adaptive Prompt Tuning* (VAPT), um método que aumenta a expressividade de especialistas de *prompts* em modelos de visão, superando o desempenho de técnicas de ajuste de parâmetros eficientes e até de modelos totalmente ajustados (*fine-tuned*), com maior eficiência de parâmetros e de amostras.

Autores originais: Minh Le, Anh Nguyen, Huy Nguyen, Chau Nguyen, Anh Tran, Nhat Ho

Publicado 2026-02-12

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Minh Le, Anh Nguyen, Huy Nguyen, Chau Nguyen, Anh Tran, Nhat Ho

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um Chef de Cozinha super experiente (o modelo de IA pré-treinado, como o ViT). Ele sabe tudo sobre culinária básica: como cortar, como temperar e como usar o fogo.

No entanto, você quer que ele prepare um prato muito específico, como um "Sushi de Fusão Japonês-Brasileiro". O Chef sabe cozinhar, mas ele não tem o "toque" ou a "receita exata" para essa mistura nova.

O Problema: O "Post-it" Estático (VPT)

Até agora, a técnica usada para ensinar esse Chef era o VPT (Visual Prompt Tuning). Imagine que, em vez de dar um novo livro de receitas para o Chef, você apenas cola um Post-it na bancada dele com uma instrução genérica: "Use ingredientes exóticos".

O problema é que esse Post-it é estático. Não importa se o peixe que chegou hoje é um Salmão ou um Atum, o Post-it diz a mesma coisa. O Chef tenta seguir a instrução, mas como o Post-it não muda de acordo com o ingrediente que está na frente dele, o resultado nem sempre é perfeito. É uma instrução "burra" que não reage ao que está acontecendo na cozinha.

A Solução: O "Chef Assistente Inteligente" (VAPT)

Os pesquisadores criaram o VAPT (Visual Adaptive Prompt Tuning). Em vez de um Post-it colado na parede, imagine que agora o Chef tem um Assistente de Cozinha super atento.

Esse assistente não fica parado. Toda vez que um ingrediente novo chega na bancada, o assistente olha para ele, analisa a textura, a cor e o cheiro, e escreve uma instrução nova e personalizada na hora para o Chef.

Se o ingrediente é um peixe gorduroso, o assistente diz: "Chef, use menos óleo!"
Se o ingrediente é um limão muito ácido, o assistente diz: "Chef, adicione um pouco de açúcar para equilibrar!"

Essa instrução é adaptável (ou "adaptive"). Ela muda conforme a imagem (o ingrediente) que o modelo está vendo.

Como eles fizeram isso? (A "Mágica" Técnica)

Para não gastar muito dinheiro ou tempo (o que chamamos de "eficiência de parâmetros"), eles não deram um novo cérebuiltin para o Chef. Eles apenas criaram dois mecanismos simples:

O Olhar Global (Token-wise Projectors): O assistente olha para a cozinha inteira para entender o contexto, e não apenas para um grão de sal isolado.
O Filtro de Detalhes (Channel-wise Convolution): Ele consegue perceber a relação entre os ingredientes vizinhos (como o sal e a pimenta) para dar uma instrução mais precisa.

Por que isso é importante? (Os Resultados)

Os resultados foram impressionantes, como se o Chef tivesse passado de um cozinheiro bom para um mestre de alta gastronomia:

Mais Inteligente: Ele superou até mesmo quando tentavam treinar o Chef inteiro do zero (o que é muito caro e demorado).
Aprende com Pouco: Mesmo se você der apenas 1% dos ingredientes (poucos dados de treino), o VAPT consegue entender o que fazer, enquanto o método antigo (VPT) ficava completamente perdido.
Rápido e Barato: Ele faz tudo isso sem precisar de uma cozinha gigante ou de milhares de novos funcionários; ele apenas usa um assistente muito eficiente.

Em resumo: O VAPT transforma instruções de IA de "avisos fixos na parede" em "conselhos inteligentes que mudam conforme a situação", tornando a inteligência artificial muito mais precisa e capaz de aprender tarefas novas com muito menos esforço.

Resumo Técnico: Revisitando o Visual Prompt Tuning: A Expressividade dos Especialistas de Prompt

1. O Problema

O Visual Prompt Tuning (VPT) é uma técnica de ajuste fino eficiente em parâmetros (PEFT) que adapta modelos de visão pré-treinados (como o ViT) adicionando tokens de prompt aprendíveis à entrada. Embora o VPT seja empiricamente eficaz, os autores identificam uma limitação teórica fundamental: a baixa expressividade funcional dos especialistas de prompt.

No framework atual do VPT, os tokens de prompt são vetores constantes e invariantes à entrada. Em termos de Mixture of Experts (MoE) — uma interpretação teórica onde cada cabeça de atenção é vista como uma composição de vários especialistas — o VPT introduz novos especialistas que são estáticos. Isso contrasta com os especialistas pré-treinados (que são funções lineares da entrada) e com a prática padrão de MoE, onde os especialistas devem ser adaptativos e dependentes da entrada para maximizar a capacidade de adaptação.

2. Metodologia: VAPT (Visual Adaptive Prompt Tuning)

Para resolver essa limitação, os autores propõem o VAPT, que transforma os prompts estáticos em especialistas de prompt adaptativos que dependem da entrada, mantendo a eficiência de parâmetros. A arquitetura baseia-se em dois componentes principais:

Token-wise Projectors (Projetores por Token): Em vez de usar vetores fixos, o VAPT utiliza projetores que agregam informações globais de todos os tokens da imagem. Isso permite que cada especialista de prompt "enxergue" o contexto global da cena.
Channel-wise Convolution (Convolução por Canal): Antes da projeção, aplica-se uma convolução que compartilha pesos entre todos os canais. Isso permite capturar relações espaciais locais (adjacência entre patches) sem aumentar drasticamente o número de parâmetros.
Feature Projector (Projetor de Características): Um pequeno MLP (Multi-Layer Perceptron) é aplicado às características agregadas para gerar os tokens de prompt finais. Para manter a eficiência, este projetor é compartilhado entre todos os blocos da Transformer.

Matematicamente, o VAPT garante que os especialistas de prompt sejam funções da entrada $X$ , permitindo que o modelo ajuste sua resposta de forma dinâmica para cada imagem.

3. Principais Contribuições

Nova Perspectiva Teórica: Reinterpreta o VPT através da lente de Mixture of Experts (MoE), identificando a natureza invariante à entrada como o principal gargalo de expressividade.
Inovação Arquitetural (VAPT): Introduz um mecanismo de prompting adaptativo que equilibra expressividade funcional com extrema eficiência de parâmetros e computação.
Análise Teórica de Eficiência de Amostra: O artigo fornece uma prova rigorosa de que o VAPT atinge uma eficiência de amostra ótima para a estimativa de prompts, algo raramente visto na literatura de prompt tuning.
Demonstração de Eficiência: O método consegue superar o ajuste fino total (full fine-tuning) em vários benchmarks, utilizando uma fração mínima de parâmetros.

4. Resultados Experimentais

Os resultados foram validados em benchmarks de larga escala como VTAB-1K e FGVC:

Desempenho Superior: No VTAB-1K, o VAPT superou o ajuste fino total em 22 de 24 tarefas, com um ganho médio de 7,34% de precisão.
Eficiência de Dados (Sample Efficiency): Em experimentos com o dataset Stanford Dogs, o VAPT demonstrou uma vantagem massiva em regimes de poucos dados. Com apenas 1% dos dados de treino, o VAPT alcançou 60,1% de precisão, enquanto o VPT tradicional obteve apenas 3,6%. O VAPT precisou de apenas 30% dos dados para igualar o desempenho do VPT treinado com 100% dos dados.
Robustez e Generalização: O método mostrou-se superior em diferentes objetivos de pré-treinamento (MAE e MoCo v3) e em tarefas de segmentação semântica e recuperação multimodal (imagem-texto).
Custo Computacional: O aumento no custo de FLOPs é desprezível (apenas 0,6% em relação ao VPT), tornando-o viável para aplicações práticas.

5. Significância

Este trabalho é significativo porque preenche a lacuna entre a prática empírica e a fundamentação teórica no campo de PEFT. Ele demonstra que a "inteligência" de um método de adaptação não reside apenas em quantos parâmetros são treináveis, mas na capacidade funcional desses parâmetros de reagir às variações dos dados de entrada. O VAPT estabelece um novo padrão para o design de prompts visuais, movendo o campo de prompts estáticos para prompts dinâmicos e contextuais.