💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP é um método totalmente apenas para frente e eficiente em consultas que otimiza prompts profundos tanto nos ramos de visão quanto de texto de modelos CLIP congelados usando aproximação estocástica de perturbação simultânea, superando abordagens de ordem zero existentes em múltiplos benchmarks ao alavancar reparametrização de baixo posto cross-modal, momentum de correção de gradiente e um cronograma de posto dinâmico.

Autores originais: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô superinteligente que leu toda a internet e aprendeu a entender tanto imagens quanto palavras. É como um bibliotecário genial que consegue dizer instantaneamente do que se trata uma foto apenas olhando para ela, ou descrever uma cena usando frases perfeitas. Este robô é chamado de Modelo de Visão-Linguagem, e ele é incrivelmente poderoso. Mas aqui está o detalhe: geralmente, para ensinar ao robô um novo truque — como reconhecer um tipo específico de flor rara ou um exame médico estranho — você precisa deixá-lo "reconfigurar" seu próprio cérebro. Esse processo é pesado, como tentar reorganizar uma biblioteca enorme enquanto ela ainda está aberta ao público, e exige muita capacidade de computação e memória.

Às vezes, porém, você não pode fazer isso. Talvez o robô viva em um dispositivo minúsculo, movido a bateria, no seu bolso, ou talvez seja um serviço secreto com o qual você só pode conversar através de uma janela de chat que não permite ver como ele pensa. Nesses casos, você não pode reconfigurar o cérebro; você só pode sussurrar novas instruções para ele. Isso é chamado de "ajuste de prompt" (prompt tuning). Em vez de mudar o cérebro do robô, você dá a ele um conjunto especial de dicas ou "prompts" para ajudá-lo a resolver um novo quebra-cabeça. O problema é que encontrar as dicas perfeitas geralmente exige muita tentativa e erro, e se você não consegue ver os pensamentos internos do robô (gradientes), é como tentar encontrar uma agulha no palheiro enquanto está vendado. Você pode precisar de milhares de palpites apenas para acertar, o que é muito lento e caro para a vida real.

É aqui que entra um novo método chamado ZOMP. Pense no ZOMP como um detetive astuto que resolve o problema da "agulha vendada" mudando a forma como pesquisa. Em vez de adivinhar cada detalhe da dica de uma só vez, o ZOMP usa uma estratégia para adivinhar as partes mais importantes primeiro e, depois, preenche o restante lentamente.

Veja como funciona, usando algumas metáforas divertidas:

O Truque do "Projeto Compartilhado"
Normalmente, quando você tenta ensinar coisas novas ao robô, tem que escrever dicas separadas para os "olhos" (visão) e para a "voz" (texto). Se você tentar escrever dicas profundas e complexas para ambos ao mesmo tempo, o número de possibilidades torna-se tão grande que a busca vendada se perde. O ZOMM muda o jogo ao dizer: "Vamos usar um projeto compartilhado". Imagine que as dicas para os olhos e para a voz são construídas a partir do mesmo pequeno conjunto de peças de LEGO. Você só precisa descobrir como organizar essas poucas peças, e elas constroem automaticamente as dicas certas tanto para os olhos quanto para a voz ao mesmo tempo. Isso mantém o espaço de busca pequeno e gerenciável, mesmo que as dicas sejam profundas e complexas.

A Expansão de "Orçamento Indexado"
Mesmo com o projeto compartilhado, tentar organizar todas as peças de uma vez ainda é muito difícil quando você está vendado. O ZOMP usa um sistema de "orçamento". Imagine que você tem um número limitado de palpites (consultas) para encontrar a melhor dica. O ZOMP começa permitindo que ele brinque apenas com a primeira peça, a mais importante. Ele encontra a direção certa para essa única peça. Assim que tem certeza de que está no caminho certo, ele "desbloqueia" a próxima peça, depois a próxima, expandindo a busca lentamente apenas quando tem uma direção confiável. É como aprender a dirigir: você começa em um estacionamento vazio (um espaço de busca minúsculo), fica confortável e depois avança lentamente para as ruas do bairro e, finalmente, para a rodovia. Você não tenta dirigir na rodovia no seu primeiro dia.

A Memória de "Momento"
Como a busca é feita de olhos vendados, as pistas que o robô recebe são frequentemente ruidosas e instáveis, como tentar caminhar em um barco em águas agitadas. O ZOMP adiciona uma memória de "momento" (momentum). Pense nisso como um surfista que não apenas reage a cada onda, mas lembra a direção geral para onde o oceano está empurrando. Mesmo que uma onda o jogue para o lado, ele continua seguindo na direção certa porque lembra para onde estava indo. Isso ajuda o robô a ignorar o ruído e a manter-se no caminho que realmente funciona.

Os Resultados
Os pesquisadores testaram este método em 13 desafios diferentes, desde identificar flores até reconhecer veículos em imagens de satélite. Eles deram ao ZOMP e a outros métodos exatamente o mesmo número de palpites (5.000 consultas). Os resultados mostraram que o ZOMP consistentemente encontrou melhores dicas do que os outros métodos. Ele não foi apenas ligeiramente melhor; ele foi frequentemente significativamente mais preciso, especialmente em tarefas complicadas onde o robô costuma ter dificuldades.

O que é realmente legal é que o ZOMP não apenas melhorou na tarefa específica para a qual foi treinado. Ele também ficou melhor em lidar com situações novas e estranhas que nunca tinha visto antes (como reconhecer um esboço de um objeto em vez de uma foto). Isso sugere que, ao pesquisar de forma cuidadosa e eficiente, o ZOMP aprendeu uma maneira mais inteligente de usar o conhecimento existente do robô, em vez de apenas memorizar os exemplos de treinamento.

Em resumo, o ZOMP prova que você não precisa reconfigurar o cérebro do robô para torná-lo mais inteligente. Ao usar um projeto compartilhado, expandir a busca lentamente e manter uma memória constante da direção, você pode ensinar truques novos a uma IA poderosa mesmo quando só pode sussurrar para ela e tem um número limitado de tentativas. É uma maneira prática e eficiente de tirar o máximo proveito desses modelos gigantes sem precisar de um supercomputador no seu bolso.

Resumo Técnico: ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

Definição do Problema

O ajuste fino (fine-tuning) de grandes modelos de visão-linguagem (VLMs) como o CLIP geralmente depende da retropropagação (backpropagation - BP) através de todo o modelo. No entanto, isso é inviável em dois cenários cada vez mais comuns: dispositivos de borda com restrição de memória, onde o grafo de computação do backward não cabe, e implantações de modelos proprietários onde os pesos são inacessíveis via APIs de inferência. Nesses cenários, o ajuste deve basear-se exclusivamente em passagens de forward (otimização de ordem zero).

Os métodos existentes de ajuste de prompt sem retropropagação (BP-free) tentam abordar isso estimando gradientes via perturbações aleatórias (por exemplo, estratégias evolutivas ou Gradiente Descendente Estocástico de Ordem Zero). No entanto, esses métodos enfrentam um trade-off crítico:

Superficial ou Unimodal: Para manter a eficiência de consulta, métodos anteriores como BAR, BlackVIP e ZIP restringem o ajuste a prompts superficiais ou de uma única modalidade (ex: apenas texto). Eles evitam o prompting multimodal profundo (injeção de vetores aprendíveis em múltiplas camadas de codificadores de imagem e texto) porque a variância das estimativas de gradiente de ordem zero cresce com a dimensionalidade do espaço de busca.
Limites de Convergência: Sabe-se que o prompting multimodal profundo (injetando vetores aprendíveis em múltiplas camadas de ambos os codificadores de imagem e texto) produz uma precisão superior sob BP, mas a alta dimensionalidade torna isso impraticável sob orçamentos de consulta realistas quando se utilizam métodos de ordem zero.

O problema central é reconciliar a expressividade do prompting multimodal profundo com as restrições de eficiência de consulta da otimização de ordem zero.

Metodologia: ZOMP

O ZOMP (Zeroth-Order Multi-Modal Prompt tuning) propõe um método totalmente baseado apenas em forward que permite o ajuste de prompt multimodal profundo ao reestruturar o espaço de parâmetros e a trajetória de otimização. O método baseia-se em três componentes principais:

1. Reparametrização de Baixo Rank Cross-Modal
Em vez de otimizar matrizes de prompt diretamente, o ZOMP adota uma forma fatorada inspirada no LoRA e MMLoP. Para cada camada $l$ , o prompt visual $P_v^{(l)}$ e o prompt de texto $P_t^{(l)}$ são gerados como:
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
Aqui, $U^{(l)}$ é um fator pequeno e compartilhado entre ambas as modalidades, enquanto $V_v^{(l)}$ e $V_t^{(l)}$ são fatores específicos de cada modalidade.

Benefício: Isso vincula os dois codificadores, garantindo que uma única perturbação do fator compartilhado $U^{(l)}$ mova ambos os prompts de forma coerente. Isso reduz a dimensionalidade efetiva da busca e permite que o rank $r$ seja tratado como um "botão" ajustável.

2. Cronograma de Rank Progressivo Indexado pelo Orçamento
Para gerenciar a variância das estimativas de ordem zero, o ZOMP não otimiza todos os componentes de rank simultaneamente desde o início. Em vez disso, ele emprega um cronograma indexado pela fração do orçamento de consulta.

Mecanismo: O otimizador começa pesquisando apenas um subespaço de baixo rank (ex: rank-1). À medida que o orçamento de consulta é consumido, o rank é progressivamente desbloqueado (ex: de rank 1 para o rank total $r$ ).
Inicialização: Todos os fatores específicos de modalidade $V$ são inicializados com zero. Isso garante que os componentes recém-desbloqueados não contribuam com nada inicialmente, tornando a transição entre ranks preservadora de função e evitando o "choque de inicialização" que desperdiçaria consultas.

3. Momento de Correção de Gradiente
As estimativas de ordem zero são inerentemente ruidosas. O ZOMP incorpora um termo de momento baseado em SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction).

Mecanismo: O buffer de momento acumula estimativas de gradiente passadas, suavizando a trajetória.
Sinergia: A fase inicial de baixo rank fornece uma direção de baixo ruído para o momento se fixar. À medida que o rank se expande e a variância aumenta, o buffer de momento preserva a direção de descida encontrada na fase de baixa variância, impedindo que o otimizador seja desviado pelo ruído.

Fluxo do Algoritmo:
O algoritmo (Algoritmo 1) itera através do orçamento de consulta. Em cada etapa, ele amostra direções de perturbação mascaradas para os componentes de rank atualmente ativos, computa a estimativa de gradiente SPSA, aplica a correção de momento e atualiza os parâmetros. A máscara de rank é atualizada com base na contagem cumulativa de consultas.

Principais Contribuições

Prompting Multimodal Profundo sob Ordem Zero: O ZOMP é o primeiro método BP-free a implementar com sucesso o prompting profundo em ambos os codificadores de visão e texto. Ele alcança isso usando a fatoração de baixo rank cross-modal para tornar tratável o espaço de busca de alta dimensão.
Mecanismos de Treinamento Sinérgicos: O artigo introduz e valida um cronograma de rank indexado pelo orçamento pareado com o momento de correção de gradiente. Estudos de ablação mostram que nenhum dos mecanismos é suficiente isoladamente; o cronograma fornece um ponto de partida de baixo ruído para o momento, enquanto o momento permite que o otimizador sobreviva ao pico de variância quando o espaço de busca se expande.
Desempenho de Estado da Arte: O ZOMP demonstra superioridade em precisão de poucos disparos (few-shot), eficiência de consulta e capacidade de generalização em comparação com as bases de comparação BP-free existentes (BAR, BlackVIP, BPT-VLM e ZIP).

Resultados Experimentais

Os autores avaliaram o ZOMP em 13 benchmarks de visão-linguagem sob um orçamento correspondente de 5.000 consultas usando um backbone CLIP ViT-B/16 congelado.

Classificação Few-Shot: O ZOMP alcançou uma precisão média de 68,2% em 13 datasets, superando o método anterior mais forte (ZIP, 62,2%) em 6,0 pontos. Superou todas as bases de comparação em cada dataset individual, com ganhos particularmente grandes em domínios especializados (ex: +15,9 em EuroSAT, +10,3 em CLEVR).
Generalização Base-para-Novo: Em configurações onde os prompts são treinados em classes base e testados em novas classes, o ZOMP alcançou uma média harmônica (HM) de 71,2%, excedendo o ZIP (67,5%) em 3,7 pontos. Isso indica que o método não sofre overfitting para as classes base em detrimento das novas.
Cross-Dataset & Out-of-Distribution (OOD): Prompts treinados no ImageNet foram transferidos para 12 outros datasets e 4 variantes do ImageNet sem novo ajuste. O ZOMM alcançou o melhor desempenho médio tanto em CDT (56,9%) quanto em OOD (59,1%), demonstrando generalização robusta.
Eficiência de Consulta: Apesar de possuir o maior número de parâmetros treináveis (46,2k) entre os métodos testados, o ZOMP atingiu a precisão alvo no menor número de consultas. Isso contradiz a expectativa de que a otimização de ordem zero degrada com a contagem de parâmetros, provando que o cronograma de baixo rank mitiga efetivamente esse problema.
Ablação de Componentes: Remover o cronograma de rank ou o momento resultou em quedas significativas de desempenho, confirmando sua natureza complementar. Remover o compartilhamento cross-modal (usando fatores $U$ independentes) também reduziu o desempenho, validando o benefício dos fatores compartilhados.

Significância e Alegações

O artigo afirma que o ZOMP fecha a lacuna entre a expressividade teórica do prompting multimodal profundo e as restrições práticas do ajuste sem retropropagação. Ao explorar conjuntamente a multimodalidade e a estrutura de baixo rank, o ZOMP fornece uma rota prática para o ajuste de prompt eficiente para dispositivos de borda e APIs proprietárias.

Os autores afirmam que seus resultados demonstram que o prompting multimodal profundo não é inerentemente incompatível com a otimização de ordem zero; em vez disso, requer uma reparametrização e um cronograma de otimização específicos para gerenciar a variância. O trabalho sugere que o "teto" observado anteriormente nos métodos BP-free foi uma consequência do design do espaço de busca, e não uma limitação fundamental da própria abordagem de ordem zero.