💻 computer science

Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

Este artigo propõe o Ajuste de Prompt Double-Softmax (DSPT), um método livre de hiperparâmetros que aproveita a supressão intrínseca de gradientes por meio de normalização probabilística sequencial para adaptar robustamente Modelos Visão-Linguagem ao ruído de rótulos, filtrando naturalmente atualizações extremas provenientes de amostras com rótulos incorretos.

Autores originais: Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

Publicado 2026-05-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Ensinar um Estudante Inteligente com um Livro Didático Ruim

Imagine que você tem um estudante brilhante chamado CLIP. Este estudante já leu milhões de livros e viu milhões de imagens, então ele já sabe muito sobre o mundo. Se você mostrar a ele uma imagem de um carro e perguntar: "Isso é um carro ou um cachorro?", ele geralmente consegue adivinhar corretamente apenas usando seu conhecimento prévio (isso é chamado de aprendizado Zero-Shot).

No entanto, às vezes você quer ensinar a esse estudante um novo truque específico, como reconhecer um tipo muito específico de carro vintage. Para fazer isso, você não reensina tudo a ele; você apenas lhe dá algumas "palavras de dica" (chamadas de Prompts) para ajudá-lo a focar. Esse processo é chamado de Ajuste de Prompt (Prompt Tuning).

O Problema: O Livro Didático Ruim
Geralmente, você ensina o estudante usando um livro didático onde cada imagem tem o rótulo correto. Mas, neste artigo, os autores imaginam um cenário onde o livro está cheio de erros de digitação e mentiras (Ruído de Rótulo).

O Cenário: Você mostra ao estudante uma imagem de um Carro, mas o livro diz: "Isso é um Cachorro."
A Reação: Como o estudante é tão inteligente, ele imediatamente sabe: "Espere, isso é definitivamente um carro, não um cachorro!" Ele se sente muito confiante em seu próprio conhecimento.
O Desastre: Em métodos de ensino padrão, quando um estudante está confiante, mas o professor insiste que ele está errado, o estudante recebe uma "punição" massiva (um gradiente matemático enorme). O estudante pensa: "Certo, o professor tem tanta certeza, eu devo estar errado", e tenta freneticamente desaprender o que sabe para se encaixar na mentira.
O Resultado: O estudante fica confuso, esquece seu conhecimento original e começa a performar pior do que se tivesse apenas chutado sem qualquer ajuda.

A Solução: O Filtro "Double-Softmax"

Os autores propõem um novo método de ensino chamado Ajuste de Prompt Double-Softmax (DSPT). Eles argumentam que, como o estudante (CLIP) já é inteligente, devemos ser conservadores. Não devemos permitir que os erros do professor forcem o estudante a mudar de ideia muito rapidamente.

Veja como o método deles funciona, usando uma analogia:

1. A "Dupla Verificação" (O Filtro)
Imagine que o estudante levanta a mão para responder.

Método Padrão: O professor olha a resposta, vê que não corresponde ao livro e imediatamente bate um martelo gigante (um gradiente enorme) na mesa.
Método DSPT: Antes de o professor bater o martelo, a resposta passa por um Filtro Double-Softmax. Isso é como um fone de ouvido especial de cancelamento de ruído para o feedback do professor.

2. Como o Filtro Funciona

Para os Mentirosos (Amostras Ruidosas): Quando o estudante tem 100% de certeza de que é um carro, mas o livro diz "Cachorro", o filtro percebe: "Isso é uma incompatibilidade enorme". Em vez de deixar o professor gritar com o estudante, o filtro silencia a voz do professor. Ele reduz a punição massiva para quase zero. O estudante ignora a mentira e mantém seu conhecimento original.
Para os Contadores da Verdade (Amostras Limpas): Quando o estudante está inseguro (talvez seja um carro borrado) e o livro diz "Carro", o filtro deixa a voz do professor passar, mas suavemente. Ele permite que o estudante aprenda novos detalhes úteis sem ficar sobrecarregado.

3. A "Zona de Saturação"
O artigo chama isso de "zona de saturação autoadaptativa". Pense nisso como um amortecedor em um carro.

Se você passar por um pequeno solavanco (uma pequena oportunidade de aprendizado), o carro dirige suavemente.
Se você passar por um buraco enorme (um erro enorme de um rótulo ruidoso), o amortecedor comprime tanto que o carro não salta violentamente. Ele absorve o impacto para que o carro (o modelo) não sofra um acidente.

Por Que Isso é Especial

A maioria dos outros métodos tenta corrigir isso adicionando regras complexas ou pedindo que um humano ajuste muitos botões (hiperparâmetros) para decidir quanto punir o estudante.

A Alegação do Artigo: O método deles é automático. Não precisa de nenhum botão para girar. Acontece naturalmente por causa da matemática que eles usaram (o double-softmax).
O Resultado: Em seus experimentos, esse método simples manteve o estudante performando bem mesmo quando o livro estava 80% errado. Outros métodos fizeram o estudante performar pior do que se ele tivesse apenas chutado cegamente.

Resumo da Analogia

Modelo CLIP: Um estudante inteligente com uma memória forte.
Ruído de Rótulo: Um livro didático com respostas aleatórias e erradas.
Treinamento Padrão: O estudante fica assustado com as respostas erradas e esquece tudo, performando mal.
DSPT (Double-Softmax): Um filtro inteligente que percebe: "O estudante está certo, o livro está errado", e silencia o mau conselho do livro, permitindo que o estudante aprenda apenas com o bom conselho.

Os autores provaram que, ao transformar um problema geralmente visto como ruim ("vanishing gradient" ou o sinal ficando muito fraco) em uma característica, eles criaram um escudo que protege o modelo de aprender com mentiras.

1. Declaração do Problema

Modelos Visão-Linguagem (VLMs) como o CLIP exibem generalização zero-shot notável. No entanto, ao adaptar esses modelos a tarefas específicas downstream via Ajuste de Prompt (aprendendo vetores de prompt contínuos enquanto se mantém o backbone congelado), eles permanecem altamente sensíveis a ruído de rótulo.

A questão central identificada pelos autores é um "Paradoxo de Surge de Gradiente":

Na perda de Entropia Cruzada (CE) padrão, a magnitude do gradiente é proporcional à diferença entre o rótulo verdadeiro e a previsão do modelo.
VLMs pré-treinados possuem priores fortes. Quando uma amostra está mal rotulada (por exemplo, uma imagem de um "carro" rotulada como "cachorro"), o prior do modelo prevê corretamente "carro" com alta confiança, resultando em uma probabilidade próxima de zero para o rótulo ruidoso "cachorro".
Paradoxalmente, essa grande discrepância entre a previsão confiante e o rótulo ruidoso gera um gradiente desproporcionalmente grande.
Esses gradientes massivos sobrescrevem agressivamente o conhecimento pré-treinado, fazendo com que o modelo se ajuste excessivamente ao ruído e degrade o desempenho, frequentemente ficando abaixo da linha de base zero-shot.

2. Metodologia: Ajuste de Prompt com Double-Softmax (DSPT)

Os autores propõem o Ajuste de Prompt com Double-Softmax (DSPT), um framework sem hiperparâmetros projetado para suprimir intrinsecamente esses gradientes disruptivos sem mudanças complexas na arquitetura.

Mecanismo Central:
Em vez da perda CE padrão ( $L = -\log(\text{softmax}(z)_{\tilde{y}})$ ), o DSPT aplica uma normalização probabilística sequencial:
$L_{ours} = -\log(\text{softmax}(\text{softmax}(z))_{\tilde{y}})$
Onde $z$ representa os logits do modelo ajustado por prompt, e $\tilde{y}$ é o rótulo ruidoso.

Como Funciona:

Primeiro Softmax: Converte os logits $z$ em uma distribuição de probabilidade $p = \text{softmax}(z)$ .
Segundo Softmax: Aplica o softmax novamente a $p$ para gerar uma distribuição refinada $q = \text{softmax}(p)$ .
Supressão Intrínseca de Gradiente:
- Para Discordâncias de Alta Confiança (Amostras Ruidosas): Se o modelo tem alta confiança em uma previsão que contradiz o rótulo ruidoso (uma amostra provavelmente mal rotulada), o double-softmax empurra os logits para uma zona de saturação. A análise teórica mostra que a magnitude do gradiente para essas amostras converge para zero, efetivamente "nulificando" sua influência na atualização.
- Para Amostras Informativas/Incertas: Para amostras onde o modelo é menos confiante (potencialmente ambíguas ou corretamente rotuladas, mas difíceis), os gradientes permanecem dentro de uma "zona de aprendizado ativo", permitindo que o modelo aprenda refinamentos sutis.
Limitação da Perda: O método garante que a função de perda seja limitada, impedindo que o modelo se ajuste a outliers extremos.

3. Contribuições Principais

Insight Teórico: O artigo fornece uma análise sistemática revelando o "paradoxo de surge de gradiente" no ajuste de prompt de VLMs, onde priores fortes combinados com rótulos ruidosos criam atualizações de gradiente destrutivas.
Novo Framework (DSPT): Introdução de uma função de perda Double-Softmax simples e de fácil integração que atua como um filtro intrínseco de ruído. Ela reaproveita o fenômeno tradicionalmente problemático do "desvanecimento de gradiente" como um mecanismo principiado para supressão de ruído.
Design Sem Hiperparâmetros: Diferente de métodos existentes (como LogitNorm, LogitClip) que exigem ajuste cuidadoso de limiares ou parâmetros de limitação, o DSPT não requer hiperparâmetros, tornando-o robusto em diferentes conjuntos de dados e taxas de ruído.
Garantias Teóricas: Os autores fornecem provas demonstrando que o DSPT induz a nulificação de gradiente para discordâncias de alta confiança e limita a diferença de risco esperado entre distribuições limpas e ruidosas.

4. Resultados Experimentais

Os autores avaliaram o DSPT em 9 conjuntos de dados diversos (incluindo Caltech101, StanfordCars, OxfordPets, Flowers102, etc.) sob várias condições de ruído (ruído Simétrico e Pair-Flip em taxas de até 90%).

Desempenho: O DSPT alcançou consistentemente robustez State-of-the-Art (SOTA). Superou linhas de base como CoOp, LogitNorm, Label Smoothing e o complexo método NLPrompt.
- Em cenários de alto ruído (por exemplo, 80% de ruído simétrico), o CoOp frequentemente falhava (caindo abaixo do desempenho zero-shot), enquanto o DSPT mantinha alta precisão.
- O DSPT mostrou uma melhoria de 0,4% a 5% na precisão média sobre o segundo melhor método (NLPrompt) na maioria das configurações.
Robustez a Ruído Extremo: Mesmo sob ruído extremo (90% simétrico, 80% pair-flip), o DSPT superou significativamente métodos de seleção de amostras e outras técnicas robustas a perda.
Análise de Gradiente: Evidências empíricas (Figura 3) confirmaram que o DSPT suprime com sucesso os gradientes de amostras mal rotuladas para próximo de zero, mantendo gradientes para amostras corretamente rotuladas, enquanto a perda CE padrão permite que amostras ruidosas dominem.
Comparação com LogitClip: O artigo destaca que o LogitClip é altamente sensível ao seu hiperparâmetro de limiar ( $\tau$ ), que varia significativamente entre conjuntos de dados. O DSPT evita essa instabilidade inteiramente.

5. Significado e Impacto

Simplicidade e Generalidade: O trabalho demonstra que uma modificação matemática simples (double softmax) pode resolver um problema complexo (ruído de rótulo em VLMs) mais efetivamente do que arquiteturas complexas e artesanais.
Mudança de Paradigma: Desafia a visão convencional de que o "desvanecimento de gradiente" é sempre um defeito, mostrando que pode ser uma característica para filtrar ruído em modelos pré-treinados.
Aplicabilidade Prática: Como uma solução de "plug-and-play" que não requer ajuste de hiperparâmetros, o DSPT é altamente prático para aplicações do mundo real onde a qualidade do rótulo é desconhecida ou pobre.
Direções Futuras: Os autores sugerem estender esse mecanismo para Grandes Modelos Visão-Linguagem (LVLMs) para tarefas downstream, posicionando o double-softmax como um bloco de construção fundamental para aprendizado multimodal robusto.

Em resumo, este artigo apresenta uma solução teoricamente fundamentada, empiricamente superior e praticamente simples para o problema crítico de ruído de rótulo na adaptação de Modelos Visão-Linguagem, aproveitando a própria confiança pré-treinada dos modelos para filtrar erros.