💻 computer science

PRiSM: Prototype Regularization for Few-Shot VLMs

O artigo apresenta o PRiSM, um método de regularização de protótipos livre de treinamento com uma nova perda de múltiplos termos e um otimizador Majorize-Minimize eficiente, que melhora significativamente a robustez de modelos de visão-linguagem de poucos disparos contra desafios realistas, como desequilíbrio de classes e números variados de classes, nos quais os métodos atuais de estado da arte falham.

Autores originais: Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a reconhecer animais. Você não quer passar anos alimentando-o com milhões de imagens; em vez disso, você quer mostrar a ele apenas alguns exemplos de uma nova criatura, como um "fluff-puff", e fazer com que ele entenda o resto por conta própria. Este é o mundo dos Modelos de Visão-Linguagem (VLMs). Pense nesses modelos como uma biblioteca gigante onde imagens e palavras já estão organizadas em um sistema de arquivamento compartilhado. O robô sabe que a palavra "cachorro" e a foto de um cachorro vivem no mesmo bairro desta biblioteca.

Normalmente, para ensinar um novo truque ao robô, os cientistas usam um método chamado aprendizado de poucos disparos (few-shot learning). Eles dão ao robô um pequeno "conjunto de suporte" — apenas um punhado de exemplos rotulados (digamos, 4 ou 16 fotos de um animal específico) — e pedem que ele ajuste seu mapa interno para reconhecer esse animal em novas fotos não vistas. Por muito tempo, os cientistas testaram esses métodos usando uma configuração muito limpa e organizada: eles garantiam que cada animal no teste tivesse exatamente o mesmo número de exemplos. Era como uma sala de aula onde cada aluno levantava a mão exatamente uma vez. Mas, no mundo real, a vida é bagunçada. Alguns animais estão em toda parte (como pombos), enquanto outros são raros (como leopardos das neves). Este artigo faz uma pergunta simples, mas crucial: o que acontece com o cérebro do nosso robô quando paramos de fingir que o mundo é perfeitamente equilibrado e começamos a alimentá-lo com a realidade desordenada e desigual do mundo real?

O Problema: A Armadilha do "Voto da Maioria"

Os pesquisadores, uma equipe da ÉTS Montreal, descobriram que nossos atuais professores de robôs são surpreendentemente frágeis. Eles descobriram que, quando você testa esses modelos em dados realistas onde algumas classes são comuns e outras são raras, os modelos começam a falhar espetacularamente. Na verdade, eles encontraram um paradoxo estranho: dar mais exemplos ao robô muitas vezes o tornava pior.

Imagine que você está tentando aprender os nomes de todos os alunos de uma escola. Se você só puder conhecer 4 alunos, e 3 deles forem de um grupo popular, você pode começar a pensar que todos na escola se parecem com aquele grupo. Se você então conhecer 16 alunos e 15 deles ainda forem desse mesmo grupo popular, sua confusão até piorará. Você aprendeu tão bem a "maioria" que completamente esqueceu como identificar a "minoria".

O artigo mostra que os métodos atuais "livres de treinamento" (que deveriam ser inteligentes e eficientes) caem nessa armadilha. Eles dependem de um "protótipo" — uma média mental do que um objeto de uma classe parece ser. Quando os dados são desequilibrados, a média mental é arrastada em direção à classe majoritária, borrando as linhas entre diferentes animais. Quanto mais dados você adiciona, mais forte se torna esse "arrasto", fazendo com que o robô identifique erroneamente animais raros como comuns.

A Solução: PRiSM (O "Treinador de Equidade")

Para corrigir isso, os autores introduzem uma nova ferramenta chamada PRiSM (Prototype Regularization for Few-Shot VLMs). Pense no PRiSM como um treinador rigoroso, mas justo, que intervém depois que o robô deu seu primeiro palpite.

Veja como o PRiSM funciona, usando uma analogia de um parquinho:

A Bagunça Inicial: O robô olha para as poucas fotos que possui e desenha um "mapa mental" de onde cada animal pertence. Como há fotos demais dos animais comuns, o mapa fica esmagado e bagunçado; os animais raros são empurrados para fora da borda.
A Intervenção do Treinador: O PRiSM não joga fora o trabalho do robô. Em vez disso, ele aplica um conjunto de regras (um "regularizador") para organizar o mapa.
- Regra 1 (Mantenha-se Fiel): "Não se afaste demais do que você viu." Ele mantém os novos palpites do robô próximos às fotos reais que lhe foram mostradas.
- Regra 2 (Respeite o Original): "Não esqueça o que você já sabia." Ele garante que o robô não esqueça completamente seu conhecimento prévio original.
- Regra 3 (Mantenha Distância): "Certifique-se de que os grupos não se sobreponham." Esta é a parte mais importante. O PRiSM empurra ativamente os "clusters mentais" de diferentes animais para longe uns dos outros. Se o robô está confundindo um "gato" com um "cachorro" porque houve muitos cachorros no conjunto de treinamento, o PRiSM fisicamente empurra o cluster do "gato" para longe do cluster do "cachorro" para criar um espaço claro entre eles.

A equipe também inventou um truque matemático especial e super-rápido (chamado de otimizador block Majorize-Minimize) para realizar este trabalho de limpeza. É como ter um GPS que calcula instantaneamente a velocidade perfeita para dirigir sem precisar testar diferentes velocidades primeiro. Isso torna todo o processo incrivelmente rápido e eficiente, não exigindo dados de "teste" extras para ajustar as configurações.

O Que Eles Descobriram

Os resultados foram surpreendentes e poderosos. Os autores testaram o PRiSM em 10 conjuntos de dados diferentes, variando desde o reconhecimento de flores e carros até a detecção de texturas e cenas.

O Paradoxo do "Mais Dados" Confirmado: Em seus testes realistas e desequilibrados, eles viram que os métodos padrão (como Tip-Adapter e APE) na verdade ficavam piores à medida que aumentavam o número de disparos de treinamento de 2 para 16. Por exemplo, em alguns conjuntos de dados, adicionar mais fotos fez com que a precisão caísse mais de 30%.
A Solução Mágica: Quando adicionaram o PRiSM sobre esses métodos falhos, a precisão disparou. Nos casos mais extremos de desequilíbrio, o PRiSM transformou um sistema falho em um competidor de alto nível. Por exemplo, em um conjunto de dados com desequilíbrio severo, o PRiSM aumentou a precisão de um método em mais de 40 pontos percentuais (saltando de aproximadamente 21% para mais de 60%).
Funciona em Todo Lugar: O PRiSM não foi apenas um curativo para modelos fracos. Ele até ajudou os métodos existentes mais fortes (como o ProKeR) a performar ligeiramente melhor, provando que o problema não era o cérebro do robô, mas a maneira bagunçada como as classes estavam organizadas.

Os autores sugerem que a principal razão pela qual esses modelos falham no mundo real não é que eles não sejam inteligentes o suficiente, mas que a forma como os testamos (assumindo um equilíbrio perfeito) esconde uma falha crítica: o viés do protótipo. Quando os dados são desiguais, a "média mental" do robô é distorcida, e o PRiSM é a ferramenta que a endireita.

Por Que Isso Importa

Este artigo sugere que, para a IA ser verdadeiramente útil no mundo real, precisamos parar de testá-la na "sala de aula perfeita" e começar a testá-la no "parquinho bagunçado". Ao introduzir um benchmark que imita o desequilíbrio do mundo real e uma ferramenta (PRiSM) que corrige a confusão resultante, os autores mostram que podemos construir uma IA robusta o suficiente para lidar com a distribuição desigual de dados que encontramos todos os dias. Eles não apenas encontraram uma maneira melhor de ajustar um robô; eles encontraram uma maneira de tornar o robô mais justo, garantindo que ele preste atenção tanto ao raro quanto ao comum.

Resumo Técnico: PRiSM - Regularização de Protótipos para Few-Shot VLMs

Declaração do Problema

O artigo identifica duas limitações críticas nos atuais métodos de adaptação few-shot sem treinamento para Modelos de Linguagem-Visão (VLMs):

Protocolos de Avaliação Irrealistas: Os benchmarks padrão dependem de conjuntos de suporte (support) e consulta (query) equilibrados entre classes. Essa suposição mascara um severo viés de protótipo que ocorre em cenários do mundo real, onde as distribuições de dados são naturalmente desequilibradas (desbalanceamento de classes) e o conjunto de classes observadas pode ser incompleto.
Degradação com o Aumento de Dados: Contrariando as suposições padrão de few-shot, os autores observam que, sob desbalanceamento de classes realista, aumentar o número de shots (amostras rotuladas) frequentemente degrada o desempenho dos métodos de ponta sem treinamento. Em vez de refinar as fronteiras de decisão, amostras adicionais de distribuições desbalanceadas amplificam o viés em direção às classes majoritárias, levando a protótipos distorcidos e aumento da confusão interclasses.

Métodos existentes (ex: Tip-Adapter, APE, GDA, ProKeR) frequentemente exigem ajuste de hiperparâmetros específicos da tarefa via conjuntos de validação — uma prática que viola a suposição de few-shot quando tais conjuntos não estão disponíveis ou são caros para anotar. Além disso, esses métodos carecem de mecanismos para corrigir o viés inerente na estimativa de protótipos causado por distribuições de suporte enviesadas.

Metodologia: PRiSM

Os autores propõem o PRiSM (Prototype Regularization for Few-Shot VLMs), um framework plug-and-play projetado para retificar protótipos de classe enviesados sem a necessidade de um conjunto de validação.

1. Função Objetivo

O PRiSM otimiza uma nova função de perda de múltiplos termos para aprender protótipos regularizados $w$ a partir dos protótipos $a$ de um classificador de base. A função objetivo $L(w, \phi)$ combina três termos:
$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$
Onde:

Alinhamento de Características de Suporte ( $\beta$ ): Incentiva o protótipo retificado $w_c$ a se alinhar com a média das características visuais $\mu_c(\phi)$ do conjunto de suporte, garantindo consistência com a distribuição de dados observada.
Fidelidade à Base ( $\gamma$ ): Ancorar o protótipo retificado ao protótipo original da base $a_c$ , evitando desvios substanciais do conhecimento pré-treinado zero-shot.
Separação Interclasses ( $\lambda$ ): Um regularizador de par que maximiza a distância entre diferentes protótipos de classe, reduzindo a interferência e melhorando a separabilidade sob condições de desbalanceamento.

A otimização envolve dois blocos de variáveis: os protótipos corrigidos $w$ e os parâmetros do codificador de visão $\phi$ .

2. Estratégia de Otimização: Block Majorize-Minimize (MM)

Para resolver a função objetivo não convexa de forma eficiente, os autores introduzem um otimizador block Majorize-Minimize (MM) que alterna entre:

Retificação de Protótipo: Atualizando $w$ enquanto mantém $\phi$ fixo. Como a função objetivo é quadrática em relação a $w$ , os autores derivam uma constante de Lipschitz por bloco $\rho$ válida (um limite para a norma espectral da Hessiana). Isso permite um passo de tamanho implícito de $1/\rho$ , eliminando a necessidade de buscas exaustivas de grade (grid search) para taxas de aprendizado. O limite é computado eficientemente usando o teorema do círculo de Gershgorin.
Adaptação de Características: Atualizando $\phi$ enquanto mantém $w$ fixo. Isso é realizado via retropropagação padrão usando LoRA (Low-Rank Adaptation) para garantir eficiência de parâmetros, atualizando apenas um pequeno subconjunto das camadas do codificador de visão.

Principais Contribuições

Benchmarking Realista: Os autores expõem as limitações dos protocolos few-shot padrão ao introduzir um benchmark que varia o desbalanceamento de classes e o número efetivo de classes usando amostragem de Dirichlet. Eles demonstram que os métodos padrão degradam conforme o número de shots aumenta sob desbalanceamento severo.
Framework PRiSM: Um módulo de regularização de protótipo plug-and-play e livre de validação que pode ser implantado sobre qualquer base existente sem treinamento. Ele mitiga efetivamente a dominância da classe majoritária enquanto preserva a estrutura discriminativa do espaço de incorporação (embedding) do VLM.
Otimização Eficiente: A derivação de uma constante de Lipschitz por bloco para a atualização do protótipo, permitindo uma seleção de passo de tamanho fundamentada teoricamente e sem necessidade de validação, sendo computacionalmente eficiente.
Validação Empírica: Experimentos extensos mostrando que o PRiSM melhora significativamente o desempenho de diversos modelos de base (Tip-Adapter, APE, GDA, ProKeR), particularmente em cenários com desbalanceamento de classes severo e alto número de classes.

Resultados Experimentais

Experimentos foram conduzidos em 10 conjuntos de dados de classificação de imagens diversos (ex: Oxford-Pets, EuroSAT, Food-101) usando CLIP com um backbone ViT-B/16.

Desbalanceamento Severo (Alto Número de Classes Efetivas): Sob desbalanceamento severo, os métodos de base frequentemente degradam conforme o número de shots aumenta (ex: o Tip-Adapter caiu de ~63% para ~33% de acurácia ao passar de 2 para 16 shots). O PRiSM reverteu essa tendência, melhorando a acurácia média do Tip-Adapter em +35,05% no cenário de 16 shots e +23,22% no de 4 shots.
Configurações Próximas ao Equilíbrio: Mesmo em condições quase equilibradas, o PRiSM proporcionou ganhos consistentes, com o Tip-Adapter melhorando em +29,79% no cenário de 16 shots.
Baixo Número de Classes Efetivas: Em regimes com menos classes efetivas, o PRiSM ainda apresentou melhorias significativas, particularmente para bases mais fracas, confirmando que o viés de protótipo persiste mesmo com espaços de rótulos reduzidos.
Comparação: O PRiSM permitiu que métodos mais simples (como o Tip-Adapter) atingissem níveis de desempenho comparáveis ou superiores a métodos de ponta mais complexos (como o ProKeR) uma vez que os protótipos foram regularizados.
Análise de Taxa de Aprendizado: O passo de tamanho baseado em Lipschitz proposto mostrou-se capaz de corresponder à região de desempenho ideal através de diversos datasets sem exigir ajuste exaustivo de hiperparâmetros, validando a derivação teórica.

Significância e Alegações

O artigo alega que o principal gargalo na adaptação few-shot de VLMs não é necessariamente o mecanismo de adaptação em si, mas a qualidade dos protótipos de classe usados para predição, que são frequentemente enviesados por dados desbalanceados.

Os autores argumentam que:

Viés de Protótipo é um Modo de Falha Comum: O viés induzido pelo desbalanceamento atua como um modo de falha sistemático em diversos métodos de adaptação. Retificar esse viés pode elevar sistematicamente o desempenho de diversas abordagens.
Adaptação Livre de Validação é Viável: Ao derivar um passo de tamanho fundamentado teoricamente e utilizar uma perda de múltiplos termos que equilibra alinhamento, fidelidade e separação, o PRiSM alcança um desempenho competitivo sem a suposição irrealista de acesso a um conjunto de validação rotulado.
Realismo na Avaliação: O benchmark proposto destaca que as alegações atuais de estado da arte podem estar infladas por suposições irrealistas de equilíbrio de classes. Os autores defendem protocolos de avaliação que reflitam distribuições enviesadas do mundo real para fomentar o desenvolvimento de técnicas de adaptação mais robustas.

O artigo conclui que o PRiSM oferece uma correção simples, porém eficaz, que regulariza a geometria dos protótipos, preservando a fidelidade semântica enquanto evita o colapso em direção às classes dominantes, aumentando assim a robustez em regimes few-shot desafiadores.