Towards Calibrating Prompt Tuning of Vision-Language Models

Este artigo propõe um novo framework de calibração para o ajuste de prompts em modelos de visão e linguagem, como o CLIP, que utiliza regularizadores de margem e correspondência de momentos para melhorar a confiabilidade das previsões e reduzir o erro de calibração sem comprometer a generalização do modelo.

O essencial

Imagine que você tem um gênio da lâmpada (o modelo de IA chamado CLIP) que foi treinado lendo milhões de livros e vendo milhões de fotos. Ele sabe o que é um "cachorro", um "carro" ou uma "flor" e consegue identificar essas coisas em novas fotos com muita precisão.

No entanto, quando tentamos ensinar esse gênio a fazer uma tarefa específica (como identificar apenas raças específicas de cães), usamos uma técnica chamada "Ajuste de Prompt" (Prompt Tuning). É como se, em vez de reescrever todo o livro do gênio, nós apenas mudássemos um pequeno bilhete de instrução que ele lê antes de responder.

O Problema: O Gênio Confidente, mas Errado
O problema é que, ao ajustar esse bilhete, o gênio começa a ter dois comportamentos estranhos:

1. Na tarefa que ele aprendeu (Cães): Ele fica inseguro. Ele vê um Golden Retriever e diz: "Hmm, acho que é 60% de chance de ser um cachorro". Na verdade, é 100%. Ele é um gênio, mas está com medo de errar.
2. Em coisas novas (Gatos, Pássaros): Ele fica excessivamente confiante. Ele vê um gato e diz: "Tenho 99% de certeza que é um cachorro!". Ele está tão confiante que está errado.

Isso é perigoso. Se esse gênio for usado em um carro autônomo ou em um hospital, essa falta de confiança (ou excesso de confiança) pode levar a acidentes graves.

A Solução: O "Sistema de Equilíbrio" (Calibração)
Os autores deste paper criaram um "sistema de equilíbrio" para consertar essa confiança. Eles chamam sua técnica de Calibração de Ajuste de Prompt. Eles usam duas ferramentas principais, que podemos imaginar como um GPS e um Espelho:

1. O "GPS de Distância" (Regularização de Margem)

Imagine que você está em uma festa e precisa identificar pessoas.

• O problema: O gênio está muito perto de todos, sem saber quem é quem.
• A solução: O "GPS" força o gênio a manter uma distância segura entre as opções corretas e as erradas.
  • Se a resposta certa é "Cachorro", o sistema diz: "Afaste-se um pouco das opções erradas (Gato, Carro) para que você tenha certeza absoluta". Isso resolve a insegurança nos casos que ele já conhece.
  • Mas, ao mesmo tempo, o GPS vigia para que ele não afaste as opções erradas demais em casos novos, o que faria ele achar que qualquer coisa é um cachorro.

2. O "Espelho de Memória" (Correspondência de Momentos)

Aqui está a parte mais inteligente. O gênio original (antes de ser ajustado) tinha uma "memória geométrica" perfeita. Ele sabia que "Cachorro" e "Gato" são diferentes, mas que "Cachorro" e "Lobo" são parecidos.

• O problema: Ao aprender a nova tarefa, o gênio começou a distorcer essa memória. Ele achou que "Cachorro" e "Gato" eram a mesma coisa, ou que "Cachorro" e "Avião" eram vizinhos.
• A solução: O "Espelho" olha para a versão antiga e perfeita do gênio e diz: "Ei, mantenha a forma da sua memória! Não deixe que as coisas se misturem".
  • Ele garante que, mesmo aprendendo coisas novas, a estrutura geral do conhecimento do gênio não quebre. Isso impede que ele fique excessivamente confiante em coisas que ele nunca viu.

O Resultado: Um Gênio Equilibrado

Com essas duas ferramentas trabalhando juntas:

• Nos casos que ele conhece: Ele fica mais seguro e precisa (sabe quando é um cachorro).
• Nos casos novos: Ele fica mais humilde e realista (sabe quando não é um cachorro, mesmo que pareça).

Por que isso é importante?
É como treinar um médico. Você quer que ele seja confiante quando vê uma doença comum (para tratar rápido), mas quer que ele seja cauteloso e diga "preciso de mais exames" quando vê um sintoma estranho que ele nunca viu, em vez de diagnosticar errado com 100% de certeza.

Resumo da Ópera:
O paper mostra que, ao usar essas duas "regras de ouro" durante o treinamento, conseguimos que modelos de IA sejam precisos (acertem a resposta) e confiáveis (saibam o quanto estão certos). Isso torna a IA muito mais segura para usar no mundo real, seja dirigindo carros, analisando raios-X ou controlando robôs industriais.

E o melhor? Tudo isso é feito sem precisar reescrever o "cérebro" inteiro do modelo, apenas ajustando o "bilhete de instrução", o que é rápido e eficiente.

Resumo técnico

1. O Problema

Os Modelos Visão-Linguagem (VLMs) em larga escala, como o CLIP, permitem a adaptação eficiente a tarefas específicas através de técnicas de Ajuste de Prompt (Prompt Tuning), que modificam apenas um pequeno subconjunto de parâmetros (tokens de texto) sem atualizar os pesos do modelo pré-treinado. Embora essa abordagem preserve a capacidade de generalização para classes não vistas (novas classes), o artigo identifica um problema crítico: a má calibração de confiança.

• O Dilema Dual: O ajuste de prompt introduz um padrão de erro de calibração duplo:
  1. Subconfiança em Classes Base: Para as classes vistas durante o treinamento, o modelo tende a ter margens de logits reduzidas, resultando em previsões menos confiantes do que a precisão real justificaria.
  2. Superconfiança em Classes Novas: Para classes não vistas (zero-shot), o modelo frequentemente exibe margens infladas, levando a previsões excessivamente confiantes e incorretas.
• Consequência: Essa desalinhamento entre a confiança prevista e a precisão real (Erro de Calibração Esperado - ECE) torna os modelos não confiáveis para aplicações de segurança crítica, como sistemas autônomos e diagnóstico médico, onde a estimativa correta de incerteza é vital.

2. Metodologia Proposta

Os autores propõem um framework de calibração que atua durante o tempo de treinamento (train-time), utilizando dois regularizadores complementares para estabilizar as margens preditivas e preservar a geometria do espaço de incorporação (embedding) pré-treinado.

A. Regularização de Margem Média-Variância (Mean-Variance Margin Regularization)

Esta componente atua no espaço de logits para abordar a subconfiança e a variabilidade errática:

• Objetivo: Maximizar a margem média entre a classe correta e a segunda melhor classe (para evitar subconfiança) enquanto minimiza a variância dessa margem entre as amostras (para evitar picos de superconfiança).
• Fórmula: A perda é definida como $L_{Margin} = -\alpha \cdot \text{Média}(m) + \beta \cdot \text{Variância}(m)$, onde $m$ é a margem de logit.
• Efeito: Estabiliza as fronteiras de decisão, garantindo que as classes base tenham margens suficientes e que as classes novas não desenvolvam margens espúrias e infladas.

B. Perda de Correspondência de Momentos de Texto (Text Moment-Matching Loss)

Esta componente atua no espaço de incorporação de texto para preservar a estrutura semântica global do CLIP:

• Objetivo: Alinhar os momentos estatísticos (primeira e segunda ordem) das incorporações de texto ajustadas (tuned) com as incorporações de texto congeladas (frozen) do CLIP original.
• Mecanismo: A perda minimiza a distância entre o centro de distribuição ($\mu$) e a dispersão/covariância ($\Sigma$) dos embeddings ajustados e dos originais.
• Efeito: Impede que o ajuste de prompt distorça a geometria semântica global do espaço de incorporação, o que é crucial para manter a generalização robusta em classes novas. Diferente de alinhamentos rígidos por instância, isso permite adaptações locais específicas da tarefa enquanto mantém a estrutura global.

Objetivo Final

A função de perda total combina a Entropia Cruzada padrão ($L_{CE}$) com os dois regularizadores:
$$L_{total} = L_{CE} + \lambda_{Margin} L_{Margin} + \lambda_{mom} L_{mom}$$

3. Principais Contribuições

1. Identificação do Problema Dual: Demonstração sistemática de que o ajuste de prompt causa subconfiança em classes base e superconfiança em classes novas simultaneamente.
2. Framework de Calibração Plug-and-Play: Proposta de um método agnóstico à técnica de ajuste de prompt subjacente (funciona com CoOp, MaPLe, KgCoOp, etc.), sem exigir mudanças na arquitetura ou tempo de inferência adicional.
3. Regularização Dupla Complementar: A combinação única de regularização de margem (para discriminabilidade) e correspondência de momentos (para fidelidade geométrica) resolve o problema de calibração sem sacrificar a precisão.
4. Avaliação Abrangente: Testes extensivos em 11 conjuntos de dados diversos e 7 métodos de ajuste de prompt, cobrindo cenários de classes base e novas.

4. Resultados Experimentais

Os experimentos foram conduzidos em 11 conjuntos de dados (incluindo ImageNet, CUB, Stanford Cars, Food101, etc.) utilizando o CLIP (ViT-B/16) em configurações de poucos exemplos (few-shot).

• Desempenho em Classes Base: O método proposto reduziu significativamente o Erro de Calibração Esperado (ECE) em comparação com técnicas de pós-processamento (como Temperature Scaling) e métodos de regularização anteriores.
  • Exemplo: No CoOp, o ECE médio caiu de 6.35% para 2.93%, com ganhos notáveis em conjuntos de dados altamente miscalibrados como Aircraft (redução de 25.70% para 4.96%).
• Desempenho em Classes Novas: O método mitigou eficazmente a superconfiança, superando técnicas de correção post-hoc como DAC e ZS-Norm.
  • Exemplo: No MaPLe, o ECE médio em classes novas foi reduzido de 5.76% para 4.23%, mantendo a precisão de classificação estável.
• Robustez: O método demonstrou consistência sob diferentes números de exemplos (shots), inicializações de prompt e em cenários de mudança de distribuição (Out-of-Distribution), como ImageNet-A e ImageNet-R.
• Eficiência: Não há custo computacional adicional durante a inferência e o tempo de treinamento e uso de memória de GPU permanecem comparáveis ao método base.

5. Significado e Impacto

Este trabalho é fundamental para a confiabilidade operacional de VLMs em cenários do mundo real.

• Segurança: Ao garantir que a confiança do modelo corresponda à sua precisão real, o método permite a implantação mais segura de VLMs em áreas críticas como medicina e condução autônoma, onde previsões superconfiantes e erradas podem ter consequências graves.
• Generalização: Ao preservar a geometria do espaço semântico pré-treinado, o método garante que a adaptação a tarefas específicas não degrade a capacidade do modelo de generalizar para conceitos não vistos.
• Acessibilidade: Por ser um módulo "plug-and-play" que não requer retreinamento completo ou dados de validação extensivos para calibração post-hoc, facilita a adoção de modelos calibrados em diversas aplicações industriais.

Em resumo, o artigo oferece uma solução elegante e eficaz para o problema de calibração no ajuste de prompt, equilibrando a necessidade de especialização da tarefa com a manutenção da robustez e confiabilidade do modelo base.