SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Resumo Técnico: Calibração Ortogonal Semântica para Ajuste de Prompt em Tempo de Teste (SoC)

Declaração do Problema
Modelos Visão-Linguagem (VLMs), como o CLIP, demonstraram capacidades zero-shot robustas, mas enfrentam desafios significativos ao serem implantados em cenários do mundo real envolvendo dados fora da distribuição ou categorias novas. Embora o Ajuste de Prompt em Tempo de Teste (TPT) tenha surgido como um método para adaptar VLMs a novas tarefas sem dados rotulados, otimizando prompts de texto via minimização de entropia, essa abordagem frequentemente induz previsões excessivamente confiantes, levando a uma calibração precária da incerteza.

Métodos recentes do estado da arte, especificamente o O-TPT (Ajuste de Prompt Ortogonal em Tempo de Teste), tentam mitigar essa superconfiança impondo ortogonalidade total entre pares de incorporações de prompts de texto. A intuição é que protótipos ortogonais aumentam a separabilidade de classes. No entanto, este artigo argumenta que impor ortogonalidade estrita é teórica e empiricamente falho para classes semanticamente relacionadas. Ao empurrar agressivamente todos os protótipos de classe para longe uns dos outros, o O-TPT perturba a estrutura semântica inerente do espaço de incorporação (por exemplo, forçando "cultivo anual" e "cultivo permanente" a serem ortogonais, apesar de sua sobreposição conceitual). Essa separação artificial resulta em uma inflação sistemática da confiança de previsão, mesmo quando a previsão do modelo está incorreta, degradando assim a calibração em vez de melhorá-la.

Metodologia
Os autores propõem a Calibração Ortogonal Semântica (SoC), um regularizador novel projetado para impor separação de protótipos preservando a proximidade semântica.

1. Regularização Baseada em Huber: Em vez da penalidade quadrática usada no O-TPT (que aplica uma força repulsiva forte proporcional ao quadrado da similaridade), a SoC utiliza uma função de perda Huber. Essa perda é quadrática para resíduos pequenos (pares de baixa similaridade) mas transita para uma penalidade linear para resíduos maiores (pares de alta similaridade).
2. Preservação Semântica: A formulação Huber limita a força de repulsão para pares de classes altamente similares. Isso garante que classes correlacionadas semanticamente (que naturalmente possuem alta similaridade cosseno no espaço de incorporação) não sejam empurradas para longe tão agressivamente quanto no O-TPT. O regularizador é definido como:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   onde $s_{ij}$ é a similaridade cosseno entre os protótipos de classe $i$ e $j$, e $\delta$ é um limiar de margem.
3. Análise Teórica: O artigo deriva um limite inferior para a confiança softmax baseado na similaridade de pior caso entre classes ($\mu$). A análise demonstra que a ortogonalidade total (O-TPT) reduz agressivamente $\mu$ em uma única etapa de gradiente, levando a um piso de confiança estritamente mais alto. Em contraste, o regularizador proposto baseado em Huber aplica uma repulsão mais suave a pares de alta similaridade, prevenindo aumentos excessivos de confiança e mantendo uma melhor calibração.

Principais Contribuições

• Regularizador SoC: Introdução de um regularizador baseado em Huber para TPT que produz gradientes mais suaves do que restrições de ortogonalidade total. Ele preserva efetivamente a estrutura semântica entre classes relacionadas enquanto mitiga os efeitos de superseparação da ortogonalidade estrita.
• Insight Teórico: Uma derivação de um limite inferior de confiança ligando a similaridade de pior caso entre classes à incerteza de previsão. Essa análise revela que a ortogonalidade total infla sistematicamente a confiança ao reduzir agressivamente a similaridade, mesmo para categorias correlacionadas semanticamente, enquanto o método proposto evita isso ao limitar a repulsão.
• Validação Empírica: Experimentos abrangentes em 11 conjuntos de dados diversos (incluindo classificação fina, deslocamentos de domínio natural e imagens de satélite) demonstram que a SoC melhora consistentemente as métricas de calibração (Erro de Calibração Esperado - ECE) em comparação com baselines do estado da arte (TPT, C-TPT, O-TPT), mantendo desempenho discriminativo competitivo.

Resultados

• Desempenho de Calibração: Em 11 conjuntos de dados, a SoC alcançou as melhores pontuações de ECE em todos, exceto um, em comparação com o O-TPT. A melhoria média de ECE sobre o O-TPT foi de 2,3, com ganhos significativos observados em tarefas de classificação fina (por exemplo, uma redução de 14,5 pontos no ECE no EuroSAT).
• Confiabilidade: Diagramas de confiabilidade mostram que, enquanto o O-TPT exibe superconfiança pronunciada (probabilidades previstas consistentemente excedendo a acurácia observada), a SoC produz curvas mais planas, mais próximas da diagonal, indicando um melhor alinhamento entre confiança e acurácia.
• Robustez:
  • Atualizações Multi-etapa: Ao aplicar duas atualizações de gradiente (um cenário onde a calibração do O-TPT se deteriora em 39%), a SoC mostrou uma degradação significativamente menor (23%), alinhando-se à descoberta teórica de que a redução aguda de similaridade do O-TPT é instável.
  • Variações de Backbone: A SoC superou o O-TPT tanto em acurácia quanto em ECE em diferentes backbones ViT (ViT-B/16 e ViT-L/14).
  • Sensibilidade ao Prompt: A SoC demonstrou menor ECE em 18 prompts de texto iniciais diferentes em comparação com o O-TPT, indicando sensibilidade reduzida à inicialização do prompt.
• Eficiência Computacional: A complexidade computacional da SoC é $O(n^2)$, enquanto o O-TPT envolve transformações de Householder com complexidade $O(n^3)$, tornando a SoC mais eficiente para conjuntos de dados com um grande número de classes.

Significado e Alegações
O artigo alega que a limitação primária dos métodos de calibração baseados em ortogonalidade atuais é sua falha em distinguir entre separação geométrica e proximidade semântica. Ao substituir a repulsão rígida do O-TPT por um mecanismo mais suave e consciente de semântica, a SoC permite que VLMs se adaptem a novas tarefas sem sacrificar a confiabilidade de suas estimativas de incerteza. Os autores posicionam este trabalho como um passo em direção a métodos de calibração mais conscientes de semântica para VLMs, particularmente cruciais para aplicações críticas de segurança, como saúde e direção autônoma, onde previsões incorretas excessivamente confiantes são inaceitáveis. O estudo sugere que preservar a estrutura de variedade de classes semanticamente similares é essencial para alcançar uma calibração verdadeira, em vez de simplesmente maximizar a separação geométrica.