Resumo Técnico: Cabeçalho Bayesiano com Constante de Lipschitz Agnóstico à Arquitetura para Vision Transformers

Declaração do Problema

O ruído nas etiquetas permanece um gargalo crítico para a generalização de modelos de aprendizado profundo supervisionado. Embora métodos padrão de treinamento robusto (por exemplo, correção de perda, camadas de adaptação a ruído, co-teaching) frequentemente tolerem eficazmente ruído aleatório e simétrico nas etiquetas, eles falham quando os erros são erros de classificação semanticamente próximos (SPCE). Os SPCEs ocorrem quando as etiquetas são corrompidas de maneira estruturada, como ruído dependente da classe ou erros concentrados próximos às fronteiras de decisão. Nesses cenários, os métodos existentes de mitigação oferecem pouca proteção, levando a uma degradação significativa no desempenho do modelo e à instabilidade na otimização. Além disso, as abordagens bayesianas atuais frequentemente exigem um tratamento totalmente bayesiano de todos os pesos, o que é computacionalmente proibitivo para grandes backbones pré-treinados como Vision Transformers (ViT), ou carecem de mecanismos para prevenir a amplificação do ruído através de distribuições de pesos ilimitadas.

Metodologia

Os autores propõem o LipB-ViT (Vision Transformer Bayesiano com restrição bi-Lipschitz), que integra um cabeçalho bayesiano com constante de Lipschitz agnóstico à arquitetura sobre backbones ViT pré-treinados (especificamente ViT-small-16).

Arquitetura Central

• Cabeçalho Bayesiano: A camada de classificação de um ViT pré-treinado é substituída por duas camadas lineares bayesianas empilhadas, separadas por uma ativação ReLU. Os pesos são tratados como variáveis aleatórias seguindo posteriores variacionais Gaussianas totalmente fatorizadas $q_\phi(W)$.
• Normalização Espectral Rígida: Diferentemente de camadas bayesianas padrão ou abordagens de regularização suave, este método impõe normalização espectral (SN) sobre toda a distribuição variacional. Tanto a média ($\mu$) quanto o log-variância ($\rho$) dos pesos são reescalados pelo mesmo fator derivado de iterações de potência. Isso garante um limite superior global para a constante de Lipschitz do cabeçalho, prevenindo realizações de pesos de alta norma durante a amostragem de Monte Carlo (MC) que poderiam amplificar o ruído.
• Restrição Bi-Lipschitz: Enquanto o cabeçalho impõe estritamente um limite superior de Lipschitz, o limite inferior é fornecido implicitamente pelo backbone ViT pré-treinado (assumido não colapsante) e pela estrutura da camada oculta. Isso promove mapeamentos que preservam distâncias, onde a variância de MC acompanha a distância da variedade dos dados de treinamento em vez de ser arbitrariamente amplificada.
• Objetivo de Treinamento: O modelo é treinado minimizando o Limite Inferior da Evidência Negativo (ELBO), que combina um termo de dados de entropia cruzada com um regularizador de divergência de Kullback-Leibler (KL).

Estratégias de Manipulação e Detecção de Ruído

• Co-Teaching Adaptativo: Os autores implementam uma estratégia de co-teaching adaptativo onde duas redes trocam amostras "limpas". Diferentemente do co-teaching padrão com uma taxa de ruído fixa, esta abordagem utiliza uma taxa de esquecimento adaptativa determinada por mini-lote com base na discordância entre as duas redes parceiras.
• Fusão de Pontuação de Suspeita: Para identificar etiquetas incorretas, o método funde dois sinais:
  1. Proximidade no espaço de características: Uma pontuação de suspeita baseada em k-Vizinhos Mais Próximos (kNN) derivada de um extrator de características ResNet-50 pré-treinado.
  2. Incerteza preditiva: Uma pontuação de incerteza derivada da variância de 50 amostras MC do LipB-ViT.
     Estes são combinados por meio de um esquema de fusão de média aritmética adaptativa, calibrado usando a taxa de classificação incorreta esperada e o coeficiente de bimodalidade de Sarle para determinar limiares ótimos.

Métricas Novas

• Métrica de Gravidade de Classificação Incorreta: Uma nova métrica quantifica a incerteza no conjunto de dados de treinamento induzida pelo ruído nas etiquetas. Ela ajusta um modelo de resposta Gaussiana a medições repetidas para estimar "acurácia suave" e "confiança suave", fornecendo uma estimativa entre conjuntos de dados dos níveis de ruído nas etiquetas.
• Análise de Qualidade do Conjunto de Dados: As estimativas de confiança estabilizadas servem como base para um pipeline que avalia conjuntamente a qualidade do conjunto de dados e o ruído nas etiquetas.

Contribuições Principais

1. Cabeçalho LipB: Introdução de um cabeçalho agnóstico à arquitetura que aplica normalização espectral rígida tanto à média quanto ao log-variância dos pesos variacionais, impondo um limite global de Lipschitz.
2. Nova Métrica de Qualidade de Dados: Uma métrica para quantificar a incerteza induzida pelo ruído nas etiquetas, permitindo a estimativa das quantidades de ruído em etiquetas em diferentes conjuntos de dados.
3. Identificação Aprimorada de Etiquetas: Um método para identificar etiquetas incorretas que supera os métodos de identificação baseados em kNN do estado da arte em mais de 7%, alcançando um recall >0,93 com 15% de etiquetas classificadas semanticamente de forma incorreta.
4. Avaliação Abrangente: Uma análise empírica detalhada do LipB-ViT em quatro conjuntos de dados de código aberto (ressonância magnética médica, histopatologia e detecção de defeitos industriais) sob ruído estruturado (adversarial) e não estruturado.

Resultados

• Robustez a SPCE: Sob 15% de erros de classificação semanticamente próximos, ViTs padrão sofreram uma queda média de acurácia de ~8,1%. O LipB-ViT com co-teaching adaptativo reduziu essa queda para ~3,8%, alcançando uma acurácia final de 91,1% comparado a 90,5% para o ViT padrão. Em contraste, ruído aleatório causou apenas uma queda de ~1,5% em todos os modelos.
• Calibração de Incerteza: O LipB-ViT demonstrou estabilidade superior nas estimativas de incerteza. Embora as quedas de acurácia fossem comparáveis entre variantes bayesianas, a regularização de Lipschitz reduziu substancialmente o desvio padrão inter-semente e inter-conjunto de dados da incerteza sob corrupção.
• Detecção de Etiquetas: O método de fusão de média aritmética adaptativa superou consistentemente os métodos de kNN e incerteza isolados. Para SPCE, o método de fusão alcançou um AUC-ROC de 0,94 e um AUC-PR de 0,55, superando significativamente as abordagens de kNN isolado (AUC-PR 0,51) e incerteza (AUC-PR 0,28).
• Robustez na Inferência: Sob ruído não estruturado (Gaussiano, shot, desfoque, etc.) e ataques adversariais (FGSM, PGD), o LipB-ViT manteve acurácia comparável aos ViTs padrão, mas com variância significativamente menor nas estimativas de confiança e incerteza.

Significado e Alegações

O artigo afirma que o LipB-ViT oferece uma solução plug-and-play para aumentar a confiabilidade de Vision Transformers pré-treinados em aplicações de alto risco onde a confiabilidade da anotação é variável. Ao impor limites espectrais sobre os pesos variacionais, o método mitiga a amplificação do ruído e produz incerteza preditiva calibrada sem exigir o retreinamento computacionalmente caro de todo o backbone.

Os autores enfatizam que, embora o método incorra em custos computacionais devido à amostragem de Monte Carlo e iterações de potência, ele fornece hiperparâmetros consistentes em diversos domínios (médico e industrial). As estimativas de confiança estabilizadas permitem um pipeline inovador para quantificar a qualidade do conjunto de dados e detectar dados mal rotulados, abordando o modo de falha "lixo entra, lixo sai". O trabalho sugere que, embora existam limitações atuais quanto à escalabilidade para conjuntos de dados massivos (devido a pegadas de memória para vetores singulares) e à complexidade de erros de anotação multimodais do mundo real, a abordagem representa um passo significativo em direção a sistemas de visão robustos e conscientes da incerteza, capazes de lidar com ruído estruturado nas etiquetas.