CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

Resumo Técnico do CRoFT: Ajuste Fino Robusto com Otimização Concorrente para Generalização em Dados Fora da Distribuição (OOD) e Detecção de OOD em Conjunto Aberto

Declaração do Problema
Modelos pré-treinados de visão e linguagem (VL-PTMs) recentes, como o CLIP, demonstraram sucesso notável em tarefas de vocabulário aberto. No entanto, sua implantação em cenários do mundo real frequentemente exige ajuste fino para aplicações downstream. Esse processo introduz um desafio crítico: o ajuste fino padrão pode distorcer o conhecimento geral dos modelos, prejudicando sua capacidade de lidar com mudanças de distribuição. Ambientes do mundo real apresentam dois tipos distintos de mudanças de distribuição:

1. Mudanças de Covariância (OOD de Conjunto Fechado): Alterações em estilos ou ambientes de imagem onde os rótulos de classe permanecem os mesmos que os dados de treinamento (por exemplo, um cachorro em estilo de esboço).
2. Mudanças Semânticas (OOD de Conjunto Aberto): A presença de classes no momento do teste que não foram vistas durante o treinamento (por exemplo, um panda quando o modelo foi treinado em cachorros).

Métodos existentes de ajuste fino geralmente focam em melhorar a robustez a mudanças de covariância (generalização OOD) ou na detecção de classes não vistas (detecção de OOD em conjunto aberto) de forma isolada. Frequentemente, eles falham em abordar ambos simultaneamente. Além disso, métodos de detecção baseados em energia muitas vezes lutam porque as distribuições de energia de dados ID (dentro da distribuição) de conjunto fechado e dados OOD de conjunto aberto se sobrepõem significativamente, tornando a discriminação difícil. O artigo aborda a questão: Como os VL-PTMs podem ser ajustados finamente para melhorar a generalização para dados OOD de conjunto fechado enquanto detectam simultaneamente e efetivamente classes não vistas em conjunto aberto?

Metodologia
Os autores propõem o CRoFT, um framework unificado de ajuste fino que permite a otimização concorrente da generalização OOD e da detecção de OOD em conjunto aberto. A metodologia é construída sobre três componentes principais:

1. Função de Perda de Redesenho de Distribuição de Energia (EDR):
   Em vez de minimizar diretamente as pontuações de energia em dados dentro da distribuição (ID), os autores propõem minimizar a magnitude do gradiente das pontuações de energia. Teoricamente, minimizar a magnitude do gradiente das pontuações de energia ($\nabla_\theta E_\theta(x) \to 0$) leva a Hessianos consistentes com o domínio da função de perda de classificação. Essa perda EDR é formulada como a minimização da norma quadrada do vetor gradiente do log-soma-exponencial dos termos de energia. Essa abordagem redesenha a distribuição de energia para distinguir melhor classes conhecidas de desconhecidas sem sacrificar a precisão da classificação.

2. Limite de Generalização OOD Baseado em Hessiano:
   Através de análise teórica, os autores estabelecem uma ligação entre a perda EDR e a generalização OOD. Eles demonstram que a perda EDR induz Hessianos consistentes com o domínio, o que ajuda a limitar o desempenho de generalização em dados de teste OOD de conjunto fechado sob cenários de pior caso. Especificamente, eles derivam um limite de generalização mostrando que a lacuna de desempenho entre os domínios de origem e destino está relacionada ao risco empírico em dados com mudança de covariância de pior caso e à curvatura (Hessiano) da função de risco.

3. Framework de Otimização Concorrente:
   Para minimizar o limite de generalização derivado, o CRoFT emprega uma estratégia de aprendizado adversarial. Ele gera características de imagem "de pior caso" com mudança de covariância que preservam a informação semântica, mas diferem das características ID. O framework otimiza uma função objetivo unificada composta por:

   • Perda de classificação padrão em características ID.
   • Uma perda ($L_c$) otimizada nas características OOD de pior caso geradas para aumentar a robustez.
   • A perda EDR ($L_e$) aplicada tanto às características ID quanto às características OOD geradas para redesenhar as distribuições de energia.

   O framework utiliza ajuste fino leve (injetando projeções lineares de uma camada/adaptadores nos codificadores CLIP congelados) para garantir eficiência computacional.

Principais Contribuições

• Framework Unificado: O CRoFT é o primeiro framework a otimizar simultaneamente a generalização OOD de conjunto fechado e a detecção de OOD em conjunto aberto durante o ajuste fino de VL-PTMs.
• Insight Teórico: O artigo fornece uma prova teórica de que minimizar a magnitude do gradiente das pontuações de energia (perda EDR) leva a Hessianos consistentes com o domínio, limitando assim teoricamente o erro de generalização OOD. Isso revela uma conexão oculta entre detecção OOD e generalização OOD.
• Nova Função de Perda: A introdução da perda EDR, que redesenha distribuições de energia minimizando magnitudes de gradiente em vez de apenas valores de energia, melhora a separação entre dados ID e OOD.
• Geração Adversarial: O método gera características com mudança de covariância de pior caso para treinar explicitamente o modelo contra mudanças de distribuição, melhorando a robustez.

Resultados Experimentais
Extensos experimentos foram conduzidos em duas configurações:

• Configuração-I: Variantes em larga escala do ImageNet com 40% de classes de conjunto fechado e 60% de classes de conjunto aberto, incluindo conjuntos de dados com mudança de covariância (ImageNet-A, R, Sketch, V2).
• Configuração-II: Avaliação cruzada de conjuntos de dados usando conjuntos de dados de generalização de domínio (PACS, VLCS) como conjunto fechado e outros conjuntos de dados (Caltech101, DTD, Food101) como conjunto aberto.

Principais Descobertas:

• Detecção em Conjunto Aberto: O CRoFT supera significativamente os métodos de ajuste fino mais avançados (por exemplo, CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F). Na Configuração-I, alcançou uma redução de até 25,3% na FPR95 (Taxa de Falsos Positivos em 95% de recall) em comparação com o CLIP zero-shot, e uma melhoria de até 20% na detecção de classes não vistas em conjunto aberto em comparação com outros métodos de ajuste fino.
• Generalização OOD: O CRoFT demonstra desempenho de generalização comparável ou superior em conjuntos de teste OOD de conjunto fechado (por exemplo, ImageNet-Sketch, ImageNet-A) em comparação com métodos existentes.
• Estudos de Ablação: A remoção da perda EDR ($L_e$) ou da perda adversarial ($L_c$) resultou em desempenho degradado em ambas as tarefas, validando a necessidade da otimização concorrente.
• Visualização de Características: Visualizações t-SNE e gráficos de distribuição de energia mostram que o CRoFT reduz com sucesso a sobreposição entre as distribuições de energia ID e OOD e aprende representações de características mais distintas para discriminação entre aberto e fechado.

Significado e Alegações
O artigo alega que o CRoFT aborda uma lacuna crítica na implantação de VL-PTMs, permitindo que eles lidem simultaneamente com mudanças de distribuição conhecidas e classes desconhecidas. Os autores enfatizam que sua descoberta teórica — de que otimizar para detecção em conjunto aberto via perda EDR inerentemente melhora a generalização OOD — fornece uma nova direção para ajuste fino robusto. O método é apresentado como uma solução prática para aplicações de alto risco (por exemplo, direção autônoma, imagem médica), onde detectar classes não vistas é tão crucial quanto manter a precisão em classes conhecidas sob mudanças ambientais. O código é disponibilizado para facilitar pesquisas futuras na adaptação robusta de modelos de visão e linguagem.