Resumo Técnico: Autoencoders Esparsos permitem Ajuste Fino Robusto e Interpretável de modelos CLIP

Declaração do Problema

Modelos de visão e linguagem pré-treinados em grande escala, como o CLIP, exibem desempenho notável em cenários zero-shot e robustez a mudanças de distribuição. No entanto, o ajuste fino desses modelos para melhorar o desempenho dentro da distribuição (ID) em tarefas downstream frequentemente leva à degradação da robustez fora da distribuição (OOD). Esse fenômeno, conhecido como "deriva representacional" ou "supressão de características", ocorre porque o ajuste fino padrão distorce o espaço de representação pré-treinado, sobrescrevendo características semanticamente significativas com ruído específico da tarefa ou direções arbitrárias.

Métodos existentes de ajuste fino robusto tentam mitigar essa compensação, mas enfrentam limitações significativas:

• WiSE-FT: Média os pesos entre os modelos zero-shot e ajustados. Embora eficaz, frequentemente ignora o codificador de texto e depende de interpolação simples, oferecendo controle limitado sobre quais características são preservadas.
• Abordagens Guiadas por Texto (ex: FLYP, StarFT): Esses métodos ajustam finamente tanto os codificadores de visão quanto de texto ou injetam características sintéticas e priores externos em prompts de texto. Essas abordagens introduzem complexidade computacional e dependem de engenharia de dados externa, complicando o pipeline de ajuste fino.

O desafio central é alcançar um ajuste fino robusto que melhore o desempenho ID sem sacrificar a generalização OOD, fazendo-o de maneira computacionalmente eficiente, operando exclusivamente na modalidade visual e fornecendo interpretabilidade sobre como o modelo se adapta.

Metodologia: SAE-FT

Os autores propõem o SAE-FT (Ajuste Fino com Autoencoder Esparso), um framework de regularização que restringe o processo de ajuste fino ao intervalo de características interpretáveis do modelo pré-treinado. O método baseia-se na Hipótese da Representação Linear, que postula que conceitos de alto nível são codificados como direções lineares no espaço de ativação.

Componentes Principais

1. Treinamento do Autoencoder Esparso (SAE):

   • Um SAE Top-k é treinado de forma não supervisionada sobre as representações visuais congeladas ($r_0$) do modelo CLIP zero-shot pré-treinado.
   • O SAE decompõe representações densas e polissêmicas em uma base esparsa e sobrecompleta de características semanticamente significativas ($s$).
   • Os pesos do SAE são congelados após o treinamento e servem como um dicionário fixo de características interpretáveis.

2. Estratégia de Regularização:
   Durante o ajuste fino do codificador de visão ($f_{ft}$), o modelo é restringido para garantir que as atualizações nas representações ($r_{ft}$) permaneçam dentro do intervalo semântico do SAE pré-treinado. A função de perda total combina a perda padrão de entropia cruzada ($L_{CE}$) com dois termos de regularização específicos:

   • Penalidade de Alinhamento de Resíduo ($L_{resid}$): Garante que a mudança na representação ($\Delta r = r_{ft} - r_0$) possa ser reconstruída pelo decodificador do SAE. Isso força as atualizações a serem expressíveis como uma combinação linear das características semânticas aprendidas, impedindo que o modelo derive para direções geométricas arbitrárias ortogonais ao dicionário.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • Penalidade de Preservação de Características ($L_{add}$): Penaliza explicitamente a ativação de características que estavam inativas no modelo zero-shot. Isso previne a "adição" de novos conceitos semânticos, potencialmente espúrios.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     onde $m_k$ é um indicador para características ativas no modelo zero-shot.

3. Treinamento e Inferência:

   • O SAE não é atualizado durante o ajuste fino e não é usado durante a inferência. Ele serve apenas como uma restrição geométrica durante o loop de treinamento.
   • O método opera exclusivamente no codificador de visão usando uma configuração de entropia cruzada com cabeça linear, evitando a complexidade da engenharia de dados do lado do texto.

Contribuições Principais

1. Framework SAE-FT: Uma estratégia de ajuste fino inovadora que restringe as atualizações de representação ao intervalo de características interpretáveis de uma base pré-treinada. Garante que a adaptação ocorra através do re-peso de conceitos semânticos existentes, em vez de sobrescrevê-los, prevenindo o esquecimento catastrófico de conhecimento geral.
2. Desempenho e Eficiência: Experimentos extensivos demonstram que o SAE-FT iguala ou supera o estado da arte (SOTA) em robustez nos benchmarks ImageNet e de mudança de distribuição. Crucialmente, isso é alcançado sem aumentos do lado do texto ou priores injetados, tornando-o computacionalmente eficiente e mais fácil de implantar do que métodos guiados por texto.
3. Insight Mecanístico: O framework fornece uma análise granular da preservação de características. Demonstra explicitamente que o ajuste fino robusto envolve o re-peso de características existentes (por exemplo, amplificando "escada" e "tinta vermelha" para um caminhão de bombeiros) em vez de aprender representações inteiramente novas, oferecendo uma visão transparente do processo de adaptação.

Resultados Experimentais

Os autores avaliaram o SAE-FT no modelo OpenAI ViT-B/16 em múltiplos benchmarks:

• ImageNet e Mudanças de Distribuição: O SAE-FT alcançou uma acurácia no ImageNet de 82,9% (igualando o SOTA) e a maior acurácia média (64,6%) em benchmarks de mudança de distribuição (ImageNet-R, A, S, V2). Superou outros métodos apenas com codificador de visão, como CAR-FT e WiSE-FT.
• Transferência Downstream: Quando avaliado no CIFAR-10, CIFAR-100, Caltech-101 e STL-10 sem ajuste fino adicional, o SAE-FT alcançou a maior acurácia média de transferência (87,8%), indicando que suas representações generalizam efetivamente para tarefas diversas.
• Benchmarks iWilds: Em conjuntos de dados OOD do mundo real (iWildCam e FMoW), o SAE-FT alcançou o melhor desempenho ou desempenho próximo ao melhor, particularmente na acurácia do pior grupo e em pontuações macro F1 OOD, superando a regularização L2 e outros métodos de ajuste fino robusto.
• Comparação com Baselines: Embora métodos de regularização genéricos (L1, L2, PCA) também tenham melhorado a robustez ao limitar a deriva geométrica, o SAE-FT forneceu controle superior sobre mudanças específicas de características. Alcançou uma acurácia média ligeiramente superior a essas baselines, mas ofereceu a vantagem distinta de operar em uma base de características aprendida e semanticamente significativa.

Significado e Alegações

O artigo afirma que o SAE-FT representa um passo significativo para frente em tornar o ajuste fino tanto robusto quanto interpretável.

• Interpretabilidade: Ao contrário da regularização de norma padrão, que trata todas as direções igualmente, o SAE-FT permite que pesquisadores analisem diretamente quais características semânticas são preservadas, re-pesadas ou suprimidas. Os autores mostram que o modelo corrige classificações incorretas (por exemplo, distinguindo um navio pirata de uma escuna) amplificando características relevantes para a tarefa, enquanto retém o vocabulário original de características.
• Eficiência: Ao operar exclusivamente na modalidade visual e evitar manipulações complexas do lado do texto ou dados externos de LLM, o SAE-FT oferece um pipeline simplificado para ajuste fino robusto.
• Mecanismo de Sucesso: Os autores argumentam que o sucesso do SAE-FT decorre de sua capacidade de forçar o modelo a focar em um subconjunto mais esparsos e mais relevante de características pré-existentes. Isso previne o "paralisamento" das características do modelo fundacional que tipicamente ocorre durante o ajuste fino padrão, preservando assim o conhecimento geral do modelo enquanto afina distinções específicas da tarefa.

O trabalho conclui que a regularização interpretável pode permitir um ajuste fino eficiente sem apagar os conceitos aprendidos de modelos pré-treinados, oferecendo uma alternativa viável a estratégias complexas e dependentes de texto de ajuste fino robusto.