Resumo Técnico: TRACER – Regularização Persistente para Ajuste Fino Robusto Multimodal

1. Declaração do Problema

Modelos multimodais pré-treinados, como o CLIP, possuem capacidades notáveis de transferência zero-shot derivadas de pré-treinamento em larga escala. No entanto, adaptar esses modelos a tarefas downstream via ajuste fino padrão frequentemente leva ao esquecimento catastrófico, onde o modelo sacrifica sua robustez de propósito geral, fora da distribuição (OOD), para otimizar padrões específicos da tarefa. Embora existam várias estratégias para mitigar essa compensação (por exemplo, média de pesos, regularização L2, auto-distilação), elas frequentemente sofrem de limitações fundamentais.

Uma limitação crítica, amplamente negligenciada, identificada neste trabalho é o comportamento dos professores Média Móvel Exponencial (EMA) padrão usados em ajuste fino robusto. À medida que o treinamento converge e o modelo aluno se aproxima do professor, o professor EMA colapsa sobre o aluno, fazendo com que o sinal de regularização desapareça exatamente quando a robustez OOD está mais vulnerável. Além disso, métodos de auto-distilação estática introduzem um "viés de âncora" ao fixar o professor nos pesos pré-treinados iniciais, impedindo que o modelo convirja totalmente para a solução ótima da tarefa dentro do subespaço da tarefa.

2. Metodologia: TRACER

Os autores propõem o TRACER (Ancoragem Robusta de Trajetória para Regularização de Codificador Contrastivo), um framework de ajuste fino fundamentado em uma nova análise teórica da aprendizagem contrastiva.

2.1 Framework Teórico

O artigo desenvolve um framework teórico para ajuste fino contrastivo multimodal linearizando os codificadores de imagem e texto. Principais insights teóricos incluem:

• Reformulação da Matriz Alvo Contrastiva: O objetivo de aprendizagem contrastiva multimodal (MMCL) linearizado é reformulado como um problema de mínimos quadrados de matriz impulsionado por uma "matriz alvo contrastiva" ($Y_{FT}$). Isso permite soluções de forma fechada para várias estratégias de ajuste fino.
• Decomposição Geométrica: A análise revela que o ajuste fino envolve dois comportamentos geométricos distintos:
  1. Preservação Ortogonal: Manter o conhecimento pré-treinado em direções ortogonais aos dados de ajuste fino.
  2. Mistura do Subespaço da Tarefa: Adaptar ou misturar conhecimento dentro do subespaço abrangido pelos dados de ajuste fino.
• Limitações dos Métodos Existentes:
  • Ajuste Fino Direto descarta conhecimento pré-treinado no subespaço da tarefa.
  • Regularização L2 cria uma mistura complexa e não cirúrgica de pesos antigos e novos.
  • Auto-Distilação Estática preserva conhecimento ortogonal, mas introduz um viés no subespaço da tarefa, impedindo a convergência para a solução ótima da tarefa.
  • Professores EMA sofrem de colapso de sinal à medida que o professor e o aluno convergem.

2.2 O Professor WMA

Para abordar o colapso dos professores EMA e o viés dos professores estáticos, o TRACER introduz um professor de Média Móvel Ponderada (WMA).

• Mecanismo: Diferentemente do EMA, que pondera o histórico com base na recência, o professor WMA pondera toda a trajetória do aluno com base em um kernel de tempo normalizado (por exemplo, uma distribuição Beta).
• Regularização Persistente: Ao usar um kernel que atribui peso tanto aos estados iniciais (pré-treinados) quanto aos estados tardios (convergidos), o professor WMA mantém uma força regularizadora persistente sobre horizontes de treinamento finitos. Isso impede que a lacuna entre professor e aluno desapareça muito cedo.
• Convergência sem Viés: Os autores provam que o professor WMA permite que o aluno convirja para a solução de tarefa de norma mínima dentro do subespaço da tarefa (removendo o viés de âncora estática) enquanto preserva estritamente o conhecimento no subespaço ortogonal.

2.3 Objetivo de Treinamento

O TRACER combina a perda simétrica padrão InfoNCE com uma perda de auto-distilação dinâmica guiada pelo professor WMA:
$$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$$
A perda de distilação ($L_{SD-WMA}$) é um composto de quatro perspectivas para operacionalizar os princípios geométricos:

1. Distilação de Recursos (FD): Alinha os embeddings do aluno e do professor.
2. Distilação Relacional Contrastiva (CRD): Corresponde às distribuições de similaridade por lote.
3. Aprendizagem Contrastiva Interativa (ICL): Incentiva o alinhamento cruzado de modalidades entre aluno e professor.
4. Distilação de Conhecimento Cruzado (Cross-KD): Alinha logits cruzados de modalidade para transferir estrutura relacional.

3. Principais Contribuições

1. Reformulação Teórica: Introdução da "matriz alvo contrastiva" para reformular a perda contrastiva linearizada como um problema de mínimos quadrados, permitindo soluções de forma fechada e uma decomposição geométrica das estratégias de ajuste fino.
2. Identificação do Colapso do Professor: Prova de que professores EMA padrão sofrem de colapso inerente, enfraquecendo a regularização exatamente quando a robustez OOD está mais frágil.
3. Professor WMA e Convergência sem Viés: Demonstração de que um professor de Média Móvel Ponderada mantém um sinal de regularização persistente e alcança convergência sem viés no subespaço da tarefa, preservando ao mesmo tempo o conhecimento ortogonal.
4. Implementação do TRACER: Instanciação desses princípios em um método prático que combina aprendizagem contrastiva com distilação multi-perspectiva guiada por WMA.

4. Resultados Experimentais

Os autores avaliaram o TRACER em modelos CLIP (ViT-B/16, ViT-L/14, ResNet50) ajustados finamente no ImageNet-1K e testados em cinco deslocamentos de distribuição OOD (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

• Desempenho OOD: O TRACER superou consistentemente as linhas de base mais avançadas (incluindo LP-FT, FLYP, Lipsum-FT, CaRot e Model Stock) na precisão OOD média. Por exemplo, no ViT-B/16, o TRACER alcançou 64,07% de precisão OOD média, comparado a 62,54% para o CaRot e 59,91% para o LP-FT.
• Calibração: O TRACER alcançou o menor Erro de Calibração Esperado (ECE) em todos os conjuntos de dados OOD, indicando confiabilidade probabilística aprimorada sob deslocamentos de distribuição.
• Preservação Geométrica: A análise de similaridade representacional camada por camada (CKA e SVCCA) mostrou que, enquanto o Ajuste Fino Direto causou deriva significativa em camadas mais profundas (esquecimento), o TRACER manteve similaridade > 0,97 com o modelo pré-treinado em todas as camadas.
• Estudos de Ablação: Ablações abrangentes confirmaram que:
  • Os componentes de distilação multi-perspectiva são complementares.
  • Força de distilação moderada ($\lambda_{SD} \approx 1,0-2,0$) oferece a melhor compensação ID-OOD.
  • O método é robusto a frequências de atualização do professor (diferentemente do CaRot, que exige agendamento frágil).
  • O ponderamento do tipo arco-seno (Beta(0,5, 0,5)) é o mais eficaz para o kernel.
• Eficiência: O TRACER é computacionalmente mais eficiente que o CaRot, evitando o custo de regularização espectral $O(d^3)$, com um overhead de apenas $O(B^2)$ para distilação.

5. Significado e Alegações

O artigo afirma que o TRACER preenche a lacuna entre a geometria do ajuste fino e o design prático de métodos robustos. Ao provar teoricamente que a regularização de trajetória com um professor WMA previne o colapso do sinal de regularização, o método oferece uma solução principial para o esquecimento catastrófico em modelos multimodais.

Os autores enfatizam que seu trabalho é puramente defensivo, visando aprimorar a confiabilidade de modelos fundamentais em aplicações do mundo real onde as entradas podem diferir dos dados de treinamento (por exemplo, imagens médicas, sistemas autônomos). Eles afirmam explicitamente que o método não acelera capacidades prejudiciais, mas sim mitiga o sobreajuste e melhora a generalização. A análise teórica é atualmente desenvolvida em um regime linearizado, com trabalhos futuros sugeridos para extensões ao Kernel de Tangente Neural (NTK) e configurações de recursos aleatórios para modelos não lineares maiores.