📊 statistics

Post-Training Augmentation Invariance

Este trabalho propõe um framework de invariância a aumentações pós-treinamento que utiliza adaptadores leves baseados em minimização de Markov-Wasserstein e maximização de correlação de Wasserstein para adicionar robustez a redes pré-treinadas sem alterá-las ou corromper suas características originais.

Autores originais: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Publicado 2026-04-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da lâmpada (um modelo de inteligência artificial pré-treinado, como o DINOv2) que já viu milhões de fotos e sabe reconhecer objetos perfeitamente. Ele é um especialista em ver o mundo "normal".

O problema é que esse gênio é um pouco rígido. Se você mostrar a ele um gato de cabeça para baixo, ou um carro com um pouco de ruído estático (como uma TV fora do ar), ele pode ficar confuso e dizer: "Isso não é um gato, é uma coisa estranha!". Ele foi treinado para ver o mundo de um jeito específico e não sabe lidar com variações.

Agora, a pergunta do artigo é: Como ensinamos a esse gênio a ser flexível (invariante) a essas mudanças, sem apagar a memória dele ou fazê-lo esquecer o que ele já sabe?

Aqui está a explicação do que os autores fizeram, usando analogias do dia a dia:

1. O Problema: "Não mexa na minha mente!"

Normalmente, para ensinar um modelo a ser flexível, você teria que reensiná-lo do zero ou fazer um "ajuste fino" (fine-tuning). Isso é como pegar o cérebro do gênio e tentar reescrever seus neurônios. O risco? Você pode apagar o conhecimento que ele já tinha. Ele pode parar de reconhecer um gato de frente, mesmo que agora reconheça um de lado.

Os autores dizem: "Não vamos mexer no cérebro do gênio!". Eles mantêm o modelo original congelado (trancado). Em vez disso, eles colocam um pequeno "tradutor" ou "óculos" (chamado de Adapter) na frente dos olhos dele.

2. A Solução: Os Óculos Mágicos

Esse "óculos" é uma rede neural pequena e leve. A função dele é pegar a imagem que o gênio vê, processá-la e dizer: "Ei, gênio, essa imagem girada é a mesma coisa que aquela que você já conhece".

O desafio é: Como calibrar esses óculos?
Se você calibrar mal, o óculos pode distorcer tudo. O gênio pode começar a ver um cachorro como um gato só porque ambos foram girados.

3. As Duas Receitas de Bolo (Os Métodos)

Os autores testaram várias receitas para calibrar esses óculos. Eles descobriram que duas funcionaram muito bem e duas foram desastrosas.

✅ As Receitas que Funcionaram (MaWa e WaCo)

Imagine que você tem uma bola de argila (a imagem original) e você a amassa de um jeito (a augmentação, como girar ou adicionar ruído).

O objetivo: O óculos deve pegar a bola amassada e dizer: "Isso é a mesma bola de antes, apenas um pouco torta".
A mágica: Eles usaram matemática avançada (chamada Transporte Ótimo e Correlação de Wasserstein) que funciona como uma régua de precisão. Essa régua mede a distância entre os pontos da bola.
O resultado: O óculos aprende a "desamassar" a imagem mentalmente, mantendo as distâncias entre os pontos quase iguais. É como se o óculos fosse um espelho quase perfeito: ele reflete a imagem girada de volta para a posição original, sem deformar o rosto do gênio.
- Resultado prático: O modelo reconhece um carro girado em 94% dos casos (antes era 71%) e continua reconhecendo o carro normal perfeitamente.

❌ As Receitas que Deram Errado (SimCLR e HSIC)

Essas receitas tentam forçar o modelo a agrupar coisas parecidas, mas de um jeito agressivo.

A analogia: É como tentar ensinar o gênio a agrupar todas as fotos de gatos, independentemente de como elas estão, mas no processo, você esmagou a argila até virar uma bola única e sem forma.
O problema: O modelo aprende a ser "invariante", mas perde a capacidade de distinguir detalhes. Ele vê um gato e um cachorro como a mesma coisa porque ambos foram "amassados" da mesma forma.
Resultado: A precisão cai e o modelo fica "corrompido". Ele esqueceu como o mundo real funciona.

4. O Grande Truque: A "Taxa de Colisão"

Os autores descobriram algo curioso. Para que o método funcione, as imagens aumentadas (giradas, com ruído) não podem "atropelar" outras imagens no espaço mental do modelo.

Analogia: Imagine um estacionamento. Se você girar um carro vermelho e ele acabar estacionado em cima de um carro azul, o sistema entra em colapso. Isso é uma "colisão".
O que eles viram: Modelos treinados de forma auto-supervisionada (como o DINOv2) têm um estacionamento organizado. Girar o carro não faz ele bater no outro. Por isso, o método funciona perfeitamente.
O caso difícil: Modelos treinados de forma supervisionada (como o ResNet50 clássico) têm um estacionamento bagunçado. Girar o carro faz ele bater em outro. Nesse caso, o método "óculos" falha, porque não há como desenredar o emaranhado sem destruir o estacionamento.

Resumo Final

Os autores criaram um método para adicionar "óculos de realidade aumentada" a modelos de IA já existentes.

Não mexem no cérebro original (o modelo pré-treinado fica congelado).
Usam uma matemática inteligente (Transporte Ótimo) para garantir que o modelo entenda que "imagem girada" = "imagem original".
Funciona muito bem para modelos modernos, tornando-os robustos a rotações e ruídos, sem estragar o que eles já sabiam.
É leve: É como colocar uma capa leve no modelo, em vez de reconstruir o prédio inteiro.

É como dar ao seu assistente virtual um novo par de óculos que permite que ele veja o mundo de qualquer ângulo, sem precisar reescrever todo o manual de instruções dele.

1. O Problema

O trabalho aborda o desafio de adicionar propriedades de invariância a aumentações (como rotações, ruído, transformações afins) a redes neurais pré-treinadas, sem corromper seu comportamento ou estrutura no conjunto de dados original (não aumentado).

Contexto: Modelos pré-treinados em grande escala (como Vision Transformers, CLIP, DINO) são fundamentais, mas muitas vezes não são invariantes a transformações críticas para aplicações específicas (ex: imagens médicas ou de satélite).
Desafio: Re-treinar modelos de base do zero é computacionalmente proibitivo e pode degradar representações aprendidas. Métodos de fine-tuning padrão podem distorcer as características pré-treinadas.
Objetivo: Desenvolver um método "pós-treinamento" que adicione invariância apenas anexando uma pequena rede adaptadora (adapter), mantendo os pesos do modelo pré-treinado totalmente congelados (frozen).

2. Metodologia e Fundamentos Teóricos

Os autores propõem um framework baseado em Teoria da Medida e Transporte Ótimo para formalizar o problema e definir funções de perda adequadas.

Conceitos Chave:

Codificadores Aumentados (Augmented Encoders): Definidos como codificadores probabilísticos que formalizam o processo de aplicar aumentações aleatórias a uma entrada e depois codificá-la.
Invariância Pós-Treinamento: Um codificador composto $E_\theta \circ F$ $E_{θ} \circ F$ é considerado invariante se:
1. For invariante à transformação $t$ (ou seja, $E_\theta(F(t(a, x))) \approx E_\theta(F(x))$ ).
2. Preservar a estrutura métrica da distribuição latente original $F_\sharp \mu_X$ (até uma aplicação admissível $V$ , como uma isometria local). Isso é crucial para não quebrar tarefas downstream existentes.

Funções de Perda Propostas:

Os autores introduzem duas novas funções de perda para treinar a rede adaptadora $E_\theta$ (uma MLP simples de uma camada oculta):

Minimização de Markov-Wasserstein (MaWa):
- Baseada na métrica $L_p$ generalizada entre kernels de Markov-Wasserstein.
- Mecanismo: É essencialmente uma perda de erro quadrático médio (MSE) "ancorada". Ela minimiza a distância entre os recursos aumentados codificados e os recursos originais (limpeza), enquanto força a rede a agir como a identidade nos dados originais.
- Vantagem: Evita o colapso da representação (onde tudo é mapeado para um único ponto), pois "ancora" a saída aos recursos originais congelados.
Maximização de Correlação de Wasserstein (WaCo):
- Baseada na Correlação de Wasserstein, uma medida de dependência estatística baseada em transporte ótimo.
- Mecanismo: Maximiza a correlação entre a distribuição conjunta induzida pelo codificador aumentado e o produto das marginais. Diferente da maximização de Informação Mútua (comum em aprendizado auto-supervisionado), a Correlação de Wasserstein preserva a estrutura métrica local (isometria) em vez de agrupar pontos semanticamente similares.
- Vantagem: Permite redução de dimensionalidade simultânea e é robusta, pois não altera a geometria global do espaço latente.

Abordagem Comparativa (O que NÃO funciona):

O estudo compara suas propostas com:

SimCLR (Perda Contrastiva): Corrompe drasticamente o espaço latente pré-treinado, quebrando a estrutura original e tornando os recursos inúteis para tarefas downstream não relacionadas à invariância.
Maximização de HSIC (Critério de Independência de Hilbert-Schmidt): Também falha em preservar a estrutura, causando colapso geométrico.

3. Contribuições Principais

Definição Formal: Formalização precisa do problema de invariância pós-treinamento através da noção de $(t, \mu_X, F, V)$ -invariância, exigindo preservação de estrutura métrica.
Novo Objeto de Estudo: Introdução dos "Codificadores Aumentados" como objetos probabilísticos fundamentais.
Novas Funções de Perda: Proposta de MaWa e WaCo, que são matematicamente fundamentadas no transporte ótimo para garantir invariância sem destruição de estrutura.
Evidência Empírica: Demonstração de que MLPs simples (uma camada oculta) treinados com essas perdas alcançam invariância aproximada sem fine-tuning do modelo base.

4. Resultados Experimentais

Os experimentos foram realizados em vários modelos pré-treinados (DINOv2, SwAV, CLIP, ResNet50) no dataset STL10 e TinyImageNet, com aumentações de rotação, ruído, afim e corte.

Desempenho em Invariância:
- Rotação (DINOv2): A rede composta com adaptador MaWa atingiu 94% de precisão em imagens rotacionadas, comparado a apenas 71% da rede base sem adaptador.
- Ruído (DINOv2): A precisão saltou de 58% (base) para 86% com o adaptador MaWa.
- CLIP: Resultados ainda mais impressionantes, com 94.82% de precisão em rotações (vs 88.16% da base).
Preservação de Estrutura:
- As perdas MaWa e WaCo preservaram a estrutura métrica do espaço latente original (altos valores de $R^2$ na regressão linear de distâncias, baixos valores de NRMSD).
- Em contraste, SimCLR e HSIC mostraram colapso estrutural severo (valores de $R^2$ próximos de zero e distâncias distorcidas), tornando os recursos pré-treinados inutilizáveis para outras tarefas.
Limitações e Casos de Falha:
- O método MaWa falhou no ResNet50 supervisionado, onde as taxas de colisão (collision rates) entre classes após aumentações eram muito altas. O otimizador não conseguiu encontrar uma solução que satisfizesse tanto a invariância quanto a preservação de estrutura. A perda WaCo foi mais robusta nesse cenário, mas com resultados inferiores aos dos modelos auto-supervisionados.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

Eficiência: Permite adaptar modelos massivos e congelados para novas necessidades de invariância com um custo computacional mínimo (apenas o treinamento de uma pequena MLP).
Segurança de Representação: Resolve o dilema de adicionar invariância sem destruir o conhecimento pré-existente do modelo. Diferente de métodos contrastivos que reorganizam o espaço para agrupar classes, este método preserva a geometria original.
Generalidade: Funciona bem em diversos arquiteturas (Transformers, CNNs) e tipos de dados, desde que a taxa de colisão no espaço latente não seja excessiva.
Robustez a Adversários: Os resultados em invariância a ruído sugerem potencial aplicação para robustez adversarial, tratando ataques como aumentações não invertíveis.

Em resumo, o artigo estabelece que é possível "consertar" a falta de invariância de modelos de visão computacional modernos através de adaptadores leves treinados com princípios de transporte ótimo, mantendo a integridade das representações originais.