📊 statistics

Post-Training Augmentation Invariance

Este trabajo presenta un marco para lograr invariancia a aumentos en redes preentrenadas sin alterar su comportamiento original, introduciendo codificadores aumentados y pérdidas de minimización de Markov-Wasserstein y maximización de correlación de Wasserstein que permiten entrenar adaptadores ligeros que mejoran significativamente la precisión en imágenes rotadas o con ruido sin necesidad de ajustar los pesos de la red base.

Autores originales: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef experto (el modelo de IA pre-entrenado) que ha pasado años aprendiendo a cocinar platos deliciosos con ingredientes frescos y perfectos. Este chef es increíble: puede identificar una manzana, un perro o un coche con un 99% de precisión.

Sin embargo, hay un problema: este chef es muy "rígido". Si le muestras una foto de una manzana que está rotada (de lado) o un poco sucio (con ruido), el chef entra en pánico y dice: "¡Esto no es una manzana!". No porque no sepa qué es una manzana, sino porque nunca le enseñaron a reconocerlas en esas condiciones.

El problema de la investigación actual es: ¿Cómo le enseñamos al chef a reconocer las cosas rotadas o sucias sin tener que despedirlo y volver a entrenarlo desde cero (lo cual costaría millones de dólares y años de tiempo)?

La Solución: El "Asistente de Cocina" (El Adaptador)

Los autores de este paper proponen una idea brillante en lugar de reentrenar al chef, simplemente le pegan un pequeño asistente (una red neuronal muy pequeña llamada "adaptador") justo antes de que el chef tome su decisión final.

Piensa en este asistente como un traductor o un filtro mágico:

La imagen entra (rotada o sucia).
El asistente la "limpia" o la "endereza" mentalmente.
Le pasa la versión corregida al chef.
El chef, que sigue siendo el mismo experto de siempre, dice: "¡Ah! Ahora sí veo una manzana".

Lo increíble de este método es que el chef no cambia ni un gramo. Sus conocimientos originales se mantienen intactos. Solo se añade el asistente para manejar las situaciones nuevas.

¿Cómo aprende el asistente? (Las Dos Reglas de Oro)

El equipo probó varias formas de entrenar a este asistente. Imagina que estás entrenando a un perro para que obedezca, pero no quieres que olvide sus trucos anteriores.

La Regla del "Espejo Perfecto" (Markov-Wasserstein / MaWa):
Esta es la mejor técnica. Imagina que le dices al asistente: "Cuando veas una imagen normal, actúa como un espejo perfecto (no la toques). Pero cuando veas una imagen rotada, imagina cómo se vería si no estuviera rota y pónmela así".
- Resultado: El asistente aprende a ser "invariante" (ignora la rotación) pero no destruye la información original. Es como si el asistente tuviera superpoderes para enderezar cosas sin romperlas.
La Regla del "Agrupamiento Ciego" (SimCLR / HSIC):
Otros métodos intentaron entrenar al asistente diciendo: "¡Haz que todas las imágenes de manzanas se parezcan entre sí!".
- Resultado: Esto funciona para agrupar cosas, pero es como si el asistente, al intentar agrupar las manzanas, aplastara todas las diferencias importantes. Al final, el chef recibe una manzana aplastada y no sabe qué hacer. El asistente "corrompe" la memoria del chef.

Los Resultados: ¡Magia Pura!

El paper muestra resultados asombrosos en pruebas reales (como el conjunto de datos STL10):

Sin asistente: Si le muestras una imagen rotada al chef original, su precisión cae del 98% al 71%. ¡Se vuelve mediocre!
Con el asistente (MaWa): El mismo chef, con el asistente pegado, logra un 94% de precisión en imágenes rotadas. ¡Casi tan bueno como si la imagen estuviera perfecta!
Con el asistente (Ruido): Si la imagen tiene mucho ruido (como si fuera una foto vieja y granulada), el chef original cae al 58%, pero con el asistente sube al 86%.

La Metáfora Final: El Traductor de Idiomas

Imagina que el modelo pre-entrenado es un traductor experto que solo habla inglés perfecto.

Si alguien le habla en inglés con un acento fuerte o con palabras mal pronunciadas (la imagen aumentada/rotada), el traductor se confunde.
En lugar de obligar al traductor a aprender un nuevo idioma (reentrenar), le pones un intérprete al lado.
El intérprete escucha el acento, lo traduce a un inglés perfecto y se lo pasa al experto.
El experto sigue siendo el mismo, pero ahora puede entender a todo el mundo.

Conclusión

Este trabajo nos dice que no necesitamos destruir lo que ya hemos aprendido para hacerlo más robusto. Con un pequeño "parche" o adaptador entrenado con las reglas correctas (como la minimización de la distancia de Wasserstein), podemos hacer que la Inteligencia Artificial sea más flexible y resistente a cambios (rotaciones, ruido, etc.) sin perder su inteligencia original.

Es como darle gafas de sol a un conductor experto: sigue conduciendo igual de bien, pero ahora puede ver mejor cuando el sol le da de frente.

Resumen Técnico: Invarianza de Aumento Post-Entrenamiento

1. Planteamiento del Problema

Los modelos preentrenados a gran escala (como Vision Transformers, CLIP, DINO, etc.) han demostrado ser fundamentales para diversas tareas de visión por computadora. Sin embargo, estos modelos a menudo carecen de invarianza frente a ciertas transformaciones críticas (como rotaciones arbitrarias, ruido o perturbaciones adversarias) que son esenciales para aplicaciones específicas (e.g., imágenes satelitales o médicas).

El desafío central abordado en este trabajo es: ¿Cómo dotar a un modelo preentrenado de invarianza ante aumentos específicos después del entrenamiento inicial sin corromper sus capacidades existentes ni degradar su rendimiento en la distribución de datos original?

Los enfoques tradicionales presentan limitaciones:

Reentrenamiento: Computacionalmente prohibitivo y arriesgado para las representaciones aprendidas.
Fine-tuning (Ajuste fino): Puede distorsionar significativamente las características preentrenadas, alterando la geometría del espacio latente original.

El objetivo de los autores es lograr invarianza mediante la adición de una red ligera ("adapter") sin modificar los pesos del modelo preentrenado ( $F$ ).

2. Metodología y Marco Teórico

Los autores proponen un marco formal basado en la teoría de la medida y el transporte óptimo.

A. Definiciones Fundamentales:

Codificadores Aumentados (Augmented Encoders): Se formalizan como codificadores probabilísticos que modelan el proceso de aplicar aumentos aleatorios a una entrada y luego codificarla.
Invarianza Post-Entrenamiento: Se define como $(t, \mu_X, F, V)$ -invarianza. Un codificador adaptador $E_\theta$ debe hacer que la composición $E_\theta \circ F$ sea invariante ante un aumento $t$ , preservando al mismo tiempo la estructura métrica de la distribución latente original $F_\sharp \mu_X$ hasta una transformación admisible $V$ (idealmente una isometría).

B. Funciones de Pérdida Propuestas:
Se introducen dos funciones de pérdida basadas en el transporte óptimo para entrenar el adaptador $E_\theta$ (una MLP de una capa oculta):

Minimización de Markov-Wasserstein (MaWa):
- Se basa en minimizar la distancia Markov-Wasserstein entre el kernel del codificador aumentado y el kernel identidad.
- Funcionamiento: Utiliza una pérdida de error cuadrático medio (MSE) anclada. Forza al adaptador a mapear las características aumentadas de vuelta a las características "limpias" originales ( $F(x)$ ), mientras mantiene las características no aumentadas cerca de la identidad.
- Ventaja: Evita el colapso del espacio latente (un problema común en pérdidas de invarianza ingenuas) al anclar el codificador a la distribución original.
Maximización de Correlación de Wasserstein (WaCo):
- Busca maximizar la correlación de Wasserstein de la distribución conjunta inducida por el codificador aumentado.
- Funcionamiento: Intenta que la distribución conjunta de (entrada, salida aumentada) se aproxime a la gráfica de una función medible (isometría local), alejándose de la distribución producto (independencia).
- Ventaja: Permite reducción de dimensionalidad simultánea y no requiere anclarse estrictamente a la identidad, lo que la hace más robusta en ciertos escenarios de alta colisión.

C. Comparación con Métodos Alternativos:
Los autores comparan sus métodos contra:

SimCLR (Contrastivo): Aunque induce invarianza, corrompe drásticamente la geometría del espacio latente preentrenado, haciendo que las características originales sean inutilizables.
HSIC (Independencia de Hilbert-Schmidt): Similar a SimCLR, produce resultados no competitivos y corrompe la estructura del espacio latente.

3. Contribuciones Clave

Formalización Matemática: Definición precisa de la invarianza post-entrenamiento utilizando kernels de Markov-Wasserstein y la noción de tasas de colisión (collision rates) para predecir la viabilidad de la optimización.
Nuevas Funciones de Pérdida: Propuesta de MaWa y WaCo como objetivos de entrenamiento efectivos para adaptadores ligeros que preservan la estructura métrica.
Evidencia Empírica: Demostración de que MLPs simples (una capa oculta) pueden lograr invarianza aproximada sin fine-tuning de la red base.
Análisis de Estructura: Validación de que los métodos propuestos preservan la estructura de "nube de puntos" del espacio latente original, a diferencia de los métodos contrastivos que la destruyen.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset STL10 (y extensiones en TinyImageNet) utilizando diversos modelos preentrenados como base ( $F$ ): DINOv2, SwAV, CLIP, R-DINO y ResNet50 supervisado.

Rendimiento en Clasificación (Invarianza):

Rotaciones: En DINOv2, la precisión en imágenes rotadas arbitrariamente cayó del 98% al 71% sin adaptador. Con el adaptador MaWa, se recuperó al 94.7%.
Ruido: La precisión ante ruido aumentó del 58% al 86% con MaWa.
Comparativa: Los métodos MaWa y WaCo superaron consistentemente a SimCLR y HSIC en tareas de invarianza a rotaciones y ruido.

Preservación de Estructura (Isometría):

MaWa: Logró una preservación casi isométrica del espacio latente original. Por ejemplo, para rotaciones en DINOv2, obtuvo un $R^2 = 0.96$ y una desviación raíz cuadrática media normalizada (NRMSD) de solo 0.02.
WaCo: Mostró una preservación ligeramente menor ( $R^2 \approx 0.55$ en dimensión completa) pero permitió reducción de dimensionalidad efectiva manteniendo buen rendimiento.
Fallo de Alternativas: SimCLR y HSIC mostraron una destrucción total de la estructura métrica ( $R^2 < 0.1$ , NRMSD > 1.0), confirmando que corrompen las características preentrenadas.

Análisis de Colisión:
Se identificó que el éxito del método MaWA depende de una baja tasa de colisión alineada en el espacio latente preentrenado.

Modelos auto-supervisados (DINOv2, CLIP) tienen bajas tasas de colisión y funcionan bien con MaWa.
Modelos supervisados (ResNet50) tienen altas tasas de colisión residual; en este caso, MaWa colapsa, pero WaCo sigue siendo robusto y funcional.

5. Significado e Impacto

Eficiencia: El método es extremadamente ligero, requiriendo solo un pequeño adaptador (MLP) y sin tocar los pesos del modelo base, lo que ahorra recursos computacionales masivos.
Versatilidad: Permite adaptar modelos fundacionales a dominios específicos (ej. imágenes rotadas o ruidosas) sin perder su utilidad general.
Robustez: Sugiere que la invarianza ante aumentos (y potencialmente ataques adversarios) puede lograrse mediante la preservación de la estructura métrica del espacio latente, en lugar de reorganizarlo mediante aprendizaje contrastivo.
Limitaciones: El método MaWa puede fallar en espacios latentes con alta entrelazamiento de clases (alta tasa de colisión), donde WaCo se presenta como una alternativa más robusta, aunque con menor preservación estructural estricta.

En conclusión, el trabajo demuestra que es posible "inyectar" invarianza en modelos preentrenados de manera eficiente y segura, utilizando principios de transporte óptimo para guiar adaptadores ligeros, evitando así la destrucción de las representaciones aprendidas previamente.