🤖 AI

Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives

Este artículo presenta Syn2Co, un marco de trabajo que mejora el aprendizaje autosupervisado para los vision transformers mediante el aprovechamiento de datos sintéticos para la diversidad de muestras y de negativos difíciles sintéticos para contrastes desafiantes, explorando así el potencial y las limitaciones de "fingirlo" para reducir la dependencia de vastos conjuntos de datos del mundo real.

Autores originales: Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikos Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El arte de aprender sin un maestro

Imagina que estás intentando enseñarle a un robot a reconocer un gato. En los viejos tiempos, necesitarías que un humano mirara miles de fotos, señalara al gato y dijera: "Esto es un gato". Esto se llama "aprendizaje supervisado", y funciona de maravilla, pero es lento, costoso y requiere mucha supervisión humana. Para evitar esto, los científicos inventaron el "aprendizaje autosupervisado". Piensa en esto como darle al robot una pila de fotos y decirle: "Descubre por tu cuenta qué hace que estas imágenes sean similares o diferentes". El robot aprende comparando imágenes, tratando de detectar que dos fotos del mismo perro son "amigos" (positivos), mientras que una foto de un perro y una foto de una tostadora son "extraños" (negativos).

Sin embargo, hay un inconveniente. Para volverse realmente bueno en esto, el robot necesita una biblioteca masiva de fotos del mundo real, y necesita ser desafiado con "negativos difíciles": comparaciones complicadas que son casi iguales pero ligeramente diferentes, como un golden retriever frente a un labrador. Si el robot solo ve ejemplos fáciles, se vuelve perezoso y no aprende los detalles sutiles. Pero, ¿qué pasa si no tenemos suficientes fotos reales, o si encontrar esos ejemplos complicados es demasiado difícil? Aquí es donde entra la idea de "fingir". ¿Qué pasaría si pudiéramos generar fotos falsas o ejemplos complicados falsos usando computadoras para ayudar al robot a aprender? Este es el patio de recreo de la visión por computadora, un campo donde las máquinas intentan ver y comprender el mundo, y es el escenario de la historia que estamos a punto de contar.

Fingir hasta lograrlo: Una nueva forma de entrenar los ojos de la IA

En un artículo titulado "Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives", un equipo de investigadores del Imperial College London decidió probar una idea audaz: ¿Podemos enseñar a la IA a ver tan bien usando cosas "falsas" como podemos usando cosas "reales"? Su enfoque se inspira en el viejo dicho, "Finge hasta que lo logres" (Fake it till you make it). En lugar de esperar por los datos perfectos del mundo real, decidieron sintetizar (o crear) sus propios materiales de entrenamiento para ver si funcionaba.

Los investigadores se centraron en dos formas específicas de "fingir". Primero, analizaron los Datos Sintéticos. Imagina que tienes un álbum de fotos de 100 animales diferentes. En lugar de tomar más fotos de animales reales, utilizaron un programa de computadora especial llamado "modelo de difusión" para pintar 130,000 nuevas imágenes falsas de esos mismos animales. Estas no son solo copias borrosas; son imágenes completamente nuevas que parecen reales. Querían ver si una IA podía aprender a reconocer animales simplemente estudiando este álbum falso, o si necesitaba una mezcla de real y falso.

Segundo, abordaron el problema de los Negativos Difíciles. En el juego de aprendizaje del robot, un "negativo difícil" es una comparación complicada, como pedirle al robot que distinga entre dos tonos de azul muy similares. Normalmente, encontrar estos pares complicados en la vida real es difícil. Por ello, los investigadores inventaron una forma de "fingir" estas comparaciones complicadas dentro del cerebro del robot (el espacio matemático donde la IA almacza lo que sabe). Tomaron la comprensión actual de la IA y la mezclaron matemáticamente para crear nuevos ejemplos súper desafiantes que el robot tuviera que descifrar. Llamaron a su método combinado Syn2Co.

Lo que encontraron

El equipo probó sus métodos de "falsificación" en dos diseños populares de cerebros de IA: DeiT-S y Swin-T. Realizaron experimentos en un conjunto de datos llamado ImageNet-100, que contiene 100 categorías de imágenes.

Esto es lo que nos dicen los números:

La mezcla importa: Cuando entrenaron a la IA usando solo las imágenes falsas, le fue sorprendentemente bien, pero no fue perfecta. Sin embargo, cuando mezclaron las imágenes falsas con las reales, la IA mejoró aún más. Los resultados sugieren que las imágenes sintéticas son como un suplemento poderoso; impulsan el aprendizaje, pero aún no reemplazan completamente la necesidad de datos del mundo real.
Diferentes cerebros, diferentes necesidades: Los dos modelos de IA reaccionaron de manera distinta al "engaño". El modelo DeiT-S amó la combinación de imágenes falsas y comparaciones complicadas falsas, alcanzando una precisión máxima del 82.12% tras ser entrenado durante 300 épocas (ciclos de aprendizaje). El modelo Swin-T, por otro parte, parecía preferir las comparaciones complicadas sintéticas (negativos sintéticos) más que las imágenes falsas.
La lección "difícil": Los investigadores descubrieron que añadir estos negativos difíciles sintéticos ayudaba a la IA a aprender características más nítidas y detalladas. Por ejemplo, en una prueba, variaron el porcentaje de estos negativos difíciles del 0% al 40%. El rendimiento de la IA generalmente mejoró a medida que añadían más de estos ejemplos desafiantes, demostando que las dificultades "falsas" en realidad ayudaban a la IA a fortalecerse.

El veredicto

El artículo no afirma que los datos falsos sean una varita mágica que lo solucione todo. En cambio, sugiere que los datos sintéticos son una herramienta prometedora. Los autores descubrieron que, aunque no puedes simplemente desechar todas tus fotos reales y confiar al 100% en las generadas por computadora, usar datos sintéticos para aumentar (añadir a) tus datos reales funciona muy bien. Ayuda a que la IA aprenda más rápido y sea más robusta, especialmente cuando los datos reales son difíciles de obtener o cuando necesitas ejemplos más desafiantes para poner a prueba los límites de la IA.

En resumen, los investigadores demostraron que, de hecho, puedes "fingir" hasta cierto punto. Al generar imágenes sintéticas y desafíos sintéticos, crearon un entorno de entrenamiento que ayudó a los modelos de IA a aprender mejor, demostando que, a veces, un poco de ayuda artificial puede hacer que el proceso de aprendizaje se sienta muy real.

Resumen Técnico: Fake & Square: Entrenamiento de Vision Transformers Auto-supervisados con Datos Sintéticos y Negativos Difíciles Sintéticos

Planteamiento del Problema

El aprendizaje contrastivo auto-supervisado ha alcanzado un éxito notable en la visión por computadora, pero enfrenta dos cuellos de botella primarios:

Escasez y Diversidad de Datos: Estos métodos requieren típicamente vastas cantidades de datos reales, ya sean etiquetados o no etiquetados, para lograr un rendimiento competitivo, lo que crea un problema de escalabilidad similar al aprendizaje supervisado.
Limitaciones de los Negativos Difíciles (Hard Negatives): La calidad de las representaciones aprendidas depende fuertemente de los "negativos difíciles" (ejemplos disímiles que son semánticamente cercanos). Los métodos existentes a menudo luchan con la diversidad limitada de estos negativos difíciles, los cuales son cruciales para aprender características discriminativas.

Los autores proponen explorar alternativas a estos requisitos investigando el adagio "finge hasta que lo logres" (fake it till you make it). Se preguntan si los datos sintéticos y los negativos difíciles sintéticos pueden aumentar o reemplazar eficazmente los componentes del mundo real en el entrenamiento de Vision Transformers (ViTs).

Metodología: Syn2Co

El artículo presenta Syn2Co, un marco que integra dos formas de "fingir" en el flujo de trabajo de aprendizaje auto-supervisado:

1. Generación de Datos Sintéticos (Espacio de Imagen)

Enfoque: Los autores utilizan un modelo de difusión generativo para crear un clon sintético del conjunto de datos ImageNet-100.
Escala: Se generan aproximadamente 130,000 imágenes sintéticas, manteniendo la misma distribución de clases que el conjunto de datos original.
Integración: Durante el entrenamiento, las imágenes se muestrean de un grupo mixto de datos reales ( $X$ ) y datos sintéticos ( $X_s$ ). Esto permite escenarios que van desde el entrenamiento exclusivamente con datos reales hasta exclusivamente con datos sintéticos, o diversas proporciones de mezcla.

2. Negativos Difíciles Sintéticos (Espacio de Representación)

Enfoque: En lugar de depender únicamente de muestras negativas reales de una cola de memoria (memory queue), el marco genera negativos difíciles sintéticos directamente en el espacio de representación de características ( $Z$ ).
Selección: Dada una representación de consulta $q$ , se seleccionan los $N$ negativos más difíciles ( $Q_N$ ) de la cola existente basándose en la similitud de coseno.
Síntesis: Una función de síntesis $F$ opera sobre la consulta y los negativos difíciles seleccionados para crear nuevos negativos sintéticos ( $s$ ). Los autores implementan seis estrategias para $F$ , incluyendo interpolación, extrapolación, mezcla, perturbación por ruido (noise jittering), perturbación y métodos adversarios.
Integración: Estos negativos sintéticos ( $Q_s$ ) se combinan con la cola de negativos reales ( $Q$ ) para expandir la diversidad de los contrastes durante el entrenamiento sin requerir la recolección adicional de datos reales.

3. Marco de Aprendizaje

El método emplea un objetivo de aprendizaje contrastivo (pérdida InfoNCE) similar a MoCo y BYOL.

Arquitecturas: El marco es evaluado en DeiT-S (Data-efficient Image Transformer) y Swin-T (Swin Transformer Tiny).
Entrenamiento: El codificador de objetivo (target encoder) se actualiza mediante un mecanismo de momentum, mientras que el codificador en línea (online encoder) se optimiza mediante retropropagación (backpropagation).

Contribuciones Clave

Clon de Datos Sintéticos: La creación de un clon sintético de ImageNet-100 y una demostración de cómo los datos sintéticos impactan el aprendizaje auto-supervisado contrastivo.
Negativos Sintéticos para Transformers: La adaptación y extensión de las técnicas de generación de negativos sintéticos (previamente exploradas en otros contextos) a los Vision Transformers, mostrando que DeiT y Swin pueden aprovechar estos contrastes sintéticos para aprender características más discriminativas.
Evaluación Exhaustiva: Una investigación sistemática de los compromisos entre datos reales y sintéticos, así como el impacto de variar la proporción y la dificultad de los negativos sintéticos.

Resultados Experimentales

Los experimentos se realizaron en ImageNet-100 utilizando linear probing para evaluar la calidad de las representaciones aprendidas.

Comparación de Rendimiento:
- DeiT-S: El modelo aprovechó eficazmente tanto los datos sintéticos como los negativos sintéticos. El mejor rendimiento (82.12% de precisión Top-1) se logró utilizando el enfoque completo de Syn2Co (ambos componentes sintéticos) durante 300 épocas, superando la línea base supervisada (80.50%) y el estándar MoBY (79.36%).
- Swin-T: Esta arquitectura se benefició principalmente de los negativos sintéticos. Logró un rendimiento óptimo con solo negativos sintéticos (84.04% Top-1), mostrando que puede aprovechar los contrastes sintéticos de manera efectiva incluso sin datos de imagen sintéticos.
Mezclas de Datos:
- Los modelos entrenados exclusivamente con datos sintéticos lograron un rendimiento razonable, pero la precisión mejoró a medida que aumentaba la proporción de datos reales.
- Los resultados sugieren que las imágenes sintéticas sirven como complementos valiosos en lugar de sustitutos completos para los datos reales, aunque la brecha de rendimiento entre el entrenamiento totalmente sintético y el totalmente real es relativamente modesta.
Sensibilidad de los Negativos Difíciles:
- DeiT: Exhibió sensibilidad tanto al nivel de dificultad como a la proporción de negativos sintéticos.
- Swin: Mantuvo ganancias de rendimiento consistentes a través de diferentes configuraciones de negativos sintéticos.

Significado y Reivindicaciones

El artículo afirma modestamente que no introduce un método fundamentalmente nuevo per se, sino que construye sobre enfoques de auto-supervisión existentes para explorar los límites de la aumentación sintética.

Promesa: Los hallazgos resaltan el potencial de los datos sintéticos y los negativos difíciles sintéticos para crear representaciones visuales robustas y transferibles, particularmente para reducir la dependencia de vastas cantidades de datos del mundo real curados.
Limitaciones: Los autores señan que los datos sintéticos siguen un patrón de rendimientos decrecientes y que los modelos de difusión introducen cambios de distribución que limitan su efectividad como sustitutos completos de los datos reales.
Matiz Arquitectónico: Un conocimiento clave es que diferentes arquitecturas de transformer (DeiT vs. Swin) responden de manera distinta a las estrategias de aumentación sintética, lo que sugiere que la elección de la aumentación debe adaptarse al diseño específico del modelo.

En resumen, Syn2Co demuestra que "fingir" a través de datos sintéticos y negativos difíciles sintéticos es una estrategia viable para mejorar el aprendizaje auto-supervisado, ofreciendo un camino hacia el entrenamiento de Vision Transformers más escalable y eficiente en recursos.