🤖 machine learning

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

El artículo propone "From Fake to Real" (FFR), un proceso de entrenamiento de dos pasos que preentrena modelos con datos sintéticos equilibrados para aprender representaciones de subgrupos robustas antes de realizar el ajuste fino con datos reales, evitando así las correlaciones espurias causadas por la mezcla de distribuciones reales y sintéticas y mejorando significativamente la precisión del peor grupo.

Autores originales: Maan Qraitem, Kate Saenko, Bryan A. Plummer

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maan Qraitem, Kate Saenko, Bryan A. Plummer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reconocer animales. Le muestras miles de fotos, pero hay un problema astuto: casi todas las fotos de un "Perro Grande" resultan ser tomadas dentro de una acogedora sala de estar, mientras que casi todas las fotos de un "Perro Pequeño" son tomadas al aire libre en un parque. El robot es inteligente, pero también es un poco eficiente. En lugar de aprender cómo luce realmente un perro, aprende un atajo: "Si veo un sofá, es un Perro Grande. Si veo césped, es un Perro Pequeño". En el mundo de la informática, esto se llama una "correlación espuria". El robot ha aprendido a depender del fondo en lugar del sujeto. Esto es algo importante porque cuando el robot se encuentra con un Perro Grande afuera, se confunde y falla. Los científicos están tratando de solucionar esto para que la IA pueda ver el mundo con claridad, no solo los patrones que la engañaron para ver.

Para solucionar esto, los investigadores han probado un truco ingenioso: utilizan "IA generativa" (como un artista digital) para crear nuevas fotos falsas para equilibrar las cuentas. Si no hay suficientes fotos de Perros Grandes al aire libre, la computadora dibuja algunas. La idea era que, al mezclar estas nuevas fotos falsas con las reales, el robot finalmente aprendería a ignorar el fondo. Pero, resulta que este enfoque de mezclar y combinar tenía un fallo oculto. El nuevo artículo, "From Fake to Real", sugiere que simplemente mezclar fotos reales y falsas crea un nuevo tipo de dependencia. El robot comienza a notar que las fotos falsas se ven ligeramente diferentes de las reales; tal vez los perros falsos tienen una textura extraña o la iluminación es un poco distinta. Así, el robot aprende un atajo nuevo, incluso más astuto: "Si la foto parece una foto real, es un Perro Pequeño. Si parece un dibujo falso, es un Perro Grande". No está mirando al perro en absoluto; está mirando si la imagen es real o sintética.

Los autores de este artículo, Maan Qraitem, Kate Saenko y Bryan A. Plummer, se dieron cuenta de que intentar enseñar al robot con fotos reales y falsas al mismo tiempo era el problema. Propusieron un nuevo método de entrenamiento de dos pasos llamado "From Fake to Real" (FFR). Piensa en esto como enseñarle a un estudiante para un examen de matemáticas. Primero, les das una pila de problemas de práctica que están perfectamente equilibrados y son fáciles de entender, para que aprendan los conceptos básicos sin confusión alguna. Esta es la etapa "Falsa": el robot entrena solo con las imágenes perfectamente equilibradas y generadas por computadora. Aprende cómo es un perro sin las distracciones desordenadas del fondo. Una vez que el robot tiene una base sólida, pasas al segundo paso: la etapa "Real". Ahora, le muestras las fotos desordenadas del mundo real. Debido a que el robot ya sabe qué buscar gracias al primer paso, no se deja engañar por el fondo o por el hecho de que las imágenes sean reales. Simplemente aplica lo que aprendió.

Los investigadores probaron esta idea en tres conjuntos de datos diferentes, incluyendo fotos de rostros y animales, con niveles de sesgo que van desde moderados hasta extremadamente severos (hasta un 99.9% de un grupo en un entorno específico). Descubrieron que su método de dos pasos era un cambio de juego. Mientras que los métodos anteriores que mezclaban datos reales y falsos luchaban a medida que el sesgo empeoraba, el enfoque "From Fake to Real" se mantenía fuerte. De hecho, mejoró la precisión del robot en los casos más difíciles (el "peor grupo") hasta en un 20% en comparación con los mejores métodos existentes. Cuando examinaron de cerca a qué estaba prestando atención el robot, vieron que los métodos antiguos todavía se distraían con el fondo o con la "falsedad" de las imágenes, pero el nuevo método se enfocaba exactamente en el perro o en el rostro de la persona.

El artículo también realizó simulaciones para demostrar por qué el método antiguo no funcionaba. Mostraron que, mientras se mezclen datos reales y sintéticos, el robot casi siempre encontrará una manera de usar la diferencia entre ellos como un factor de distinción. Al separar el entrenamiento en dos etapas distintas, bloquearon efectivamente la posibilidad de que el robot viera la "diferencia" entre lo real y lo falso como una pista. Los autores señalan que este método funciona bien incluso cuando se combina con otras técnicas, pero también señalan una limitación: depende de que el artista de la computadora sea capaz de dibujar un conjunto de imágenes falsas perfectamente equilibradas. Si el artista se equivoca en el equilibrio durante el primer paso, todo el sistema sufre. Sin embargo, por ahora, esta estrategia de "Primero lo Falso, luego lo Real" ofrece una forma sorprendentemente simple y efectiva de evitar que la IA aprenda las lecciones equivocadas, asegurando que cuando mira a un perro, ve un perro, no la habitación en la que está sentado.

Resumen Técnico: From Fake to Real (FFR)

Planteamiento del Problema
Los modelos de reconocimiento visual son propensos a aprender correlaciones espurias cuando los conjuntos de entrenamiento están sesgados, donde una condición específica $B$ (por ejemplo, "Interiores") está sobrerrepresentada dentro de una clase específica $Y$ (por ejemplo, "Perros Grandes"). Si bien los datos sintéticos generados por modelos generativos a gran escala (por ejemplo, modelos de difusión) ofrecen una vía prometedora para mitigar esto mediante el aumento de subgrupos subrepresentados, los enfoques existentes introducen una nueva fuente de sesgo.

Los métodos previos, como el Equilibrio Sintético Aditivo (ASB) y el Equilibrio Sintético Uniforme (USB), mezclan datos reales y sintéticos durante el entrenamiento. Los autores argumentan que esto crea una variable de confusión $G$ (Fuente de Datos: Real vs. Sintética). Debido a que los datos sintéticos y reales suelen poseer diferencias distribucionales (por ejemplo, artefactos generativos), los modelos entrenados con datos mixtos pueden aprender a predecir $Y$ basándose en el par $(B, G)$ en lugar de en las características semánticas reales. Por ejemplo, un modelo podría aprender que las "Mujeres Sintéticas" sonríen mientras que las "Mujeres Reales" no lo hacen, simplemente porque el proceso de generación sintética creó esa correlación. El artículo proporciona una prueba teórica (Teorema 1) demostrando que, en configuraciones estándar de correlación espuria, cualquier aumento de un conjunto de datos sesgado con datos sintéticos resulta inevitablemente en un sesgo hacia el par $(B, G)$ .

Metodología: From Fake to Real (FFR)
Para abordar el sesgo hacia la fuente de datos $(B, G)$ , los autores proponen From Fake to Real (FFR), un flujo de entrenamiento de dos etapas que separa el aprendizaje de las distribuciones de datos sintéticos y reales.

Etapa 1: Preentrenamiento en Datos Sintéticos Balanceados
El modelo se preentrena exclusivamente en un conjunto de datos sintéticos balanceados ( $D_{syn}$ ) donde la etiqueta objetivo $Y$ es estadísticamente independiente del grupo de sesgo $B$ ( $P_{D_{syn}}(Y|B) = P_{D_{syn}}(Y)$ ). Esto se logra muestreando un número igual de imágenes sintéticas para cada subgrupo de sesgo utilizando un modelo generativo (por ejemplo, Stable Diffusion). El objetivo es aprender representaciones robustas y no sesgadas a través de todos los subgrupos sin exposición a las diferencias estadísticas entre los datos reales y sintéticos.
Etapa 2: Ajuste Fino (Fine-tuning) en Datos Reales
El modelo inicializado desde la Etapa 1 se ajusta con el conjunto de datos reales sesgado ( $D$ ). Para evitar que el modelo vuelva a aprender el sesgo presente en los datos reales, esta etapa utiliza la Minimización del Riesgo Empírico (ERM) estándar o métodos comunes de mitigación de sesgo basados en pérdida (por ejemplo, GroupDRO, Resampling, Deep Feature Reweighting). Crucialmente, debido a que el modelo fue preentrenado con datos balanceados, comienza con una representación que es menos susceptible a las correlaciones espurias en los datos reales.

Al separar las fuentes de datos en etapas de entrenamiento distintas, FFR evita que el modelo observe alguna vez la distribución conjunta de $(B, G)$ , evitando así el aprendizaje de señales espurias relacionadas con si una imagen es real o sintética.

Contribuciones Clave

Nuevo Flujo de Trabajo: Introducción de FFR, un marco de entrenamiento de dos etapas simple que utiliza datos sintéticos para la mitigación de sesgos sin exponer el modelo a la brecha de distribución entre los datos reales y sintéticos.
Análisis Teórico: Una prueba formal que muestra que mezclar datos reales y sintéticos en una sola fase de entrenamiento introduce inevitablemente un sesgo hacia la fuente de datos $(B, G)$ , haciendo que los enfoques previos de entrenamiento mixto sean subóptimos.
Evaluación Exhaustiva: Análisis sistemático a través de tres conjuntos de datos (CelebA-HQ, UTK-Face, SpuCo Animals) y cinco ratios de sesgo (que van del 90% al 99.9%), totalizando más de 5,000 experimentos.
Integración: Demostración de que FFR es compatible con y mejora los métodos existentes de mitigación de sesgo sin datos sintéticos (por ejemplo, GroupDRO, DFR).

Resultados Experimentales
Los autores evalúan FFR frente a líneas base que incluyen la ausencia de datos sintéticos, USB y ASB, utilizando la Peor Exactitud (WA) y la Exactitud Balanceada (BA) como métricas.

Ganancias de Rendimiento: FFR mejora la exactitud del peor grupo respecto a los métodos de vanguardia hasta en un 20% en los conjuntos de datos evaluados. Por ejemplo, en el conjunto de datos UTK-Face con un ratio de sesgo del 95%, FFR supera a USB y ASB por más del 10%.
Robustez: A diferencia de los métodos previos cuyo rendimiento se degrada significativamente a medida que aumenta la severidad del sesgo (particularmente en CelebA-HQ y UTK-Face), FFR mantiene un rendimiento estable en todos los ratios de sesgo.
Aprendizaje de Características: El análisis cualitativo utilizando mapas de prominencia (saliency maps) de RISE muestra que los modelos entrenados con FFR se enfocan en características semánticas relevantes (por ejemplo, la cara del perro) en lugar de características de fondo espurias o artefactos generativos (por ejemplo, dedos extra en imágenes sintéticas). En contraste, los modelos ASB y USB a menudo dependen de estos artefactos.
Análisis de Incrustaciones (Embeddings): Las proyecciones t-SNE revelan que FFR proyecta las incrustaciones de datos reales y sintéticos en un único clúster compacto, lo que indica que el modelo aprende características centrales compartidas. Por el contrario, ASB y USB proyectan los datos reales y sintéticos en clústeres separados, confirmando que dependen de características específicas de la fuente.

Significancia y Limitaciones
El artículo afirma que FFR resuelve eficazmente el problema del sesgo introducido por las diferencias de distribución entre los datos reales y sintéticos, un problema pasado por alto por estrategias previas de aumento de datos sintéticos. Al desacoplar el entrenamiento de estas dos fuentes de datos, FFR permite que los datos sintéticos sirvan como una fuente de representaciones no sesgadas que mejoran el rendimiento en los datos reales.

Los autores reconocen limitaciones respecto a la calidad de los modelos generativos utilizados. Si el modelo generativo en sí mismo está sesgado o no sigue fielmente los prompts (por ejemplo, tiene dificultades con la composición), la distribución de preentrenamiento puede permanecer desbalanceada, lo que perjudica significativamente el rendimiento de FFR (como se muestra en los estudios de ablación). Además, el método depende de la capacidad del modelo generativo para producir un conjunto de datos sintéticos balanceado; si el modelo no puede generar subgrupos específicos con precisión, los beneficios de la primera etapa se ven disminuidos. Los autores sugieren que el trabajo futuro centrado en entrenar modelos generativos más justos y precisos aliviaría aún más estos problemas.

Resumen Técnico: From Fake to Real (FFR)

Más como este