Learning from Synthetic Data via Provenance-Based Input Gradient Guidance

1. El Problema: Correlaciones Espurias en el Aprendizaje con Datos Sintéticos

El aprendizaje profundo ha avanzado gracias a grandes conjuntos de datos, pero la recolección y anotación de datos reales sigue siendo costosa. Como solución, se han desarrollado métodos de aprendizaje con datos sintéticos (mezcla de imágenes como CutMix, modelos generativos, etc.) para aumentar la diversidad de los datos de entrenamiento y mejorar la robustez del modelo.

Sin embargo, el artículo identifica una limitación crítica en los métodos existentes:

• Mejora indirecta: Los métodos actuales mejoran la robustez solo indirectamente al diversificar las muestras de entrenamiento.
• Falta de instrucción explícita: No le dicen al modelo qué regiones del espacio de entrada contribuyen realmente a la discriminación.
• Correlaciones espurias: Debido a esto, los modelos tienden a aprender sesgos sintéticos y artefactos (por ejemplo, asociar un fondo específico con un objeto o aprender de regiones mezcladas que no pertenecen al objeto objetivo). El modelo no sabe distinguir entre la región del "objeto objetivo" y la región de "fondo" o "ruido" introducida durante la síntesis.

2. Metodología Propuesta

El artículo propone un marco de aprendizaje que utiliza la información de procedencia (provenance) obtenida automáticamente durante el proceso de síntesis de datos como una señal supervisora auxiliar.

Concepto Central: Información de Procedencia

Durante la síntesis de datos (ya sea mezclando imágenes, secuencias de esqueletos o editando imágenes con modelos generativos), es posible rastrear exactamente de dónde proviene cada píxel o característica en la imagen sintética.

• Regiones Objetivo: Píxeles que pertenecen al objeto de interés.
• Regiones No Objetivo: Píxeles de fondo, objetos co-ocurrentes o artefactos de síntesis.

El Mecanismo: Guía de Gradientes de Entrada (Input Gradient Guidance)

El núcleo de la propuesta es una función de pérdida llamada "Provenance Loss" ($L_{PG}$) que regulariza los gradientes de entrada del modelo.

1. Descomposición de Gradientes: Se calculan los gradientes de la salida del modelo (logits) con respecto a la imagen de entrada sintética ($\nabla_{\tilde{x}} f_y(\tilde{x})$).
2. Enmascaramiento: Se utiliza una máscara de procedencia ($M$) obtenida durante la síntesis para separar las regiones objetivo de las no objetivo.
3. Supresión de Gradientes: La función de pérdida penaliza la presencia de gradientes significativos en las regiones no objetivo.
   • Fórmula conceptual: Se minimiza la norma $L_2$ de los gradientes en las regiones donde la máscara indica que el píxel no pertenece al objeto objetivo.
   • Objetivo: Forzar al modelo a que sus predicciones dependan exclusivamente de las regiones del objeto objetivo, suprimiendo la influencia de fondos, artefactos sintéticos o regiones mezcladas irrelevantes.

La pérdida total se define como:
$$L_{total} = L_{cls} + \alpha L_{PG}$$
Donde $L_{cls}$ es la pérdida de clasificación estándar y $\alpha$ controla la fuerza de la regularización.

Adaptabilidad a Diferentes Métodos de Síntesis

El método es agnóstico a la modalidad y se adapta a tres tipos de síntesis:

1. Mezcla de Imágenes (ej. CutMix): La máscara binaria de mezcla ($M$) sirve directamente como información de procedencia.
2. Mezcla de Secuencias de Esqueletos: Se aplica una máscara espacio-temporal a las características de los esqueletos para distinguir qué partes provienen de qué secuencia original.
3. Edición con Modelos Generativos (ej. Diffusion): Se compara la imagen original con la editada para generar un mapa de diferencias. Las regiones editadas (fondo/objetos añadidos) se marcan como "no objetivo" y las no editadas como "objetivo".

3. Contribuciones Clave

1. Marco de Aprendizaje con Procedencia: Propone un nuevo enfoque que utiliza la información de procedencia intrínseca a la síntesis de datos como señal supervisora, en lugar de depender únicamente de las etiquetas de clase.
2. Guía de Gradientes Directa: Introduce una regularización que suprime explícitamente los gradientes en regiones no objetivo, evitando que el modelo aprenda correlaciones espurias (fondos, artefactos).
3. Generalidad y Agnosticismo: El método es independiente de la arquitectura de la red neuronal y del método de síntesis específico (funciona con mezcla, generativos, etc.), requiriendo cero costo de anotación adicional.
4. Validación Multitarea: Demuestra la efectividad en tareas de localización de objetos, localización de acciones espacio-temporal y clasificación de imágenes.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples conjuntos de datos y tareas:

• Localización de Objetos Débilmente Supervisada (Dataset CUB):

  • Al integrar el método en CutMix con un modelo VGG16, la precisión media (MaxBoxAccV2) aumentó de 62.3% a 65.1%.
  • Con modelos más avanzados como SAT (basado en Transformers), la precisión mejoró de 91.4% a 92.1%.
  • Visualización: Los mapas de activación (Grad-CAM) mostraron que, sin el método, el modelo atendía a regiones mezcladas irrelevantes; con el método, la atención se concentró correctamente en el objeto (ej. un gorrión), suprimiendo el fondo.

• Localización de Acciones Espacio-Temporal (Dataset UCF101-24):

  • En tareas de esqueletos, la mezcla de secuencias (BatchMix) mejoró la Precisión Promedio (AP) de 37.4% a 38.0%.
  • Al añadir la guía de gradientes basada en procedencia, la AP subió a 39.7%, demostrando que el modelo aprendió a ignorar esqueletos irrelevantes en el tiempo y espacio.

• Clasificación de Imágenes (Robustez a Correlaciones Espurias):

  • En el dataset Waterbirds (diseñado para probar robustez contra correlaciones fondo-objeto), el método mejoró drásticamente la precisión de un modelo base con edición generativa (ALIA) de 71.4% a 80.7% (promedio) y hasta 82.3% (máximo). Esto confirma que el método elimina la dependencia del fondo.
  • También mostró mejoras consistentes en CUB e iWildCam.

• Eficiencia y Robustez:

  • Ajuste de Hiperparámetros: El método no degrada la eficiencia de la búsqueda de hiperparámetros.
  • Tolerancia a Ruido: El método es robusto a imprecisiones en la máscara de procedencia (hasta un 30% de error en la delimitación de la región objetivo), manteniendo una caída de rendimiento menor al 1%.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el uso de datos sintéticos:

• De la Diversificación Pasiva a la Instrucción Activa: En lugar de simplemente esperar que la diversidad de datos mejore la generalización, el método instruye activamente al modelo sobre qué características son relevantes.
• Resolución de Sesgos Sintéticos: Aborda directamente el problema de los artefactos y sesgos introducidos por la síntesis de datos, permitiendo que la precisión del modelo escale con el volumen de datos sintéticos sin saturarse por ruido.
• Aplicabilidad Práctica: Al no requerir anotaciones manuales adicionales (la procedencia se deriva automáticamente del proceso de síntesis), es una solución escalable y de bajo costo para mejorar la robustez de modelos de visión por computadora en escenarios del mundo real donde los datos son escasos o costosos.

En resumen, la propuesta demuestra que utilizar la "huella digital" de cómo se creó un dato sintético para guiar el aprendizaje del modelo es una estrategia superior para obtener representaciones discriminativas robustas y centradas en el objeto.