Synthetic Designed Experiments for Diagnosing Vision Model Failure

A continuación se presenta un resumen técnico detallado del artículo "Experimentos Diseñados Sintéticos para Diagnosticar Fallos en Modelos de Visión" de Krisanu Sarkar.

1. Planteamiento del Problema

Las pipelines actuales para generar datos sintéticos en visión por computadora operan bajo un paradigma de bucle abierto. Suelen depender de heurísticas (por ejemplo, aleatorización de dominio aleatoria, indicaciones de texto o puntuaciones de dificultad) para generar grandes volúmenes de imágenes, tratando los datos sintéticos como un sustituto barato de los datos reales.

Problemas Clave Identificados:

• Ineficiencia: Cuando un modelo ya maneja el 95% de una distribución visual, los datos generados aleatoriamente proporcionan cero señal de aprendizaje, desperdiciando recursos computacionales.
• Falta de Diagnóstico: Los métodos existentes no diagnostican por qué falla un modelo ni qué factores específicos de la escena (por ejemplo, iluminación, oclusión, punto de vista) impulsan esos fallos.
• Mal uso de la Controlabilidad: Los generadores sintéticos (motores 3D, modelos de difusión) poseen parámetros únicos y controlables para los factores de la escena, pero esta propiedad está subutilizada para la auditoría dirigida de modelos.

2. Metodología: Experimentos Diseñados Sintéticos para la Suficiencia Representacional (SDRS)

Los autores proponen SDRS, un marco que aplica la teoría estadística del Diseño de Experimentos (DoE) a la generación de datos sintéticos. Trata al modelo de visión aguas abajo como un "sistema de caja negra" y al generador sintético como un "aparato experimental".

El marco opera en cuatro fases distintas:

Fase 1: Experimento Diseñado

En lugar del muestreo aleatorio, SDRS utiliza diseños factoriales fraccionados para generar un conjunto pequeño y estructurado de imágenes sintéticas.

• Para $k$ factores, un diseño de Resolución IV requiere solo $2^{k-p}$ imágenes (por ejemplo, 8 imágenes para 5 factores) en lugar del espacio combinatorio completo ($2^k$).
• Esto asegura una sondeo eficiente de la sensibilidad del modelo a factores específicos, preservando al mismo tiempo la capacidad de estimar los efectos principales.

Fase 2: Auditoría Representacional mediante ANOVA

Las imágenes de sondeo generadas se pasan a través del modelo aguas abajo ($f_w$).

• Métrica: Se calcula la pérdida de tarea ($\ell$) para cada imagen.
• Análisis: Se realiza un ANOVA de un factor sobre las pérdidas agrupadas para cada factor.
• Salida: Se calcula una estadística F ($F_j$) para cada factor para determinar si la varianza del rendimiento del modelo depende significativamente de ese factor específico. Se aplica la corrección Holm–Bonferroni para controlar las comparaciones múltiples.
• Distinción: A diferencia del sondeo lineal (que mide la extraibilidad de características), esto mide la dependencia a nivel de predicción, lo cual es más relevante para el diagnóstico de fallos.

Fase 3: Diagnóstico de Brechas

Los resultados de la auditoría se cruzan con la estructura de la tarea para clasificar los fallos en dos tipos accionables:

• Brechas Tipo I (Fallos de Cobertura): El modelo falla significativamente en niveles subrepresentados o no vistos de un factor (por ejemplo, orientaciones faltantes).
• Brechas Tipo II (Atajos Espurios): El modelo depende en gran medida de un factor de molestia (por ejemplo, complejidad del fondo) que se correlaciona con el objetivo pero no es semánticamente relevante.
• Regla de Decisión: Si un factor muestra una caída de cobertura, es Tipo I. Si muestra una dependencia significativa de factores de molestia sin una caída de cobertura, es Tipo II.

Fase 4: Prescripción Dirigida

Basado en el diagnóstico, se generan datos sintéticos específicos para abordar las brechas:

• Para Tipo I: Generar muestras diversas que cubran los niveles deficientes del factor.
• Para Tipo II: Generar pares contrafactuales $(x_a, x_b)$ donde solo cambia el factor de molestia, y aplicar una penalización de invariancia a la representación para forzar al modelo a ignorar ese factor.
• Objetivo: La pérdida total combina la pérdida de tarea en datos reales y Tipo I, más la pérdida de invariancia en los contrafactuales Tipo II.

3. Contribuciones Clave

1. Herramienta Diagnóstica Principiada: Introduce una auditoría basada en ANOVA que descompone el fallo del modelo en contribuciones por factor, transformando el generador sintético en un instrumento de evaluación estructurado.
2. Marco Unificador: Demuestra que los enfoques existentes (Aleatorización de Dominio, Aumento Contrafactual, Aprendizaje Activo) son casos especiales, a menudo subóptimos, del marco SDRS.
3. Identificación de "Transferencia de Sensibilidad": Los autores identifican un problema abierto crítico donde suprimir un factor de molestia mediante penalizaciones de invariancia puede amplificar inadvertidamente la sensibilidad a otros factores de molestia (reasignación representacional).

4. Resultados Experimentales

El marco se validó en tres experimentos:

Experimento 1: Diagnóstico Controlado (dSprites)

• Configuración: Clasificación de formas con sesgos plantados (atajo: forma correlacionada con posición; brecha de cobertura: orientaciones faltantes).
• Resultado: La auditoría identificó correctamente el atajo de posición (Tipo II) y la brecha de orientación (Tipo I).
• Rendimiento: Los datos dirigidos mejoraron la precisión en datos retenidos de 49.9% a 79.0% (+29.1 puntos).
• Observación: Eliminar el atajo redujo la estadística F para la posición de 2.1 a 1.0 (no significativa).

Experimento 2: Segmentación Densa (Escenas Procedurales)

• Configuración: Escenas RGB de 128x128 con factores como iluminación, complejidad del fondo y oclusión.
• Resultado: La auditoría detectó un atajo dominante en la complejidad del fondo (Tipo II) y una brecha de cobertura de oclusión (Tipo I).
• Rendimiento: El mIoU mejoró de 0.948 a 0.998.
• Insight: Aunque el muestreo aleatorio también alcanzó un mIoU alto en esta referencia saturada, SDRS proporcionó la perspectiva diagnóstica (identificar por qué falló el modelo), lo cual es crucial para referencias más difíciles.

Experimento 3: Detección de Entrelazamiento del Generador

• Configuración: Comparación entre un generador perfecto y uno entrelazado (donde el "estilo" cambia implícitamente el tamaño del objeto).
• Resultado: La auditoría ANOVA detectó la filtración: la estadística F para "estilo" aumentó en +4.7, mientras que "tamaño" disminuyó en -7.9, identificando con éxito el defecto del generador sin etiquetas de verdad fundamental.

5. Significado y Discusión

• Cambio de Paradigma: SDRS argumenta que las pipelines de datos sintéticos deben diseñarse como experimentos estructurados en lugar de procesos de muestreo aleatorio.
• Diagnóstico sobre Métricas Agregadas: El valor principal no es solo la ganancia final de precisión, sino la descomposición de los errores. Indica a los practicantes exactamente qué corregir (por ejemplo, "añadir más muestras de oclusión" frente a "eliminar el sesgo de fondo").
• Transferencia de Sensibilidad: Un hallazgo importante es que las penalizaciones de invariancia pueden causar transferencia de sensibilidad, donde suprimir una dependencia amplifica otra. Esto sugiere que las futuras pérdidas de corrección deben ser más holísticas para evitar este compromiso.
• Trabajo Futuro: El artículo destaca la necesidad de mejores pérdidas de corrección y validación en generadores basados en difusión, que tienen una separación de factores más débil que los motores 3D procedurales.

En conclusión, SDRS proporciona un método riguroso y fundamentado estadísticamente para auditar modelos de visión, diagnosticar fallos representacionales específicos y prescribir datos sintéticos dirigidos para cerrar esas brechas de manera eficiente.