Resumen Técnico: MAPS – Un Conjunto de Datos Sintético para Probar Modelos de Visión en un Espacio de Escena 3D Controlado

Declaración del Problema

Los modelos de visión modernos alcanzan una precisión agregada elevada en benchmarks estándar como ImageNet, sin embargo, estas métricas ocultan las propiedades específicas de la escena que impulsan las predicciones del modelo. Las imágenes naturales entrelazan inherentemente la identidad del objeto con variables de confusión como la iluminación, el punto de vista, el fondo y la escala. En consecuencia, los modelos a menudo explotan correlaciones espurias o "atajos" (por ejemplo, confiar en la textura en lugar de la forma, o en el contexto del fondo en lugar de las características del objeto) para lograr un alto rendimiento, en lugar de aprender representaciones robustas e invariantes.

Los benchmarks de robustez existentes ofrecen soluciones parciales pero adolecen de limitaciones significativas:

• Conjuntos de datos de imágenes naturales (por ejemplo, ImageNet-E, ObjectNet) típicamente manipulan solo atributos de imagen 2D o condiciones discretas, fallando en desentrelazar la estructura subyacente de la escena 3D.
• Conjuntos de datos sintéticos 3D (por ejemplo, CLEVR, 3DIdent) a menudo dependen de formas geométricas simples, cubren pocas clases de objetos o carecen de alineación con la amplia diversidad semántica de ImageNet.
• Falta de Control: Existe un marco escalable ausente que permita la variación independiente y continua de múltiples factores de escena 3D a través de una amplia gama de categorías de objetos del mundo real para cuantificar sistemáticamente la sensibilidad del modelo.

Metodología

El Conjunto de Datos MAPS

Los autores introducen MAPS (Manifolds of Artificial Parametric Scenes), un benchmark 3D escalable, controlable y alineado con ImageNet.

• Curación de Mallas: El conjunto de datos comprende 2.618 mallas 3D fotorrealistas curadas manualmente que abarcan 560 clases de ImageNet. Las mallas se obtuvieron de Sketchfab, se filtraron por fotorrealismo y se validaron para redistribución legal (CC-BY/CC0).
• Validación de Reconocibilidad: Para asegurar que las mallas sean reconocibles por los modelos de visión estándar, los autores emplearon CMA-ES (Estrategia de Evolución de Adaptación de la Matriz de Covarianza). Este algoritmo de optimización sin gradiente buscó en el espacio de parámetros de escena de 9 dimensiones encontrar al menos una configuración donde un modelo de referencia (AlexNet, ResNet-50 o ViT-B/16) clasificara correctamente la malla. Se confirmó que las 2.618 mallas eran reconocibles bajo parámetros adecuados.
• Diversidad Semántica: El análisis de la estructura de WordNet revela que MAPS cubre diversos clústeres semánticos (por ejemplo, herramientas, vehículos, animales) pero exhibe un sesgo hacia objetos prototípicos hechos por el hombre sobre sinsets de animales finos (por ejemplo, razas específicas de perros), reflejando la disponibilidad de activos 3D de alta calidad.

Pipeline de Renderizado

MAPS proporciona un pipeline de renderizado abierto basado en Blender que habilita la generación de imágenes bajo demanda. A diferencia de los conjuntos de datos pre-renderizados, MAPS expone el propio espacio paramétrico de la escena, permitiendo a los usuarios diseñar protocolos de muestreo personalizados. El pipeline controla nueve factores de escena independientes agrupados en tres familias:

1. Cámara: Acimut, Elevación, Distancia, Rodaje (Roll).
2. Iluminación: Acimut, Elevación, Potencia.
3. Fondo: Tono (Hue), Saturación.

Protocolo de Evaluación

Para evaluar la sensibilidad del modelo, los autores seleccionaron 100 clases representativas de ImageNet de MAPS. Para cada malla en estas clases, generaron 5.000 imágenes utilizando Muestreo Hipercúbico Latino (LHS) para asegurar una amplia cobertura del espacio de parámetros de 9D con menos muestras que el muestreo de cuadrícula uniforme.

Análisis de Sensibilidad:
Para cada par modelo-malla, los autores ajustaron modelos de regresión lineal y polinómica para predecir el margen de decisión del modelo (la diferencia entre el logit de la clase correcta y el logit máximo de las clases competidoras) basado en los parámetros de la escena.

• Regresión Lineal: Captura efectos de primer orden.
• Regresión Polinómica: Captura efectos no lineales (términos cuadráticos e interacciones por pares).
• Métrica: La magnitud de los coeficientes de regresión sirve como medida de sensibilidad a factores específicos de la escena.

Resultados Clave

1. Ejes de Fallo Universales

En todos los 20 modelos evaluados (que abarcan CNNs como ResNet, VGG y Transformers como ViT, Swin), la distancia de la cámara y la elevación de la cámara surgieron como los impulsores dominantes del fallo de reconocimiento.

• El aumento de la distancia de la cámara redujo consistentemente el margen de decisión, empujando a los modelos hacia la mala clasificación.
• Las elevaciones extremas de la cámara (ángulos muy bajos o muy altos) degradaron el rendimiento de manera desproporcionada en comparación con las vistas frontales.
• Este patrón de fallo es consistente entre arquitecturas, independientemente de su precisión general en ImageNet, lo que sugiere un sesgo compartido en cómo estos modelos manejan la profundidad espacial y el punto de vista.

2. Perfiles de Sensibilidad Revelan Matices Arquitectónicos

Si bien la precisión agregada a menudo agrupa modelos de manera laxa (por ejemplo, "CNNs" vs. "Transformers"), los perfiles de sensibilidad revelados por MAPS ofrecen una distinción más fina:

• Agrupación: Las CNN modernas (por ejemplo, ConvNeXt) y los modelos basados en Transformers se agrupan juntos en sus perfiles de sensibilidad, formando un grupo distinto de las arquitecturas más antiguas (por ejemplo, AlexNet, VGG).
• Las Decisiones de Diseño Importan: La divergencia entre modelos antiguos y nuevos sugiere que las decisiones de diseño arquitectónico de granularidad fina (por ejemplo, tallos de parches, kernels profundos grandes, LayerNorm en ConvNeXt) son determinantes más fuertes de los perfiles de sensibilidad que la distinción amplia entre CNN y Transformer.
• Diferencias Ocultas: Modelos con una precisión top-1 similar en ImageNet (por ejemplo, ResNet-18 y GoogLeNet) mostraron sensibilidades marcadamente diferentes a la saturación del fondo y a la potencia de la luz, diferencias invisibles para las métricas de precisión estándar.

3. Representaciones Internas

El estudio también visualizó representaciones internas, encontrando que las capas intermedias en varias arquitecturas recuperan la topología toroidal de la variedad de parámetros de la escena (específicamente al barrer el tono del fondo y el acimut de la cámara), lo que indica que la estructura geométrica del espacio de entrada se refleja en el espacio latente del modelo.

Significado y Afirmaciones

El artículo posiciona a MAPS como un marco de referencia programable y escalable para sondear modelos de visión. Su significado principal radica en:

• Desentrelazar la Causalidad: Al proporcionar parámetros generativos de verdad fundamental, MAPS permite a los investigadores atribuir el comportamiento del modelo directamente a factores específicos de la escena en lugar de correlaciones no controladas en imágenes naturales.
• Más Allá de la Precisión: Demuestra que métricas de resumen como la precisión ocultan diferencias estructuradas en el comportamiento del modelo. Dos modelos pueden tener una precisión idéntica pero depender de señales visuales fundamentalmente diferentes (por ejemplo, uno confiando en la textura, otro en la forma) para alcanzar esa precisión.
• Interpretabilidad Mecanística: El conjunto de datos apoya tanto el análisis de comportamiento (perfiles de sensibilidad) como la investigación mecanística (sondear la geometría de las representaciones internas a lo largo de trayectorias controladas).
• Utilidad Futura: Los autores señalan que el pipeline de renderizado abierto respalda trabajos futuros, como el uso de renderizado diferenciable para el descubrimiento de modos de fallo basado en gradientes o la comparación de espacios representacionales en sistemas de visión artificial y biológica.

Los autores mantienen una postura modesta, reconociendo que MAPS está diseñado para el análisis de sensibilidad controlado en lugar de medir la robustez absoluta en la implementación. También señalan limitaciones actuales, como la falta de control sobre objetos contextuales, oclusiones o variaciones de textura, y el sesgo inherente hacia categorías prototípicas debido a la disponibilidad de activos 3D.