Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

Resumen Técnico: Evidencia Empírica de Regiones de Decisión Simplemente Conectadas en Clasificadores de Imágenes

Enunciado del Problema
Aunque trabajos empíricos previos han establecido que las regiones de decisión en redes neuronales profundas son conexas por caminos (es decir, cualquier par de imágenes de la misma clase predicha puede unirse mediante una trayectoria continua dentro de dicha clase), la estructura topológica de orden superior permanece poco clara. Específicamente, se desconoce si estas regiones son simplemente conectadas. Una región es simplemente conexa si cada bucle cerrado dentro de ella puede contraerse continuamente a un punto sin salir de la región. Si una región de decisión contiene "agujeros" (bucles no contraíbles), implica una topología más compleja y fragmentada que podría afectar la interpretabilidad y la robustez ante ataques adversarios. Este artículo aborda la siguiente pregunta: ¿Pueden los bucles cerrados dentro de una región de decisión predicha llenarse mediante una superficie que preserve la etiqueta?

Metodología
Los autores proponen un procedimiento iterativo de llenado con mallas cuadradas para construir superficies de resolución finita que preserven la etiqueta, acotadas por un bucle dado de imágenes con la misma etiqueta.

1. Configuración del Problema: El espacio de entrada es el espacio de imágenes normalizado. Dadas cuatro imágenes ($x_{00}, x_{10}, x_{01}, x_{11}$) asignadas a la misma etiqueta $y$, el objetivo es construir una superficie $S: [0, 1]^2 \to X$ tal que el contorno coincida con el bucle y el interior satisfaga $f(S(u, v)) = y$.
2. Construcción del Contorno: Las cuatro esquinas definen un bucle. Dado que las líneas rectas entre imágenes de la misma etiqueta pueden cruzar fronteras de decisión, los autores construyen un bucle de contorno lineal por partes inicializando vértices a lo largo de los lados y reparando los vértices con etiquetas incorrectas mediante una proyección dirigida al estilo DeepFool de vuelta a la región de decisión objetivo.
3. Llenado de la Superficie (Subdivisión Adaptativa):
   • El método opera sobre una cuadrícula diádica, comenzando con un único cuadrilátero (quad) definido por el contorno.
   • Verificación de Resolución: Un cuadrilátero se acepta si sus vértices se verifican que están en la región objetivo y su diámetro geométrico (medido en unidades de gris-RMS) está por debajo de un umbral $\tau$.
   • Verificación de Etiqueta: Si no se cumple el umbral de tamaño, la interpolación bilineal del cuadrilátero se muestrea en una cuadrícula adaptativa. Si todos los puntos muestreados conservan la etiqueta objetivo, el cuadrilátero se acepta.
   • Subdivisión: Si la verificación de etiqueta falla, el cuadrilátero se subdivide en cuatro cuadriláteros hijos. Los nuevos puntos medios de los bordes y los puntos centrales se inicializan mediante interpolación lineal.
   • Reparación: Cualquier vértice recién creado que caiga fuera de la región objetivo se repara utilizando una actualización dirigida de DeepFool seguida de un paso de bisección para proyectarlo de vuelta a la región.
4. Comparación Geométrica: Para evaluar la complejidad geométrica de la superficie construida, los autores la comparan con un parche de Coons canónico (una interpolación geométrica estándar de las cuatro curvas de contorno). Calculan la relación entre el área de la superficie construida y el área del parche de Coons ($\rho$).

Configuración Experimental

• Conjuntos de Datos y Modelos: El método se evaluó en el conjunto de validación de ImageNet a través de seis arquitecturas diversas: ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16 y Swin-T.
• Alcance: Para cada modelo, se construyeron 1.000 bucles (uno para cada una de las 1.000 clases de ImageNet), sumando un total de 6.000 bucles y 24.000 imágenes.
• Parámetros: El umbral de parada gris-RMS se estableció en $\tau = 0.5$. Se utilizó una configuración de reparación predeterminada (50 iteraciones de DeepFool), aplicándose una configuración más fuerte (200 iteraciones) solo a los fallos iniciales.

Resultados Clave

1. Éxito Universal: En todos los seis modelos y en los 6.000 bucles probados, el procedimiento construyó con éxito una superficie de resolución finita que preserva la etiqueta. La tasa de éxito final fue del 100% tras aplicar la configuración de reparación más fuerte a los pocos fallos iniciales.
2. Necesidad de Refinamiento Adaptativo: Un diagnóstico a "nivel raíz" mostró que la interpolación bilineal ingenua (el cuadrilátero inicial sin subdivisión) solo satisfizo la restricción de etiqueta para una minoría de bucles (oscilando entre el 6,9% para DenseNet-121 y el 42,2% para Swin-T). Esto confirma que el mecanismo de subdivisión adaptativa y reparación es esencial.
3. Simplicidad Geométrica: La relación de área $\rho$ entre la superficie construida y el parche de Coons se concentró cerca de 1. Esto indica que las superficies que preservan la etiqueta están geométricamente cerca de la interpolación natural del contorno, en lugar de estar altamente distorsionadas o enredadas.
4. Complejidad de la Malla: El número de cuadriláteros requeridos para llenar los bucles varió según la arquitectura. Los modelos basados en transformadores (Swin-T, ViT-B/16) y ConvNeXt-Tiny requirieron significativamente menos cuadriláteros (mallas más pequeñas) que ResNet-50 o DenseNet-121, lo que sugiere que sus regiones de decisión son localmente más planas o más coherentes en estas áreas muestreadas.

Significado y Afirmaciones
El artículo proporciona sólida evidencia empírica (a resolución finita) que respalda la hipótesis de que las regiones de decisión en clasificadores de imágenes modernos no solo son conexas por caminos, sino también simplemente conexas.

• Perspectiva Topológica: Los hallazgos sugieren que las regiones de decisión se organizan en estructuras globalmente coherentes donde los bucles son contraíbles, desafiando la noción de que la vulnerabilidad adversaria implica una fragmentación topológica global.
• Limitaciones: Los autores declaran explícitamente que estos resultados son evidencia empírica de resolución finita, no una prueba topológica formal. El método verifica puntos muestreados a una escala específica de gris-RMS y no puede excluir la existencia de agujeros más pequeños o bucles no contraíbles fuera de la resolución probada o de la familia de bucles.
• Implicaciones: Los resultados ofrecen una nueva imagen empírica de las regiones de decisión de las redes neuronales, sugiriendo que, a pesar de la fragilidad adversaria local, la topología global de estas regiones puede ser sorprendentemente simple y bien comportada.

El trabajo no afirma probar la conexión simple para todas las entradas posibles o a resolución infinita, sino que establece un patrón robusto a través de diversas arquitecturas y todo el espacio de etiquetas de ImageNet a la resolución probada.