An Empirical Study of Data Scale, Model Complexity, and Input Modalities in Visual Generalization

Resumen Técnico: Un Estudio Empírico sobre la Escala de Datos, la Complejidad del Modelo y las Modalidades de Entrada en la Generalización Visual

Planteamiento del Problema
Las redes neuronales profundas modernas exhiben frecuentemente una sobreparametrización y logran un sólido rendimiento en visión por computadora; sin embargo, las fuentes teóricas de sus capacidades de generalización siguen siendo difíciles de explicar mediante la teoría clásica del aprendizaje estadístico. Mientras que las teorías clásicas sugieren que aumentar la complejidad del modelo más allá de cierto punto degrada la generalización, las observaciones empíricas muestran que los modelos sobreparametrizados a menudo mantienen o incluso mejoran su rendimiento en las pruebas. Este estudio aborda la falta de comprensión sobre los roles específicos de tres variables fundamentales y controlables: la escala de los datos de entrenamiento, la complejidad del modelo y las modalidades de entrada. La investigación busca determinar cómo estos factores interactúan para influir en el rendimiento de la generalización, particularmente en el contexto de la naturaleza de "caja negra" del aprendizaje profundo.

Metodología
El estudio emplea un enfoque empírico de dos etapas, pasando de un entorno controlado de baja dimensión a tareas complejas de clasificación de imágenes.

1. Experimento Preliminar (Datos Sintéticos):

   • Objetivo: Establecer una línea base controlada para observar la interacción entre la escala de datos y la complejidad del modelo.
   • Configuración: Se construyó una función no lineal unidimensional $f(x) = \sin(2\pi x) + 0.5 \cos(5\pi x)$ con ruido gaussiano añadido.
   • Variables: La complejidad del modelo fue representada por el grado de ajuste polinómico ($D \in [0, 100]$). La escala de datos se varió entre conjuntos de entrenamiento pequeños ($N=50$) y grandes ($N=150$).
   • Métricas: Se analizaron el Error Cuadrático Medio (MSE) de entrenamiento, validación y prueba para observar el comportamiento del ajuste y las tendencias de generalización, buscando específicamente fenómenos de "doble descenso" (double descent).

2. Experimentos Principales (Clasificación de Imágenes):

   • Conjuntos de Datos: CIFAR-10 (10 clases) y CIFAR-100 (100 clases), ambos consistentes en imágenes a color de $32 \times 32$ píxeles.
   • Modelos: Se probó una gama de arquitecturas, incluyendo un Perceptrón Multicapa (MLP), AlexNet y una serie de modelos ResNet (ResNet-18, 34, 50, 101, 152).
   • Variables Controladas:
     • Escala de Datos: Los conjuntos de entrenamiento fueron submuestreados a tamaños de 5k, 10k, 20k, 30k y 50k utilizando una semilla aleatoria fija para asegurar subconjuntos anidados.
     • Modalidades de Entrada: Los experimentos compararon las entradas RGB base contra:
       • Entradas en escala de grises (información de color eliminada).
       • Entradas mejoradas donde se concatenaron con los canales RGB originales descriptores previos explícitos (gradientes, mapas de bordes, descomposiciones wavelet).
   • Restricciones: Para aislar los efectos de las variables objetivo, se excluyeron explícitamente las técnicas de regularización (aumento de datos, decaimiento de pesos, Dropout). Los modelos fueron entrenados usando el optimizador Adam y pérdida de entropía cruzada.
   • Métricas: La métrica primaria fue la Precisión Top-1 de Prueba (Test Top-1 Accuracy); la Pérdida de Prueba (Test Loss) se utilizó como métrica auxiliar para analizar el sobreajuste y la confianza de la predicción.

Resultados Clave

• Escala de Datos vs. Complejidad del Modelo:

  • Aumentar la escala de los datos de entrenamiento mejoró consistentemente el rendimiento de la generalización en todas las arquitecturas de modelos y conjuntos de datos.
  • Aumentar la complejidad del modelo (conteo de parámetros) no proporcionó ganancias estables. En muchos casos, particularmente con escalas de datos más pequeñas o tareas más difíciles (CIFAR-100), los modelos más grandes (ej. ResNet-152) funcionaron peor que sus contrapartes más pequeñas (ej. ResNet-18).
  • Incluso los MLP simples lograron una precisión de entrenamiento casi perfecta, demostrando una alta capacidad de ajuste, pero su rendimiento de prueba fue significativamente inferior al de las redes convolucionales, resaltando que la capacidad de ajuste no equivale a la generalización.
  • En los experimentos de CIFAR-100, los modelos más grandes mostraron una tendencia al sobreajuste (aumento de la pérdida de prueba) cuando los datos eran escasos, mientras que las ResNets con conexiones residuales generalmente mantuvieron una mejor estabilidad que los MLP o AlexNet.

• Modalidades de Entrada:

  • Información de Color: Eliminar la información de color (convertir a escala de grises) degradó consistentemente el rendimiento en todos los modelos, confirmando que el color es una característica crítica para la clasificación de CIFAR.
  • Preceptos Explícitos (Priors): La introducción de características previas explícitas (gradientes, bordes, wavelets) arrojó resultados inconsistentes:
    • MLP: Mostró mejoras claras con las características previas, lo que sugiere que las redes totalmente conectadas se benefician de la información estructural auxiliar que no pueden aprender de los píxeles brutos por sí solas.
    • Redes Convolucionales (ResNet): No mostraron ganancias estables; en varios casos, el rendimiento se degradó. Esto sugiere que las CNN, debido a sus sesgos inductivos (conectividad local, compartición de pesos), ya pueden extraer estas características de los datos brutos, y la simple concatenación de canales puede interrumpir o fallar en la integración efectiva de la nueva información.

Contribuciones Clave

1. Aislamiento Empírico de Factores: El estudio proporciona un análisis empírico controlado que separa los efectos de la escala de datos, la complejidad del modelo y las modalidades de entrada sin las variables de confusión de las técnicas de regularización estándar.
2. Validación de la Dominancia de la Escala de Datos: Refuerza el hallazgo de que, en ausencia de regularización, aumentar la escala de los datos es un método más confiable para mejorar la generalización que aumentar la capacidad del modelo.
3. Sensibilidad de la Entrada Dependiente de la Arquitectura: La investigación demuestra que la utilidad de las modalidades de entrada depende altamente de la arquitectura del modelo. Mientras que los priors explícitos ayudan a los modelos que carecen de sesgo inductivo (MLP), no necesariamente benefician a los modelos con sesgos integrados fuertes (CNN) cuando se introducen mediante una simple concatenación.
4. Observación de la No Monotonicidad: El experimento preliminar confirmó que la relación entre la complejidad del modelo y el error de prueba es no monótona (similar al doble descenso), y que los modelos de alta complejidad requieren restricciones de datos más densas para evitar el comportamiento oscilatorio en los huecos de muestra.

Significancia y Reivindicaciones
El artículo sostiene que mejorar el rendimiento de la generalización no es simplemente una función de escalar los datos, los parámetros o la información de entrada de forma aislada. En su lugar, enfatiza la alineación entre la arquitectura del modelo y las características de los datos.

• Reivindicaciones Modestas: Los autores declaran explícitamente que su experimento preliminar es una referencia fenomenológica más que una prueba directa de los mecanismos de doble descenso en redes profundas.
• Limitaciones: El estudio reconoce que las conclusiones se derivan de conjuntos de datos de baja resolución (CIFAR) y una única semilla aleatoria, sin el uso de estrategias de entrenamiento estándar como el aumento de datos.
• Perspectiva Central: La principal significancia radica en la observación de que la "sobreparametrización" no garantiza automáticamente una mejor generalización; más bien, la efectividad de un modelo depende de si su sesgo inductivo coincide con la estructura de los datos y la naturaleza de la información de entrada. Para las redes convolucionales, simplemente añadir más canales de entrada (priors) es insuficiente; la arquitectura debe estar diseñada para utilizar eficazmente esa información.

El estudio concluye que el trabajo futuro debe centrarse en diseñar arquitecturas de modelos que se alineen mejor con las estructuras de los datos y en explorar métodos más sofisticados para integrar el conocimiento previo (por ejemplo, mecanismos de atención) en lugar de la simple concatenación.