On the Architectural Complexity of Neural Networks

Este artículo presenta un marco teórico unificado para analizar y construir redes neuronales profundas mediante la modelización explícita de operaciones tensoriales, revelando vínculos históricos entre la complejidad arquitectónica y los avances, al tiempo que identifica y libera un conjunto de datos de más de 3.000 arquitecturas de alta complejidad inexploradas.

Lo esencial

Imagina que construir una Red Neuronal Profunda (DNN) es como construir una fábrica masiva y compleja. Durante los últimos 40 años, los ingenieros han estado construyendo estas fábricas apilando ladrillos estándar de Lego (capas) de diferentes maneras. Sabemos que estas fábricas funcionan increíblemente bien, pero nunca hemos tenido realmente un plano que explique exactamente cómo encajan los ladrillos a un nivel más fundamental. Hemos estado mirando la fábrica desde el exterior, adivinando cómo giran los engranajes en su interior.

Este artículo introduce un nuevo plano ultra-detallado llamado Marco Combinatorio Jerárquico. No solo observa la fábrica; la desmonta hasta el nivel molecular de cómo se mueve y mezcla los datos.

Aquí está el desglose de su descubrimiento utilizando analogías simples:

1. El Nuevo Plano: De "Cajas Negras" a "Engranajes Transparentes"

La mayoría de las teorías anteriores trataban las capas de las redes neuronales como "cajas negras". Decían: "Esta caja toma una imagen y te da una etiqueta", sin explicar la maquinaria interna.

Los autores proponen una nueva forma de ver estas redes utilizando Complejos Combinatorios Jerárquicos (HCC). Piensa en esto como un conjunto de muñecas rusas anidadas:

• Los Elementos (Los Ladrillos): Los datos crudos (números).
• Las Rebanadas (Los Montones): Agrupar esos números en filas o columnas.
• Los Modos (Los Estantes): Organizar esos montones en dimensiones específicas (como altura, ancho, color).
• Los Tensores (Las Cajas): Los contenedores reales 3D (o de mayor dimensión) que sostienen los datos.
• Las Operaciones (Los Mezcladores): Las máquinas que combinan estas cajas (como la Multiplicación de Matrices).
• La Arquitectura (El Suelo de la Fábrica): Cómo están conectados todos los mezcladores y cajas.

La innovación clave aquí es que modelan explícitamente las "Operaciones Tensoriales" (los mezcladores). Las teorías anteriores ignoraban la forma y estructura específicas de estos mezcladores. Este artículo dice: "Contemos exactamente cuántos engranajes hay en el mezclador y cómo se entrelazan".

2. La Lección de Historia: Por Qué Funcionan las Nuevas Arquitecturas

Los autores utilizaron su nuevo plano para mirar hacia atrás en 40 años de historia de las redes neuronales. midieron la "complejidad" de arquitecturas famosas (como el Perceptrón original, las CNN, las ResNet y los Transformers) contando tipos específicos de conexiones.

La Analogía: Imagina medir la complejidad de un automóvil.

• 1986 (FCNN): Una bicicleta. Simple, un solo engranaje.
• 1998 (CNN): Un automóvil con transmisión. Tiene más engranajes (operaciones de orden superior) para manejar diferentes terrenos.
• 2016 (ResNet): Un automóvil con un turbocompresor y una válvula de derivación (conexiones residuales). Añade más partes al motor para que funcione más suavemente.
• 2017 (Transformer): Un motor a reacción. Utiliza un tipo de combustión completamente diferente y más complejo (un mezclador de tres vías en lugar de uno de dos vías).

El Hallazgo: Cada vez que se inventó una arquitectura "revolucionaria", no fue solo un ajuste; fue un salto a un nivel superior de complejidad. El artículo encontró que los modelos más exitosos fueron los primeros en introducir un nuevo "engranaje" o una nueva forma de mezclar datos que no se había utilizado antes.

3. El Descubrimiento: Un Universo de Fábricas No Construidas

Aquí está la parte más emocionante. Los autores se dieron cuenta de que, mientras hemos estado construyendo con mezcladores de dos vías (operaciones binarias) y mezcladores de tres vías, existe todo un universo de mezcladores de cuatro vías, cinco vías e incluso de orden superior que hemos ignorado por completo.

Se preguntaron: "¿Qué pasaría si construyéramos una fábrica utilizando estos mezcladores súper-complejos?"

Utilizando su marco, no solo adivinaron; generaron sistemáticamente 3.028 nuevos diseños de fábricas utilizando estos mezcladores de mayor complejidad. No solo teorizaron; los construyeron y los probaron.

El Resultado:
Descubrieron que algunos de estos diseños "extraños" de alta complejidad eran sorprendentemente eficientes.

• La Analogía: Imagina un camión de reparto estándar (MobileNetV2) famoso por ser pequeño y eficiente. Los autores construyeron un nuevo vehículo utilizando sus mezcladores complejos. Este nuevo vehículo era más pequeño (usando solo el 10% de las partes) pero podía transportar más carga (logró una mayor precisión) que el famoso camión.
• Específicamente, uno de sus nuevos modelos de 5 capas superó a un famoso modelo de 30 capas mientras utilizaba una fracción de los parámetros.

4. La Arquitectura "Estrella Roja"

Destacaron un diseño específico (la "Estrella Roja") que fue un campeón.

• Utilizó una "conexión de salto" (enviando datos alrededor de un mezclador) pero la combinó con un mezclador de 4 vías muy complejo.
• Reutilizó partes (pesos) de maneras ingeniosas, como un mecánico que reutiliza un tornillo de una parte del motor para reparar otra.
• Demostró que no necesitas una red masiva y profunda para obtener grandes resultados; solo necesitas el tipo correcto de mezcla compleja.

Resumen

Este artículo es como dar a los ingenieros un nuevo conjunto de herramientas para entender y construir redes neuronales.

1. La Herramienta: Un lenguaje matemático preciso para describir exactamente cómo se mezclan los datos, no solo cómo fluyen.
2. La Idea: La historia muestra que los avances ocurren cuando inventamos nuevos tipos de "mezcladores".
3. El Experimento: Construyeron miles de nuevos diseños utilizando estos mezcladores complejos e inexplorados.
4. La Sorpresa: Algunos de estos nuevos diseños son increíblemente eficientes, superando los estándares actuales de la industria con muchos menos recursos.

El artículo concluye que el futuro de las redes neuronales podría no tratarse de hacerlas más profundas o anchas, sino de hacerlas estructuralmente más complejas de maneras que aún no hemos probado. Han liberado sus más de 3.000 nuevos diseños para que cualquiera los estudie y utilice.

Resumen técnico

Resumen Técnico: Sobre la Complejidad Arquitectónica de las Redes Neuronales

Enunciado del Problema

Las redes neuronales profundas (DNN) han logrado un éxito empírico significativo mediante la proliferación de arquitecturas diversas y complejas. Sin embargo, los marcos teóricos unificados existentes (por ejemplo, Aprendizaje Profundo Geométrico, Aprendizaje Profundo Categórico) se basan en abstracciones de alto nivel de las operaciones con tensores, tratándolas a menudo como funciones parametrizadas de caja negra o transformaciones lineales abstractas. Esta abstracción oscurece la estructura jerárquica intrincada de las operaciones con tensores, específicamente la información de bajo nivel sobre cómo se acoplan, se cortan y se transforman los tensores. En consecuencia, existe una brecha en la comprensión teórica de cómo evoluciona la complejidad arquitectónica con el tiempo y una falta de métodos sistemáticos para construir nuevas arquitecturas basadas en nuevos tipos de operaciones con tensores. Además, la Búsqueda de Arquitectura Neuronal (NAS) se limita actualmente a variar las conexiones entre conjuntos fijos de operaciones existentes, sin explorar el espacio de arquitecturas construidas a partir de operaciones con tensores fundamentalmente nuevas.

Metodología

Los autores introducen un marco combinatorio jerárquico unificado basado en Complejos Combinatorios Jerárquicos (HCC). Este marco modela explícitamente la estructura de las operaciones con tensores en lugar de abstraerlas. El marco construye un HCC de rango 5 para representar redes neuronales, organizado de la siguiente manera:

• Rank 0 — Elements: Un conjunto base de variables de valor real.
• Rank 1 — Slices: Conjuntos ordenados derivados de los elementos.
• Rank 2 — Modes: Particiones de cortes, que representan las dimensiones de un tensor.
• Rank 3 — Tensors: Tensores generalizados definidos como 3-células. A diferencia de las matrices multidimensionales estándar, estos pueden representar tensores "irregulares" (matrices incompletas) e "hiper-tensores" (mapeo de multi-índices a múltiples elementos) mediante el uso de particiones de conjuntos ordenados y órdenes débiles estrictos.
• Rank 4 — Operations: Este nivel se divide en dos tipos:
  • Mapas de Modos: Funciones entre tensores que preservan las estructuras del espacio de cortes (por ejemplo, aplanado, despliegue, creación de parches).
  • Operaciones con Tensores: Mecanismos para combinar múltiples tensores (por ejemplo, multiplicación de matrices, producto de Hadamard, proyección de múltiples cabezas). Estas se definen mediante Matrices de Operación con Tensores (TOM), que codifican las relaciones de incidencia entre los tensores de entrada y los modos del tensor de salida, incluidas las contracciones (sumatorias).
• Rank 5 — Neural Networks: Compuestas por mapas de modos y operaciones con tensores, representadas por Matrices de Ecuación con Tensores (TEM) que describen la estructura relacional entre operaciones y tensores.

El marco introduce métricas específicas para cuantificar la Complejidad Arquitectónica:

• Complejidad de Operación ($C_{op}$): Número de operaciones.
• Complejidad de Tensor ($C_T$): Número de tensores.
• Complejidad de Aridad ($C_\alpha$): Número máximo de operandos en una sola operación.
• Complejidad de Orden ($C_O$): Número máximo de modos en una operación.
• Complejidad de Acoplamiento-Aridad ($C_A$): Tamaño máximo de un acoplamiento (modos compartidos entre entradas).

Los autores aprovechan este marco para realizar dos tareas principales: un análisis retrospectivo de 40 años de evolución de las DNN y una generación sistemática de nuevas arquitecturas.

Contribuciones Clave

1. Marco Combinatorio Jerárquico: El artículo construye el primer marco que modela explícitamente la estructura de las operaciones con tensores, parametrizando un amplio espacio de arquitecturas y formalizando conceptos como diagramas de arquitectura como relaciones de incidencia.
2. Análisis Retrospectivo de Complejidad: Los autores aplican el marco para analizar ocho arquitecturas fundamentales (FCNN, CNN, ResNet, Transformer, Poly-Net, MO-Net, ViM, TT-Net). Definen una "firma de complejidad" para cada una y rastrean la evolución de estas firmas durante las últimas cuatro décadas.
3. Generación Sistemática de Nuevas Arquitecturas: Superando los límites de las arquitecturas conocidas, los autores generan sistemáticamente un conjunto de datos de 3.028 nuevas arquitecturas de mayor complejidad. Estas se construyen muestreando nuevas Matrices de Operación con Tensores (TOM) y Matrices de Ecuación con Tensores (TEM) con mayor aridad ($C_\alpha$) y aridad de acoplamiento ($C_A$) que las exploradas previamente.
4. Descomposición Teórica: El artículo proporciona demostraciones teóricas (por ejemplo, Teorema A.35) que demuestran que, bajo condiciones específicas (asociatividad y distributividad de las operaciones base), las operaciones con tensores de mayor aridad pueden descomponerse en secuencias de operaciones binarias, y viceversa, las secuencias de operaciones binarias pueden ser equivalentes a operaciones de mayor aridad.

Resultados

Evolución de la Complejidad Arquitectónica

El análisis de las arquitecturas históricas revela una tendencia clara: los cambios arquitectónicos revolucionarios corresponden a aumentos en tipos específicos de complejidad.

• FCNN representan la línea base con baja complejidad.
• CNN introdujeron mayor complejidad de orden ($C_O$) mediante la convolución.
• ResNet aumentaron la complejidad de tensor y operación ($C_T, C_{op}$) mediante conexiones de salto.
• Transformers marcaron el primer aumento significativo en la Complejidad de Aridad ($C_\alpha$), utilizando operaciones ternarias para la atención automática.
• Arquitecturas posteriores a los Transformers (Poly-Net, MO-Net, ViM, TT-Net) aumentaron aún más la complejidad, con algunas explorando una mayor aridad de acoplamiento ($C_A > 2$) y mayor aridad ($C_\alpha > 3$).
  El estudio señala que muchas arquitecturas de alta complejidad fueron descubiertas accidentalmente o descritas utilizando codificaciones de menor complejidad; el marco revela sus firmas reales de mayor complejidad.

Rendimiento de las Nuevas Arquitecturas

El conjunto de datos de 3.028 arquitecturas muestreadas se evaluó en tareas de clasificación de imágenes (CIFAR-10, CIFAR-100, Tiny ImageNet).

• Eficiencia de Parámetros: Muchas arquitecturas muestreadas demostraron una notable eficiencia en parámetros y profundidad.
• Logro Específico: Una arquitectura específica "estrella roja" (muestra $\star$) con solo 5 capas y aproximadamente 198.000 parámetros (152.000 de la etapa base, 46.342 del bloque nuevo) logró una precisión del 65,52% en CIFAR-100.
• Comparación: Este rendimiento superó al de MobileNetV2 (64,29% de precisión), una arquitectura ligera ampliamente utilizada con 2,5 millones de parámetros, utilizando menos del 10% de los parámetros.
• Eficiencia: Los resultados sugieren que las operaciones con tensores de mayor complejidad pueden producir modelos significativamente más eficientes que los modelos ligeros actuales de última generación.

Significado y Afirmaciones

El artículo afirma proporcionar el primer lenguaje unificado para analizar y construir rigurosamente redes neuronales basadas en la estructura explícita de las operaciones con tensores. Su importancia radica en:

1. Descubrir la Complejidad Oculta: Revela que la evolución del aprendizaje profundo está impulsada por aumentos en métricas de complejidad específicas (particularmente aridad y aridad de acoplamiento) que previamente estaban oscurecidas por abstracciones de alto nivel.
2. Definir Límites: Identifica el límite de las clases de complejidad arquitectónica conocidas, destacando que grandes clases de arquitecturas de mayor complejidad (por ejemplo, $C_A > 2$) han permanecido en gran medida inexploradas.
3. Construcción Sistemática: Supera la búsqueda basada en ensayo y error o en conexiones (NAS) para pasar a una construcción sistemática de arquitecturas a partir de nuevas operaciones con tensores.
4. Eficiencia de Recursos: Los resultados empíricos demuestran que explorar estos espacios de mayor complejidad puede conducir a arquitecturas que no solo son novedosas, sino también significativamente más eficientes en parámetros que los modelos existentes, desafiando la suposición de que el rendimiento requiere cantidades masivas de parámetros.

Los autores concluyen que su marco permite la exploración de nuevos espacios de arquitecturas construidas a partir de operaciones con tensores de mayor complejidad, ofreciendo un camino hacia diseños de redes neuronales de próxima generación altamente eficientes. El conjunto de datos y el código se han publicado públicamente para facilitar la investigación adicional en este dominio.