Resumen Técnico: Espinas Dorsales sin Activación para Reconocimiento de Imágenes

Declaración del Problema

Las arquitecturas modernas de visión, incluidas las espinas dorsales al estilo MetaFormer, dependen en gran medida de funciones de activación puntuales (por ejemplo, ReLU, GELU, SiLU) y operaciones exponenciales dentro de la atención softmax para introducir no linealidad. Si bien estos componentes permiten que las redes neuronales aproximen funciones complejas, no son la única fuente de no linealidad. El artículo postula que estas activaciones no son estrictamente necesarias para un rendimiento competitivo. Además, la dependencia de operaciones no polinómicas (como exponenciales y activaciones puntuales) genera una sobrecarga significativa para el Cifrado Homomórfico Total (FHE), un paradigma de computación que preserva la privacidad donde las redes estándar incurren en costos sustanciales debido a su naturaleza no polinómica. Las redes polinómicas existentes (por ejemplo, MONet, DTTN) han demostrado potencial, pero a menudo requieren arquitecturas personalizadas y estrechamente acopladas que limitan su utilidad práctica y no logran igualar el rendimiento de sus contrapartes basadas en activación a costos computacionales comparables.

Metodología

Los autores proponen un marco para reemplazar las no linealidades estándar con alternativas polinómicas, preservando las interfaces de entrada-salida de las espinas dorsales modulares de visión existentes. Este enfoque permite la integración de módulos polinómicos en marcos establecidos como MetaFormer sin rediseñar toda la arquitectura.

Primitivas Principales

El artículo introduce tres módulos sin activación que sustituyen las no linealidades estándar por productos de Hadamard (multiplicación elemento a elemento) de proyecciones lineales aprendidas:

1. PolyMLP (Mezcla de Canales): Reemplaza la activación puntual en las redes de alimentación hacia adelante con el producto de Hadamard de dos proyecciones lineales paralelas: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$. Esto produce un polinomio de segundo grado en las características de entrada.
2. PolyConv (Mezcla Espacial): Reemplaza la activación en las convoluciones separables fusionando ramas convolucionales paralelas con diferentes campos receptivos mediante multiplicación elemento a elemento. Específicamente, combina una rama "gruesa" (convolución profunda dilatada) y una rama "fina" (convolución profunda estándar), aplicando un volteo de canales a una rama antes de la fusión para descorrelacionar las características.
3. PolyAttn (Mezcla Espacial Global): Reemplaza la función exponencial en la atención softmax con un kernel polinómico: $A = (s \cdot QK^\top + 1)^p$, seguido de una normalización $\ell_1$. Esto crea un mecanismo de atención sin activación que sigue siendo compatible con variantes estructurales como la atención en ventana.

Técnicas de Estabilización

Los autores identifican que los productos de Hadamard pueden amplificar valores grandes, lo que lleva a inestabilidad en el entrenamiento de redes profundas. Para permitir un entrenamiento estable de redes de hasta ~200 capas, introducen:

• Escala Sigmoid: Un escalar aprendible acotado por una función sigmoidea ($\sigma(\lambda)$) que escala las contribuciones residuales ($y = x + \sigma(\lambda)f(x)$), evitando un crecimiento ilimitado.
• Conexiones de Salto de Múltiples Entradas: Inspirado en NASNet, cada celda recibe entradas de las dos celdas precedentes ($x_{t-1}$ y $x_{t-2}$), mejorando el flujo de gradientes.
• Diseño de Profundidad sobre Ancho: Los autores abogan por apilar capas más estrechas de manera más profunda en lugar de utilizar configuraciones más anchas y superficiales. Este diseño aprovecha el hecho de que el grado polinómico crece exponencialmente con la profundidad ($2^L$ para profundidad $L$), maximizando la capacidad representativa sin un aumento lineal en los parámetros.

Arquitectura: PolyNeXt

Estos módulos se instancian dentro de una arquitectura jerárquica de cuatro etapas al estilo MetaFormer. Se proponen dos variantes:

• CPolyNeXt: Utiliza PolyConv para la mezcla espacial en todas las etapas.
• APolyNeXt: Un diseño híbrido que utiliza PolyConv en etapas de alta resolución y PolyAttn en etapas de baja resolución.

Resultados Clave

Los modelos fueron evaluados en clasificación ImageNet-1K, robustez fuera de distribución (OOD) y segmentación semántica ADE20K.

• Clasificación ImageNet-1K: Los modelos PolyNeXt igualan o superan las instancias de MetaFormer basadas en activación (ConvFormer, CAFormer) en todas las escalas de modelo (Tiny a Large). Por ejemplo, CPolyNeXt-S (26M de parámetros) alcanza un 83,9 % de precisión Top-1, superando a ConvFormer-S18 (83,0 %) y a redes polinómicas anteriores como DTTN-S (79,4 %) por márgenes significativos (2–3 puntos porcentuales) con un costo computacional menor.
• Robustez: Las espinas dorsales polinómicas demuestran una robustez superior en ImageNet-C (corrupciones), ImageNet-A (adversariales), ImageNet-R (versiones) e ImageNet-Sketch. CPolyNeXt-B (40M de parámetros) supera a ConvFormer-B36 (100M de parámetros) en varias pruebas OOD.
• Predicción Densa: En la segmentación semántica ADE20K, CPolyNeXt-S supera tanto a ConvFormer-S18 como a CAFormer-S18 en +2,0 y +1,7 mIoU respectivamente con conteos de parámetros igualados.
• Variantes Totalmente Polinómicas: Al reemplazar LayerNorm con una BatchNorm compatible con polinomios (utilizando estadísticas en ejecución para evitar la división), los autores crearon modelos totalmente polinómicos. CPolyNeXt-S (BN) alcanza un 82,7 % en ImageNet, una mejora de 5,0 puntos sobre el mejor modelo totalmente polinómico anterior (MONet-T BN) y superando a la base basada en activación ConvNeXt-T (82,1 %).

Análisis de Ablación

• Las Activaciones son Perjudiciales: Reintroducir activaciones (por ejemplo, GELU) en los módulos polinómicos degrada consistentemente el rendimiento. Los autores atribuyen esto a la interrupción del "acoplamiento mutuo de gradientes" inherente al producto de Hadamard, donde el gradiente de cada rama se escala por la salida de la otra.
• La Estabilización es Crítica: Eliminar la Escala Sigmoid o las conexiones de salto de múltiples entradas conduce a caídas significativas de rendimiento o al colapso del entrenamiento.
• Sensibilidad de la Receta: Las ganancias de rendimiento se atribuyen al diseño del módulo y a las técnicas de estabilización en lugar de una receta de entrenamiento única, ya que los módulos se transfieren bien cuando se intercambian en otras arquitecturas.

Significado y Afirmaciones

El artículo afirma que las funciones de activación no son una necesidad representacional para las espinas dorsales de visión modernas, sino más bien una solución a desafíos de optimización. Al abordar la estabilidad del entrenamiento mediante mecanismos específicos (Escala Sigmoid, profundidad sobre ancho), las interacciones polinómicas pueden servir como fuentes efectivas de no linealidad.

Las contribuciones principales son:

1. Alternativas Polinómicas: La introducción de PolyMLP, PolyConv y PolyAttn, que sustituyen las no linealidades estándar por productos de Hadamard mientras mantienen la compatibilidad con mejoras arquitectónicas.
2. Evidencia Empírica: Demostración de que las espinas dorsales sin activación (PolyNeXt) pueden igualar o superar a sus contrapartes basadas en activación en precisión y robustez a través de escalas.
3. Receta de Estabilización: Un conjunto ligero de técnicas que permite el entrenamiento de redes polinómicas profundas (hasta 200 capas).
4. Progreso en FHE: Un paso hacia la inferencia compatible con el Cifrado Homomórfico Total al eliminar operaciones no polinómicas, incluyendo una variante totalmente polinómica que supera a las redes totalmente polinómicas anteriores y se acerca a las bases basadas en activación.

Los autores concluyen que, si bien su trabajo no implica beneficios inmediatos de seguridad o equidad, abre un camino hacia la inferencia que preserva la privacidad y sugiere que el campo debería reevaluar la necesidad de las funciones de activación tradicionales en modelos de visión profunda.