Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment

Resumen Técnico: Redes Neuronales Convolucionales de Solo Avance con Asignación de Canales-Clase Aprendible

Planteamiento del Problema
El algoritmo Forward-Forward (FF) ofrece una alternativa biológicamente plausible al retropropagación (backpropagation) al reemplazar la asignación de crédito global basada en gradientes por objetivos locales de solo avance. Aunque adaptaciones recientes han extendido el FF a las Redes Neuronales Convolucionales (CNN), las formulaciones existentes (p. ej., CwComp, DeeperForward) dependen de particiones estáticas de canales-clase. En estos métodos, los canales convolucionales se asignan permanentemente a clases específicas mediante mecanismos de agrupación fijos. Los autores argumentan que esta rigidez limita la capacidad de la red para adaptar dinámicamente la especialización de los canales a las distribuciones de características evolutivas durante el entrenamiento, lo que conduce a una utilización ineficiente de las características, una reducción de la flexibilidad representacional y la incapacidad de aprovechar plenamente las arquitecturas más profundas. Además, la inferencia estándar de FF suele depender únicamente de la última capa o de una agregación simple, lo que podría ignorar representaciones intermedias valiosas.

Metodología
El método propuesto introduce un mecanismo de Asignación de Canales-Clase Aprendible y una Estrategia de Contribución de Capas Consciente de la Pérdida integrados en CNN residuales.

1. Asignación de Canales-Clase Aprendible (CAW-Conv):

   • En lugar de asignar canales a clases de forma estática, los autores introducen una matriz de parámetros aprendibles $U \in \mathbb{R}^{C_{out} \times J}$ (donde $C_{out}$ es el número de canales de salida y $J$ es el número de clases).
   • Se aplica una función softmax a las filas de $U$ para generar una matriz de pesos $M$, que representa la tasa de contribución de cada canal a cada clase. Esto permite que los canales se especialicen dinámicamente según la estructura de los datos.
   • La puntuación de "bondad" (goodness score) para cada clase se calcula como una representación agrupada (pooled) de los mapas de características ($A_{pooled}$) multiplicada por la matriz de asignación $M$.
   • Regularización: Para evitar soluciones degeneradas y promover un aprendizaje efectivo, se añaden dos términos de regularización a la función de pérdida:
     • Regularización de Entropía: Minimiza la entropía de los pesos clase-canal para fomentar la dispersión (sparsity), asegurando que los canales contribuyan significamente a solo unas pocas clases.
     • Regularización de Ortogonalidad: Impone la ortogonalidad entre los vectores de peso clase-canal normalizados para promover la diversidad en la extracción de características a través de diferentes clases.

2. Estrategia de Contribución de Capas Consciente de la Pérdida:

   • A diferencia de las redes tradicionales que toman decisiones solo en la última capa, el marco propuesto agrega las predicciones de todas las capas.
   • La contribución de cada capa a la decisión final se pondera de forma adaptativa basándose en su pérdida de validación. Las capas con menores pérdidas de validación (que indican una mejor fiabilidad predictiva) reciben pesos más altos mediante una transformación softmax.
   • La predicción final es una suma ponderada de las puntuaciones de bondad de todas las capas.

3. Entrenamiento e Inferencia:

   • La red se entrena utilizando un proceso contrastivo de solo avance y por capas. Cada capa se optimiza de forma independiente utilizando una pérdida de entropía cruzada local combinada con los términos de regularización.
   • Se aplica normalización de instancia entre capas para desacoplar la escala de las características de la dirección representacional.
   • Durante la inferencia, se utiliza la agregación ponderada de las salidas de las capas para determinar la predicción de la clase final.

Contribuciones Clave

• Especialización Dinámica: El artículo propone reemplazar la agrupación estática de canales con un mecanismo de asignación aprendible, permitiendo una especialización de los canales convolucionales adaptativa y basada en los datos.
• Capacidad Representacional Mejorada: Mediante el uso de regularización de entropía y ortogonalidad, el método promueve una utilización de canales dispersa y diversa, mejorando la discriminabilidad de las características.
• Inferencia Adaptativa: La introducción de una estrategia de contribución de capas consciente de la pérdida permite al modelo aprovechar las representaciones intermedias de manera más efectiva que los métodos que dependen únicamente de las salidas de la última capa.
• Eficiencia: El método propuesto logra un rendimiento superior con significativamente menos canales en comparación con los enfoques de agrupación estática.

Resultados Experimentales
El método fue evaluado en MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 y Tiny-ImageNet utilizando tres arquitecturas: TinyCNN-4, VGG-14 y ResNet-17.

• Rendimiento en CIFAR-10: El método propuesto alcanzó un 89.37% de precisión con una ResNet de 17 capas, superando al método basado en FF anterior (DeeperForward) por más de 3 puntos porcentuales. También superó a DeeperForward por más del 5% con una arquitectura poco profunda de 4 capas.
• Rendimiento en Conjuntos de Datos Desafiantes: En CIFAR-100, el método propuesto alcanzó un 63.52% (frente al 53.09% de DeeperForward). En Tiny-ImageNet, logró un 49.87% (frente al 41.36% de DeeperForward).
• Eficiencia de Canales: El método propuesto superó consistentemente a DeeperForward incluso cuando el tamaño de los canales se redujo entre un 30% y un 50% (por ejemplo, logrando un 86.52% en CIFAR-10 con ResNet-17 a una escala de canales de 0.6x, comparado con el 86.22% de DeeperForward a escala completa).
• Comparación con la Retropropagación (Backpropagation): Aunque todavía queda por detrás de la retropropagación total (BP) en precisión absoluta (por ejemplo, 89.37% frente a 95.52% para un modelo de 152 capas de BP en CIFAR-10), el método propuesto basado en FF reduce sustancialmente la brecha de rendimiento en comparación con intentos previos de FF, particularmente en MNIST y Fashion-MNIST, donde superó a algunos baselines basados en BP.

Significancia y Reivindicaciones
El artículo afirma que la introducción de la especialización de canales aprendible y la ponderación de contribución de capas mejora significativamente la capacidad representacional del aprendizaje de solo avance en CNN profundas. Los autores aseguran que su enfoque establece un nuevo estado del arte entre los modelos basados en FF, demostrando que el aprendizaje de solo avance puede escalarse eficazmente a arquitecturas más profundas y tareas complejas sin las restricciones de las asignaciones estáticas de canales. Los resultados sugieren que el marco propuesto es una alternativa viable, inspirada en la biología, que puede competir con los métodos basados en gradientes ofreciendo, al mismo tiempo, mayor escalabilidad y eficiencia en el uso de canales. Los autores señalan modestamente que, si bien la matriz aprendible mejora el rendimiento, el trabajo futuro podría centrarse en mecanismos auxiliares para guiar aún más su aprendizaje y regular mejor la influencia de la pérdida global.