Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

Resumen Técnico: Los Benchmarks Sintéticos Sobrestiman el Escalado de Forward-Forward

Declaración del Problema
El algoritmo Forward-Forward (FF), propuesto por Hinton [2022], ofrece una alternativa estrictamente local por capa a la retropropagación (BP) al reemplazar el paso hacia atrás global con actualizaciones de "bondad" (goodness) locales. Aunque las variantes recientes de FF-CNN han reducido la brecha de precisión con BP en benchmarks de pequeña escala (p. ej., 32×32 CIFAR-10), sigue sin estar claro si el entrenamiento local por capa es una alternativa viable a escalas realistas o para distribuciones de datos del mundo real complejas. Una cuestión crítica es si el rendimiento observado de FF está limitado por implementaciones subóptimas o por restricciones arquitectónicas fundamentales. Además, los benchmarks sintéticos existentes suelen sugerir que FF escala bien con el recuento de clases ($K$), pero se desconoce si esta transferibilidad se mantiene para distribuciones de imágenes reales donde $K$ se correlaciona con la dificultad de discriminación fina. Finalmente, la supuesta ventaja de sistemas de FF —específicamente su complejidad de memoria de activación $O(1)$ frente al $O(L)$ de BP— no ha sido auditada rigurosamente frente a baselines de BP optimizados en memoria en hardware de consumo.

Metodología: DTG-FF
Para abordar estas cuestiones, los autores introducen DTG-FF, un nuevo instrumento diseñado para poner a prueba los límites del entrenamiento local por capa. DTG-FF integra tres mejoras específicas a nivel de mecanismo para establecer un nuevo estado del arte (SOTA) para la familia FF:

1. Temperatura de Bondad Dinámica (DTG): En lugar de un escalado fijo, cada capa $l$ aprende un escalar de temperatura $T_l$ mediante un parámetro aprendible $\alpha_l$. Esta temperatura escala la señal de bondad local ($\tilde{u}_l = u_l / T_l$) antes de que sea pasada a una lectura de proyección aleatoria fija. Esto permite que la magnitud de la señal de optimización se adapte por capa sin alterar el contenido de la representación.
2. Normalización Desacoplada: Los autores identifican que la Normalización por Lote (Batch Normalization, BN) interrumpe el aprendizaje basado en la bondad al colapsar la varianza condicional a la clase en las normas de activación al cuadrado. DTG-FF emplea una arquitectura de tres vías:
   • Vía de la Bondad (Goodness Path): Las activaciones post-ReLU crudas alimentan directamente la pérdida local (sin normalización).
   • Vía de Propagación (Propagation Path): Las activaciones pasan a través de una LayerNorm no afín (operando en una región no_grad) para controlar la escala para la siguiente capa sin afectar la señal de entrenamiento de FF.
   • Vía del Clasificador (Classifier Path): Las características se extraen mediante Global Average Pooling (GAP), se concatenan y se alimentan a un clasificador aprendible.
3. Fusión Multicapa: Las características de múltiples capas intermedias se concatenan y se procesan mediante un clasificador global (o se agregan mediante logit-sum para la inferencia). Esto agrega hipótesis no redundantes de diferentes capas, abordando la falta de flujo de gradiente entre capas.

Los autores evalúan DTG-FF a través de nueve benchmarks del mundo real (CIFAR-10/100, Tiny ImageNet, ImageNet-100 y variantes de MedMNIST) utilizando backbones VGG8 y VGG11. Crucialmente, emplean controles de BP con arquitectura emparejada (específicamente BP-DeepSup) entrenados con recetas, backbones e hiperparámetros idénticos para asegurar una comparación justa.

Resultos Clave

• Techo de Escalado en Datos Reales: A pesar de establecer un nuevo SOTA para la familia FF (91.79% en CIFAR-10, 67.28% en CIFAR-100 y el primer baseline de FF en ImageNet-100 a 224×224 con 49.4%), DTG-FF queda consistentemente por debajo de la arquitectura emparejada de BP-DeepSup.
  • En CIFAR-10 ($K=10$), la brecha es de 2.40 puntos porcentuales (pp).
  • En CIFAR-100 ($K=100$), la brecha se amplía a 5.93 pp.
  • En ImageNet-100 (224×224), DTG-FF alcanza el 49.4%, mientras que los baselines típicos de BP superan el 75%. Esto expone un "techo de datos reales" invisible en resoluciones de 32×32.
• Conflicto Sintético-Real de $K$: En tareas de profesor-estudiante sintéticas, la ventaja de DTG-FF sobre BP aumenta a medida que el número de clases $K$ crece (alcanzando +2.00 pp en $K=50$). Por el contrario, en imágenes reales (CIFAR-10/100), la brecha se invierte y se amplía a medida que $K$ aumenta. Una sonda dentro del mismo dataset en CIFAR-100 (coarse $K=20$ vs. fine $K=100$) confirma que la ventaja sintética proviene de la dimensionalidad de salida, mientras que el rendimiento en datos reales se ve obstaculizado por la dificultad de la discriminación fina.
• Auditoría de Sistemas: El artículo cuestiona la justificación de la eficiencia de memoria de FF. En un hardware de consumo de 8 GB (RTX 4060 Laptop), una implementación de DTG-FF con pipeline (7.90 GB de memoria pico, 138 imgs/s) es superada por una BP estándar con acumulación de gradientes (4.18 GB de memoria pico, 157 imgs/s) con el mismo tamaño de lote efectivo. Si bien FF logra su límite teórico de memoria de activación $O(1)$, esto no se traduce en una ventaja práctica de sistemas sobre la BP optimizada en memoria en este régimen.

Contribuciones Clave

1. Instrumento DTG-FF: Una arquitectura robusta de la familia FF que establece el SOTA en nueve benchmarks, proporcionando un "suelo" creíble para auditar los límites del entrenamiento local por capa.
2. Diagnóstico de Escalado: Evidencia empírica de que la brecha FF–BP se amplía con el recuento de clases y la resolución en datos reales, contradiciendo las tendencias observadas en entornos sintéticos.
3. Discrepancia Sintético-Real: Una demostración de que los barridos de $K$ sintéticos confunden la dimensionalidad de salida con la discriminación fina, lo que conduce a una sobreestimación de la transferibilidad de FF en datos reales.
4. Auditoría de Sistemas: Una comparación de baseline justa que muestra que la ventaja estructural de memoria de FF con pipeline no genera una ventaja de rendimiento o memoria sobre la BP estándar con acumulación de gradientes en el hardware actual de consumo.

Significancia y Reivindicaciones
El artículo argumenta que los benchmarks actuales de FF, particularmente aquellos que dependen de tareas sintéticas o datasets pequeños de 32×32, sobreestiman la viabilidad del entrenamiento local por capa para cargas de trabajo realistas. Los autores proponen una "lente de sombra de BP", interpretando las mejoras establecidas de FF (superposición de etiquetas, bondad espacial, fusión multicapa) como sustitutos parciales de la señal supervisada trans-capa que BP proporciona de forma nativa. La brecha residual entre DTG-FF y BP sugiere que ningún sustituto actual recupera completamente la coordinación y supervisión inherentes a la retropropagación.

Los autores concligen que, si bien DTG-FF representa el estado del arte para la familia FF, el entrenamiento estrictamente local por capa enfrenta actualmente un techo de rendimiento en datos reales y no ofrece una ventaja de sistemas sobre la BP optimizada en memoria en el hardware estándar. El trabajo sirve como una auditoría rigurosa más que como una afirmación de la superioridad de FF, resaltando la necesidad de investigar más a fondo cómo los métodos locales por capa pueden escalar a tareas del mundo real complejas y de alta resolución.