Resumen Técnico: HCL-FF

Enunciado del Problema

Las redes neuronales profundas entrenadas mediante retropropagación (BP) han logrado un rendimiento de vanguardia en tareas de visión, pero adolecen de implausibilidad biológica, altas demandas computacionales (que requieren almacenamiento de gradientes y propagación hacia atrás) y representaciones internas opacas. El algoritmo Forward-Forward (FF) ofrece una alternativa biológicamente plausible al entrenar cada capa de forma independiente utilizando un objetivo local de "bondad" (la magnitud de las activaciones). Sin embargo, los enfoques FF estándar enfrentan dos limitaciones críticas:

1. Falta de Coordinación Jerárquica: FF obliga a las capas superficiales a discriminar directamente clases de granularidad fina, lo que conduce a representaciones subóptimas en las primeras capas. A diferencia de BP, que aprende naturalmente una progresión desde señales de bajo nivel hasta semántica de alto nivel, FF carece de un mecanismo para coordinar esta progresión entre capas.
2. El Dilema del Desacoplamiento: Para evitar que las capas más profundas hereden trivialmente la señal de bondad de las capas anteriores, FF desacopla la bondad de la representación de características mediante normalización (eliminando la información de magnitud). Si bien esto evita el sobreajuste a señales anteriores, deja las características resultantes semánticamente ambiguas y sin restricciones, ya que el objetivo de optimización solo apunta a la magnitud de la activación, no a la estructura geométrica relativa de las características.

Metodología

Los autores proponen HCL-FF (Aprendizaje Jerárquico y Contrastivo para Forward-Forward), un marco que preserva la independencia capa por capa de FF mientras aborda las limitaciones anteriores mediante dos innovaciones clave.

1. Aprendizaje Jerárquico (Estrategia de lo Grueso a lo Fino)

Para resolver la falta de coordinación, HCL-FF introduce una estrategia de aprendizaje curricular donde la supervisión se organiza de granularidad gruesa a fina:

• Objetivos de Superclase: Las capas superficiales se supervisan utilizando objetivos de superclase gruesos, mientras que las capas más profundas reciben progresivamente etiquetas de mayor granularidad, culminando en la discriminación de clases de granularidad fina en la capa final.
• Construcción de la Jerarquía: La jerarquía de clases se construye mediante un enfoque impulsado por datos. Primero se entrena un modelo sin jerarquía y se entrena un clasificador lineal sobre las características de la capa final. Los pesos del clasificador sirven como prototipos de clase, que luego se agrupan utilizando agrupamiento jerárquico aglomerativo para formar un árbol semántico.
• Pérdida Competitiva Jerárquica por Canal (HierCwC): La pérdida estándar de FF se modifica para calcular la bondad a nivel de superclase en las capas superficiales. La bondad de superclase se deriva promediando la bondad por clase dentro de cada grupo de superclase. Esto reduce la complejidad de los objetivos de las primeras capas y fomenta que las representaciones evolucionen desde estructuras semánticas amplias hacia la discriminación de granularidad fina.

2. Aprendizaje Contrastivo (Fundamentación Semántica)

Para resolver el dilema del desacoplamiento, HCL-FF aplica un objetivo contrastivo supervisado directamente a las características desacopladas de la bondad (los vectores de características normalizados $z^{(\ell)}$):

• Proyección de Características: En cada capa, las características desacopladas de la bondad se agrupan globalmente por promedio y se proyectan en un espacio de incrustación latente.
• Pérdida Contrastiva Supervisada: Se aplica una pérdida contrastiva supervisada estándar a estas incrustaciones, fomentando que las muestras de la misma clase se agrupen y que las clases diferentes se separen.
• Significado: Al restringir la geometría relacional de las características después del desacoplamiento de la bondad, este objetivo restaura el significado semántico perdido al eliminar la información de magnitud. Garantiza que, aunque la escala (bondad) esté desacoplada, la dirección (contenido semántico) permanezca discriminativa.

3. Marco General

La función de pérdida total para cada capa $\ell$ combina la pérdida HierCwC y la pérdida contrastiva:
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
donde $\lambda$ se establece en 1. El marco utiliza una arquitectura Forward-Forward residual basada en capas de Convolución por Canal (CW-Conv), donde cada capa opera de forma independiente sin propagación de gradientes entre capas.

Contribuciones Clave

1. Marco HCL-FF: Un marco FF novedoso que integra supervisión jerárquica y aprendizaje contrastivo para abordar la falta de coordinación y el dilema del desacoplamiento.
2. Currículo de lo Grueso a lo Fino: Una estrategia que reduce la complejidad de las primeras capas al supervisar las capas superficiales con superclases, permitiendo una progresión natural de la abstracción semántica.
3. Fundamentación Contrastiva: La primera aplicación del aprendizaje contrastivo específicamente a características desacopladas de la bondad en FF, preservando eficazmente la estructura semántica sin violar la restricción de independencia capa por capa.
4. Rendimiento de Vanguardia: El método logra nuevos resultados de vanguardia entre los métodos basados en FF en múltiples puntos de referencia.

Resultados Experimentales

Los experimentos se realizaron en CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST y Tiny-ImageNet.

• Mejoras de Rendimiento: HCL-FF logra mejoras significativas en precisión sobre el mejor método FF anterior (DeeperForward):
  • +5.46% en CIFAR-10 (91.68% vs. 86.22%).
  • +17.00% en CIFAR-100 (70.09% vs. 53.09%).
  • +12.51% en Tiny-ImageNet (48.46% vs. 35.95%).
• Comparación con BP: En CIFAR-10, HCL-FF supera al ResNet-20 entrenado con BP estándar (91.68% vs. 91.25%) y reduce la brecha con variantes de BP con parámetros equivalentes.
• Estudios de Ablación:
  • Añadir solo aprendizaje contrastivo mejoró la precisión de CIFAR-100 en +9.12%, confirmando su papel en la estabilización de características desacopladas.
  • Añadir solo aprendizaje jerárquico mejoró la precisión de CIFAR-100 en +6.96%, destacando su beneficio para espacios de etiquetas más grandes.
  • La augmentación de datos fuerte solo fue efectiva cuando se combinó con supervisión jerárquica, ya que redujo la carga sobre las capas superficiales.
• Análisis:
  • Precisión por Capa: HCL-FF muestra ganancias constantes de precisión a través de las capas, mientras que los métodos anteriores se estancan temprano.
  • Desacoplamiento: Las evaluaciones de sonda lineal muestran que HCL-FF mantiene una alta precisión incluso después de la normalización, demostrando que preserva la estructura semántica en las características desacopladas, a diferencia de DeeperForward donde la precisión cae significativamente tras la normalización.
  • Visualización: Las visualizaciones t-SNE confirman que HCL-FF mantiene una separación clara de clases tanto en las respuestas de bondad como en las características desacopladas de la bondad.

Significado y Afirmaciones

El artículo afirma que HCL-FF representa un paso significativo hacia paradigmas de aprendizaje escalables, efectivos y biológicamente plausibles. Al resolver el dilema fundamental del desacoplamiento e introducir coordinación jerárquica, el método demuestra que el entrenamiento independiente capa por capa puede lograr un rendimiento comparable, y en algunos casos superior, a los métodos basados en retropropagación.

Los autores señalan que, aunque HCL-FF mejora los métodos FF existentes, aún hereda ciertas restricciones, como una convergencia más lenta en comparación con BP de extremo a extremo y la necesidad de que el número de canales escale con el número de clases (aunque esto se alivia en las capas superficiales). El trabajo sugiere que combinar la supervisión jerárquica con la fundamentación contrastiva es un camino viable para superar los desafíos de larga data en el aprendizaje sin retropropagación.