Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

1. Planteamiento del Problema

El aprendizaje profundo ha revolucionado los sistemas de comunicación, permitiendo el diseño de esquemas de codificación y modulación de extremo a extremo que superan a los métodos tradicionales. Sin embargo, el algoritmo estándar para entrenar estas redes, la retropropagación (Backpropagation - BP), presenta limitaciones críticas para su implementación en sistemas de comunicación reales:

• Requisito de diferenciabilidad: La BP requiere que toda la ruta de la red (incluido el canal de comunicación) sea diferenciable. En canales reales, esto es difícil de modelar sin simplificaciones excesivas o el uso de modelos generativos complejos.
• Ineficiencia energética y de memoria: La BP necesita almacenar los gradientes parciales de cada nodo durante el paso hacia atrás, lo que consume mucha memoria y energía, especialmente en hardware analógico o neuromórfico.
• Bloqueo secuencial (Locking): Todas las capas deben esperar a que se calculen los gradientes de las capas siguientes antes de actualizarse, impidiendo el entrenamiento en paralelo o pipeline.

El objetivo del trabajo es superar estas barreras utilizando el algoritmo Forward-Forward (FF) para entrenar autoencoders de comunicación, eliminando la necesidad de un paso hacia atrás y de un canal diferenciable.

2. Metodología

Los autores proponen un diseño de autoencoder entrenado exclusivamente con el algoritmo FF, el cual ajusta los parámetros de la red mediante dos pasos hacia adelante en lugar de uno hacia adelante y uno hacia atrás.

• Arquitectura: Se utiliza un autoencoder compuesto por un codificador (Encoder) y un decodificador (Decoder), ambos basados en Perceptrones Multicapa (MLP) con capas totalmente conectadas.
• Mecanismo de Entrenamiento FF:
  • Datos Positivos: Se crea una entrada concatenando el mensaje real con su propia representación (ej. $v = (1_m || 1_m)$). El objetivo es maximizar la "bondad" (actividad) de las neuronas en cada capa.
  • Datos Negativos: Se crea una entrada concatenando el mensaje real con un mensaje aleatorio diferente (ej. $v = (1_m || 1_{\bar{m}})$). El objetivo es minimizar la actividad de las neuronas.
  • Función de Pérdida por Capa: En lugar de una pérdida global, cada capa $i$ tiene su propia función de pérdida basada en una métrica de bondad $g_i = ||a_i||^2_2$ (norma L2 de la activación). La pérdida se calcula comparando $g_i$ con un umbral $\tau_i$. Si es un dato positivo, se busca que $g_i > \tau_i$; si es negativo, $g_i < \tau_i$.
  • Clasificador: Se añade una capa de clasificación final en el decodificador que se entrena con pérdida de entropía cruzada categórica (CCE) utilizando muestras "neutrales" (mensaje real + ceros), permitiendo la estimación de la probabilidad del mensaje decodificado.
• Escenarios Evaluados:
  1. Codificación y Modulación Conjunta: El codificador produce salidas continuas (normalizadas).
  2. Salidas Cuantizadas (No Diferenciables): Se impone una restricción de modulación fija (ej. BPSK) donde la salida se cuantiza mediante una función de signo, lo cual es no diferenciable para la BP.

3. Contribuciones Clave

• Diseño de Autoencoder FF: Primera propuesta de un autoencoder de comunicaciones de extremo a extremo entrenado completamente con el algoritmo Forward-Forward, utilizando datos contrastivos.
• Independencia del Canal: Demuestran que el algoritmo no requiere que el canal de comunicación sea diferenciable ni que exista un enlace de retroalimentación para transmitir gradientes, lo cual es crucial para canales reales y hardware analógico.
• Análisis de Escalabilidad: Estudio detallado de cómo el tamaño de la red (profundidad y ancho) afecta al rendimiento, revelando que los sistemas FF requieren capas más anchas para igualar el rendimiento de la BP.
• Ventajas de Hardware: Cuantificación teórica de los ahorros en tiempo de procesamiento y uso de memoria al eliminar el paso hacia atrás y el almacenamiento de gradientes.

4. Resultados Numéricos

Los autores evaluaron el rendimiento mediante la Tasa de Error de Bloque (BLER) en canales AWGN (Ruido Blanco Aditivo Gaussiano) y RBF (Desvanecimiento de Bloque Rayleigh).

• Rendimiento en Canales Continuos:
  • En el canal AWGN, el autoencoder FF logra un rendimiento cercano al de los sistemas entrenados con BP, aunque muestra una ligera degradación (aprox. 1 dB de brecha en SNR) a altas relaciones señal-ruido.
  • En el canal RBF, el sistema FF compite favorablemente con las aproximaciones basadas en BP y Aprendizaje por Refuerzo (RL).
• Rendimiento con Modulación No Diferenciable (BPSK):
  • Este es el punto fuerte del trabajo. Cuando se fuerza una cuantización no diferenciable en la salida del codificador, los sistemas basados en BP (incluso con estimadores de gradiente como STE) sufren una degradación significativa en el BLER.
  • El sistema FF mantiene su rendimiento y supera claramente a los enfoques basados en BP en el escenario RBF, demostrando su superioridad en entornos con operaciones no diferenciables.
• Convergencia:
  • El algoritmo FF converge tan rápido como la BP y mucho más rápido que los enfoques basados en RL.
  • Se observa que los sistemas FF requieren una mayor capacidad de red (más parámetros) para alcanzar el mismo nivel de error que la BP, pero esto se compensa con la eficiencia en la inferencia y el entrenamiento.
• Eficiencia Computacional:
  • Tiempo: Se estima que FF reduce el tiempo de actualización de parámetros de $2N$ pasos (en BP) a $N+1$ pasos, permitiendo un entrenamiento en pipeline.
  • Memoria: Elimina la necesidad de almacenar gradientes intermedios, reduciendo drásticamente el tráfico de datos en memoria, lo cual es vital para hardware de bajo consumo.

5. Significado e Impacto

Este trabajo es significativo porque ofrece una alternativa viable y eficiente a la retropropagación para el aprendizaje profundo en comunicaciones.

• Viabilidad de Hardware: Abre la puerta a la implementación de redes neuronales en hardware analógico y de bajo consumo (como memristores), donde la retropropagación es impráctica debido a sus requisitos de memoria y diferenciabilidad.
• Robustez: Permite el entrenamiento de esquemas de codificación en canales reales y no diferenciables sin necesidad de modelos generativos complejos o enlaces de retroalimentación.
• Futuro: Aunque el algoritmo FF es más sensible a los hiperparámetros y requiere redes más grandes, su capacidad para operar sin un paso hacia atrás lo posiciona como un candidato ideal para la próxima generación de sistemas de comunicación inteligentes y eficientes energéticamente (6G y más allá).