Realization of a Fully Connected Neural Layer Over-the-Air through Multi-hop Amplify-and-Forward Relays

A continuación presento un resumen técnico detallado del artículo "Realization of a Fully Connected Neural Layer Over-the-Air through Multi-hop Amplify-and-Forward Relays", estructurado según los puntos solicitados.

1. Planteamiento del Problema

El trabajo aborda el desafío de implementar capas de redes neuronales (específicamente capas totalmente conectadas o Fully Connected - FC) en el borde de la red (edge computing) con restricciones estrictas de energía y latencia.

• Limitaciones actuales: La inferencia digital en la nube introduce latencia y alto consumo energético debido a operaciones matriciales pesadas, cuantización y sobrecarga de empaquetado.
• El enfoque OTA: La computación Over-the-Air (OTA) utiliza el canal inalámbrico para realizar operaciones de multiplicación y acumulación (MAC) de forma analógica, evitando la cuantización.
• El problema específico: Implementar una capa FC OTA en escenarios donde el enlace directo entre el transmisor (Estación Base - BS) y el receptor (Rx) es inexistente, está bloqueado o es de rango deficiente (común en bandas milimétricas). Además, se busca superar la atenuación por distancia y la acumulación de ruido en enlaces de larga distancia utilizando un sistema de multi-salto con dispositivos de retransmisión.

2. Metodología

Los autores proponen un sistema de comunicación MIMO (Multiple-Input Multiple-Output) que imita una capa FC mediante un esquema de Amplificar y Reenviar (Amplify-and-Forward - AF) en múltiples saltos.

• Arquitectura del Sistema:

  • Un transmisor (BS) con $N_t$ antenas y un receptor (Rx) con $N_r$ antenas.
  • $L$ grupos de retransmisores en serie, donde cada grupo $l$ contiene $K_l$ dispositivos AF de una sola antena.
  • Los grupos acceden al canal de forma TDMA (Time Division Multiple Access).
  • Se considera la existencia de un enlace directo (opcional) y múltiples enlaces de salto entre grupos.

• Modelo Matemático:

  • El canal efectivo del sistema ($H_{eff}$) es una combinación del enlace directo y la cadena de canales multiplicados por las matrices de ganancia de los relays ($A_l$).
  • El objetivo es que la relación entrada-salida del sistema analógico ($y = F_2 H_{eff} F_1 x + \text{ruido}$) imite la relación de una capa FC digital ($y = Wx + b$), donde $W$ es la matriz de pesos objetivo.

• Optimización (Alternating Optimization - AO):
  Se formula un problema de optimización para minimizar el error de imitación de la capa FC y la propagación de ruido, sujeto a restricciones de potencia en el transmisor y en cada relay. Se utiliza un marco de Optimización Alternante que itera sobre tres bloques:

  1. Precodificador del BS ($F_1$): Se optimiza fijando el combinador y las ganancias de los relays. Se resuelve mediante una solución de mínimos cuadrados regularizada con un multiplicador de Lagrange para cumplir la restricción de potencia.
  2. Combinador del Receptor ($F_2$): Se optimiza fijando el precodificador y las ganancias. Se obtiene una solución cerrada basada en la inversión de matrices que considera la covarianza del ruido acumulado.
  3. Ganancias de los Relays ($A_l$): Se optimizan fijando los demás parámetros. El problema se transforma en una regresión de mínimos cuadrados utilizando el producto de Khatri-Rao. Se introduce un regularizador consciente del ruido para evitar ganancias explosivas en relays con canales de bajo rango o ruido alto, seguido de una proyección de potencia por relay.

3. Contribuciones Clave

• Primera implementación de FC OTA con multi-salto AF: A diferencia de trabajos anteriores que usaban enlaces de un solo salto o superficies inteligentes reconfigurables (RIS), este trabajo introduce el uso de múltiples saltos con relays AF para extender el alcance y mejorar el rango efectivo del canal.
• Marco de Optimización Robusto: Desarrollo de un algoritmo AO que optimiza conjuntamente el precodificador, el combinador y las ganancias de amplificación, gestionando explícitamente la acumulación de ruido a través de los saltos.
• Análisis de Escalabilidad y Rango: Se demuestra teóricamente y mediante simulaciones que los relays AF pueden mejorar el rango del canal efectivo (rank) en escenarios donde el enlace directo es deficiente, sin necesidad de la inversión masiva que requieren múltiples RIS.
• Validación en Redes Neuronales Complejas: La propuesta no solo se prueba en una capa aislada, sino integrada en una arquitectura de red neuronal completa (incluyendo capas convolucionales, normalización por lotes y activaciones complejas) para tareas de clasificación.

4. Resultados de las Simulaciones

Los experimentos se realizaron utilizando el conjunto de datos Fashion-MNIST y un modelo de desvanecimiento 3GPP UMi (Callejón Urbano) a 28 GHz.

• Precisión de Clasificación:

  • Con una potencia de relay adecuada ($P_k = 1$ W) y un área de servicio de 100m, el sistema alcanza una precisión casi perfecta, igualando la línea base digital (84.5%).
  • En áreas más grandes (200m) con el enlace directo bloqueado, el uso de multi-salto (L=2 o L=3) es crucial. Un solo salto (L=1) muestra un rendimiento pobre y volátil debido a la gran distancia y la acumulación de ruido.
  • El rendimiento mejora al aumentar el número de grupos de relays (hasta L=3), ya que reduce la distancia por salto y la acumulación de ruido, aunque con rendimientos marginales decrecientes más allá de cierto punto.

• Impacto de la Potencia:

  • Con potencia baja ($P_k = 0.1$ W), la precisión disminuye y la varianza aumenta.
  • Con potencia muy baja ($P_k = 0.01$ W), el sistema falla en imitar la capa FC, mostrando que se requiere suficiente potencia en los relays para una imitación precisa.

• Enlace Directo:

  • La presencia de un enlace directo mejora ligeramente el rendimiento (~1%), pero la mayor parte de la precisión se logra gracias al sistema de multi-salto AF, confirmando la utilidad del enfoque incluso si el enlace directo está disponible pero es de rango deficiente.

• Estabilidad:

  • El sistema es muy estable (bajas barras de error) cuando se utiliza un número suficiente de dispositivos por grupo (K > 12) y una configuración de multi-salto adecuada.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Habilita la Inferencia en el Borde a Larga Distancia: Demuestra que es posible realizar inferencia de redes neuronales complejas en el borde sin depender de la nube, incluso en entornos con obstáculos físicos o grandes distancias, utilizando infraestructura de relays existente.
2. Eficiencia Energética y de Ancho de Banda: Al evitar la digitalización y el procesamiento de señales en cada nodo (solo se amplifica y reenvía), se reduce drásticamente el consumo de energía y el ancho de banda necesario para la transmisión de datos crudos.
3. Viabilidad Práctica: Proporciona un marco matemático y un algoritmo de optimización que hace viable la implementación de computación analógica en redes inalámbricas reales, superando los desafíos de ruido y rango que limitaban las implementaciones anteriores de un solo salto.
4. Futuro de las Comunicaciones 6G: Abre nuevas direcciones para la integración de la computación en la red física, sugiriendo que los futuros sistemas de comunicación (6G) podrían realizar procesamiento de inteligencia artificial nativamente a través de la propagación de ondas.

En conclusión, el artículo demuestra que la combinación de MIMO, computación OTA y retransmisión multi-salto AF es una solución robusta y eficiente para implementar capas de redes neuronales en entornos inalámbricos desafiantes, logrando una precisión de clasificación comparable a los sistemas digitales tradicionales.