EH-FedSAG: Variance-Reduced Federated Learning with Energy-Aware Participation in Energy-Harvesting IoT

Resumen Técnico de "EH-FedSAG: Aprendizaje Federado con Reducción de Varianza y Participación Consciente de la Energía en IoT con Recolección de Energía"

Planteamiento del Problema
El Aprendizaje Federado (FL) en redes de Recolección de Energía (EH) enfrenta desafíos significativos debido a la naturaleza intermitente y estocástica de las llegadas de energía. A diferencia de los dispositivos periféricos convencionales con energía estable, los dispositivos EH dependen de fuentes de energía ambiental, lo que conduce a una disponibilidad de energía variable en el tiempo. Esto introduce una doble capa de aleatoriedad:

1. Participación Inestable: Los dispositivos pueden carecer de energía suficiente para el cómputo local o la transmisión de subida en un turno determinado, lo que resulta en un subconjunto estocástico de dispositivos participantes.
2. Inestabilidad de Convergencia: En los algoritmos de FL estándar como FedAvg, la participación parcial introduce variabilidad en las actualizaciones agregadas, lo que a menudo resulta en un umbral de error que no desaparece y un comportamiento de convergencia inestable. Este problema se ve exacerbado en sistemas EH donde las restricciones de energía limitan aún más la consistencia de la participación de los dispositivos.

Aunque trabajos previos han abordado la selección de dispositivos consciente de la energía y protocolos eficientes, el impacto combinado de las restricciones de EH, la participación consciente de la energía y la reducción de la varianza basada en la memoria del servidor no ha sido estudiado dentro de un marco unificado.

Metodología: EH-FedSAG
El artículo propone EH-FedSAG, un método de FL con reducción de varianza basado en la memoria del servidor, adaptado para entornos EH. El sistema opera bajo un modelo de EH basado en turnos (slots) donde:

• Dinámica de Energía: Los dispositivos siguen un paradigma de "cosechar-almacenar-usar" con capacidad de batería finita. Las llegadas de energía se modelan como procesos de Bernoulli i.i.d.
• Restricciones de Factibilidad: Un dispositivo solo puede participar si su nivel de batería en un turno de inicio específico ($s^*$) es suficiente para cubrir tanto el entrenamiento local ($\Omega$ turnos) como la transmisión (1 turno).
• Selección de Dispositivos: El servidor emplea una política de selección basada en la edad. Entre los dispositivos con energía suficiente, se priorizan aquellos que no han sido seleccionados recientemente (mayor "edad de selección") para asegurar la equidad a largo plazo. Un máximo de $M$ dispositivos puede ser programado por ronda debido a limitaciones de canales ortogonales.

Núcleo Algorítmico:
EH-FedSAG integra el principio de SAGA (Algoritmo de Gradiente Promedio Estocástico) en el protocolo EH-FL:

1. Actualización Local: Los dispositivos seleccionados realizan $B$ pasos de Descenso de Gradiente Estocástico (SGD) local y transmiten la diferencia del modelo $\delta_t^{(k)} = w_t - w_{t,B}^{(k)}$.
2. Memoria del Servidor: El servidor mantiene un vector de memoria $m_t^{(k)}$ para cada dispositivo $k$, almacenando la actualización recibida más recientemente.
3. Reducción de Varianza: En lugar de un promedio simple, el servidor calcula una dirección de varianza reducida $v_t$ combinando la media de todas las memorias almacenadas con las actualizaciones frescas de los dispositivos actualmente activos:
   $$v_t = \bar{m}_t + \frac{1}{|P_t|} \sum_{k \in P_t} (\delta_t^{(k)} - m_t^{(k)})$$
   donde $\bar{m}_t$ es la media de todas las memorias almacenadas.
4. Actualización Global: El modelo global se actualiza utilizando esta dirección de varianza reducida. Si ningún dispositivo participa, el modelo permanece sin cambios.

Contribuciones Clave

1. Marco Unificado: Los autores proponen un marco de EH-FL consciente de la energía que modela explícitamente la dinámica de batería a nivel de turno, impone restricciones de participación por ronda basadas en la factibilidad energética y emplea un mecanismo de selección de dispositivos basado en la edad.
2. Desarrollo de Algoritmo: Desarrollan EH-FedSAG, una variante de EH-FedAvg basada en memoria que aprovecha la memoria del servidor para mitigar la varianza causada por la disponibilidad de dispositivos variable en el tiempo y la participación parcial.
3. Caracterización Empírica: El artículo caracteriza la relación entre la precisión de prueba y las rondas de entrenamiento bajo diferentes probabilidades de llegada de energía ($P_h$) y heterogeneidad de datos (controlada por el parámetro de Dirichlet $\alpha$) a través de dos arquitecturas de red (SmallCNN y SmallResNet).

Resultados Experimentales
El método propuesto fue evaluado contra una línea base de EH-FedAvg utilizando la clasificación de imágenes CIFAR-10 con $K=100$ dispositivos y $M=25$ canales durante 1,000 rondas.

• Desempeño bajo Escasez de Energía: Bajo bajas probabilidades de llegada de energía ($P_h = 0.02$), EH-FedAvg exhibió oscilaciones significativas. EH-FedSAG logró aproximadamente un 3% más de precisión de prueba y demostró mayor robustez ante las fluctuaciones inducidas por la participación.
• Reducción de Varianza: EH-FedSAG logró consistentemente una varianza de precisión en etapas tardías sustancialmente menor en comparación con EH-FedAvg. Por ejemplo, en $P_h = 0.06$, la varianza se redujo de 0.9401 (FedAvg) a 0.0421 (FedSAG).
• Velocidad de Convergencia: EH-FedSAG alcanzó un umbral de precisión de prueba del 50% aproximadamente un 26% más rápido que EH-FedAvg en el escenario de $P_h = 0.06$.
• Datos No-I.I.D.: Bajo distribuciones de datos heterogéneas (bajo $\alpha$), EH-FedAvg sufrió caídas bruscas de precisión debido a la naturaleza no representativa del subconjunto activo. EH-FedSAG mantuvo una trayectoria más suave aprovechando la información almacenada de dispositivos previamente activos, desacoplando efectivamente la actualización global de la configuración instantánea de dispositivos activos.

Significancia y Reivindicaciones
El artículo afirma que incorporar la reducción de varianza en el lado del servidor en EH-FL es una estrategia efectiva para mejorar la estabilidad del entrenamiento. La principal ventaja de EH-FedSAG es más pronunciada cuando la disponibilidad de energía es escasa y las distribuciones de datos no son independientes e idénticamente distribuidas (no-i.i.d.). Al compensar las actualizaciones faltantes de los dispositivos no disponibles mediante el uso de memorias almacenadas, el algoritmo produce un rendimiento del modelo más consistente y predecible a través de las rondas de comunicación. Esto es particularmente beneficioso para despliegues de IoT de baja potencia donde la participación intermitente y los presupuestos de comunicación limitados hacen que la detención temprana y el rendimiento estable sean altamente deseables.

Los autores señalan que el trabajo futuro podría extender este marco a enlaces inalámbricos poco fiables, análisis de convergencia teórica bajo restricciones de EH y sistemas con dispositivos computacionalmente heterogéneos.