Resumen Técnico: Ajuste Fino de Aprendizaje Federado de Orden Cero Eficiente de Modelos de Lenguaje en Dispositivos con Limitación de Recursos

1. Planteamiento del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) ofrece un marco de preservación de la privacidad para el ajuste fino de Modelos de Lenguaje Extensos (LLMs) a través de fuentes de datos distribuidas. Sin embargo, desplegar estos modelos en dispositivos periféricos (edge) con recursos limitados enfrenta obstáculos significంtes:

• Restricciones de Memoria: Los métodos de primer orden (por ejemplo, la retropropagación estándar) y las técnicas de eficiencia de parámetros como LoRA requieren almacenar activaciones intermedias para el cálculo de gradientes. Esto resulta en huellas de memoria (por ejemplo, ~4 GB para RoBERTa-large) que exceden las capacidades de la mayoría de los dispositivos periféricos.
• Sobrecarga de Comunicación: Transmitir los parámetros completos del modelo o incluso las matrices de adaptación de bajo rango (LoRA) incurre en costos de carga sustanciales, lo cual es particularmente problemático en entornos inalámbricos de bajo ancho de banda.
• Limitaciones del Orden Cero (ZO): Aunque los métodos de Optimización de Orden Cero (ZO) como MeZO eliminan la necesidad de retropropagación mediante el uso de pasos hacia adelante (forward passes) y perturbaciones pseudoaleatorias, sufren de una convergencia lenta y una alta demanda computacional. Para lograr estimaciones de gradiente estables, los métodos de ZO-FL existentes requieren un gran número de perturbaciones por paso de entrenamiento, lo que conduce a un exceso de computaciones de solo paso hacia adelante (FLOPs).

Existe un compromiso crítico: los métodos ZO actuales son eficientes en memoria pero costosos computacionalmente, mientras que los métodos de primer orden son eficientes computacionalmente pero intensivos en memoria.

2. Metodología: FedSPZO

Los autores proponen Federated Split-Perturbation Zeroth-order Optimization (FedSPZO), un nuevo marco diseñado para reducir la carga computacional de ZO-FL preservando sus ventajas de memoria y comunicación.

Mecanismo Central: Estrategia de Perturbación Dividida (Split-Perturbation)

FedSPZO explota la estructura composicional secuencial de las redes neuronales dividiendo el modelo en dos bloques consecutivos, $f_1$ (el primer bloque, más grande) y $f_2$ (el segundo bloque, más pequeño), de tal manera que $y = f_2(\theta_2; f_1(\theta_1; B))$.

• Presupuestos de Perturbación Asimétricos: En lugar de aplicar el mismo número de perturbaciones a toda la red, FedSPZO asigna un presupuesto de perturbación mayor al segundo bloque, el más pequeño ($f_2$).
  • Bloque 1 ($\theta_1$): Perturbado con $P_1$ direcciones.
  • Bloque 2 ($\theta_2$): Perturbado con $P_2$ direcciones, donde $P_2 = 2 \times P_1 \times P_s$.
• Reutilización de Activaciones: La clave de la ganancia de eficiencia proviene de la reutilización de las activaciones intermedias.
  1. El cliente perturba $\theta_1$ en una única dirección ($+z_1$) y realiza un paso hacia adelante a través de $f_1$ para generar la salida intermedia $+y_l$.
  2. Esta única $+y_l$ se utiliza entonces como entrada para $P_s$ perturbaciones distintas de $\theta_2$ (tanto en direcciones positivas como negativas).
  3. El proceso se repite para la dirección negativa de $\theta_1$ ($-z_1$), generando $-y_l$, que se reutiliza para otro conjunto de $P_s$ perturbaciones de $\theta_2$.
• Estimación de Gradiente:
  • El gradiente para $\theta_2$ se estima utilizando las diferencias en las pérdidas de las $P_2$ perturbaciones, todas las cuales comparten la misma entrada de $f_1$.
  • El gradiente para $\theta_1$ se estima promediando las diferencias de pérdida a través de las múltiples perturbaciones de $f_2$, lo que reduce efectivamente el ruido introducido por la estocasticidad de las perturbaciones de $f_2$.

Protocolo de Comunicación

FedSPZO mantiene un diseño de comunicación eficiente:

• Lado del Cliente: Los clientes realizan $K$ pasos de entrenamiento local. No cargan los parámetros del modelo. En su lugar, cargan únicamente valores de gradiente escalares ($G_1, G_2$) y semillas aleatorias ($S_1, S_2$) utilizadas para regenerar los vectores de perturbación.
• Lado del Servidor: El servidor reconstruye los modelos exactos de los clientes regenerando los vectores de perturbación a partir de las semillas recibidas y aplicando las actualizaciones escalares. Esto elimina la necesidad de que los clientes transmitan los pesos del modelo, reduciendo la sobrecarga de carga en órdenes de magnitud comparado con el FL basado en parámetros.

3. Contribuciones Clave

1. Marco FedSPZO: Un nuevo método de ZO-FL que particiona el modelo en dos bloques y asigna un mayor presupuesto de perturbación al bloque más profundo y pequeño. Esto aprovecha la reutilización de activaciones intermedias para actualizar la red completa con menos evaluaciones de paso hacia adelante.
2. Eficiencia Computacional: El método logra una reducción de hasta 3× en la computación en comparación con las líneas base de estado del arte de ZO-FL (específicamente, Fang et al., 2022, y Li et al., 2025) manteniendo las ventajas de memoria y comunicación de ZO.
3. Evaluación Exhaustiva: Experimentos extensos con modelos RoBERTa-large, OPT-1.3B y LLaMA-3-3.2B en múltiples conjuntos de datos (SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ) demuestran que FedSPZO reduce significativamente los GFLOPs totales manteniendo una precisión comparable a los métodos de retropropagación de primer orden (con una degradación menor).
4. Análisis de Ablación: Los autores realizaron estudios sobre la división del modelo, los presupuestos de perturbación y el cálculo de gradiente independiente por bloques, validando que la estrategia de perturbación dividida es superior a la estimación de bloques independientes o a los esquemas de perturbación uniforme.

4. Resultados Experimentales

La evaluación compara FedSPZO contra métodos de primer orden (FedAvg, FedAvg+LoRA) y otros métodos de ZO-FL (FedZO, DecomFL).

• Eficiencia de Memoria: FedSPZO mantiene una huella de memoria similar a la de la inferencia. Para RoBERTa-large con una longitud de contexto de 256, requiere ~1.75 GB, mientras que FedAvg requiere ~4.9 GB y LoRA requiere ~3.9 GB. Esto hace que FedSPZO sea factible para dispositivos periféricos donde LoRA y el FL estándar son inviables.
• Sobrecarga de Comunicación: FedSPZO reduce los costos de carga en más de tres órdenes de magnitud en comparación con LoRA. Mientras que LoRA carga matrices de bajo rango (~cientos de MBs), FedSPZO carga solo gradientes escalares y semillas (kilobytes a megabytes).
• Costo Computacional:
  • Comparado con FedAvg(LoRA): FedSPZO requiere una computación total mayor (aproximadamente 17× más) debido a la tasa de convergencia más lenta inherente a los métodos ZO.
  • Comparado con Otros Métodos ZO: FedSPZO es significativamente más eficiente. Reduce la computación en un 2.1× a 3× en comparación con DecomFL y FedZO en varios modelos y conjuntos de datos.
• Precisión: FedSPZO logra una precisión comparable a FedAvg(LoRA), con solo degradaciones menores (por ejemplo, <1% en SST-2, ~4% en RTE para RoBERTa). Funciona ligeramente peor que el FedAvg completo (retropropagación), que sirve como límite superior, pero la brecha se considera menor en el contexto de las restricciones de recursos.
• Tiempo de Entrenamiento: En un entorno periférico simulado (Jetson Orin Nano), FedSPZO (2.6 horas para RoBERTa/SST-2) es más lento que LoRA (0.45 horas) pero drásticamente más rápido que DecomFL (6 horas) y FedZO (166 horas).

5. Significado y Reivindicaciones

El artículo posiciona a FedSPZO como un compromiso pragmático para entornos con recursos limitados.

• Para Dispositivos Periféricos: Se presenta como una opción preferible cuando la memoria y el ancho de banda de comunicación son los principales cuellos de botella, escenarios donde LoRA y la retropropagación estándar fallan.
• Equilibrio: Los autores reconocen que FedSPZO no elimina el costo computacional de ZO, pero lo mitiga significativamente. Ofrece un camino viable para el ajuste fino de LLMs en dispositivos donde el almacenamiento de activaciones para la retropropagación es imposible y la transmisión de actualizaciones completas del modelo es demasiado costosa.
• Perspectiva Futura: Los autores señalan que, aunque FedSPZO mejora la eficiencia computacional respecto a los métodos ZO existentes, todavía está por detrás de los métodos de primer orden en velocidad bruta. El trabajo futuro apunta a explorar el ZO en aceleradores de solo inferencia con menor precisión para cerrar aún más esta brecha.

El artículo concluye que FedSPZO logra desacoplar los altos costos de memoria/comunicación del FL de primer orden de los altos costos computacionales del ZO tradicional, permitiendo el ajuste fino de LLMs en escenarios que anteriormente se consideraban inviables.