Resumen Técnico: GLoRA – Representaciones de Servidor de Bajo Rango Conscientes de la Calibración para LoRA Federado

1. Declaración del Problema

El Aprendizaje Federado (FL) combinado con Adaptación de Bajo Rango (LoRA) ofrece un paradigma prometedor para el ajuste fino de Modelos de Lenguaje Grandes (LLM) bajo restricciones de datos y recursos descentralizados. Sin embargo, los métodos existentes de LoRA federado sufren de una discrepancia semántica fundamental en sus reglas de agregación.

El problema central es la ambigüedad de calibración (gauge ambiguity). Una actualización de LoRA se representa como un producto de bajo rango $\Delta W = BA$. Esta factorización no es única; para cualquier matriz invertible $Q$, el par $(BQ, Q^{-1}A)$ produce exactamente la misma matriz de actualización $\Delta W$. En el entrenamiento centralizado, esta ambigüedad es benigna ya que los factores permanecen internos a un solo optimizador. En entornos federados, sin embargo, los clientes transmiten factores crudos $(B, A)$ al servidor. Si el servidor agrega estos factores crudos directamente (por ejemplo, promediando $B$ y $A$ por separado), la actualización resultante del servidor depende de las elecciones arbitrarias de coordenadas (calibraciones) realizadas por los clientes individuales. En consecuencia, actualizaciones intrínsecas idénticas de los clientes pueden producir diferentes modelos de servidor dependiendo de las reparametrizaciones internas de los clientes, lo que hace que la regla de agregación esté mal definida.

Aunque trabajos recientes han abordado la "agregación inexacta" (el error algebraico donde $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$), no han resuelto esta dependencia de la calibración más fundamental. Una solución ingenua —agregar las matrices de actualización densas completas $\Delta W_i$ y luego refactorizar— restaura la corrección semántica pero destruye las ganancias de eficiencia de LoRA al requerir que el servidor materialice y descomponga matrices grandes de $d_{out} \times d_{in}$, lo cual es inviable a la escala de los LLM modernos.

2. Metodología: GLoRA

Los autores proponen GLoRA (Agregación de Bajo Rango Consciente de la Calibración), una representación del servidor que mantiene la corrección semántica sin colapsar de nuevo a actualizaciones densas. GLoRA opera separando la geometría de la actualización de las coordenadas de los factores.

2.1 Extracción de Subespacio Invariante a la Calibración

En lugar de agregar factores crudos, GLoRA primero extrae la geometría intrínseca de la actualización de cada cliente. Para una actualización de cliente $\Delta W_i = B_i A_i$, el servidor realiza una descomposición QR reducida sobre $B_i$:
$$B_i = U_i T_i$$
donde $U_i$ es una base ortonormal que abarca el espacio de columnas de la actualización, y $T_i$ contiene las coordenadas. La actualización se reescribe como $\Delta W_i = U_i \tilde{A}_i$ (donde $\tilde{A}_i = T_i A_i$).
Críticamente, el subespacio de columnas abarcado por $U_i$ es invariante a la calibración; permanece inalterado independientemente de la transformación invertible $Q$ aplicada a los factores originales. El servidor representa esta geometría utilizando el proyector ortogonal $P_i = U_i U_i^\top$.

2.2 Construcción del Subespacio de Consenso

El servidor agrega estos proyectores para estimar un subespacio de consenso compartido $U_{ref}$:
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
El servidor calcula los $R$ vectores propios principales de $K$ para formar la base de referencia $U_{ref}$. Este paso es computacionalmente eficiente ya que opera sobre la matriz delgada de bases de clientes en lugar de la matriz completa de actualización densa. $U_{ref}$ define un marco de coordenadas común para la ronda actual de actualizaciones.

2.3 Agregación en Coordenadas Compartidas

Una vez establecida $U_{ref}$, la actualización de cada cliente se proyecta en este marco compartido:
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
El servidor luego agrega estas coordenadas proyectadas directamente:
$$Z_{global} = \sum_{i} p_i Z_i$$
El estado final del servidor es el par de bajo rango $(U_{ref}, Z_{global})$, que representa la actualización $\Delta W_{global} = U_{ref} Z_{global}$. Esto asegura que la actualización del servidor esté definida por las matrices intrínsecas $\{\Delta W_i\}$ en lugar de coordenadas de factores arbitrarias, mientras permanece enteramente de bajo rango.

2.4 Lectura Compatible con el Rango para Heterogeneidad

Para admitir clientes con diferentes presupuestos de rango ($r_i$), GLoRA emplea un mecanismo de lectura núcleo–cola. El servidor descompone $Z_{global}$ mediante SVD para ordenar los componentes por energía.

• Núcleo: Un conjunto compartido de componentes principales se asigna a todos los clientes para mantener la consistencia global.
• Cola: El presupuesto de rango restante se asigna basándose en la geometría histórica de actualización específica del cliente (puntuaciones de alineación) o en el orden espectral global si no hay historial disponible.
  Esto permite que clientes heterogéneos instancien adaptadores de rangos variables desde un mismo estado del servidor sin requerir objetos de agregación separados o refactorización densa.

3. Contribuciones Clave

1. Identificación de la Dependencia de la Calibración: El artículo identifica la dependencia de la calibración como un modo de fallo semántico en la agregación federada de LoRA a nivel de factores, distinguiéndola del problema algebraico de "agregación inexacta". Argumenta que los factores crudos no son objetos de agregación válidos bajo ambigüedad de calibración.
2. Marco GLoRA: Los autores proponen un método de agregación consciente de la calibración que mantiene un estado de servidor compacto de bajo rango. Agrega actualizaciones a través de un subespacio de consenso y coordenadas de referencia compartidas, evitando tanto la agregación de factores crudos como la materialización de actualizaciones densas.
3. Soporte para Heterogeneidad: GLoRA introduce una lectura compatible con el rango que instancia adaptadores de diferentes rangos desde un único estado del servidor, apoyando naturalmente capacidades de clientes heterogéneas y participación dispersa.
4. Validación Empírica: Experimentos extensos demuestran que GLoRA supera consistentemente a las líneas base (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) en heterogeneidad de datos, heterogeneidad de recursos y heterogeneidad de tareas.

4. Resultados Experimentales

Los autores evaluaron GLoRA en GLUE (usando RoBERTa-Base) y SuperNI (usando LLaMA-1B, Qwen2-7B y Gemma-2-9B) bajo diversas condiciones:

• Heterogeneidad de Datos: Bajo una fuerte asimetría de etiquetas (Dir(0.1)), GLoRA logró la mayor precisión promedio en las tareas de GLUE, superando significativamente a FedSA-LoRA (que no logró converger en la mayoría de las tareas) y a otras líneas base.
• Heterogeneidad de Recursos: En configuraciones con rangos de clientes heterogéneos (distribuciones Normal, Uniforme y de cola pesada), GLoRA ocupó el primer lugar en 14 de 15 pares de distribución de tareas, demostrando robustez ante capacidades de adaptadores variables.
• FL Cruzado entre Tareas Disperso: En SuperNI con un 10% de participación de clientes y evaluación en tareas no vistas, GLoRA obtuvo las mejores puntuaciones ROUGE-L tanto en clientes dentro del dominio como en clientes no vistos, indicando una generalización superior en comparación con métodos de truncamiento específicos del rango.
• Escalabilidad: GLoRA mantuvo su ventaja de rendimiento en backbones más grandes (7B y 9B parámetros), sugiriendo que el enfoque no está limitado a modelos más pequeños.
• Eficiencia: GLoRA logra una compensación favorable entre eficiencia y rendimiento. Su complejidad por capa es $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$, lo cual es significativamente más económico que los métodos de agregación de actualizaciones densas (como FlexLoRA) mientras evita la sensibilidad a la calibración del promediado directo de factores.

5. Significado y Afirmaciones

El artículo afirma que el LoRA federado efectivo requiere no simplemente promediar factores de bajo rango, sino definir una representación del lado del servidor semánticamente significativa para la agregación.

Los autores argumentan que la elección de diseño clave en el LoRA federado es desplazar el enfoque de "cómo promediar factores" a "qué objeto del lado del servidor representa el agregado". Al separar la geometría de la actualización de las coordenadas de los factores, GLoRA resuelve la discrepancia semántica inherente a los métodos actuales. Los resultados sugieren que la agregación consciente de la calibración es esencial para una convergencia estable y un alto rendimiento en entornos federados, particularmente al tratar con datos, recursos y tareas heterogéneos. El artículo concluye que, aunque la estimación actual del subespacio de consenso depende de la geometría del espacio de columnas, el trabajo futuro podría incorporar ponderaciones basadas en la energía de la actualización o conscientes de la tarea para refinar aún más la construcción del subespacio.