Resumen Técnico: FedSLM – Ajuste Fino de Modelos Fundacionales Federados con Clientes Comprimidos Heterogéneos

1. Planteamiento del Problema

El Aprendizaje Federado (FL) de Modelos Fundacionales (FMs) enfrenta una paradoja fundamental de asimetría de recursos: las instituciones que poseen los datos de dominio más valiosos (por ejemplo, hospitales, firmas financieras) a menudo carecen del presupuesto de memoria GPU necesario para alojar o realizar el ajuste fino de modelos de miles de millones de parámetros. Los enfoques actuales de FL heterogéneo intentan cerrar esta brecha, pero fallan al intentar satisfacer simultáneamente tres requisitos críticos:

1. Viabilidad de Despliegue: Los modelos de los clientes deben ser lo suficientemente compactos para dispositivos con recursos limitados.
2. Alineación Estructural: Las actualizaciones de los clientes heterogéneos deben ser fusibles en un modelo global coherente sin incompatibilidad arquitectónica.
3. Fidelidad: El servidor debe absorber el conocimiento de dominio federado sin heredar artefactos de compresión ni sufrir la "falacia de la imitación" (donde un modelo fuerte se degrada al imitar a un supervisor débil ruidoso).

Los métodos actuales sacrifican estas propiedades: el Ajuste Fino de Parámetros Eficientes (PEFT) como LoRA reduce los parámetros entrenables, pero aún requiere la carga del modelo base completo; la extracción arquitectónica (por ejemplo, HeteroFL) interrumpe los patrones de atención preentrenados en los Transformers; y los enfoques centrados en datos luchan contra la desalineación del vocabulario y la pérdida de representaciones ocultas.

2. Metodología: FedSLM

Los autores proponen FedSLM, un marco centrado en parámetros que trata el problema como una optimización acoplada sobre tres variables: adaptadores del lado del cliente, pesos globales reconstruidos del lado del servidor y el modelo fuerte final del servidor. El marco opera en cuatro etapas distintas:

A. Derivación de Modelos Basada en SVD (Paso 1)

En lugar de una inicialización aleatoria, el servidor deriva una familia de modelos comprimidos estructuralmente compatibles a partir del Modelo Fundacional (FM) preentrenado utilizando la Descomposición en Valores Singulares (SVD).

• Proceso: Para capas seleccionadas, la matriz de pesos $W$ se descompone en factores de bajo rango $U$ y $V$ en varias tasas de compresión ($r_i$).
• Estructura: Los clientes en el grupo $C_i$ reciben bases de bajo rango fijas $\{U_i, V_i\}$ y un adaptador entrenable $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$. La capa efectiva es $W \approx U_i \Sigma_{i,c} V_i$.
• Propiedad Clave: Debido a que todas las variantes se derivan de los mismos pesos del servidor mediante la truncación SVD anidada, comparten una estructura de variedad de bajo rango anidada, lo que garantiza la compatibilidad estructural para la agregación a pesar de los diferentes rangos.

B. Agregación Federada Heterogénea (Pasos 2 y 3)

FedSLM emplea un protocolo de agregación de dos etapas para manejar la heterogeneidad de rango:

1. Etapa 1: Agregación de Adaptadores Intra-Grupo: Los clientes dentro de un mismo grupo de compresión (mismo rango $r_i$) optimizan sus adaptadores locales $\Sigma_{i,c}$ mediante SGD local. El servidor agrega estos adaptadores utilizando FedAvg dentro del grupo.
2. Etapa 2: Fusión de Modelos Cross-Group: El servidor reconstruye matrices de pesos de rango completo para cada grupo ($W_i = U_i \Sigma_i V_i$) en el espacio ambiente común $\mathbb{R}^{m \times n}$. Estos modelos reconstruidos se fusionan mediante un promedio ponderado para producir un modelo débil global $W_g$. Este paso aprovecha el hecho de que todos los grupos comparten un ancla preentrenada común, permitiendo la fusión en el espacio de rango completo.

C. Elicitación de Débil a Fuerte (Paso 4)

Para transferir el conocimiento del modelo comprimido y agregado ($W_g$) al modelo completo del servidor ($W_s$) sin heredar artefactos de compresión, los autores introducen un paso de refinamiento de Débil-a-Fuerte.

• Mecanismo: El servidor refina $W_s$ utilizando un conjunto de datos del servidor no etiquetado $D_{server}$.
• Función de Pérdida: Se utiliza una Pérdida de Confianza Auxiliar:
  $$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$$
  donde $f_w$ es el supervisor débil, $f_s$ es el estudiante fuerte y $\hat{f}_s$ es la autopredicción del modelo fuerte con gradientes detenidos.
• Rol de $\alpha$: Este término equilibra la imitación del modelo débil con las predicciones confiables del propio modelo fuerte. El término de auto-anclaje ($\alpha$) mitiga la "falacia de la imitación" al evitar que el modelo fuerte regrese hacia los errores sistemáticos del supervisor débil.

3. Contribuciones Clave

Garantías Teóricas

El artículo proporciona tres análisis teóricos complementarios:

1. Tasa de Convergencia: Establece una tasa de convergencia de $O(T^{-1/2})$ para la agregación de nivel de adaptador de la Etapa 1, contabilizando el client drift y la distorsión espectral introducida por los factores SVD.
2. Alineación de Subespacios: Deriva cotas para el error de agregación cross-group, demostrando que los subespacios SVD anidados aseguran la compatibilidad geométrica. El error está acotado por el promedio ponderado por datos de los residuales de los subespacios.
3. Mitigación de Artefactos: Caracteriza cómo la pérdida de confianza auxiliar mitiga el ruido de compresión. Demuestra un compromiso entre sesgo y varianza donde el coeficiente de mezcla $\alpha$ puede ajustarse para minimizar el riesgo de que el modelo fuerte aprenda artefactos de compresión.

Resultados Empíricos

Los experimentos se realizaron en LLaMA-2-7B/13B (lenguaje) y LLaVA-NeXT-7B (visión-lenguaje) en benchmarks de comprensión de lenguaje natural y médico bajo particiones IID y non-IID.

• Rendimiento: FedSLM supera consistentemente a las líneas base existentes (incluyendo FedAvg+LoRA, HetLoRA y FedMKT). En LLaMA-2-7B, alcanzó un 71.0% de precisión promedio (IID) y 68.2% (non-IID), superando significativamente a la mejor línea base.
• Eficiencia del Cliente: Los modelos comprimidos de los clientes operan aproximadamente al 50% de la memoria GPU requerida por el modelo completo (por ejemplo, ~6.8 GB frente a 13.5 GB para LLaMA-2-7B) mientras logran un mayor rendimiento de inferencia.
• Recuperación: El entrenamiento de adaptadores federados permite que los modelos comprimidos recuperen y superen la precisión zero-shot del modelo preentrenado no comprimido en múltiples benchmarks.

4. Significancia y Reivindicaciones

El artículo afirma que FedSLM resuelve la tensión central en el aprendizaje de modelos fundacionales federados al permitir que los clientes con recursos limitados participen eficazmente sin sacrificar la calidad del modelo global.

• Marco Unificado: Es el primer marco que logra simultáneamente la compresión de modelos para el despliegue, la alineación estructural para la agregación y la mitigación de artefactos para el refinamiento del servidor.
• Viabilidad Práctica: Al reducir los requisitos de memoria del cliente a aproximadamente el 50% del modelo completo, manteniendo o superando el rendimiento, FedSLM hace que el ajuste fino federado de modelos de miles de millones de parámetros sea factible para instituciones con hardware limitado.
• Solidez Teórica: El trabajo proporciona garantías rigurosas sobre la convergencia y las cotas de error, yendo más allá de los enfoques heurísticos para el FL heterogéneo.

Los autores enfatizan que el método no requiere que los clientes alberguen el modelo completo ni que dependan de la comunicación pérdida a nivel de logits, sino que se enfoca en extraer y amplificar el conocimiento específico de dominio adquirido a través del proceso federado.