🤖 machine learning

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

FedProxy es un nuevo marco de adaptación federada que supera las limitaciones de los métodos existentes al utilizar un modelo de lenguaje pequeño (SLM) proxy unificado y potente, comprimido a partir del LLM propietario, para lograr una fine-tuning colaborativa que protege la propiedad intelectual y la privacidad de los clientes mientras mitiga la pérdida de rendimiento en datos heterogéneos, alcanzando un rendimiento cercano al entrenamiento centralizado.

Autores originales: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

Publicado 2026-04-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un genio de la lámpara (el modelo de Inteligencia Artificial gigante, o LLM) que sabe casi todo, pero vive en una caja de cristal muy segura en el servidor de una empresa. Nadie puede tocarlo ni salir con él porque es demasiado valioso y secreto.

Ahora, imagina que tienes 100 amigos (los clientes) que viven en diferentes casas y tienen secretos muy privados (sus datos). Quieren que el genio aprenda de sus secretos para volverse aún más inteligente, pero:

El genio no puede salir de su caja (protección de la propiedad intelectual).
Los amigos no pueden llevar sus secretos a la casa del genio (privacidad de los datos).
Cada amigo tiene un tipo de secreto muy diferente al de los demás (datos heterogéneos).

Anteriormente, la solución era enviar al genio una pequeña libreta de notas (un "adapter" o adaptador) para que los amigos escribieran sus ideas allí. Pero el problema es que la libreta era tan pequeña y débil que no podía capturar bien las ideas complejas. El genio volvía a casa con notas confusas y no aprendía mucho.

Aquí es donde entra FedProxy, la nueva idea de este papel. Es como un plan maestro de tres actos para resolver este problema:

Acto 1: El "Doble" o "Proxy" (La Copia Inteligente)

En lugar de enviar una libreta vacía, el servidor crea una copia de seguridad pequeña pero muy inteligente del genio.

La analogía: Imagina que el genio es un chef estrella con 100 años de experiencia. En lugar de enviarle una libreta de recetas, el servidor le da a los amigos una copia de su propia cocina, pero reducida a un tamaño de apartamento pequeño (el "Proxy SLM").
Esta cocina pequeña tiene las herramientas esenciales y la estructura del genio, pero es lo suficientemente pequeña para que los amigos puedan entrenarla en sus propias computadoras sin revelar los secretos del chef original.

Acto 2: La Reunión de Vecinos (El Entrenamiento Federado)

Ahora, cada amigo entrena su propia "cocina pequeña" con sus datos privados. Pero aquí surge un problema: si el vecino de la izquierda cocina pizza y el de la derecha cocina sushi, si mezclan sus recetas a ciegas, terminarán con una pizza de sushi horrible.

La solución de FedProxy: Antes de mezclar las recetas, el servidor actúa como un director de orquesta muy atento.
- Analiza qué tan diferentes son las cocinas de cada amigo.
- Si dos amigos están muy de acuerdo, sus recetas se mezclan con fuerza.
- Si dos amigos están en conflicto total (uno quiere sal, otro azúcar), el sistema les dice: "Oye, no cambies tanto lo que ya funciona, solo ajusta lo que es diferente".
Esto evita que las ideas buenas se cancelen entre sí. Es como un filtro inteligente que asegura que la mezcla final sea una "super-receta" y no un desastre.

Acto 3: El "Plug-and-Play" (La Fusión Sin Esfuerzo)

Una vez que las cocinas pequeñas de los amigos han aprendido mucho, el servidor no necesita volver a entrenar al genio gigante (lo cual costaría una fortuna en tiempo y energía).

La analogía: Es como si el genio original tuviera un cinturón de herramientas intercambiable. El servidor simplemente saca los componentes viejos de la cocina gigante y enrosca los componentes nuevos y mejorados que vinieron de las cocinas pequeñas de los amigos.
¡Listo! El genio ahora sabe cocinar pizza, sushi y todo lo demás, sin haber salido de su caja ni haber visto los datos privados de nadie.

¿Por qué es esto un gran avance?

Antes (Métodos viejos): Era como intentar arreglar un Ferrari con un destornillador de juguete. No funcionaba bien.
Ahora (FedProxy): Es como darle al Ferrari un motor de refuerzo que se adapta perfectamente.
El resultado: El genio final es casi tan inteligente como si hubiera aprendido de todos los datos en un solo lugar (como si todos fueran a la misma casa), pero nadie ha violado la privacidad y nadie ha robado el secreto del genio.

En resumen, FedProxy es la forma inteligente de entrenar a un cerebro gigante con la ayuda de muchos cerebros pequeños, sin que nadie tenga que compartir sus secretos ni perder sus derechos de autor. Es como una orquesta donde cada músico toca su parte en su casa, y un director inteligente asegura que, al final, suenen como una sola sinfonía perfecta.

Resumen Técnico: FedProxy

1. El Problema: La Trilema del Ajuste Fino Federado

El ajuste fino de Grandes Modelos de Lenguaje (LLMs) en entornos federados enfrenta un desafío fundamental conocido como una "trilema":

Protección de la Propiedad Intelectual (IP): Los proveedores de modelos no quieren revelar sus LLMs propietarios completos a los clientes.
Privacidad de los Datos del Cliente: Los datos de los clientes son sensibles y no pueden salir de sus dispositivos locales.
Rendimiento en Datos Heterogéneos: La distribución de datos no independiente e idéntica (Non-IID) entre clientes suele causar una degradación significativa del rendimiento y conflictos de parámetros.

Limitaciones de los métodos existentes:
La técnica actual dominante, Offsite-Tuning (OT), intenta resolver esto entrenando solo adaptadores ligeros en el cliente mientras el servidor mantiene un emulador congelado. Sin embargo, el análisis de los autores revela que OT sufre de un cuello de botella de rendimiento debido a la capacidad de representación limitada de los adaptadores, dejando una brecha significativa en comparación con el ajuste fino centralizado.

2. Metodología: El Marco FedProxy

FedProxy introduce un paradigma de optimización impulsado por un modelo sustituto (surrogate). En lugar de usar adaptadores débiles, el marco utiliza un Modelo de Lenguaje Pequeño (SLM) Proxy potente y unificado, comprimido a partir del LLM propietario, como vehículo para el aprendizaje federado.

La arquitectura consta de tres etapas principales:

A. Compresión Guiada por el Servidor (Representación Eficiente)

El servidor comprime el LLM propietario ( $f_\theta$ ) en un SLM Proxy ( $f_\phi$ ) utilizando un conjunto de datos público (ej. Alpaca).
Se utiliza podado estructurado basado en la métrica de Influencia del Bloque (Block Influence - BI). Se eliminan bloques de transformadores menos importantes, conservando aquellos que contribuyen más a la capacidad de representación.
El resultado es un modelo proxy compacto ( $|\phi| \ll |\theta|$ ) que actúa como un contenedor semántico de alta fidelidad, listo para ser enviado a los clientes.

B. Agregación Federada con Mitigación de Interferencia (Optimación Robusta)
Para abordar la heterogeneidad de los datos y los conflictos de parámetros, FedProxy propone una estrategia de agregación de tres niveles que combina dos componentes clave: PCR (Regularización del Lado del Cliente) y H-TIES (Fusión TIES Consciente de la Heterogeneidad).

Análisis del Servidor: Calcula vectores de tarea, similitudes coseno entre clientes y métricas de heterogeneidad. También calcula un puntuación de conflicto a nivel de parámetro ( $C_d$ ) para identificar dimensiones donde las actualizaciones de los clientes tienen signos opuestos.
Regularización Consciente del Conflicto (PCR) en el Cliente:
- Los clientes reciben las puntuaciones de conflicto del servidor.
- Durante el entrenamiento local, se añade un término de regularización dinámica a la función de pérdida. Esto penaliza la divergencia de los parámetros con alto conflicto (donde $C_d$ es alto) respecto al modelo global, permitiendo mayor libertad de personalización solo en parámetros con bajo conflicto.
Fusión H-TIES en el Servidor:
- Esparsificación Adaptativa: Los clientes con alta heterogeneidad tienen sus actualizaciones esparsificadas más agresivamente.
- Escalado Pre-Agregación: Se ponderan las actualizaciones basándose en el consenso del cliente con la red.
- Resolución de Conflictos: Se aplica una lógica similar a TIES-Merging: se mantienen solo las actualizaciones que dominan en magnitud y signo para cada dimensión, eliminando la interferencia de signos opuestos.

C. Fusión de Conocimiento "Plug-in" sin Entrenamiento

Una vez que el SLM Proxy converge, sus pesos actualizados se fusionan directamente en el LLM original.
Dado que el Proxy es una sub-red directa del LLM ( $\phi \subset \theta$ ), se realiza una sustitución directa de parámetros.
Este mecanismo es gratuito en términos de entrenamiento y no añade latencia de inferencia, integrando el conocimiento aprendido por los clientes en el modelo global masivo.

3. Contribuciones Clave

Marco FedProxy: Una solución holística que resuelve la trilema de IP, privacidad y rendimiento mediante un SLM Proxy unificado.
Estrategia H-TIES y PCR: Un método novedoso de agregación que analiza la interferencia a nivel de parámetros para guiar el entrenamiento local y la fusión del servidor, mitigando eficazmente los problemas de datos heterogéneos.
Rendimiento Superior: Demostración experimental de que FedProxy supera significativamente a los métodos basados en OT (como FedOT y FedBiOT) y se acerca al rendimiento del ajuste fino centralizado (CentSFT).

4. Resultados Experimentales

Los experimentos se realizaron con LLaMA2-7B y Mistral-7B en escenarios homogéneos y heterogéneos (8 clientes con datasets distintos).

Rendimiento en Tareas Heterogéneas:
- FedProxy logró una precisión de 0.6011 en QA y 0.7944 en GLUE (con LLaMA2-7B al 50% de compresión).
- Esto representa una mejora absoluta de 12.6 puntos en QA y 20.1 puntos en GLUE sobre FedOT.
- FedProxy alcanzó el 91.3% del rendimiento del ajuste fino centralizado en QA y 89.6% en GLUE, cerrando la brecha de rendimiento de manera significativa.
Análisis de Costo-Rendimiento:
- Aunque FedProxy requiere más comunicación iterativa y cómputo en el cliente (al entrenar un SLM más grande en lugar de solo adaptadores), la inversión se justifica por el salto masivo en precisión.
- El costo de comunicación inicial es comparable al de OT.
Estudios de Ablación:
- La eliminación de PCR o H-TIES degrada el rendimiento, confirmando que ambos componentes son esenciales.
- FedProxy supera a variantes de OT donde el emulador también se entrena, demostrando que la ventaja proviene de la arquitectura integrada del Proxy SLM y no solo de entrenar más parámetros.
- La protección de IP se valida: el SLM Proxy inicial (sin ajustar) tiene un rendimiento muy bajo comparado con el LLM original, minimizando el riesgo de fuga de IP.

5. Significado e Impacto

FedProxy establece un nuevo estándar para la adaptación segura y de alto rendimiento de LLMs en entornos federados.

Superación de Limitaciones de OT: Demuestra que los adaptadores ligeros son insuficientes para tareas complejas y que un modelo sustituto robusto es necesario.
Viabilidad Práctica: Ofrece una solución viable para empresas que poseen LLMs propietarios y desean aprovechar datos distribuidos sin sacrificar la privacidad ni la calidad del modelo.
Eficiencia: La fusión "plug-in" sin entrenamiento elimina la necesidad de costosos re-entrenamientos o latencia adicional en la inferencia, haciendo que la actualización del modelo global sea inmediata y eficiente.

En conclusión, FedProxy transforma el desafío de la fine-tuning federada de un compromiso entre privacidad y rendimiento a una solución donde ambos pueden coexistir mediante una ingeniería de modelos proxy inteligente y estrategias de agregación conscientes de la heterogeneidad.