🤖 AI

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

El artículo propone ClientMorpher, un marco de aprendizaje federado sensible al enrutamiento que aprovecha las firmas de activación de Mezcla de Expertos para agrupar clientes o expertos para el ajuste fino de instrucciones personalizado, mitigando eficazmente la transferencia negativa en entornos de datos heterogéneos mientras mantiene la eficiencia de comunicación.

Autores originales: Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los grandes modelos de lenguaje se han convertido en herramientas poderosas capaces de comprender y generar lenguaje humano. Estos sistemas suelen entrenarse con vastas cantidades de datos para aprender cómo seguir instrucciones, desde resumir un artículo de noticias hasta responder preguntas complejas. Sin embargo, un obstáculo significativo persiste: gran parte de los datos más valiosos están bajo llave en organizaciones privadas o en dispositivos individuales, protegidos por estrictas leyes de privacidad que impiden su intercambio en una ubicación centralizada. Para resolver esto, los investigadores utilizan un método llamado aprendizaje federado (federated learning), que permite que muchos ordenadores diferentes trabajen juntos para mejorar un modelo compartido sin intercambiar nunca los datos privados que poseen. Recientemente, un tipo específico de arquitectura de modelo conocido como mezcla de expertos (mixture of experts) ha ganado atención para estas tareas. En lugar de utilizar todas las partes del modelo para cada tarea, estos sistemas activan solo un pequeño grupo especializado de componentes para cada pieza de información, lo que los hace eficientes y escalables. El desafío radica en enseñar a estos modelos a adaptarse a las necesidades únicas de diferentes grupos cuando esos grupos trabajan con tipos de datos muy distintos.

Un equipo de investigadores ha desarrollado un nuevo enfoque para este problema llamado ClientMorpher, diseñado para ayudar a estos modelos especializados a aprender mejor cuando trabajan con datos descentralizados y diversos. En una configuración estándar, todos los ordenadores participantes envían sus actualizaciones a un servidor central, que simplemente las promedia para crear un único modelo global. Si bien esto funciona bien cuando todos realizan tareas similares, a menudo falla cuando los participantes son altamente especializados. Por ejemplo, si un grupo de ordenadores está aprendiendo a resumir informes médicos y otro está aprendiendo a extraer hechos legales, forzarlos a compartir un único modelo promediado puede confundir al sistema, provocando un declive en el rendimiento para todos. Este fenómeno, conocido como transferencia negativa, ocurre porque las instrucciones y los patrones de datos son demasiado diferentes para ser mezclados en una solución uniforme. Los investigadores se dieron cuenta de que la forma en que estos modelos de mezcla de expertos deciden qué partes utilizar para una tarea contiene una pista oculta sobre la naturaleza de los datos mismos.

La idea central detrás de ClientMorpher es que el mecanismo de enrutamiento (routing mechanism) —el decisor interno que selecciona qué componentes especializados activar para cada palabra— actúa como una firma única para los datos que procesa. Si dos grupos diferentes de ordenadores manejan tipos de instrucciones similares, sus modelos tenderán a activar los mismos componentes especializados siguiendo patrones similares. Los investigadores propusieron utilizar estos patrones de activación para organizar la colaboración antes de que comience cualquier aprendizaje real. En lugar de promediar ciegamente las actualizaciones de todos, el sistema primero observa qué componentes especializados utiliza cada cliente con mayor frecuencia. Basándose en estas observaciones, los clientes se clasifican en grupos distintos. Aquellos con firmas de enrutamiento similares se agrupan para compartir conocimiento, mientras que aquellos con firmas diferentes se mantienen separados. Esto asegura que los ordenadores que aprenden a resumir colaboren con otros resumidores, y que aquellos que aprenden a extraer hechos trabajen con extractores similares, evitando la confusión que surge al mezclar tareas incompatibles.

Para probar esta idea, los investigadores configuraron una simulación utilizando un conjunto de datos de ejemplos de seguimiento de instrucciones dividido en cuatro categorías distintas: clasificación de texto, respuesta a preguntas de dominio cerrado, extracción de información y resumen. Crearon escenarios donde los datos se distribuían de manera desigual entre los participantes, imitando situaciones del mundo real donde algunas organizaciones podrían especializarse en un área mientras que otras tienen una mezcla. Compararon su nuevo método contra dos enfoques comunes: entrenar enteramente con datos locales sin ninguna colaboración, y el método estándar de promediar las actualizaciones de todos los participantes independientemente de sus diferencias. Los resultados mostraron que el enfoque consciente del enrutamiento superó consistentemente al método estándar. Al agrupar a los clientes basándose en su comportamiento de enrutamiento interno, el sistema logró una mayor precisión en tareas como la clasificación y el resumen en comparación con la técnica tradicional de promediado, todo ello utilizando la misma cantidad de ancho de banda de comunicación.

El estudio exploró dos formas específicas de formar estos grupos. El primer método observó directamente los patrones de los propios clientes, agrupándolos según los componentes especializados que utilizaban con más frecuencia. El segundo método adoptó un ángulo ligeramente distinto, agrupando primero los componentes especializados según cómo eran utilizados en toda la red, y luego asignando los clientes a grupos basándose en los grupos de componentes en los que confiaban. Ambos métodos resultaron efectivos, pero destacaron de formas ligeramente distintas dependiendo de cuán desigual fuera la distribución de los datos. Cuando los datos estaban extremadamente sesgados, con clientes enfocados en una sola tarea, el agrupamiento directo de clientes funcionó muy bien. A medida que los datos se volvieron más equilibrados, el método que agrupaba primero los componentes especializados proporcionó resultados más estables. Esto sugiere que mirar el problema tanto desde la perspectiva del cliente como desde la perspectiva del componente ofrece una visión más completa de cómo colaborar eficazmente.

En última instancia, la investigación demuestra que la mecánica interna de estos modelos avanzados puede utilizarse como una guía para una mejor colaboración. Al prestar atención a las firmas de enrutamiento que emergen naturalmente durante el proceso, el sistema puede identificar qué participantes deben trabajar juntos y cuáles no. Este enfoque permite una forma de aprendizaje más personalizada y efectiva, donde el modelo se adapta a las necesidades específicas de diferentes grupos sin sacrificar la privacidad de sus datos. Los hallazgos sugieren que, en el futuro, los sistemas de aprendizaje federado podrían volverse mucho más eficientes al utilizar estas señales internas para organizarse a sí mismos, asegurando que el conocimiento se comparta solo donde sea verdaderamente útil y relevante.

Resumen Técnico: ClientMorpher – Agrupamiento Guiado por el Enrutador de MoE para el Ajuste de Instrucciones Federado Heterogéneo

1. Declaración del Problema

El ajuste de instrucciones federado permite que los Modelos de Lenguaje de Gran Escala (LLM) se adapten a datos descentralizados y sensibles a la privacidad sin necesidad de centralización. Aunque las arquitecturas de Mezcla de Expertos (MoE) son atractivas para el aprendizaje federado debido a su activación dispersa (reduciendo la computación y la comunicación), los métodos de MoE federado existentes enfrentan desafíos significativos bajo distribuciones de clientes heterogéneas.

Los enfoques actuales, como el promedio federado estándar (FedAvg), agregan indiscriminadamente las actualizaciones de todos los clientes en un único modelo global. Esto asume una distribución de datos uniforme, lo cual rara vez ocurre en la práctica. Cuando los clientes poseen datos especializados (por ejemplo, dominios distintos como resumen vs. clasificación), la agregación indiscriminada conduce a una transferencia negativa, degradando tanto la personalización como la calidad general del modelo. Además, los métodos existentes de aprendizaje federado personalizado pasan por alto en gran medida el comportamiento de enrutamiento de los modelos MoE como una señal estructural para identificar similitudes entre clientes antes de la optimización.

2. Metodología: ClientMorpher

Los autores proponen ClientMorpher, un marco de ajuste de instrucciones federado personalizado y consciente del enrutamiento. La idea central es que el enrutador en un modelo MoE preentrenado actúa como una firma compacta de la distribución de datos de un cliente. Los clientes con distribuciones de instrucciones similares activan expertos similares; por lo tanto, el comportamiento de enrutamiento puede guiar grupos de colaboración efectivos antes de que ocurra la agregación del modelo.

El marco opera en dos fases principales:

Fase 0: Perfilado Compartido del Uso de Expertos por Cliente

Antes de comenzar el entrenamiento, el servidor utiliza un backbone MoE preentrenado congelado. Cada cliente $i$ procesa un pequeño lote de datos locales ( $B$ lotes) a través del enrutador congelado sin actualizar los parámetros.

Métrica: El sistema cuenta la frecuencia de las selecciones de expertos ( $c_{i,e}$ ) para cada cliente $i$ y experto $e$ .
Perfil: Estos conteos se normalizan para crear un vector de perfil de uso de expertos $u_i \in [0, 1]^E$ para cada cliente.
Matriz: Estos vectores forman una matriz de uso de expertos-cliente $U \in [0, 1]^{N \times E}$ .

Fase 1: Estrategias de Agrupamiento (Clustering)

ClientMorpher investiga dos estrategias complementarias para formar grupos de colaboración utilizando la matriz $U$ :

ClientMorpher-C (Centrado en el Cliente):
- Agrupa directamente a los clientes basándose en sus perfiles de activación de expertos ( $u_i$ ).
- Utiliza K-Means sobre los perfiles de los clientes para asignar clientes a los grupos $C_k$ .
- Los clientes con frecuencias de enrutamiento similares se agrupan juntos.
ClientMorpher-E (Centrado en el Experto):
- Primero agrupa los expertos basándose en sus firmas de uso entre clientes (columnas de $U$ ).
- Los expertos se agrupan en $K$ clusters basados en qué clientes los utilizan.
- Los clientes se asignan luego al grupo de expertos que recibe la mayor "masa" de su perfil de enrutamiento local.
- Este enfoque descubre grupos de expertos compartidos entre clientes antes de derivar los grupos de clientes.

Fase 2: Aprendizaje Federado Personalizado por Grupo

Una vez formados los grupos, el marco realiza la optimización federada dentro de cada grupo:

El servidor mantiene un estado de adaptación separado $\theta_a^{(k)}$ para cada grupo $k$ .
Los clientes en el grupo $C_k$ reciben los parámetros específicos del grupo, realizan el entrenamiento local (por ejemplo, ajuste fino de LoRA) en sus datos locales y envían las actualizaciones de vuelta.
La agregación (FedAvg) ocurre solo dentro del grupo, no de forma global.
Esto mantiene la eficiencia de comunicación del ajuste fino de MoE disperso mientras evita la transferencia negativa entre clientes disímiles.

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

Propuesta de Marco: Introducción de ClientMorpher, un marco que aprovecha las firmas de enrutamiento de modelos MoE preentrenados para organizar la colaboración de clientes antes de la agregación.
Estrategias de Agrupamiento Duales: Desarrollo de dos métodos complementarios:
- ClientMorpher-C: Agrupa clientes directamente usando perfiles de activación de expertos.
- ClientMorpher-E: Agrupa expertos basándose en firmas de uso entre clientes y deriva grupos de clientes a partir de estas comunidades de expertos.
Validación Empírica: Un estudio exhaustivo sobre el conjunto de datos Databricks Dolly-15K bajo divisiones heterogéneas patológicas (una sola tarea por cliente) y basadas en Dirichlet (sesgo variable). El estudio compara los métodos propuestos contra el Entrenamiento Local, MoE-FedAvg y otras líneas base.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el conjunto de datos Dolly-15K con cuatro tareas: Clasificación (CLS), Preguntas y Respuestas de dominio cerrado (QA), Extracción de Información (IE) y Resumen (SUM).

División Patológica (Alta Heterogeneidad):
- ClientMorpher-E logró la puntuación ROUGE-L promedio más alta (0.4986), superando al Entrenamiento Local (0.4824) y a MoE-FedAvg (0.4927).
- Mostró un rendimiento superior en Clasificación, QA y Resumen, mientras que ClientMorpher-C destacó en la Extracción de Información.
- Todos los métodos federados intercambiaron parámetros LoRA idénticos (0.0878% del modelo), confirmando que las ganancias se debieron a una mejor colaboración, no a un aumento en la comunicación.
División de Dirichlet (Heterogeneidad Variable):
- Bajo condiciones altamente heterogéneas ( $\alpha=0.1$ ), ambas variantes de ClientMorpher superaron al Entrenamiento Local y igualaron o excedieron a MoE-FedAvg.
- A medida que las distribuciones se volvieron más equilibradas ( $\alpha=1.0$ ), la brecha de rendimiento entre las dos variantes se redujo.
- ClientMorpher-E generalmente logró el promedio general más alto (0.4936) y un desempeño más fuerte en Clasificación e IE, mientras que ClientMorpher-C se mantuvo ligeramente mejor para Resumen.

5. Significado y Reivindicaciones

El artículo afirma que ClientMorpher proporciona un enfoque efectivo y escalable para el ajuste de instrucciones federado personalizado de LLMs MoE dispersos. Su importancia radica en:

Utilización del Enrutamiento como Señal: Es el primero en utilizar explícitamente el comportamiento de enrutamiento de MoE como una señal estructural para identificar la similitud entre clientes y guiar la colaboración, en lugar de tratar el enrutamiento únicamente como un mecanismo para la personalización durante la optimización.
Perspectivas Complementarias: El estudio demuestra que el agrupamiento centrado en el cliente y el centrado en el experto capturan formas complementarias de similitud de tareas. El agrupamiento centrado en el cliente es particularmente efectivo bajo una heterogeneidad extrema, mientras que el agrupado centrado en el experto ofrece robustez a medida que las distribuciones se vuelven menos sesgadas.
Eficiencia: El marco mejora el rendimiento personalizado sobre el promedio federado convencional y el entrenamiento local sin aumentar los costos de comunicación, manteniendo los beneficios de eficiencia de las arquitecturas MoE dispersas.