🤖 AI

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

O artigo propõe o ClientMorpher, um framework de aprendizado federado consciente de roteamento que aproveita assinaturas de ativação de Mistura de Especialistas para agrupar clientes ou especialistas para o ajuste fino de instruções personalizado, mitigando efetivamente a transferência negativa em configurações de dados heterogêneos enquanto mantém a eficiência de comunicação.

Autores originais: Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas, capazes de compreender e gerar linguagem humana. Estes sistemas são frequentemente treinados em vastas quantidades de dados para aprender a seguir instruções, desde resumir um artigo de notícias até responder a perguntas complexas. No entanto, um obstáculo significativo permanece: grande parte dos dados mais valiosos está trancada em organizações privadas ou em dispositivos individuais, protegida por leis de privacidade rigorosas que impedem que sejam partilhados num local centralizado. Para resolver isto, os investigadores utilizam um método chamado aprendizagem federada (federated learning), que permite que muitos computadores diferentes trabalhem juntos para melhorar um modelo partilhado sem nunca trocarem os dados privados que detêm. Recentemente, um tipo específico de arquitetura de modelo conhecido como mistura de especialistas (mixture of experts) ganhou atenção para estas tarefas. Em vez de utilizarem todas as partes do modelo para cada tarefa, estes sistemas ativam apenas um pequeno grupo especializado de componentes para cada peça de informação, tornando-os eficientes e escaláveis. O desafio reside em ensinar estes modelos a adaptar-se às necessidades únicas de diferentes grupos quando esses grupos estão a trabalhar com tipos de dados muito distintos.

Uma equipa de investigadores desenvolveu uma nova abordagem para este problema chamada ClientMorpher, concebida para ajudar estes modelos especializados a aprender melhor quando trabalham com dados descentralizados e diversos. Numa configuração padrão, todos os computadores participantes enviam as suas atualizações para um servidor central, que simplesmente as faz a média para criar um único modelo global. Embora isto funcione bem quando todos estão a realizar tarefas semelhantes, muitas vezes falha quando os participantes são altamente especializados. Por exemplo, se um grupo de computadores estiver a aprender a resumir relatórios médicos e outro estiver a aprender a extrair factos jurídicos, forçar o sistema a partilhar um único modelo médio pode confundir o sistema, levando a um declínio de desempenho para todos. Este fenómeno, conhecido como transferência negativa, ocorre porque as instruções e os padrões de dados são demasiado diferentes para serem fundidos numa solução uniforme. Os investigadores perceberam que a forma como estes modelos de mistura de especialistas decidem quais as partes a utilizar para uma determinada tarefa contém uma pista oculta sobre a natureza dos próprios dados.

O insight central por trás do ClientMorpho é que o mecanismo de roteamento — o decisor interno que seleciona quais os componentes especializados a ativar para cada palavra — atua como uma assinatura única para os dados que processa. Se dois grupos diferentes de computadores estiverem a lidar com tipos de instruções semelhantes, os seus modelos tenderão a ativar os mesmos componentes especializados em padrões semelhantes. Os investigadores propuseram utilizar estes padrões de ativação para organizar a colaboração antes de qualquer aprendizagem realmente começar. Em vez de fazer a média cega das atualizações de todos, o sistema observa primeiro quais os componentes especializados que cada cliente utiliza com mais frequência. Com base nestas observações, os clientes são organizados em grupos distintos. Aqueles com assinaturas de roteamento semelhantes são agrupados para partilhar conhecimento, enquanto aqueles com assinaturas diferentes são mantidos separados. Isto garante que computadores que aprendem a resumir estejam a colaborar com outros resumidores, e que aqueles que aprendem a extrair factos estejam a trabalhar com extratores semelhantes, evitando a confusão que surge ao misturar tarefas incompatíveis.

Para testar esta ideia, os investigadores configuraram uma simulação utilizando um conjunto de dados de exemplos de seguimento de instruções dividido em quatro categorias distintas: classificação de texto, resposta a perguntas de domínio fechado, extração de informação e sumarização. Criaram cenários onde os dados eram distribuídos de forma desigual entre os participantes, mimetizando situações do mundo real onde algumas organizações podem especializar-se numa área, enquanto outras têm uma mistura. Compararam o seu novo método com duas abordagens comuns: treinar inteiramente em dados locais sem qualquer colaboração, e o método padrão de fazer a média das atualizações de todos os participantes, independentemente das suas diferenças. Os resultados mostraram que a abordagem consciente do roteamento superou consistentemente o método padrão. Ao agrupar clientes com base no seu comportamento de roteamento interno, o sistema alcançou uma maior precisão em tarefas como classificação e sumarização em comparação com a técnica tradicional de média, utilizando simultaneamente a mesma quantidade de largura de banda de comunicação.

O estudo explorou duas formas específicas de formar estes grupos. O primeiro método olhou diretamente para os padrões dos próprios clientes, agrupando-os com base nos componentes especializados que utilizavam com mais frequência. O segundo método adotou um ângulo ligeiramente diferente, agrupando primeiro os componentes especializados com base em como eram utilizados em toda a rede e, em seguida, atribuindo os clientes a grupos com base nos clusters de componentes de que dependiam. Ambos os métodos provaram ser eficazes, mas destacaram-se de formas ligeiramente diferentes dependendo de quão desigual era a distribuição dos dados. Quando os dados eram extremamente enviesados, com clientes focados apenas numa tarefa, o agrupamento direto de clientes funcionou muito bem. À medida que os dados se tornavam mais equilibrados, o método que agrupava primeiro os componentes especializados proporcionou resultados mais estáveis. Isto sugere que olhar para o problema tanto da perspetiva do cliente como da perspetiva do componente oferece uma visão mais completa de como colaborar eficazmente.

Em última análise, a investigação demonstra que a mecânica interna destes modelos avançados pode ser utilizada como um guia para uma melhor colaboração. Ao prestar atenção às assinaturas de roteamento que emergem naturalmente durante o processo, o sistema pode identificar quais os participantes que devem trabalhar juntos e quais não devem. Esta abordagem permite uma forma de aprendizagem mais personalizada e eficaz, onde o modelo se adapta às necessidades específicas de diferentes grupos sem sacrificar a privacidade dos seus dados. As descobertas sugerem que, no futuro, os sistemas de aprendizagem federada poderão tornar-se muito mais eficientes ao utilizarem estes sinais internos para se organizarem, garantindo que o conhecimento é partilhado apenas onde é verdadeiramente útil e relevante.

Resumo Técnico: ClientMorpher – Agrupamento Guiado pelo Roteador de MoE para Ajuste de Instrução Federado Heterogêneo

1. Definição do Problema

O ajuste de instrução federado permite que Grandes Modelos de Linguagem (LLMs) se adaptem a dados descentralizados e sensíveis à privacidade sem necessidade de centralização. Embora as arquiteturas de Mistura de Especialistas (MoE) sejam atraentes para o aprendizado federado devido à sua ativação esparsa (reduzindo computação e comunicação), os métodos existentes de MoE federado enfrentam desafios significativos sob distribuições de clientes heterogêneas.

Abordagens atuais, como o Federated Averaging (FedAvg) padrão, agregam indiscriminadamente as atualizações de todos os clientes em um único modelo global. Isso assume uma distribuição de dados uniforme, o que raramente existe na prática. Quando os clientes possuem dados especializados (por exemplo, domínios distintos como sumarização vs. classificação), a agregação indiscriminada leva à transferência negativa, degradando tanto a personalização quanto a qualidade geral do modelo. Além disso, os métodos existentes de aprendizado federado personalizado negligenciam amplamente o comportamento de roteamento dos modelos MoE como um sinal estrutural para identificar similaridades entre clientes antes da otimização.

2. Metodologia: ClientMorpher

Os autores propõem o ClientMorpher, um framework de ajuste de instrução federado personalizado e consciente do roteamento. O insight central é que o roteador em um modelo MoE pré-treinado atua como uma assinatura compacta da distribuição de dados de um cliente. Clientes com distribuições de instrução semelhantes ativam especialistas semelhantes; portanto, o comportamento de roteamento pode guiar grupos de colaboração eficazes antes que a agregação do modelo ocorra.

O framework opera em duas fases principais:

Fase 0: Perfil de Uso de Especialista de Cliente Compartilhado

Antes do início do treinamento, o servidor utiliza um backbone MoE pré-treinado congelado. Cada cliente $i$ processa um pequeno lote de dados locais ( $B$ lotes) através do roteador congelado sem atualizar os parâmetros.

Métrica: O sistema conta a frequência de seleções de especialistas ( $c_{i,e}$ ) para cada cliente $i$ e especialista $e$ .
Perfil: Essas contagens são normalizadas para criar um vetor de perfil de uso de especialista $u_i \in [0, 1]^E$ para cada cliente.
Matriz: Esses vetores formam uma matriz de uso de cliente-especialista $U \in [0, 1]^{N \times E}$ .

Fase 1: Estratégias de Agrupamento (Clustering)

O ClientMorpher investiga duas estratégias complementares para formar grupos de colaboração usando a matriz $U$ :

ClientMorpher-C (Centrado no Cliente):
- Agrupa diretamente os clientes com base em seus perfis de ativação de especialistas ( $u_i$ ).
- Utiliza K-Means nos perfis dos clientes para atribuir clientes aos clusters $C_k$ .
- Clientes com frequências de roteamento semelhantes são agrupados.
ClientMorpher-E (Centrado no Especialista):
- Primeiro, agrupa os especialistas com base em suas assinaturas de uso entre clientes (colunas de $U$ ).
- Os especialistas são agrupados em $K$ clusters com base em quais clientes os utilizam.
- Os clientes são então atribuídos ao cluster de especialistas que recebe a maior "massa" de seu perfil de roteamento local.
- Esta abordagem descobre grupos de especialistas compartilhados entre clientes antes de derivar os grupos de clientes.

Fase 2: Aprendizado Federado Personalizado por Cluster

Uma vez formados os clusters, o framework realiza a otimização federada dentro de cada cluster:

O servidor mantém um estado de adaptação separado $\theta_a^{(k)}$ para cada cluster $k$ .
Clientes no cluster $C_k$ recebem os parâmetros específicos do cluster, realizam o treinamento local (por exemplo, ajuste fino de LoRA) em seus dados locais e enviam as atualizações de volta.
A agregação (FedAvg) ocorre apenas dentro do cluster, não globalmente.
Isso mantém a eficiência de comunicação do ajuste fino de MoE esparso enquanto evita a transferência negativa entre clientes dissimilar.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições específicas:

Proposta de Framework: Introdução do ClientMorpher, um framework que utiliza assinaturas de roteamento de modelos MoE pré-treinados para organizar a colaboração de clientes antes da agregação.
Estratégias de Agrupamento Duplas: Desenvolvimento de dois métodos complementares:
- ClientMorpher-C: Agrupa clientes diretamente usando perfis de ativação de especialistas.
- ClientMorpher-E: Agrupa especialistas com base em assinaturas de uso entre clientes e deriva grupos de clientes a partir dessas comunidades de especialistas.
Validação Empírica: Um estudo abrangente no conjunto de dados Databricks Dolly-15K sob divisões patológicas (tarefa única por cliente) e de Dirichlet (skew variável) heterogêneas. O estudo compara os métodos propostos contra o Treinamento Local, MoE-FedAvg e outros baselines.

4. Resultados Experimentais

Os experimentos foram conduzidos usando o dataset Dolly-15K com quatro tarefas: Classificação (CLS), Resposta a Perguntas de Domínio Fechado (QA), Extração de Informação (IE) e Sumarização (SUM).

Divisão Patológica (Alta Heterogeneidade):
- O ClientMorpher-E alcançou a maior pontuação média de ROUGE-L (0.4986), superando o Treinamento Local (0.4824) e o MoE-FedAvg (0.4927).
- Demonstrou desempenho superior em Classificação, QA e Sumarização, enquanto o ClientMorpher-C se destacou em Extração de Informação.
- Todos os métodos federados trocaram parâmetros LoRA idênticos (0.0878% do modelo), confirmando que os ganhos se devem a uma melhor colaboração, não ao aumento da comunicação.
Divisão de Dirichlet (Heterogeneidade Variável):
- Sob condições altamente heterogêneas ( $\alpha=0.1$ ), ambas as variantes do ClientMorpher superaram o Treinamento Local e igualaram ou excederam o MoE-FedAvg.
- À medida que as distribuições se tornavam mais equilibradas ( $\alpha=1.0$ ), a lacuna de desempenho entre as duas variantes diminuía.
- O ClientMorpher-E geralmente alcançou a maior média geral (0.4936) e um desempenho mais forte em Classificação e IE, enquanto o ClientMorpher-C permaneceu ligeiramente melhor para Sumarização.

5. Significância e Alegações

O artigo afirma que o ClientMorpher fornece uma abordagem eficaz e escalável para o ajuste de instrução federado personalizado de LLMs MoE esparsos. Sua significância reside em:

Utilizar o Roteamento como Sinal: É o primeiro a utilizar explicitamente o comportamento de roteamento MoE como um sinal estrutural para identificar a similaridade entre clientes e guiar a colaboração, em vez de tratar o roteamento apenas como um mecanismo para personalização durante a otimização.
Perspectivas Complementares: O estudo demonstra que o agrupamento centrado no cliente e o agrupamento centrado no especialista capturam formas complementares de similaridade de tarefas. O agrupamento centrado no cliente é particularmente eficaz sob heterogeneidade extrema, enquanto o agrupamento centrado no especialista oferece robustez conforme as distribuições se tornam menos enviesadas.
Eficiência: O framework melhora o desempenho personalizado sobre o Federated Averaging convencional e o treinamento local sem aumentar os custos de comunicação, mantendo os benefícios de eficiência das arquiteturas MoE esparsas.