Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts

Este artigo avalia empiricamente os trade-offs entre ensembling, merging e routing de modelos de linguagem com parâmetros eficientes, concluindo que o routing oferece os maiores ganhos de desempenho e que técnicas de seleção de especialistas podem mitigar seu custo computacional.

O essencial

Imagine que você tem uma biblioteca gigante de especialistas. Cada um deles é um "assistente" treinado para fazer uma coisa muito específica: um é mestre em escrever poemas, outro em resolver equações matemáticas, outro em traduzir idiomas, e assim por diante. Todos eles aprenderam a partir do mesmo "cérebro base" (um modelo de linguagem grande), mas cada um se especializou em uma tarefa diferente.

Agora, imagine que você recebe uma pergunta misteriosa. Você não sabe se é uma pergunta de matemática, de poesia ou de história. O que você faz? Você precisa decidir como usar esses especialistas para dar a melhor resposta possível, sem saber qual é a tarefa exata.

Este artigo da Microsoft Research e da NYU investiga três maneiras diferentes de fazer essa equipe trabalhar junta:

1. O "Comitê" (Ensembling)

A Analogia: Imagine que você pergunta a todos os especialistas ao mesmo tempo. Cada um dá sua resposta, e você pega a média de todas elas para decidir o que fazer.

• Vantagem: É muito preciso. Como você ouve todo mundo, é difícil errar feio.
• Desvantagem: É lento e caro. Você precisa ligar todos os 256 especialistas de uma vez só para responder a uma única pergunta. É como pedir para 256 pessoas escreverem um relatório só para você ler o resumo.

2. A "Fusão" (Merging)

A Analogia: Em vez de ouvir todos, você pega o "cérebro" de cada especialista, mistura tudo em uma panela e cria um novo especialista único. Você tira a média das ideias de todos e cria um "super-generalista".

• Vantagem: Muito rápido. Você só precisa ligar um único cérebro.
• Desvantagem: Pode perder a especialidade. Se você misturar um expert em matemática com um expert em poesia, o resultado pode ser alguém que faz um pouco de tudo, mas não faz nada muito bem. O artigo descobriu que, quando as tarefas são muito diferentes, essa mistura simples (fusão uniforme) não funciona tão bem quanto o "Comitê".

3. O "Gerente Inteligente" (Routing)

A Analogia: Esta é a abordagem mais sofisticada. Você tem um gerente que lê a sua pergunta e decide, na hora, quem deve responder. Se a pergunta é sobre matemática, o gerente aciona o expert em matemática e ignora o poeta. Se é sobre história, ele chama o historiador.

• Vantagem: É o melhor dos dois mundos. É rápido (usa apenas os especialistas certos) e muito preciso (usa o especialista ideal para cada caso).
• Desvantagem: Requer um pouco mais de inteligência para o gerente tomar a decisão certa.

---

O que os pesquisadores descobriram?

O artigo faz um teste de "quem é o melhor" e traz algumas surpresas:

1. Não é só uma média simples: Se você apenas misturar os cérebros (Fusão) ou apenas ouvir todos igualmente (Comitê Uniforme), você perde pontos. O segredo é aprender quem é mais importante. Se você ensina o sistema a dar mais peso para os especialistas certos (usando matemática avançada chamada SGD), o desempenho melhora muito.
2. O "Gerente" (Routing) vence: A abordagem onde o sistema decide dinamicamente quem responde (Routing) foi a campeã. Ela quase chegou ao nível de perfeição de um "Oráculo" (que seria um sistema mágico que sabe exatamente qual especialista usar antes mesmo de você fazer a pergunta).
3. O problema do custo: O "Gerente" perfeito precisa aprender muitas coisas novas, o que pode ser pesado. Para resolver isso, os autores sugeriram agrupar os especialistas.
   • Analogia: Em vez de ter 256 especialistas individuais, você cria 10 "chefes de equipe". Cada chefe cuida de um grupo de tarefas parecidas (ex: um chefe cuida de todas as tarefas de "perguntas de leitura", outro cuida de "matemática").
   • Ao usar esses grupos, você consegue manter a alta performance com muito menos trabalho computacional.

Resumo da Ópera

Se você quer a melhor performance possível e tem recursos para gastar, use o Gerente Inteligente (Routing) que decide dinamicamente quem responde.

Se você quer economia e simplicidade, misturar os cérebros (Fusão) funciona, mas não é tão bom quanto o Gerente. E se você quer algo rápido e decente, ouvir todos igualmente (Comitê) ainda é uma aposta muito forte, embora seja lento.

A grande lição é que, no mundo da Inteligência Artificial, não existe uma solução única. Às vezes, é melhor ter uma equipe que se adapta a cada situação (Routing) do que tentar forçar todos a trabalharem juntos da mesma maneira o tempo todo.

Resumo técnico

Título: Trade-offs em Ensembling, Fusão e Roteamento entre Especialistas Eficientes em Parâmetros

1. Problema e Contexto

Com o aumento de modelos de linguagem grandes (LLMs) ajustados (fine-tuned) publicamente, surge a oportunidade de integrar esses modelos para aprendizado multi-tarefa sem acesso aos dados originais de treinamento. Muitos desses modelos são ajustados usando métodos eficientes em parâmetros, como LoRA (Low-Rank Adaptation), a partir da mesma base pré-treinada (ex: Phi-2).

O desafio central é: Como integrar otimamente esses $N$ especialistas independentes para obter desempenho robusto em múltiplas tarefas, minimizando custos computacionais, especialmente quando o identificador da tarefa não é conhecido no momento da inferência (cenário agnóstico à tarefa)?

Três estratégias principais de fusão de modelos são comparadas:

1. Ensembling (Agregação): Combina as saídas (probabilidades) de múltiplos modelos independentes.
2. Merging (Fusão de Pesos): Funde os pesos dos modelos (parâmetros LoRA) em um único modelo via média ponderada.
3. Routing (Roteamento): Integra modelos de forma dependente da entrada, selecionando ou ponderando especialistas dinamicamente para cada input.

2. Metodologia

Os autores utilizam uma biblioteca pública de 256 especialistas LoRA, ajustados independentemente em tarefas do conjunto Flan v2 a partir do modelo Phi-2 (2.8B parâmetros).

Abordagens Avaliadas:

• Ensembling:
  • Uniforme: Média simples das probabilidades de saída ($\lambda_i = 1/N$).
  • Aprendido (SGD): Otimização dos coeficientes de ponderação $\lambda_i$ via Descida de Gradiente Estocástica (SGD) para minimizar a perda multi-tarefa.
  • Distilação: Treinamento de um único modelo para imitar o ensemble, reduzindo o custo de inferência.
• Merging (Fusão de Pesos):
  • Uniforme: Média simples dos parâmetros LoRA ($A^* = \sum \lambda_i A_i$).
  • Aprendido (SGD): Otimização dos coeficientes de fusão, testando variantes globais (mesmos pesos para todas as camadas) e dependentes da camada.
  • Análise de Conectividade de Modos: Investigação da hipótese de que modelos ajustados a partir da mesma inicialização residem em regiões conectadas do espaço de parâmetros (sem barreiras de perda).
• Routing:
  • Generalização do merging onde os coeficientes $\lambda_i$ dependem do input $x$.
  • Implementação via otimização direta de SGD (aprendendo uma função de roteamento).
  • Comparação com o baseline Arrow (um mecanismo de roteamento zero-shot baseado em SVD).
• Redução de Especialistas (Refatoração):
  • Uso de Model-Based Clustering (MBC) para agrupar tarefas similares e criar 10 especialistas "clusterizados" (MBC experts) em vez de usar os 256 originais.
  • Análise de seleção de subconjuntos de especialistas via seleção gulosa e agrupamento hierárquico.

3. Contribuições Principais

1. Avaliação Comparativa Rigorosa: Análise aprofundada das compensações (trade-offs) entre ensembling, merging e routing em um cenário multi-tarefa agnóstico.
2. Validação da Conectividade de Modos: Demonstração de que, embora modelos ajustados de uma mesma inicialização possam ser interpolados linearmente, a conectividade de modos falha em cenários multi-tarefa complexos, limitando a eficácia do merging simples.
3. Superioridade do Roteamento: Evidência de que o roteamento (input-dependent) supera significativamente tanto o merging quanto o ensembling, aproximando-se do desempenho de um "Oráculo" (que conhece a tarefa exata).
4. Eficiência via Seleção de Especialistas: Demonstração de que técnicas de agrupamento (clustering) e seleção de subconjuntos podem reduzir drasticamente o número de especialistas (de 256 para 10 ou menos) mantendo a maior parte do desempenho, mitigando o custo computacional do roteamento.

4. Resultados Chave

• Desempenho Relativo:
  • Routing (SGD-otimizado): Alcançou o melhor desempenho entre todos os métodos não-oráculo, superando tanto o merging quanto o ensembling. Ele consegue adaptar-se dinamicamente a cada entrada.
  • Ensembling: O ensembling uniforme é uma base forte e supera o merging uniforme, mas é computacionalmente caro (requer $N$ passadas para frente). O ensembling aprendido via SGD melhora ainda mais, mas mantém o alto custo de inferência.
  • Merging: O merging uniforme performou mal, muitas vezes pior que o ensembling. Isso sugere que a hipótese de conectividade de modos (que modelos de tarefas diferentes podem ser simplesmente somados) não se sustenta bem em tarefas diversas. O merging aprendido (SGD) melhorou, mas ainda ficou abaixo do ensembling e do routing.
• Custo vs. Benefício:
  • O Ensembling oferece robustez, mas o custo de inferência escala linearmente com o número de modelos.
  • O Merging é eficiente na inferência (um único modelo), mas sacrifica desempenho devido à falta de adaptabilidade e problemas de conectividade.
  • O Routing oferece o melhor equilíbrio: desempenho próximo ao oráculo com um custo de inferência moderado (um único forward pass com pesos dinâmicos), embora exija mais parâmetros para aprender a política de roteamento.
• Redução de Especialistas:
  • O uso de MBC Experts (10 especialistas agrupados) melhorou o desempenho em ensembling e merging em comparação aos especialistas privados (256), pois reduz a variabilidade e o ruído.
  • No entanto, para o roteamento (especialmente Arrow), especialistas privados (mais especializados) funcionaram melhor.
  • A seleção gulosa mostrou que usar apenas ~60% dos especialistas (150/256) recupera quase todo o desempenho do oráculo, indicando que muitos especialistas são redundantes.

5. Significado e Conclusão

O trabalho fornece um guia prático para a fusão de modelos em cenários multi-tarefa:

• Para máxima performance: O Roteamento otimizado via SGD é a escolha superior, superando a fusão simples de pesos e a agregação estática de saídas.
• Para eficiência computacional: Se o custo de inferência for crítico, o Merging é uma opção, mas deve-se esperar perdas de desempenho significativas a menos que se use coeficientes aprendidos.
• Para escalabilidade: A agrupamento de especialistas (Clustering) é uma estratégia vital. É possível reduzir o conjunto de especialistas de centenas para dezenas (ou até menos) sem degradação severa, tornando o roteamento e a fusão viáveis em ambientes com recursos limitados.

Em suma, o artigo conclui que a flexibilidade do roteamento dependente da entrada justifica sua complexidade, oferecendo ganhos substanciais sobre métodos estáticos, enquanto técnicas de refatoração de especialistas são essenciais para tornar essas soluções escaláveis.