Resumo Técnico: Aprendizado de Conjunto (Ensemble Learning) para Grandes Modelos de Linguagem em Geração de Texto e Código

1. Definição do Problema

Os Transformadores Pré-treinados Generativos (GPTs) tornaram-se fundamentais para a geração de texto e código. No entanto, os Grandes Modelos de Linguagem (LLMs) individuais enfrentam limitações significativas que dificultam sua confiabilidade e aplicabilidade em diversos cenários do mundo real:

• Inconsistência e Viés: LLMs únicos frequentemente produzem saídas inconsistentes e exibem vieses devido aos seus dados de treinamento e parâmetros arquiteturais fixos, limitando sua capacidade de representar diversos padrões de linguagem.
• Teto de Desempenho: Estudos recentes indicam que mesmo os melhores LLMs individuais alcançam apenas aproximadamente 57% na qualidade de geração de chat devido a restrições arquiteturais.
• Restrições de Código Fechado: A natureza proprietária de muitos LLMs poderosos restringe a adoção industrial devido a preocupações com a privacidade de dados e limita a capacidade de integrar modelos diversos.
• Alucinações: A dependência de um único modelo pode levar a alucinações e degradação da qualidade do texto, particularmente quando o modelo carece de acesso ao conhecimento externo.

Embora existam técnicas como Mixture-of-Experts (MoE) e critérios de treinamento aprimorados, elas frequentemente permanecem no escopo de arquiteturas de modelo único. Há uma necessidade de uma revisão abrangente das técnicas de ensemble de LLM que combinam múltiplos modelos para superar essas limitações de modelo único, especificamente para geração de texto e código.

2. Metodologia

Este artigo fornece um levantamento e uma análise sistemática de abordagens emergentes de ensemble de LLM. Os autores categorizam essas técnicas em sete métodos primários, distinguindo entre ensembles de Nível de Arquitetura (modificando a estrutura ou parâmetros do modelo) e de Nível de Modelo (combinando saídas ou decisões de roteamento sem necessariamente fundir pesos).

A. Ensembles de Nível de Arquitetura

1. Fusão de Pesos (Weight Merging): Combina parâmetros de múltiplos LLMs treinados em um único modelo.
   • Técnicas: Média simples, Task Arithmetic (usando vetores de tarefa definidos como a diferença entre os pesos ajustados e os pré-treinados), TIES (Trimming, Interpolation, and Sign-based selection) e DARE (Drop And RE-scale).
   • Objetivo: Consolidar conhecimentos aprendidos diversos sem treinamento adicional.
2. Fusão de Conhecimento (Knowledge Fusion): Treina um LLM alvo usando uma distribuição probabilística fundida derivada de múltiplos LLMs de origem.
   • Técnicas: Estende a destilação de conhecimento definindo funções de fusão sobre distribuições de predição de nível de token. Aborda problemas de alinhamento de tokens (tokenizadores diferentes) usando programação dinâmica ou distância de edição mínima.
   • Objetivo: Transferir o conhecimento coletivo de modelos estruturalmente diferentes para um modelo alvo.
3. Mistura de Especialistas (Mixture-of-Experts - MoE): Uma arquitetura transformer onde uma rede de portão (gating network) roteia tokens de entrada para sub-redes de especialistas específicas.
   • Técnicas: A ativação esparsa (ex: selecionando os top-$n$ especialistas) permite escalar a capacidade do modelo sem aumentos proporcionais no custo computacional.
   • Objetivo: Modelar distribuições de dados de múltiplos domínios de forma eficiente.
4. Ensemble de Recompensa (Reward Ensemble): Agrega múltiplos Modelos de Recompensa (RMs) dentro do Aprendizado por Reforço com Feedback Humano (RLHF).
   • Técnicas: Usa otimização de média, otimização de pior caso ou otimização ponderada por incerteza para combinar pontuações de múltiplos RMs.
   • Objetivo: Mitigar o "reward hacking" (sobre-otimização) e melhorar o alinhamento com as preferências humanas.

B. Ensembles de Nível de Modelo

5. Ensemble de Saída (Output Ensemble): Combina respostas de múltiplos LLMs no momento da inferência sem retreinamento.
   • Técnicas: Votação majoritária para classificação, ou o uso de um LLM sintetizador para fundir múltiplos textos gerados (ex: Mixture-of-Agents).
   • Objetivo: Aproveitar os pontos fortes de diferentes modelos base para aumentar a precisão e a robustez.
6. Roteamento (Routing): Direciona consultas de entrada para o LLM mais adequado de um conjunto baseado em um modelo de pontuação.
   • Técnicas: Usa classificadores (ex: kNN, transformers) ou funções de pontuação (ex: BART score) para prever o melhor modelo para uma tarefa específica, equilibrando custo e desempenho.
   • Objetivo: Otimizar custos de implantação mantendo alto desempenho.
7. Cascata (Cascading): Invoca uma sequência de LLMs, começando com um modelo mais fraco/barato e escalando para modelos mais fortes apenas se necessário.
   • Técnicas: Um tomador de decisão avalia a saída inicial (ex: via pontuações de concordância ou verificações de consistência) contra um limiar. Se o limiar não for atingido, um modelo mais poderoso é invocado.
   • Objetivo: Alcançar desempenho próximo ao ideal por uma fração do custo.

C. Estrutura de Avaliação

O artigo avalia esses métodos usando métricas padrão para geração de texto e código:

• Texto: Acurácia, Taxa de Vitória (Win Rate), BLEU, Pontuações de Alinhamento, Avaliação Humana, MMLU, GSM8K, AlpacaEval, MT-Bench.
• Código: Pass@k, CodeBLEU, Tempo de Execução, HumanEval, MBPP.

3. Principais Contribuições e Resultados

O artigo revisa trabalhos representativos (2023–2024) para cada categoria, destacando ganhos de desempenho específicos:

• Fusão de Pesos: Métodos como DARE e TIES permitem fundir modelos especializados (ex: modelos de matemática e código) sem treinamento. Os resultados mostram que modelos fundidos podem superar o GPT-3.5 em tarefas específicas (ex: raciocínio matemático em japonês) e equilibrar capacidades entre domínios, embora ainda possam ficar atrás do GPT-4 em conversação geral.
• Fusão de Conhecimento: Modelos como o FusionChat (7 bilhões de parâmetros) aproveitam com sucesso o conhecimento de diversas arquiteturas (Mixtral, Solar, OpenChat) para superar os modelos constituintes em raciocínio e codificação, alcançando resultados competitivos com o GPT-3.5 de código fechado.
• Mistura de Especialistas (MoE): Arquiteturas como Mixtral 8x7B e OLMOE demonstram que a ativação esparsa pode superar modelos densos maiores (ex: LLaMA 2 70B) em MMLU e geração de código (HumanEval) usando significativamente menos parâmetros ativos.
• Ensemble de Recompensa: Ensembles de recompensa baseados em LoRA melhoram as pontuações de alinhamento (ex: de <4.16 para 4.35 no MT-Bench) e a precisão em conjuntos de dados de utilidade sem aumentos proporcionais de custo computacional.
• Ensemble de Saída: A abordagem Mixture-of-Agents (MoA), que utiliza uma arquitetura em camadas de agentes, alcançou uma taxa de vitória de 65,1% no AlpacaEval2.0 (vs. 57,5% para o GPT-4o mini) e 92,0% no HumanEval, superando modelos comerciais fortes.
• Roteamento: Sistemas como Routoo e MLC Router demonstram que o roteamento entre modelos de código aberto pode alcançar 75,87% de precisão no MMLU a menos da metade do custo do GPT-3.5, e aproximar-se do desempenho do GPT-4-Turbo a metade do custo ao misturar modelos de código fechado.
• Cascata: Cascata de FrugalGPT e Mixture-of-Thought (MoT) reduzem custos em até 80% enquanto mantêm ou superam ligeiramente a precisão do GPT-4 em tarefas de classificação e raciocínio.

4. Significância e Alegações

O artigo afirma que as técnicas de ensemble de LLM oferecem um caminho prático para superar as limitações das abordagens de modelo único, proporcionando:

• Diversidade e Qualidade Aprimoradas: Ao combinar múltiplos agentes, os ensembles melhoram a representação de diversos padrões de linguagem e reduzem vieses.
• Eficiência de Custo e Recursos: Técnicas como roteamento, cascata e fusão de pesos permitem saídas de alto desempenho sem o fardo computacional de treinar novos modelos massivos do zero.
• Flexibilidade: Esses métodos permitem a integração de modelos tanto de código aberto quanto de código fechado, abordando preocupações de privacidade e permitindo um design de sistema modular.
• Aplicabilidade no Mundo Real: O levantamento fornece uma base para selecionar estratégias de ensemble apropriadas para tarefas específicas (ex: raciocínio, geração de código, seguimento de instruções) em setores como medicina, finanças e educação.

Os autores concluem que, embora persistam desafios — particularmente em adaptar esses métodos especificamente para a geração de código e estendê-los para LLMs multimodais — o aprendizado de conjunto representa um passo crucial para democratizar as capacidades avançadas de IA e otimizar os processos de tomada de decisão na indústria.