🤖 machine learning

FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data

O artigo apresenta o FusionFactory, um framework sistemático e o benchmark acompanhante LLMFusionBench que aproveita dados de logs de múltiplos LLMs para fundir capacidades complementares nos níveis de consulta, pensamento e modelo, superando consistentemente modelos individuais em diversas tarefas ao mesmo tempo em que acomoda restrições de implementação do mundo real.

Autores originais: Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You

Publicado 2026-07-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tenha uma biblioteca massiva de conversas entre pessoas e muitos assistentes de IA diferentes. Alguns IAs são ótimas em matemática, outras são magas na programação e algumas são enciclopédias de fatos gerais. Normalmente, quando você faz uma pergunta, tem que escolher apenas um IA para responder. Mas e se você pudesse olhar para todas essas conversas passadas e combinar as melhores partes de cada IA em um único sistema superinteligente?

É exatamente sobre isso que este artigo, FusionFactory, trata. Os autores construíram um kit de ferramentas gigante para descobrir a melhor maneira de misturar e combinar esses diferentes cérebros de IA usando seus "dados de log" (os registros do que eles disseram e o quão bem eles se saíram).

Aqui está a divisão simples da descoberta deles:

1. O Problema: Muitas Escolhas, Uma Pergunta

Pense no mundo da IA como um restaurante com 20 chefs diferentes.

Chef A faz a melhor pizza.
Chef B faz a melhor sopa.
Chef C é um mestre nas sobremesas.

Se você pede uma refeição, geralmente tem que escolher apenas um chef para cozinhar todo o seu jantar. Mas os autores notaram que, no mundo real, as empresas costumam pedir a todos os chefs para cozinharem o mesmo prato e manter um registro de quem fez o quê. Eles perguntaram: "Podemos usar esses registros para criar um 'Super Chef' que saiba fazer a pizza, a sopa e a sobremesa perfeitas, tudo de uma vez?"

2. A Solução: FusionFactory (As Três Maneiras de Misturar)

Os autores criaram um framework chamado FusionFactory que tenta três maneiras diferentes de combinar esses chefs, dependendo de quando você os mistura.

Nível 1: O "Garçom Inteligente" (Fusão ao Nível da Consulta/Query-Level)

Como funciona: Antes mesmo de você fazer o pedido, um garçom inteligente olha para o seu pedido. Se você pede um problema de matemática, o garçom envia imediatamente para o Chef de Matemática. Se você pede uma piada, ele envia para o Chef de Comédia.
A Analogia: É como um guarda de trânsito direcionando carros para a faixa mais rápida.
O Resultado: Este é o método mais barato e rápido. Ele não muda os chefs; apenas escolhe o certo para o trabalho. Isso economiza dinheiro porque você não está perdendo tempo pedindo para o chef errado tentar.

Nível 2: O "Livro de Receitas" (Fusão ao Nível do Pensamento/Thought-Level)

Como funciona: Em vez de apenas escolher um chef, este método olha para as melhores receitas que os chefs usaram no passado. Se 10 chefs resolveram um problema de matemática difícil, o sistema lê os passos deles, resume a "forma perfeita de pensar sobre isso" e entrega esse resumo para o chef que você está usando.
A Analogia: Imagine que você está cozinhando e, antes de começar, alguém lhe entrega um post-it que diz: "Aqui está o truque secreto que os melhores chefs usaram para resolver este problema específico". Você então cozinha seu prato usando esse truque.
O Resultado: Este foi o vencedor. Deu o maior aumento de desempenho. É como dar ao chef uma folha de dicas dos melhores padrões de pensamento sem ter que retreiná-lo.

Nível 3: O "Chef Aprendiz" (Fusão ao Nível do Modelo/Model-Level)

Como como funciona: Este é o trabalho pesado. O sistema pega todas as melhores respostas dos 20 chefs e força um chef específico a estudá-las até memorizar as lições. É como um acampamento de treinamento longo e caro.
A Analogia: Você pega um chef júnior e o faz memorizar os melhores pratos de todos os mestres para que ele se torne um mestre também.
O Resultado: Este foi o menos eficaz. O "chef júnior" (o modelo) ficou confuso tentando aprender muitos estilos diferentes ao mesmo tempo e, na verdade, teve um desempenho pior do que apenas escolher o chef certo ou dar a ele uma folha de dicas.

3. A Grande Descoberta: "Um Tamanho Não Serve para Todos"

O artigo testou isso em 14 tipos diferentes de tarefas (como matemática, programação, leitura e curiosidades) usando 20 modelos de IA diferentes.

A "Folha de Dicas" (Nível do Pensamento) é o MVP: Para a maioria das tarefas, dar à IA um resumo de como pensar (o "Livro de Receitas") funcionou melhor do que qualquer outra coisa. Foi flexível e poderoso.
O "Garçom Inteligente" é o Rei do Orçamento: Se você está preocupado com o custo, deixar um roteador inteligente escolher a IA certa é um ótimo negócio. É quase tão bom quanto uma única IA de elite, mas custa uma fração do preço.
O "Acampamento de Treinamento" (Nível do Modelo) é Complicado: Tentar fundir todo o conhecimento em um único modelo de IA muitas vezes falhou. É difícil ensinar um cérebro a ser bom em tudo quando as "lições" vêm de 20 personalidades diferentes.

4. Por Que Isso Importa

Os autores argumentam que não precisamos inventar novos modelos de IA complexos para obter melhores resultados. Já temos uma mina de ouro de dados: os logs do que diferentes IAs disseram no passado.

Se você tem dinheiro, mas precisa de velocidade: Use o Garçom Inteligente (Nível da Consulta).
Se você quer as melhores respostas: Use o Livro de Receitas (Nível do Pensamento).
Se você quer construir uma IA única e permanente: Tenha cuidado, pois o Acampamento de Treinamento (Nível do Modelo) pode não valer o esforço ainda.

Em resumo, o artigo diz: Não escolha apenas uma IA. Olhe para os registros de como todos eles pensam e use esses registros para guiar sua IA atual. É como dar à sua IA uma biblioteca de sabedoria para ler antes de responder, em vez de tentar forçá-la a memorizar a biblioteca inteira.

Resumo Técnico: FusionFactory: Fundindo Capacidades de LLM com Dados de Log Multi-LLM

Declaração do Problema

A rápida diversificação dos Grandes Modelos de Linguagem (LLMs) levou a um cenário onde diferentes modelos se destacam em tarefas distintas (ex: geração de código vs. recuperação factual). Consequentemente, profissionais utilizam cada vez mais múltiplos LLMs em fluxos de trabalho, gerando valiosos dados de log multi-LLM. Esses dados consistem em registros de serviço estruturados contendo pares de consulta-resposta alinhados de múltiplos modelos, juntamente com metadados como identidade do modelo, modo de resposta (direta vs. aumentada por raciocínio), custo de inferência e feedback de qualidade.

Apesar da disponibilidade desses dados, os métodos existentes para integrar múltiplos LLMs tipicamente abordam apenas um único estágio do pipeline isoladamente:

Nível de Consulta (Query-level): Métodos de roteamento selecionam o melhor modelo para uma consulta específica, mas não fundem capacidades além da seleção.
Nível de Pensamento (Thought-level): Estratégias de prompting agregam o raciocínio, mas muitas vezes carecem de avaliação sistemática contra outros estágios de fusão.
Nível de Modelo (Model-level): Destilação e fusão de modelos transferem conhecimento para um único modelo, mas frequentemente ignoram as restrições específicas de serviço baseado em API ou as nuances dos dados de log.

Existe uma lacuna crítica na compreensão de como os mesmos dados estruturados de log multi-LLM podem ser aproveitados em diferentes pontos de intervenção (roteamento, prompting e treinamento) para atender a diversas necessidades do usuário, particularmente em cenários onde os pesos dos modelos são inacessíveis (serviço baseado em API).

Metodologia

Os autores propõem o FusionFactory, um framework sistemático para fundir capacidades de LLM, suportado pelo LLMFusionBench, um benchmark de larga escala projetado para avaliar estratégias de fusão através de três estágios distintos.

1. Construção do LLMFusionBench

Para permitir a comparação entre estágios, os autores construíram um benchmark composto por:

Escopo: 14 tarefas em 6 domínios (Matemática, Código, Raciocínio de Senso Comum, Conhecimento de Mundo, Compreensão de Leitura, Conhecimento Popular).
Dados: Respostas de 20 LLMs de código aberto variando de 8B a 671B de parâmetros, totalizando 103M de tokens.
Estrutura: Diferente de datasets padrão, cada entrada é uma tupla de log estruturada $(q, t, m, s, r, c, y, j)$ , capturando a consulta, tarefa, identidade do modelo, modo de resposta, resposta gerada, custo de inferência, desempenho específico da tarefa e uma pontuação de juiz-LLM.
Modos Duplos: Para cada consulta, os modelos geram tanto respostas diretas quanto respostas aumentadas por raciocínio (Chain-of-Thought) para capturar diversos padrões de raciocínio.

2. O Framework FusionFactory

O FusionFactory opera em três níveis, correspondendo aos estágios de fusão inicial, intermediária e tardia no pipeline de LLM:

A. Fusão de Nível de Consulta (Fusão Inicial/Early Fusion)

Objetivo: Selecionar o LLM e o modo de resposta ideais para uma consulta específica antes da geração.
Mecanismo: Um roteador aprende uma política $f_\phi$ para mapear $(consulta, tarefa)$ para uma ação $a = (modelo, modo)$.
Objetivo: Maximizar uma função de recompensa que equilibra desempenho ( $P$ ), custo ( $C$ ) e qualidade do juiz-LLM ( $J$ ):
$Recompensa = \alpha \cdot P - \beta \cdot C + \gamma \cdot J$
Implementação: Avaliado usando vários algoritmos de roteamento (KNN, SVM, MLP, BERT, GraphRouter) sob diferentes cenários de ponderação de recompensa (Prioridade ao Desempenho, Equilíbrio, Prioridade ao Custo, Juiz-LLM).

B. Fusão de Nível de Pensamento (Fusão Intermediária/Mid Fusion)

Objetivo: Melhorar a geração injetando padrões de raciocínio reutilizáveis sem modificar os pesos do modelo.
Mecanismo:
1. Extração de Template: Um sumarizador LLM destila "templates de pensamento" abstratos a partir das top- $k$ respostas de consultas históricas (classificadas por desempenho ou pontuação de juiz).
2. Recuperação: Para uma nova consulta, consultas históricas similares são recuperadas via similaridade de embedding.
3. Prompting: Os templates de pensamento correspondentes são usados como demonstrações de poucos disparos (few-shot) para guiar o LLM alvo.
Estratégia: Avaliado usando estratégias de seleção baseadas em Desempenho, baseadas em Juiz-LLM e Híbrida para as top- $k$ respostas.

C. Fusão de Nível de Modelo (Fusão Tardia/Late Fusion)

Objetivo: Consolidar capacidades complementares em um único modelo base via ajuste fino supervisionado (SFT).
Mecanismo: Respostas de alta qualidade dos logs multi-LLM (selecionadas por desempenho ou pontuação de juiz) servem como dados de treinamento para um modelo base.
Estratégia: Comparado Top- $K$ SFT (usando respostas multi-LLM selecionadas) contra Top- $K$ Label-only SFT (usando apenas ground truths) para isolar o benefício do conhecimento multi-LLM.

Principais Resultados

Experimentos foram conduzidos no conjunto de teste completo do LLMFusionBench, comparando os três níveis de fusão contra o melhor LLM individual e baselines zero-shot.

A Fusão de Nível de Pensamento Alcança o Melhor Desempenho:
- A fusão de nível de pensamento (especificamente a estratégia Híbrida com modelos de escala total) alcançou o maior desempenho médio (0.615), superando o melhor LLM individual (0.600) e outros baselines de fusão como LLM-Blender (0.603) e FuseLLM-adaptado (0.557).
- Os ganhos foram mais pronunciados em tarefas intensivas em raciocínio (Matemática e Código), onde a recuperação de traços de raciocínio diversos proporcionou valor significativo.
- Os ganhos de desempenho foram robustos mesmo ao controlar a recuperação de duplicatas quase idênticas, sugerindo que o benefício vem de padrões de raciocínio reutilizáveis e não de simples sobreposição de dados.
A Fusão de Nível de Consulta Oferece a Melhor Eficiência de Custo:
- A fusão de nível de consulta (via GraphRouter) proporcionou um equilíbrio favorável entre desempenho e custo.
- Sob roteamento consciente de custo, alcançou desempenho comparável ao melhor LLM individual, mas com aproximadamente 10x menor custo de inferência (0.0184 vs. 0.1850 em unidades normalizadas).
- Isso confirma sua utilidade para o serviço baseado em API, onde minimizar o uso de tokens é crítico.
A Fusão de Nível de Modelo Mostra Limitada Generalização:
- A fusão de nível de modelo (SFT) rendeu ganhos modestos e, em alguns domínios (Código e Conhecimento de Mundo), teve desempenho inferior aos baselines zero-shot.
- Os autores atribuem isso ao overfitting nos estilos de resposta específicos dos dados registrados e à dificuldade de abstrair comportamentos de tarefas heterogêneas em um único conjunto de parâmetros.
- Notavelmente, o multi-LLM SFT superou o Label-only SFT, confirmando que os logs multi-LLM contêm conhecimento valioso além dos ground truths, mas o processo de consolidação introduz desafios de generalização.
Variações Específicas de Domínio:
- A fusão proporcionou melhorias marginais nos domínios de Conhecimento de Mundo e Matemática, que dependem fortemente de precisão factual estrita e consistência lógica, sugerindo que estas áreas são menos propensas às atuais heurísticas de fusão.
- Tarefas pesadas em raciocínio (Matemática, Código) beneficiaram-se mais da fusão de nível de pensamento, enquanto tarefas intensivas em conhecimento mostraram resultados mistos.

Significância e Alegações

O artigo afirma que o FusionFactory e o LLMFusionBench fornecem uma perspectiva unificada e consciente de estágio sobre a fusão de LLM que estava ausente anteriormente.

Além da Compatibilidade de API: Enquanto o trabalho anterior focou em roteamento apenas para APIs, este trabalho demonstra que os mesmos dados estruturados de log multi-LLM podem ser sistematicamente avaliados através dos estágios de roteamento, prompting e treinamento.
Framework de Decisão: A "matriz de estágio de fusão" revela que não existe uma única estratégia de fusão ideal; a escolha depende das restrições de implantação (ex: custo vs. precisão) e dos requisitos da tarefa (ex: raciocínio vs. recall).
- Use Nível de Consulta para cenários sensíveis ao custo e de alto throughput.
- Use Nível de Pensamento para maximizar as capacidades de raciocínio sem retreinar o modelo.
- Use Nível de Modelo apenas quando um único modelo implantável é estritamente necessário e o treinamento offline é viável, reconhecendo seus limites de generalização.
Fundação Prática: O trabalho valida os dados de log multi-LLM como uma fonte de supervisão prática e escalável para fundir diversas capacidades de LLM, oferecendo um blueprint para sistemas futuros que devem operar em ambientes de serviço heterogêneos e reais.

Os autores concluem que, embora a fusão de nível de pensamento ofereça atualmente os ganhos de desempenho mais fortes, a comparação sistemática possibilitada pelo seu framework é essencial para entender as trocas entre flexibilidade, custo e generalização em sistemas multi-LLM.