💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion introduz um novo framework de fusão de modelos consciente da estrutura que emprega Destilação em Grafos sobre Logits com uma aproximação eficiente e de forma fechada de Gromov-Wasserstein para capturar dependências semânticas entre canais de vocabulário, superando significativamente as linhas de base existentes em tarefas de raciocínio complexo.

Autores originais: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem três chefs especialistas diferentes. Um é mestre em massas italianas, outro é um mago em curries indianos apimentados e o terceiro é um gênio na confeitaria francesa. Você deseja criar um único "Super Chef" que possa cozinhar perfeitamente as três cozinhas sem precisar contratar três pessoas separadas.

Este é o desafio da Fusão de Modelos na Inteligência Artificial. O artigo apresenta um novo método chamado InfiGFusion para resolver esse problema, especificamente para Modelos de Linguagem de Grande Porte (LLMs), como os que alimentam chatbots.

Veja como o artigo explica sua solução, usando analogias simples:

1. O Problema: A Abordagem "Solo" vs. A Abordagem "Equipe"

A maioria dos métodos atuais para combinar modelos de IA é como pedir ao Super Chef para olhar os ingredientes de um prato de massa, depois olhar os ingredientes de um curry e decidir um sabor um ingrediente de cada vez.

A Falha: Isso ignora como os ingredientes interagem. Em uma receita real, alho e limão trabalham juntos para criar um sabor específico. Se você os tratar como itens separados, perde o "perfil de sabor" ou a dependência semântica.
A Visão do Artigo: Os métodos existentes olham para os "pensamentos" da IA (chamados de logits) palavra por palavra. Eles dizem: "A IA acha que 'gato' é provável e 'cachorro' é provável", mas não entendem que a IA vê uma relação entre 'gato' e 'cachorro' como 'animais'. Eles perdem a estrutura do pensamento.

2. A Solução: Desenhando um Mapa de Pensamentos (Graph-on-Logits)

O InfiGFusion muda o jogo ao não olhar para as palavras individualmente, mas ao observar como elas se conectam.

A Analogia: Imagine que os pensamentos da IA não são apenas uma lista de palavras, mas uma rede social.
- Nós (Pessoas): Cada palavra possível que a IA poderia dizer é uma pessoa.
- Arestas (Amizades): Se a IA frequentemente pensa em "fogo" e "fumaça" juntos, há uma linha de amizade forte entre eles.
A Inovação: Em vez de apenas comparar a lista de palavras que a IA prevê, o InfiGFusion compara o mapa inteiro de amizades. Ele pergunta: "O mapa do Super Chef sobre como 'fogo' se relaciona com 'fumaça' parece com o mapa do Chef Italiano e do Chef Indiano?"

3. O Segredo: A Distância "Gromov-Wasserstein" (O Combinador de Formas)

Para comparar esses mapas complexos, os autores usam uma ferramenta matemática chamada distância Gromov-Wasserstein (GW).

A Analogia: Imagine que você tem duas formas diferentes feitas de argila. Uma é um cubo, outra é uma esfera. Você quer saber o quão semelhantes elas são.
- Jeito Antigo: Você mede a altura, a largura e a profundidade de cada ponto individual. Isso é lento e confuso.
- Jeito GW: Você olha para a forma do objeto. O cubo tem cantos? A esfera tem curvas? Você compara as relações entre os pontos, não apenas os pontos em si.
O Problema com GW: Geralmente, essa "combinação de formas" é incrivelmente lenta e computacionalmente cara (como tentar resolver um quebra-cabeça com um bilhão de peças). Levaria muito tempo para treinar a IA.

4. A Grande Virada: O Atalho de "Ordenação"

A maior conquista técnica do artigo é uma nova maneira de fazer essa combinação de formas rápida.

A Analogia: Em vez de tentar combinar cada pessoa na rede social uma por uma, eles perceberam que podiam apenas classificar todos por popularidade (quantas conexões cada um tem).
- Se o "Super Chef" tem uma pessoa "Fogo" que é a 5ª mais popular, e o "Chef Fonte" também tem uma pessoa "Fogo" que é a 5ª mais popular, eles as combinam!
O Resultado: Esse truque de "ordenação" transforma uma tarefa que levava uma eternidade (O(n⁴)) em uma tarefa quase instantânea (O(n log n)). É como transformar uma caminhada de 10 horas em um passeio de bicicleta de 10 minutos.

5. Os Resultados: Melhor em "Pensar"

Os autores testaram esse novo "Super Chef" em 11 desafios diferentes, incluindo matemática, programação e quebra-cabeças de lógica.

O Resultado: O InfiGFusion foi significativamente melhor em raciocínio complexo do que métodos anteriores.
- Exemplo: Em um teste de "Aritmética Multietapa" (resolver um problema matemático que requer várias etapas), houve uma melhoria de 35,6 pontos.
- Exemplo: Em "Julgamento Causal" (descobrir se A causou B), houve uma melhoria de 37 pontos.
Por quê? Porque ele preservou as relações entre as ideias. Ele não apenas memorizou a resposta; aprendeu a lógica de como os modelos fonte raciocinavam.

Resumo

O InfiGFusion é uma nova maneira de combinar modelos de IA. Em vez de apenas copiar as respostas palavra por palavra, ele copia a estrutura do pensamento. Ele trata as previsões da IA como um mapa de conexões e usa um truque inteligente de "ordenação" para alinhar esses mapas rapidamente. O resultado é uma IA fundida muito mais inteligente na resolução de problemas complexos e multietapa do que modelos que olham apenas para palavras isoladas.

Resumo Técnico: InfiGFusion

Declaração do Problema
Esforços recentes para fundir Modelos de Linguagem de Grande Escala (LLMs) heterogêneos em sistemas unificados têm dependido amplamente de métodos de destilação baseados em logits. Embora essas abordagens mantenham a eficiência de inferência, elas tipicamente tratam as dimensões do vocabulário de forma independente, alinhando distribuições de tokens por meio de objetivos como divergência KL ou distância de Wasserstein. Esse alinhamento token a token ignora as dependências semânticas—as interações entre dimensões cruzadas e os padrões de co-ativação que codificam os processos de raciocínio interno de um modelo. Consequentemente, os métodos existentes têm dificuldade em alinhar modelos com comportamentos de geração divergentes, particularmente em tarefas que exigem raciocínio multi-etapa, inferência relacional e alinhamento semântico fino.

Metodologia: InfiGFusion
Os autores propõem o InfiGFusion, um framework de fusão consciente de estrutura que modela explicitamente essas dependências semânticas. A inovação central é a função de perda de Destilação de Grafo sobre Logits (GLD), que opera da seguinte forma:

Construção de Grafo de Logits: Em vez de tratar logits como vetores independentes, o método constrói um grafo global de co-ativação. Para cada saída, os top- $k$ logits são retidos para garantir esparsidade. Os produtos externos desses logits através das posições da sequência são agregados para formar um grafo onde os nós representam canais de vocabulário e as arestas quantificam suas ativações conjuntas (similaridade).
Alinhamento Consciente de Estrutura: Para alinhar os grafos de logits de modelos fonte com um modelo pivô, o framework emprega a distância de Gromov-Wasserstein (GW). A GW é escolhida por sua capacidade de corresponder distribuições com base na similaridade estrutural interna, em vez de correspondência direta de nós.
Aproximação Eficiente: O cálculo padrão da distância GW possui uma complexidade proibitiva de $O(n^4)$ $O (n^{4})$ , tornando-o inviável para vocabulários grandes ( $n > 10^5$ $n > 1 0^{5}$ ). Os autores introduzem uma nova aproximação em forma fechada baseada em ordenação que reduz a complexidade para $O(n \log n)$ .
- Compressão de Características do Grafo: A matriz de similaridade é comprimida em características de nível de nó escalares (especificamente, médias de linha ou características do tipo grau).
- Correspondência Baseada em Ordenação: O alinhamento é realizado ordenando essas características e correspondendo a entrada $i$ -ésima maior da fonte com a entrada $i$ -ésima maior do alvo.
- Garantias Teóricas: O artigo fornece um limite de erro de aproximação provável de $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ , que decai como $O(1/n)$ . Além disso, os autores demonstram que a perda guiada por GW possui uma constante de Lipschitz significativamente menor em comparação com as perdas KL e Wasserstein padrão, sugerindo limites de generalização mais apertados e treinamento mais estável.
Objetivo Unificado: O objetivo final de treinamento combina a perda GLD consciente de estrutura com uma perda de Destilação Universal de Logits (ULD) de granulação grossa (para alinhamento de distribuição em nível de token) e sinais padrão de Ajuste Fino Supervisionado (SFT).

Principais Contribuições

Primeiro Framework de Fusão Consciente de Estrutura: O InfiGFusion é o primeiro método a modelar dependências semânticas por meio de grafos de logits em nível de características e alinhá-los usando uma nova perda GLD, indo além do alinhamento de tokens independentes.
Aproximação Escalável de GW: Os autores propõem uma aproximação em forma fechada para a distância de Gromov-Wasserstein que reduz a complexidade computacional de $O(n^4)$ para $O(n \log n)$ com limites de erro prováveis, tornando o alinhamento baseado em grafos viável para vocabulários na escala de LLMs.
Superioridade Empírica em Raciocínio: Extensos experimentos em 11 benchmarks demonstram que o InfiGFusion supera consistentemente as bases de fusão mais avançadas (por exemplo, MiniLogit, FuseLLM, FuseChat) e as bases de SFT.

Resultados
O método foi avaliado em 11 benchmarks abrangendo raciocínio, codificação, matemática e seguimento de instruções, fundindo múltiplos modelos fonte (Qwen2.5, Mistral, Qwen2.5-Coder) em um modelo pivô Phi-4.

Ganhos em Raciocínio Complexo: O InfiGFusion mostrou melhorias significativas em tarefas que exigem inferência multi-etapa e relacional. Notavelmente, alcançou uma melhoria de +35,6 pontos em Aritmética Multi-etapa e uma melhoria de +37,06 pontos em Julgamento Causal sobre as bases de SFT.
Desempenho Geral: O modelo superou os modelos pivô e fonte em diversos domínios, alcançando uma pontuação média de 83,85 em comparação com 79,54 do pivô.
Eficiência: Apesar do alinhamento estrutural, o método manteve eficiência competitiva, exigindo apenas 195 horas de GPU para treinamento, significativamente menos do que pipelines de fusão multi-etapa como o FuseChat (650 horas de GPU).
Estudos de Ablação: Experimentos confirmaram que tanto os componentes ULD (alinhamento grosseiro) quanto GLD (alinhamento estrutural) são necessários, com o GLD impulsionando especificamente os ganhos em tarefas de raciocínio.

Significado
O artigo afirma que o InfiGFusion aborda uma lacuna crítica na fusão de modelos: a incapacidade de objetivos em nível de token de capturar as estruturas relacionais subjacentes ao raciocínio do modelo. Ao alinhar explicitamente a "forma" do espaço de logits em vez de apenas as distribuições marginais, o framework permite a integração de LLMs heterogêneos sem aumentar os custos de inferência. Os autores postulam que esse alinhamento preservador de estrutura é essencial para avançar as capacidades coletivas de LLMs, particularmente em cenários complexos de raciocínio onde a consistência lógica e a inferência multi-hop são primordiais. O trabalho sugere que o progresso futuro na fusão de modelos depende de ir além da correspondência de tokens em nível superficial para preservar as dependências semânticas internas que impulsionam o raciocínio coerente.