💻 computer science

Surrogate Benchmarks for Model Merging Optimization

Este artigo introduz benchmarks substitutos de baixo custo que utilizam modelos construídos para prever o desempenho de modelos fundidos a partir de hiperparâmetros, permitindo, assim, o desenvolvimento e a comparação eficientes de algoritmos de otimização de hiperparâmetros para fusão de modelos sem o custo computacional de experimentos em escala total.

Autores originais: Rio Akizuki, Yuya Kudo, Nozomu Yoshinari, Yoichi Hirose, Toshiyuki Nishimoto, Kento Uchida, Shinichi Shirakawa

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rio Akizuki, Yuya Kudo, Nozomu Yoshinari, Yoichi Hirose, Toshiyuki Nishimoto, Kento Uchida, Shinichi Shirakawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois chefs especialistas, o Chef A e o Chef B. O Chef A é incrível em fazer curry picante, e o Chef B é um mestre de sushi delicado. Você quer criar um único "Super Chef" que saiba fazer ambos perfeitamente.

No mundo da Inteligência Artificial, isso é chamado de Model Merging (Fusão de Modelos). Em vez de treinar um novo chef do zero (o que leva anos e uma quantidade enorme de ingredientes/dados), você tenta misturar as "receitas" (as configurações internas) do Chef A e do Chef B.

O Problema: O "Ingrediente Secreto" é Difícil de Encontrar

A parte complicada é que misturar essas receitas não é apenas uma mistura simples. Você tem que decidir exatamente quanto do estilo do Chef A manter e quanto do Chef B adicionar para cada etapa do processo de cozimento. Essas decisões são chamadas de hiperparâmetros.

Se você acertar a mistura, obtém um Super Chef. Se errar, o resultado é um desastre.

Para encontrar a mistura perfeita, os pesquisadores geralmente usam um método de tentativa e erro (como um algoritmo evolutivo). Eles tentam milhares de combinações, testam o resultado e mantêm as melhores. Mas aqui está o detalhe: testar uma única combinação é incrivelmente lento e caro. É como contratar uma equipe de críticos gastronômicos para provar um novo prato, o que leva 5 minutos por prato. Se você precisar testar 1.000 combinações, serão mais de 58 horas de degustação ininterrupta! Isso torna muito difícil para os cientistas inventarem novas e melhores maneiras de encontrar a mistura perfeita porque o custo é muito alto.

A Solução: Uma "Bola de Cristal" (Benchmarks Substitutos)

Os autores deste artigo, da Universidade Nacional de Yokohama, perguntaram: "E se pudéssemos prever o quão boa será uma mistura sem realmente prová-la todas as vezes?"

Eles construíram um Benchmark Substituto, que eles chamam de SMM-Bench. Pense nisso como uma Bola de Cristal ou um Simulador de Crítico Gastronômico Super-preciso.

Veja como eles construíram isso:

A Fase de Treinamento: Eles realmente realizaram o processo de degustação caro e lento milhares de vezes (mais de 130.000 vezes para um tipo de mistura e 40.000 para outro). Eles registraram cada "configuração de receita" que tentaram e o "score de sabor" resultante.
A Fase de Aprendizado: Eles alimentaram todos esses dados em um programa de computador inteligente (um modelo de aprendizado de máquina). Esse programa aprendeu os padrões: "Ah, quando usamos 0,8 do tempero do Chef A e 0,2 do Chef B, o score é geralmente alto."
O Resultado: Agora, em vez de gastar 5 minutos para provar uma nova receita, a Bola de Cristal pode prever o score em uma fração de segundo.

O Que Eles Testaram

Eles construíram duas versões desta Bola de Cristal:

SMM-Bench-PS: Para misturar os "ingredientes" diretamente (como misturar farinha e açúcar).
SMM-Bench-DFS: Para misturar as "etapas de cozimento" (como decidir se usa a técnica de faca do Chef A ou o estilo de corte do Chef B).

Eles testaram sua Bola de Cristal deixando-a prever os resultados de novos experimentos. A Bola de Cristal foi surpreendentemente precisa, prevendo os "scores de sabor" com cerca de 95% de precisão em relação ao real.

Por Que Isso Importa

O artigo mostra que os pesquisadores agora podem usar essa Bola de Cristal para:

Testar novas ideias instantaneamente: Em vez de esperar dias para ver se um novo algoritmo de mistura funciona, eles podem executá-lo na Bola de Cristal em minutos em um laptop comum.
Comparar de forma justa: Todos podem usar o mesmo simulador para ver qual algoritmo é melhor, sem precisar de supercomputadores caros.

No artigo, eles usaram sua Bola de Cristal para comparar duas diferentes "estratégias de mistura" (Sep-CMA e DE). Eles descobriram que uma estratégia era ligeiramente melhor que a outra, e fizeram toda essa comparação em apenas alguns minutos. Se tivessem usado o método de "degustação" real, teria levado dias e exigido placas gráficas poderosas.

O Ponto Principal

Este artigo não inventa uma nova maneira de fundir modelos em si. Em vez disso, ele inventa um simulador de baixo custo que permite aos cientistas praticar, testar e melhorar suas estratégias de fusão de modelos sem quebrar o banco ou esperar semanas por resultados. É como dar aos chefs um jogo de simulação para praticar suas receitas de fusão antes mesmo de entrarem em uma cozinha real.

Resumo Técnico: Benchmarks Substitutos para Otimização de Fusão de Modelos

Declaração do Problema
As técnicas de fusão de modelos integram múltiplos modelos em um único modelo, muitas vezes aumentando as capacidades sem exigir grandes conjuntos de dados ou computações dispendiosas. No entanto, a maioria das técnicas de fusão depende de hiperparâmetros que impactam significativamente o desempenho do modelo final. Embora trabalhos recentes, como Akiba et al. (2025), tenham demonstrado que a otimização desses hiperparâmetros (por exemplo, usando algoritmos evolutivos como CMA-ES) produz resultados superiores, o processo é computacionalmente proibitivo. Avaliar uma única configuração de fusão pode levar vários minutos em GPUs de alto desempenho; consequentemente, executar algoritmos de otimização que exigem milhares de avaliações (por exemplo, 1.000 avaliações levando mais de 58 horas) cria uma barreira substancial para o desenvolvimento de novos algoritmos de otimização ou para a realização de comparações justas e reprodutíveis. Os benchmarks existentes para fusão de modelos avaliam o desempenho final, mas não reduzem o custo computacional do próprio processo de otimização.

Metodologia: SMM-Bench
Os autores propõem o SMM-Bench, o primeiro benchmark substituto projetado especificamente para a otimização da fusão de modelos. A abordagem central envolve a coleta de dados sobre hiperparâmetros de fusão e seus respectivos escores de avaliação para treinar modelos substitutos que preveem o desempenho sem executar os passos reais de fusão e inferência.

O benchmark é definido em dois espaços de busca distintos, espelhando configurações de otimização anteriores:

SMM-Bench-PS (Espaço de Parâmetros): Foca na fusão camada a camada usando aritmética de tarefas com dois LLMs de origem (Shisa-gamma-7b-v12 e WizardMath-7B-V1.1). O espaço de busca consiste em 64 variáveis de design contínuas (pesos para cada camada dos dois modelos), restritas ao intervalo $[0, 1]$ .
SMM-Bench-DFS (Espaço de Fluxo de Dados): Foca no empilhamento de camadas e escalonamento de entrada. Utiliza dois modelos de origem (EvoLLM-JP-v1-7B e Shisa-gamma-7b-v1) e define um espaço de busca misto composto por 32 variáveis categóricas (selecionando camadas do Modelo A, Modelo B ou sem inserção) e 63 variáveis contínuas (fatores de escalonamento de entrada para as camadas).

Coleta de Dados e Construção do Modelo:

Geração de Dados: Os autores coletaram mais de 133.000 pontos de dados para PS e mais de 40.000 para DFS. Os dados foram obtidos usando estratégias de amostragem aleatória, CMA-ES e Estimador de Parzen Estruturado em Árvore (TPE) para garantir uma cobertura diversificada do espaço de busca.
Modelos Substitutos: Os dados coletados foram divididos em 9:1 para treinamento e teste. Modelos LightGBM foram treinados para prever escores de avaliação (acurácia em conjuntos de dados matemáticos em japonês: gsm8k-ja e MGSM) com base nos hiperparâmetros de entrada. Os modelos foram otimizados usando Optuna com validação cruzada de cinco dobras.

Principais Resultados

Acurácia Preditiva: Os modelos substitutos demonstraram alto desempenho preditivo. Para o SMM-Bench-PS, os modelos alcançaram escores de $R^2$ de 0,950 (gsm8k-ja) e 0,921 (MGSM). Para o SMM-Bench-DFS, os escores foram 0,962 e 0,957, respectivamente. Os coeficientes de Tau de Kendall também indicaram forte correlação de ranking.
Simulação de Otimização: Os autores simularam trajetórias de otimização usando Busca Aleatória, CMA-ES e TPE nos benchmarks substitutos. Os resultados mostraram que os benchmarks substitutos capturaram com sucesso o comportamento desses algoritmos em comparação com os benchmarks "reais" (avaliações reais de fusão de modelos). Embora o substituto DFS tendesse a superestimar ligeiramente o desempenho, ele ainda simulava efetivamente as tendências de otimização.
Comparação de Algoritmos: Os autores demonstraram a utilidade do benchmark comparando o CMA-ES Separável (Sep-CMA) e a Evolução Diferencial (DE) no SMM-Bench-PS. O Sep-CMA superou o DE em ambos os conjuntos de dados. Crucialmente, esta comparação foi realizada em minutos em um notebook, enquanto realizar a mesma avaliação com a fusão real de LLMs exigiria muitos dias de GPU.

Significância e Alegações
O artigo afirma que o SMM-Bench fornece um mecanismo de baixo custo para o desenvolvimento e avaliação de algoritmos de otimização de fusão de modelos. Ao substituir as caras avaliações reais por previsões rápidas de substitutos, o benchmark permite:

Desenvolvimento Rápido de Algoritmos: Pesquisadores podem iterar em novas estratégias de otimização sem incorrer nos custos computacionais massivos associados à fusão de LLMs.
Comparações Reprodutíveis: Facilita comparações justas e reprodutíveis entre diferentes métodos de otimização (por exemplo, estratégias evolutivas, otimização Bayesiana) sob condições padronizadas.
Acessibilidade: O benchmark reduz a barreira de entrada para a pesquisa de AutoML no domínio da fusão de modelos, permitindo experimentos que seriam inviáveis devido às restrições de recursos.

Os autores posicionam este trabalho como um passo fundamental em direção à otimização sofisticada da fusão de modelos, de forma análoga ao papel que os benchmarks substitutos desempenham na Busca de Arquitetura Neural (NAS) e na otimização geral de hiperparâmetros.

O Problema: O "Ingrediente Secreto" é Difícil de Encontrar

A Solução: Uma "Bola de Cristal" (Benchmarks Substitutos)

O Que Eles Testaram

Por Que Isso Importa

O Ponto Principal

Mais como este