Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

Resumo Técnico: Otimização de Caixa-Preta de Variáveis Mistas Binárias e Contínuas em Fusão de Modelos Evolutivos

Definição do Problema
O artigo aborda os desafios de otimização inerentes à Fusão de Modelos Evolutivos, especificamente no Espaço de Fluxo de Dados (DFS). Embora a fusão de modelos ofereça uma alternativa econômica ao treinamento de Modelos de Linguagem de Grande Escala (LLMs) do zero, a busca automatizada por configurações de fusão ótimas usando algoritmos evolutivos permanece pouco compreendida. Os autores identificam que a fusão no DFS envolve um espaço de busca complexo composto por:

1. Variáveis Mistas Binárias e Contínuas: O problema requer a otimização simultânea de decisões discretas (quais camadas incluir, representadas por um vetor binário $z$) e parâmetros contínuos (pesos de escala para as camadas selecionadas, representados por um vetor $x$).
2. Alta Dimensionalidade: LLMs modernos envolvem centenas de camadas em múltiplos modelos, criando espaços de busca com milhares de dimensões.
3. Dependências Condicionais (Interação Tipo-I): Um desafio estrutural crítico onde a dimensionalidade efetiva das variáveis contínuas depende inteiramente da configuração binária. Se uma camada não for selecionada ($z_{i,j}=0$), seu peso de escala correspondente ($x_{i,j}$) torna-se irrelevante para a função objetivo.

O artigo argumenta que métodos padrão de otimização de caixa-preta, como o CMA-ES, são inadequados para este problema porque são projetados principalmente para variáveis contínuas e não levam em conta essas interações de variáveis mistas e dependências condicionais.

Metodologia e Formulação
Os autores caracterizam formalmente o problema de fusão no DFS como um problema de otimização de caixa-preta com variáveis mistas binárias e contínuas. O objetivo é minimizar uma função $f(x, z)$ que representa o desempenho do modelo fundido em uma tarefa-alvo, sujeito a:

• $z \in \{0, 1\}^m$ (Seleção binária de camadas)
• $x \in \mathbb{R}^n$ (Pesos de escala contínuos)

A formulação destaca explicitamente a interação Tipo-I (conforme definida por Akimoto et al. [11]), onde as dimensões contínuas ativas são condicionais ao vetor binário. O artigo contrasta duas abordagens:

• DFS Não Estruturado: Trata o problema como uma busca genérica de caixa-preta, otimizando todos os grupos de parâmetros independentemente do status de seleção, desperdiçando assim avaliações em dimensões irrelevantes.
• DFS Estruturado: Respeita a dependência condicional selecionando primeiro as camadas ativas (otimizando $z$) e, em seguida, otimizando os pesos de escala apenas para essas camadas selecionadas (otimizando $x|z$).

Principais Contribuições

1. Levantamento Estruturado: O artigo categoriza as técnicas existentes de fusão de modelos evolutivos em três grupos distintos: fusão no Espaço de Parâmetros (PS), fusão no Espaço de Fluxo de Dados (DFS) e abordagens Híbridas.
2. Caracterização Formal: Fornece a primeira definição formal do problema de fusão no DFS como um problema de otimização de caixa-preta de variáveis mistas binárias e contínuas, identificando explicitamente as dependências condicionais que impedem os solvers padrão.
3. Conexão de Comunidades: O trabalho conecta a comunidade de fusão de modelos com a literatura mais ampla de computação evolutiva e otimização de caixa-preta, destacando especificamente a relevância de algoritmos como CatCMA e ICatCMA (que abordam desafios de interação semelhantes) para o contexto de fusão de modelos.

Resultados Experimentais
Os autores conduziram validação empírica preliminar usando dois modelos pré-treinados (google/flan-t5-small e declare-lab/flan-alpaca-large) em um benchmark de 15 perguntas. Eles compararam uma abordagem de DFS não estruturada com uma abordagem de DFS estruturada ao longo de 10 iterações:

• Precisão: A abordagem DFS Estruturado alcançou 26,7% de precisão, igualando a linha de base (apenas o Modelo A), enquanto a abordagem DFS Não Estruturado degradou-se para 20,0%. Isso representa uma melhoria de 6,7% sobre o método não estruturado.
• Eficiência de Busca: A abordagem estruturada reduziu o espaço de busca efetivo em 51,4%. Enquanto o método não estruturado modificou todos os 192 grupos de parâmetros a cada iteração, o método estruturado focou dinamicamente em uma média de 93,3 camadas por iteração.
• Dimensionalidade Dinâmica: Os experimentos confirmaram que o número de camadas ativas variou dinamicamente (de 53 a 125) ao longo das iterações, validando a hipótese de que a dimensionalidade contínua efetiva muda com base na configuração binária.

Significado e Alegações
O artigo alega que os desafios de otimização identificados — especificamente a estrutura mista binária-contínua com dependências condicionais — não são exclusivos da fusão de modelos, mas surgem em qualquer domínio que requeira otimização simultânea de variáveis combinatórias e contínuas em um cenário de caixa-preta (por exemplo, Busca de Arquitetura Neural, descoberta de medicamentos).

Os autores posicionam seu trabalho como um passo fundamental para:

• Explicar por que as abordagens atuais de fusão de modelos evolutivos (que frequentemente ignoram essas propriedades estruturais) podem ser ineficientes ou subótimas.
• Motivar a aplicação de otimizadores avançados de variáveis mistas (como ICatCMA com inicialização quente e técnicas de hiper-representação) à fusão de modelos.
• Propor direções futuras de pesquisa, incluindo a adaptação do CatCMA para seleção de camadas, o desenvolvimento de garantias teóricas de convergência para busca DFS de variáveis mistas e a escalabilidade desses métodos para modelos maiores (por exemplo, 7B parâmetros) usando busca assistida por substitutos.

Os autores permanecem modestos em relação às suas descobertas atuais, reconhecendo que o estudo é preliminar, utiliza modelos pequenos (76M–247M parâmetros) e depende de amostragem aleatória em vez de algoritmos evolutivos completos. Eles enquadram os resultados como validação empírica da formulação teórica, motivando trabalhos futuros em maior escala.