Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

No mundo da inteligência artificial, que evolui rapidamente, pesquisadores tentam constantemente construir máquinas que possam fazer muitas coisas ao mesmo tempo. Imagine um estudante que passou anos dominando a matemática, outro que se tornou um mestre da programação e um terceiro que é um especialista em seguir instruções complexas. No passado, para usar todas essas habilidades, um computador precisaria executar três programas separados, cada um dedicado a um assunto. Isso é ineficiente, exigindo uma quantidade massiva de memória de computador e energia. Uma solução mais elegante é combinar esses especialistas separados em um único modelo versátil. Esse processo, conhecido como fusão de modelos (model merging), tenta misturar o "conhecimento" de diferentes programas especializados em um cérebro unificado, sem a necessidade de treiná-lo do zero. No entanto, essa mistura é notoriamente difícil. Quando você combina dois conjuntos distintos de instruções, elas frequentemente entram em conflito. O computador fica confuso, e o modelo resultante tem um desempenho ruim em todas as tarefas, como se as diferentes habilidades estivessem lutando pelo mesmo espaço na memória da máquina.

O cerne deste problema reside em como esses cérebros artificiais armazenam informações. Dentro de uma rede neural, diferentes habilidades frequentemente compartilam os mesmos caminhos físicos, um fenômeno que os pesquisadores chamam de superposição. É como se múltiplas ideias distintas estivessem tentando ocupar o mesmo corredor estreito ao mesmo tempo. Quando os pesquisadores tentam simplesmente somar os pesos de dois modelos, essas ideias sobrepostas interferem umas nas outras, criando uma confusão onde informações úteis são perdidas. Tentativas anteriores de corrigir isso envolveram tentar desembaraçar a confusão dentro do espaço original e lotado, muitas vezes cortando partes do modelo ou redimensionando números. Mas, quando a interferência é severa, esses métodos são como tentar separar um monte de fios misturados olhando apenas para os nós; eles não conseguem separar totalmente as fibras individuais sem danificar o circuito.

Uma equipe de pesquisadores propôs uma nova maneira de resolver isso mudando completamente a perspectiva. Em vez de tentar desembaraçar os fios no corredor lotado, eles sugerem mover os fios para uma sala muito maior e vazia, onde há espaço de sobra para estendê-los separadamente. Eles chamam essa abordagem de Fusão de Desentranhamento Esparso de Alta Dimensão (High-Dimensional Sparse Disentanglement Merging). Os pesquisadores usaram uma ferramenta conhecida como Autoencoder Esparso, que atua como um tradutor. Ele pega as instruções emaranhadas de uma tarefa específica e as converte em uma longa lista de características simples e distintas. Como esta nova lista é muito mais longa do que o conjunto original de instruções, cada característica recebe seu próprio espaço dedicado, permitindo que o computador veja exatamente quais partes do conhecimento pertencem à matemática, quais pertencem à programação e quais pertencem ao seguimento de instruções. Uma vez que a informação é separada nesta sala de alta dimensão e espaçosa, os pesquisadores podem combinar cuidadosamente as partes relevantes sem que as diferentes habilidades pisem nos calos umas das outras. Após a conclusão da combinação, o tradutor converte a lista limpa e separada de volta para o formato original para que o modelo possa usá-la.

No entanto, traduzir cada camada de um modelo massivo para este novo formato seria incrivelmente lento e caro. Para resolver isso, os pesquisadores introduziram um método de seleção inteligente chamado Otimizador de Ordem Zero com Classificação por Grupo (Group-Ranked Zeroth-Order Optimizer). Esta ferramenta atua como um batedor, testando rapidamente quais partes do modelo são mais críticas para uma tarefa específica. Ela faz isso realizando pequenos ajustes aleatórios em diferentes seções do modelo e observando o quanto o desempenho muda, sem a necessidade de calcular gradientes complexos. Ao identificar apenas as camadas mais importantes, o sistema aplica o processo caro de tradução e separação apenas onde é verdadeiramente necessário, deixando o restante do modelo para ser fundido por meio de métodos mais simples e rápidos. Isso garante que o sistema permaneça eficiente, enquanto ainda obtém os benefícios da separação profunda.

Os pesquisadores testaram este novo framework usando a série de modelos de linguagem Qwen2.5, que são sistemas de inteligência artificial poderosos. Eles criaram modelos especialistas para tarefas como raciocínio matemático, geração de código e seguimento de instruções complexas. Quando fundiram esses especialistas usando métodos tradicionais, os resultados foram frequentemente decepcionantes, com a queda significativa de desempenho em tarefas difíceis. Em contraste, o novo método deles superou consistentemente as técnicas existentes. Em um modelo de 7 bilhões de parâmetros, sua abordagem alcançou uma pontuação média de 68,49 em tarefas de matemática, codificação e seguimento de instruções, superando o melhor método anterior por uma margem clara. A melhoria foi ainda mais dramática em cenários altamente conflitantes. Quando tentaram fundir quatro tarefas diferentes, incluindo alinhamento de segurança, em um modelo menor de 1,5 bilhão de parâmetros, os métodos tradicionais viram suas pontuações médias despencarem para tão baixo quanto 15,45. O novo método manteve uma pontuação de 36,48, preservando efetivamente a capacidade do modelo de fazer matemática e programar, enquanto também adere a diretrizes rigorosas de segurança.

O estudo sugere que a chave para uma fusão de modelos bem-sucedida não está apenas em como misturamos os números, mas em onde os misturamos. Ao projetar a informação da tarefa em um espaço de maior dimensão onde as características podem ser claramente distinguidas, os pesquisadores conseguiram reduzir a interferência que normalmente assombra esses sistemas. Eles descobriram que seu autoencoder aprimorado, que utiliza uma técnica específica para manter as características mais importantes ativas enquanto ignora o restante, foi crucial para este sucesso. Além disso, sua ferramenta de seleção de camadas provou que não é necessário aplicar essa separação complexa a todas as partes do modelo; focar nas camadas críticas foi suficiente para capturar os benefícios. Os resultados indicam que esta abordagem oferece uma maneira robusta de construir modelos generalistas que podem lidar com múltiplas tarefas conflitantes sem a necessidade de dados de treinamento adicionais ou retreinamento caro. Embora o método exija algum esforço computacional inicial para configurar as ferramentas de tradução, a recompensa é um modelo que retém suas habilidades especializadas muito melhor do que aqueles criados com técnicas mais antigas. Este trabalho fornece um caminho concreto para a criação de sistemas de inteligência artificial mais capazes e versáteis, que possam navegar pelo complexo cenário de múltiplas tarefas humanas sem perder o rumo.