🤖 machine learning

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

Este artigo apresenta o Manifold-Constrained Hyper-Connections (mHC), uma nova abordagem de ajuste fino eficiente em parâmetros que adapta as conexões residuais em Transformers congelados, demonstrando que, embora o mHC isoladamente não supere consistentemente o LoRA, a combinação do mHC com o LoRA produz um desempenho de modelagem de linguagem e ganhos em benchmarks superiores com orçamentos de parâmetros equivalentes.

Autores originais: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô massivo e incrivelmente inteligente que já aprendeu a ler, escrever e entender o mundo ao estudar uma biblioteca de quase tudo o que já foi escrito. Este robô é um "modelo de fundação". Ele é brilhante, mas também é uma máquina gigante e pesada. Se você quiser ensinar a ele um novo truque — como escrever piadas engraçadas ou resolver problemas matemáticos — você geralmente precisa ajustar suas engrenagens internas. Mas girar todas essas engrenagens de uma vez é caro, lento e, às vezes, faz com que o robô esqueça suas habilidades antigas. Então, os cientistas inventaram o "Ajuste Fino de Parâmetros Eficientes" (PEFT). Pense no PEFT como colocar um módulo de adição pequeno e feito sob medida no robô em vez de reconstruir todo o sistema. Você congela o cérebro do robô e treina apenas esta pequena parte nova.

Por muito tempo, esses módulos de adição funcionaram alterando os pesos internos do robô (como ajustar a tensão em uma mola) ou adicionando pequenas caixas novas para processar informações. Mas havia uma parte gigante do cérebro do robô que todos deixaram intocada: a "conexão residual". Imagine uma esteira transportadora que carrega informações do início de uma camada até o fim, com um caminho lateral onde o robô realiza algum processamento sofisticado antes de fundir o resultado de volta à esteira. Esta esteira é crucial; ela impede que o robô fique confuso à medida que se aprofunda. A grande questão que este artigo levanta é: E se não deixássemos essa esteira sozinha? E se construíssemos um controlador de tráfego inteligente para essa esteira, permitindo-nos decidir exatamente como diferentes fluxos de informação se misturam e se fundem enquanto viajam pelo robô?

Este artigo apresenta um novo método chamado Conexões Hiper-Estruturadas com Restrição de Variedade (mHC). Os pesquisadores tentaram envolver um robô congelado (especificamente um modelo OLMo-2) com esses controladores de tráfego inteligentes para ver se poderiam ensinar o robô novas tarefas de forma mais eficiente. Eles descobriram que, embora esses controladores possam funcionar, eles se comportam de forma muito diferente em um cenário de "ajuste fino" (finetuning) do que quando um robô está sendo construído do zero. A descoberta mais surpreendente? O melhor controlador de tráfego era frequentemente aquele que não fazia nada na mistura dos fluxos.

Aqui está a reviravolta: os pesquisadores descobriram que, quando deixavam o robô aprender como misturar os diferentes fluxos de informação na esteira transportadora, isso na verdade piorava as coisas ou não ajudava muito. No entanto, quando forçavam a parte de mistura a permanecer exatamente igual ao robô original (uma configuração de "identidade", o que significa "não mude o fluxo"), o robô performava melhor e utilizava menos recursos. Acontece que, para um robô que já sabe muito, a melhor estratégia não é reaprender como embaralhar seus pensamentos, mas sim aprender onde olhar e onde escrever novas ideias, deixando a rodovia principal de seus pensamentos exatamente como estava.

Embora este novo método (mHC) não tenha superado os atuais campeões (como o LoRA) quando usado sozinho, ele mostrou algo emocionante quando pareado com eles. Combinar o "controlador de tráfego inteligente" com o "ajustador de pesos padrão" (LoRA) criou uma equipe que foi melhor em algumas tarefas do que cada um poderia ser sozinho. Isso sugere que há uma maneira inteiramente nova de ajustar esses robôs — não mudando suas engrenagens, mas redirecionando como o fluxo de seus pensamentos circula — o que pode ser uma ferramenta poderosa para o futuro da IA.

A História do Controlador de Tráfego Inteligente

Os pesquisadores começaram com uma ideia simples: a esteira transportadora (conexão residual) em modelos de IA é geralmente apenas uma linha reta. A informação entra, é processada e sai, sendo adicionada ao dado de entrada original. Os autores do artigo se perguntaram: "E se tornássemos essa linha mais inteligente?" Eles introduziram as Hiper-Conexões, que permitem que o robô tenha múltiplos fluxos paralelos de informação (como ter quatro esteiras transportadoras em vez de uma) e aprenda a misturá-los.

No entanto, misturar as coisas aleatoriamente pode ser perigoso. Se você misturar quatro fluxos de água sem um plano, pode acabar com uma inundação ou uma seca. Para corrigir isso, eles usaram Conexões Hiper-Estruturadas com Restrição de Variedade (mHC). Pense nisso como um livro de regras rigoroso para o controlador de tráfego. Ele garante que, não importa como os fluxos sejam misturados, a quantidade total de "sinal" permaneça a mesma. Isso evita que o robô amplifique o ruído acidentalmente ou perca informações importantes conforme os dados viajam através de centenas de camadas.

A equipe testou isso em um modelo de 1 bilhão de parâmetros (um robô de tamanho médio) e um modelo de 7 bilhões de parâmetros (um robô gigante). Eles compararam seu novo método mHC contra o padrão da indústria, o LoRA (que ajusta os pesos internos do robô), e outros métodos populares.

A Grande Surpresa: Menos Mistura é Mais
Quando treinaram o mHC pela primeira vez, esperavam que o robô aprendesse uma forma complexa e única de misturar seus quatro fluxos de informação para resolver problemas. Mas quando olharam para os resultados, viram algo estranho. Nas camadas mais profundas do robô, a "matriz de mistura" (a parte que decide como embaralhar os fluxos) naturalmente derivou de volta para ser uma matriz de identidade.

Em termos simples, o robô estava aprendendo que a melhor maneira de lidar com os fluxos era simplesmente deixá-los passar sem alterações. Era como um controlador de tráfego que, após estudar a estrada por um tempo, decidiu: "Sabe de uma coisa? A melhor maneira de levar os carros ao destino é apenas deixá-los seguir em frente sem mudar de faixa".

Os pesquisadores testaram essa teoria forçando manualmente a parte de mistura para permanecer como uma matriz de identidade (sem mistura permitida) desde o início. O resultado? O robô performou melhor ou tão bem quanto, mas com significativamente menos parâmetros treináveis.

Em experimentos com um modelo de 1 bilhão de parâmetros, fixar a mistura como identidade reduziu a perda de teste (uma medida de erro) de 1,32 para 1,27, economizando mais de 8 milhões de parâmetros.
Isso sugere que, para um robô que já passou pelo pré-treinamento, a parte de "mistura" da conexão residual já é perfeita. Tentar reaprendê-la é desnecessário e pode até ser prejudicial. O verdadeiro poder vem dos portões de "leitura" e "escrita" — as partes que decidem em qual fluxo olhar e onde colocar as novas informações.

O Poder do Trabalho em Equipe
O artigo também perguntou: "Este novo método pode trabalhar com os métodos antigos?"
Eles descobriram que o mHC e o LoRA são como duas ferramentas diferentes que corrigem problemas diferentes. O LoRA altera as engrenagens (pesos), enquanto o mHC altera o fluxo de tráfego (roteamento).

Quando combinaram o mHC (com a regra de mistura de identidade) e o LoRA, o robô ficou ainda melhor.
Por exemplo, em um modelo de 7 bilhões de parâmetros, a combinação de um pequeno módulo mHC com o LoRA melhorou o desempenho do robô em tarefas de matemática e raciocínio (como GSM8K e HellaSwag) em comparação ao uso do LoRA sozinho.
O artigo sugere que essa combinação funciona porque eles atacam o problema de ângulos diferentes. Um muda o que o robô sabe (pesos), e o outro muda como ele acessa esse conhecimento (roteamento).

O Que Isso Significa
O artigo conclui que o mHC é uma nova ferramenta promissora, mas não é uma solução mágica que substitui tudo.

Como um ato solo: Não supera consistentemente os melhores métodos existentes, como o LoRA.
Como um parceiro: Ele brilha quando combinado com eles, oferecendo melhorias em tarefas específicas.
A lição principal: O achado mais importante é que, para o ajuste fino, devemos parar de tentar reaprender como misturar os fluxos residuais. A configuração de "identidade" (manter o fluxo exatamente como era) é o ingrediente secreto.

Os autores admitem que suas descobertas são baseadas em modelos específicos (OLMo-2) e conjuntos de dados, e ainda não sabem se esta "regra de identidade" se aplica a todos os tipos de robôs de IA. Mas a ideia de que "às vezes a melhor mudança é deixar a rodovia principal intacta e apenas construir saídas melhores" abre uma direção nova e emocionante para tornar a IA mais inteligente e eficiente.

Resumo Técnico: Hiper-Conexões com Restrição de Variedade para Ajuste Fino de Eficiência de Parâmetros

Declaração do Problema

Sistemas modernos de aprendizagem profunda dependem cada vez mais de modelos de fundação pré-treinados em conjuntos de dados massivos, os quais são subsequentemente adaptados para tarefas específicas de jusante via ajuste fino (finetuning). Embora atualizar todos os parâmetros seja computacionalmente caro e apresente riscos de esquecimento catastrófico, os métodos de Ajuste Fino de Eficiência de Parâmetros (PEFT) abordam isso congelando o backbone e treinando apenas um pequeno número de parâmetros adicionais. Abordagens existentes, como LoRA (low-rank adaptation) e módulos Adapter, concentram-se primariamente em modificar matrizes de pesos ou inserir módulos treináveis locais. No entanto, esses métodos deixam a espinha dorsal arquitetônica do modelo, especificamente as conexões residuais, majoritariamente inalteradas.

As conexões residuais são fundamentais para o treinamento de redes profundas, fornecendo caminhos de identidade que mitigam o desaparecimento do gradiente e facilitam o fluxo de informação. Embora trabalhos recentes tenham introduzido as Hiper-Conexões (HC) para generalizar as conexões residuais, permitindo que o modelo aprenda como diferentes fluxos de profundidade interagem, as HC não restringidas podem levar à instabilidade ao longo da profundidade. As Hiper-Conexões com Restrição de Variedade (mHC) foram propostas para estabilizar este mecanismo durante o pré-treinamento, restringindo a matriz de mistura residual a uma variedade de preservação de norma. O problema central que este artigo aborda é se a mHC pode ser efetivamente reaproveitada como um método de PEFT para backbones Transformer congelados, e como seu comportamento no ajuste fino se compara ao seu cenário original de pré-treinamento.

Metodologia

Os autores implementam a mHC como um invólucro (wrapper) em torno de blocos Transformer pré-treinados (especificamente modelos OLMo-2), modificando como as representações intermediárias são roteadas através dos fluxos residuais sem alterar os pesos congelados do backbone.

Mecanismo Central

As conexões residuais padrão seguem $z_l = f_l(z_{l-1}) + z_{l-1}$ . A mHC generaliza isso mantendo $n$ fluxos residuais paralelos.

Roteamento: O modelo aprende a ler de fluxos ( $h_{pre}$ ), misturá-los através da profundidade ( $H_{res}$ ) e escrever de volta nos fluxos ( $h_{post}$ ).
Restrição de Variedade: Para evitar a instabilidade observada na HC não restringida, a matriz de mistura residual $H_{res}$ é restringida a ser duplamente estocástica (entradas não negativas, linhas e colunas somam 1). Isso é alcançado via o algoritmo Sinkhorn-Knopp, projetando os logits não restritos sobre o politopo de Birkhoff.
Variantes: O estudo avalia diversas parametrizações:
- Sinkhorn mHC: Utiliza projeção Sinkhorn iterativa.
- mHC-lite: Utiliza o teorema de Birkhoff-von Neumann para parametrizar $H_{res}$ como uma combinação convexa de matrizes de permutação.
- KromHC: Constrói $H_{res}$ via produtos de Kronecker de matrizes duplamente estocásticas menores, oferecendo melhor escalabilidade.
- Estático vs. Dinâmico: Variantes estáticas usam logits aprendidos fixos por camada, enquanto variantes dinâmicas preveem parâmetros de roteamento baseados na representação atual do dado de entrada.

Configuração Experimental

Backbone: OLMo-2-0425-1B (1B de parâmetros) e OLMo-2-1124-7B (7B de parâmetros).
Dados: Conjunto de dados misto Tulu-3 SFT OLMo.
Baselines: Comparado contra LoRA, VeRA, (IA)3, Prompt Tuning e Layer Tuning.
Avaliação: Medida via perda de previsão do próximo token (treino/validação) e benchmarks de jusante (BBH, DROP, GSM8K, HellaSwag, MATH, MMLU, PIQA, TriviaQA).

Principais Descobertas e Resultados

1. A Preservação da Identidade é Crítica no Ajuste Fino

Uma descoberta fundamental é que a mHC se comporta de forma fundamentalmente diferente no ajuste fino em comparação ao pré-treinamento.

Observação: No cenário de ajuste fino, a matriz de mistura residual aprendida $H_{res}$ converge naturalmente para uma matriz identidade ( $H_{res} \approx I_n$ ) em camadas mais profundas.
Implicação: Forçar $H_{res}$ a ser a matriz identidade (removendo inteiramente os parâmetros de mistura aprendíveis) melhora ou preserva o desempenho enquanto reduz significativamente a contagem de parâmetros treináveis.
Mecanismo: Os autores hipotetizam que, no ajuste fino, o backbone já contém representações ricas. Disromper o caminho residual pré-treinado via mistura aprendida é contraproducente. Em vez disso, o modelo beneficia-se de um roteamento de leitura/escrita dependente da entrada ( $h_{pre}$ e $h_{post}$ ) enquanto mantém o caminho residual de profundidade estático.

2. Desempenho como um Método PEFT Autônomo

Redução de Perda: Variantes de mHC reduzem com sucesso a perda de treino e teste em comparação com o baseline congelado.
Comparação de Benchmarks: Como um método autônomo, a mHC não supera consistentemente os baselines estabelecidos como LoRA ou VeRA em todas as tarefas de jusante. Embora mostre resultados competitivos em tarefas específicas de conhecimento (ex: TriviaQA, PIQA), ela frequentemente subperforma em tarefas de raciocínio pesado em comparação ao LoRA.
Eficiência de Parâmetros: Variantes estáticas (ex: Static KromHC) são extremamente leves (ex: 384 parâmetros para o modelo de 1B), mas variantes dinâmicas (que performam melhor) requerem mais parâmetros, estreitando a lacuna com o LoRA.

3. Sinergia com Métodos PEFT Existentes

A aplicação mais promissora da mHC é como um complemento aos métodos existentes, em vez de um substituto.

Abordagem Combinada: Combinar mHC (especificamente a variante KromHC dinâmica que preserva a identidade) com LoRA gera melhorias.
Resultos: Ao igualar os orçamentos de parâmetros, a combinação de mHC e LoRA melhora a perda de modelagem de linguagem e mostra ganhos dependentes de tarefa em benchmarks de jusante (ex: melhorias em GSM8K, HellaSwag e PIQA na escala de 7B).
Interpretação: Isso sugere que a mHC e o LoRA operam em eixos ortogonais: o LoRA adapta transformações locais de peso, enquanto a mHC adapta o roteamento de representações através dos fluxos residuais.

Significância e Contribuições

O artigo apresenta cinco contribuições primárias:

Novo Eixo de PEFT: Introduz a mHC como um mecanismo de PEFT para Transformers congelados, deslocando o foco da adaptação de pesos para o roteamento residual.
Insight Mecanístico: Identifica a preservação da identidade como uma descoberta chave, demonstrando que fixar a matriz de mistura residual como identidade melhora o desempenho no ajuste fino, contrastando com o cenário de pré-treinamento onde a mistura aprendida é benéfica.
Complementaridade: Estabelece que a mHC é mais eficaz quando combinada com métodos PEFT padrão (como LoRA), oferecendo um mecanismo de adaptação distinto que pode melhorar a perda e o desempenho em tarefas específicas.
Escalabilidade: Valida essas descobertas através de escalas de modelos (1B e 7B), mostrando que os benefícios da mHC de preservação de identidade e sua combinação com LoRA persistem em escalas maiores.
Eficiência: Demonstra que o roteamento residual pode ser uma estratégia de PEFT estável e eficaz, com variantes específicas (como KromHC) oferecendo parametrização eficiente.

Conclusão

O artigo conclui que, embora a mHC não supere universalmente o LoRA como um método PEFT autônomo, ela abre um eixo distinto e promissor para o ajuste fino: o roteamento residual. A lição principal é que, para backbones congelados, preservar o caminho residual pré-treinado (fixando $H_{res}$ como identidade) enquanto se utiliza a capacidade para portas de leitura/escrita dependentes da entrada é mais eficaz do que aprender misturas complexas entre fluxos. Consequentemente, a mHC deve ser vista não como um substituto direto para os métodos existentes, mas como um mecanismo complementar que aprimora o PEFT ao modular como as representações fluem através dos fluxos residuais do modelo.