Resumo Técnico: Misturar Dados ou Mesclar Modelos? Equilibrando a Utilidade, Honestidade e Inofensividade de Grandes Modelos de Linguagem via Fusão de Modelos

Declaração do Problema

A implantação confiável de Grandes Modelos de Linguagem (LLMs) requer uma otimização equilibrada entre três dimensões críticas: Utilidade (respostas precisas e alinhadas à tarefa), Honestidade (evitar alucinações) e Inofensividade (prevenir saídas tóxicas), coletivamente denominadas otimização 3H. Embora as técnicas de alinhamento existentes, como o Aprendizado por Reforço com Feedback Humano (RLHF) e a Otimização de Preferência Direta (DPO), tenham melhorado aspectos individuais, alcançar um equilíbrio simultâneo permanece um desafio significativo devido a trade-offs inerentes; por exemplo, otimizar a utilidade pode inadvertidamente gerar conteúdo prejudicial, enquanto o alinhamento da inofensividade pode levar a respostas desonestas.

As abordagens tradicionais para resolver esses conflitos baseiam-se em estratégias de mistura de dados, que combinam diversos conjuntos de dados para realizar o ajuste fino de um único modelo. No entanto, esses métodos enfrentam limitações, incluindo a forte dependência de conhecimento especializado para a curadoria de dados, altos custos computacionais e a dificuldade de gerenciar sinais de otimização conflitantes durante o ajuste fino. A fusão de modelos (integrando parâmetros de modelos especializados) oferece uma alternativa de nível de parâmetro, mais econômica, para mitigar o esquecimento catastrófico e equilibrar objetivos, mas sua eficácia específica e limitações para a otimização 3H permaneceram subexploradas. Os principais desafios neste domínio incluem o acúmulo de ruído de preferência (onde a fusão de múltiplos modelos alinhados introduz atualizações de pesos discrepantes que obscurecem a verdadeira direção da tarefa) e a adaptação de esparsidade de camada (a falha dos métodos existentes em considerar padrões de esparsidade variáveis em diferentes camadas de um LLM).

Metodologia

Benchmarking e Análise

Os autores estabeleceram primeiro um benchmark abrangente para comparar sistematicamente as técnicas de mistura de dados e fusão de modelos para a otimização 3H. Isso envolveu:

• Datasets: 10 conjuntos de dados de preferência cobrindo 5 dimensões de anotação (Utilidade, Honestidade, Inofensividade e suas combinações).
• Baselines: 15 métodos representativos, incluindo 12 estratégias de fusão de modelos livres de treinamento (ex: Média de Pesos, Aritmética de Tarefas, TIES, DARE, TSVM) e 3 estratégias de mistura de dados (Heuristic, ArmoRM, Hummer).
• Modelos: Duas famílias de LLMs ajustados por instrução (Llama-3-8B e Mistral-7B) sob configurações de otimização estática (estágio único) e contínua (múltiplos estágios).

Através deste benchmark, os autores revelaram relações colaborativas e conflitantes anteriormente negligenciadas entre as dimensões 3H. Notavelmente, descobriram que, embora o treinamento "Útil" beneficie todas as dimensões 3H simultaneamente, o treinamento "Honesto" e o "Inofensivo" frequentemente enfraquecem um ao outro.

Método Proposto: RESM

Para abordar os desafios específicos de ruído de preferência e esparsidade de camada na fusão multiobjetivo, o artigo propõe a Fusão de Vetores Singulares com Reforço de Reponderação (RESM - Reweighting Enhanced task Singular Merging). Este método baseia-se na fusão de Vetores Singulares de Tarefa (TSV), mas introduz dois mecanismos inovadores:

1. Peso Sensível a Outliers (Abordando o Ruído de Preferência):

   • Reconhecendo que a fusão de múltiplos modelos alinhados acumula ruído de preferência, o RESM emprega um mecanismo de filtragem de significância estatística baseado no princípio 3σ.
   • Ele calcula a média por linha ($\mu$) e o desvio padrão ($\sigma$) das variações de peso ($\Delta$) para cada camada.
   • Uma função de limiar suprime flutuações de baixa magnitude (ruído) e retém apenas desvios estatisticamente significativos.
   • Um peso de agregação ($\alpha$) é computado via normalização L1 dessas magnitudes esparsas de outliers, garantindo contribuições equilibradas de diversas tarefas e evitando que atualizações de alta magnitude dominem a fusão.

2. Seleção de Rank Adaptativa à Esparsidade (Abordando a Esparsidade de Camada):

   • Métodos convencionais utilizam um limiar de seleção de rank uniforme ($k$) em todas as camadas, o que falha em considerar a heterogeneidade da importância dos parâmetros.
   • O RESM determina dinamicamente o rank ($k_l$) para cada camada com base em seu consenso de esparsidade ($\Omega_l$).
   • A esparsidade é calculada contando a proporção de desvios de parâmetros abaixo de um pequeno limiar $\epsilon$.
   • O rank dinâmico é definido como $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$, onde $d_l$ é a dimensão da camada. Isso permite a retenção de um rank maior em camadas esparsas (preservando características direcionais críticas) e uma redução de dimensionalidade mais forte em camadas densas (suprimindo o ruído).

A camada fundida final é computada integrando estes vetores singulares reponderados:
$$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$$

Principais Resultados

Comparação de Desempenho

Avaliações extensas nos modelos Llama-3 e Mistral demonstram que a fusão de modelos geralmente supera os métodos de mistura de dados no alcance de uma otimização 3H equilibrada:

• Otimização Estática: No Llama-3, o melhor método de mistura de dados (Hummer) alcançou um ganho normalizado de 10,16%. Em contraste, os métodos de fusão de modelos superaram consistentemente este valor, com o proposto RESM alcançando um ganho de 14,97%. O TSV (baseline do RESM) alcançou 13,00%.
• Resultados Mistral: Tendências semelhantes foram observadas, com o RESM alcançando um ganho de 3,36% sobre o baseline, superando o melhor método de mistura de dados (1,53%).
• Estabilidade: Diferente dos métodos de esparsificação aleatória (ex: DARE, DELLA) que mostraram desempenho instável entre diferentes sementes aleatórias, o RESM demonstrou resultados robustos e consistentes devido à sua abordagem baseada em SVD e estratégias adaptativas.

Estudos de Ablação

Estudos de ablação confirmaram a necessidade de ambos os componentes no RESM:

• Remover o peso de outliers reduziu o ganho normalizado no Llama-3 de 14,97% para 13,60%.
• Remover a seleção de rank adaptativa reduziu o ganho para 13,71%.
• A combinação de ambas as estratégias gerou o maior desempenho, validando que abordar tanto o acúmulo de ruído quanto a esparsidade de camada é crítico.

Otimização Contínua

Em configurações de treinamento DPO contínuo (simulando cenários do mundo real com dados sequenciais), o RESM manteve um desempenho superior aos modelos de estágio final. Os autores observaram que os efeitos de esquecimento catastrófico paradoxalmente potencializaram o alinhamento 3H através da otimização interativa, e a estratégia do RESM de fundir a partir de um checkpoint fundamental (em vez de intermediários) mitigou efetivamente o overfitting aos objetivos anteriores.

Significância e Alegações

O artigo afirma fornecer o primeiro benchmark sistemático comparando mistura de dados e fusão de modelos para a otimização 3H. Suas principais contribuições são:

1. Insights Empíricos: Revela que a fusão de modelos oferece um paradigma de otimização em fases que negocia efetivamente objetivos de alinhamento conflitantes, muitas vezes superando estratégias de mistura de dados que lutam com sinais conflitantes.
2. Avanço Metodológico: O algoritmo RESM proposto aborda obstáculos técnicos específicos da fusão de LLMs — ruído de preferência e esparsidade de camada — através de ponderação de outliers e seleção de rank adaptativa, alcançando um alinhamento equilibrado de estado da arte sem exigir dados de treinamento adicionais.
3. Fundamentação Teórica: O trabalho fornece limites teóricos sobre a probabilidade de conflito, demonstrando que a seleção de rank adaptativa reduz a probabilidade de conflitos direcionais entre vetores de tarefa em comparação com abordagens de rank fixo.

Os autores concluem que a fusão de modelos, particularmente quando aprimorada com estratégias de reponderação e consciência de esparsidade, representa um caminho viável e eficiente para a construção de LLMs alinhados a múltiplos objetivos e eticamente restritos. Eles enfatizam que, embora o RESM melhore significativamente a Honestidade e a Inofensividade, a dimensão da "Utilidade" ainda apresenta desafios devido a conflitos intradimensionais, sugerindo a necessidade de futuros frameworks de resolução de conflitos hierárquicos.