🤖 machine learning

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

Este artigo propõe o SharpRec, um novo framework para recomendação sequencial cross-domain baseada em LLM que aborda conflitos de conhecimento e saturação de desempenho na fusão de modelos por meio de alinhamento geométrico consciente de nitidez (sharpness-aware) e ativação de saliência de preferência para superar significativamente os atuais baselines de estado da arte.

Autores originais: Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um bibliotecário tentando recomendar o livro perfeito para um visitante. Se você souber apenas que ele ama ficção científica, pode sugerir uma ópera espacial. Mas e se você também soubesse que ele secretamente ama cozinhar? Um bibliotecário verdadeiramente inteligente poderia conectar esses pontos, sugerindo um romance de ficção científica ambientado em uma cozinha futurista. Este é o sonho da "Recomendação Sequencial de Domínios Cruzados": usar o que uma pessoa gosta em uma área (como filmes) para adivinhar o que ela pode gostar em outra (como livros), mesmo que ela não tenha dito explicitamente sobre seus novos interesses.

Para fazer isso, os computadores modernos usam "Grandes Modelos de Linguagem" (LLMs). Pense neles como cérebros superinteligentes e muito bem informados que entendem o significado profundo das palavras, não apenas uma lista de palavras-chave. Eles podem perceber que "Star Wars" e "cozinhar" podem compartilhar um tema de "jornadas épicas", mesmo que o usuário nunca tenha comprado um livro de receitas. No entanto, ensinar esses cérebros a equilibrar múltiplos interesses ao mesmo tempo é difícil. Se você tentar misturar seus conhecimentos de esportes e brinquedos, eles podem ficar confusos, misturando as regras do futebol com as regras de blocos de montar. Este artigo aborda o problema de como combinar esses diferentes "cérebros especialistas" em um único supercérebro sem que eles tropecem uns nos outros ou esqueçam suas habilidades únicas.

Os pesquisadores, Huwei Ji e sua equipe da Universidade de Zhejiang e da Universidade de Hangzhou Dianzi, descobriram que simplesmente esmagar diferentes modelos de recomendação não funciona bem. Eles encontraram dois problemas principais. Primeiro, os modelos costumam ter uma "incompatibilidade geométrica". Imagine tentar fundir duas peças de quebra-cabeça diferentes que foram esculpidas para se encaixar em buracos muito diferentes e irregulares; se você as forçar juntas, a imagem fica distorcida. Segundo, eles notaram um efeito de "saturação". Se você continuar adicionando mais e mais fontes de conhecimento (como adicionar livros, filmes, esportes e brinquedos), o desempenho do modelo atinge um limite e para de melhorar. É como misturar muitas tintas; eventualmente, você obtém apenas um marrom lamacento em vez de uma nova cor vibrante. A equipe chama isso de "homogeneização estatística", onde os detalhes únicos e nítidos de cada interesse são suavizados em uma média entediante.

Para corrigir isso, a equipe construiu um novo framework chamado SharpRec. Eles não apenas esmagaram os modelos juntos; eles deram a eles uma transformação. Primeiro, eles usaram uma técnica de "Alinhamento Geométrico com Sensibilidade à Nitidez" (Sharpness-aware Geometric Alignment). Pense nisso como lixar as bordas irregulares das peças do quebra-cabeça antes de colá-las. Ao empurrar gentilmente os modelos para encontrar pontos "planos" em seu cenário de aprendizado (lugares onde pequenas mudanças não arruínam o resultado), eles garantiram que os diferentes domínios pudessem se encaixar suavemente sem colidir.

Segundo, eles introduziram a "Ativação de Saliência de Preferência" (Preference Salience Activation). Quando os modelos eram fundidos, os detalhes únicos e de alto valor (como um amor específico por brinquedos vintage) acabavam se perdendo na multidão. O SharpRec atua como um marca-texto, encontrando esses detalhes importantes e raros que foram suavizados e impulsionando-os de volta. É como pegar uma foto borrada e usar um software para nitidez nas partes mais importantes, garantindo que o modelo se lembre das coisas específicas que tornam um usuário único, em vez de apenas uma média genérica.

A equipe testou o SharpRec em dados do mundo real da Amazon, observando pares como Livros e Filmes, ou Esportes e Brinquedos. Eles descobriram que seu método superou consistentemente todos os outros métodos de ponta. Na verdade, enquanto outros métodos atingiam um limite de desempenho após combinar apenas três ou quatro domínios diferentes, o SharpRec continuava melhorando à medida que adicionavam mais fontes. Eles também mostraram que o método funciona mesmo quando existem pouquíssimos usuários que se sobrepõem entre os dois domínios, provando que não precisa de uma multidão massiva de pessoas que gostam de ambas as coisas para fazer a conexão.

Em suma, o artigo sugere que, ao alinhar cuidadosamente a "forma" dos modelos e proteger ativamente seus recursos mais únicos, podemos construir sistemas de recomendação que não são apenas mais inteligentes, mas também capazes de aprender com uma vasta gama de diferentes interesses sem ficarem confusos ou perderem seu vigor. Os resultados, medidos pela frequência com que o sistema acertou o próximo item que um usuário gostaria, mostram que esta abordagem é um passo significativo para criar recomendadores de IA que realmente compreendem nossas vidas complexas e multifacetadas.

Resumo Técnico: SharpRec para Recomendação Sequencial Cross-Domain Baseada em LLM

1. Definição do Problema

A Recomendação Sequencial Cross-Domain (CDSR) visa melhorar o desempenho da recomendação em um domínio alvo ao alavancar dados de interação de domínios auxiliares. Embora os Grandes Modelos de Linguagem (LLMs) tenham emergido como uma ferramenta poderosa para CDSR devido à sua capacidade de realizar raciocínio semântico profundo e preencher lacunas entre usuários não sobrepostos, os paradigmas existentes enfrentam limitações significativas:

Abordagens aprimoradas por LLM frequentemente sofrem de desalinhamento semântico-colaborativo, onde forçar itens em um espaço semântico unificado distorce a modelagem de preferências dinâmicas.
Abordagens baseadas em LLM (ex: ajuste de instrução unificado) lutam contra conflitos de distribuição de dados entre domínios e carecem de flexibilidade, pois atualizações de domínio exigem o retreinamento custoso de todo o modelo.
Fusão de Modelos (Model Merging), uma alternativa promissora que integra adaptadores específicos de domínio (ex: LoRA) sem retreinamento, encontra dois gargalos empíricos críticos quando aplicada a cenários de CDSR heterogêneos e realistas:
1. Conflito de Conhecimento Cross-Domain: Mesclar modelos de domínios divergentes (ex: Esportes e Brinquedos) leva a uma severa interferência de parâmetros. A análise empírica revela que o ajuste fino independente prende os modelos em "mínimos agudos" (sharp minima) que são geometricamente incompatíveis, causando transferência negativa que não pode ser resolvida por simples ajuste linear de pesos.
2. Saturação de Desempenho na Fusão Multi-Domínio: À medida que o número de domínios de origem aumenta, os ganhos de desempenho diminuem rapidamente. Isso é atribuído à "homogeneização estatística", onde a agregação linear atua como um filtro de média, suavizando parâmetros salientes de alta magnitude (outliers) em uma distribuição Gaussiana genérica e pobre em recursos, apagando assim os sinais de alta ordem essenciais para capturar preferências cross-domain complexas.

2. Metodologia: SharpRec

Para enfrentar esses gargalos, os autores propõem o SharpRec (Sharpness-aware Model Merging with Salience Recovery), um framework projetado para elevar o limite superior de desempenho dos modelos de CDSR baseados em LLM fundidos. O framework consiste em dois módulos sinérgicos:

A. Alinhamento Geométrico Sensível à Agudeza (SGA - Sharpness-aware Geometric Alignment)

O SGA aborda a incompatibilidade geométrica (Desafio 1) garantindo que os modelos específicos de domínio residam em bacias de perda baixa e conectadas antes da fusão.

Mecanismo: Em vez do ajuste fino padrão, o SGA emprega um objetivo de otimização sensível à agudeza. Ele trata o processo de fusão como uma perturbação estocástica de pior caso, guiando o modelo em direção a "mínimos planos" (flat minima) em vez de "mínimos agudos".
Objetivo: A otimização minimiza a diferença de perda entre os parâmetros originais e os parâmetros perturbados dentro de um raio $\rho$ . Isso garante que os parâmetros agregados permaneçam estáveis sob os deslocamentos induzidos pela fusão.
Base Teórica: Os autores provam que o erro de interferência de fusão é limitado pelo produto da divergência de domínio e da agudeza da perda. Ao minimizar a agudeza ( $\sigma(\theta)$ ), o SGA garante teoricamente que o caminho de fusão permaneça dentro de uma região de baixa perda, mitigando a transferência negativa.

B. Ativação de Saliência de Preferência (PSA - Preference Salience Activation)

O PSA aborda a homogeneização estatística (Desafio 2) reconstruindo a distribuição de parâmetros pós-fusão.

Mecanismo: Após a agregação linear inicial dos adaptadores, o PSA aplica uma estratégia de reparametrização não linear. Primeiro, introduz o desmembramento estocástico ao subtrair ruído Gaussiano para deslocar os parâmetros para longe da média de alta densidade.
Transformação: Em seguida, aplica uma função de projeção não linear elemento a elemento $T(\cdot)$ que amplifica outliers de grande magnitude enquanto suprime o ruído próximo a zero. Isso transforma a distribuição de uma Gaussiana estreita de volta para uma distribuição de cauda pesada (heavy-tailed distribution).
Objetivo: Este processo recupera os "sinais de preferência salientes" (pesos de alta magnitude) que codificam a expertise específica do domínio, os quais são tipicamente erodidos pela média linear.
Base Teórica: Os autores demonstram que esta distribuição de cauda pesada expande a cobertura do espaço funcional do modelo (medida pelo determinante Jacobiano), permitindo que o modelo fundido capture interesses de usuários complexos e de cauda longa que a fusão linear suprime.

3. Principais Contribuições

Novo Framework: A proposta do SharpRec, um novo paradigma para CDSR baseado em LLM que integra otimização sensível à agudeza e recuperação de distribuição para alcançar transferência de conhecimento robusta e escalável.
Soluções Técnicas:
- SGA: Um método para guiar modelos para mínimos planos, resolvendo a incompatibilidade geométrica e mitigando a interferência de parâmetros cross-domain.
- PSA: Uma técnica de reparametrização não linear para reativar sinais de preferência salientes, elevando o teto de desempenho e aliviando a saturação na fusão multi-domínio.
Validação Empírica: Experimentos extensivos em cenários de duplo domínio e multi-domínio demonstrando que o SharpRec supera consistentemente os baselines de estado da arte, incluindo métodos tradicionais de CDSR, abordagens aprimoradas por LLM e técnicas existentes de fusão de modelos.

4. Resultados Experimentais

Os autores avaliaram o SharpRec no dataset Amazon Review 2023 através de sete domínios (Livro, Filme, Comida, Cozinha, Esporte, Brinquedo, Roupa).

Desempenho Geral (RQ1): O SharpRec alcançou resultados de estado da arte em todas as seis tarefas cross-domain (ex: Livro $\to$ Filme, Esporte $\to$ Brinquedo), superando significativamente baselines como WeaveRec, X-Cross e LLM4CDSR. Por exemplo, na tarefa Livro $\to$ Filme, o SharpRec alcançou um NDCG@5 de 79,93%, comparado a 40,77% do WeaveRec.
Escalabilidade (RQ2): Em configurações multi-domínio (integrando até 7 domínios de origem), os métodos baseline exibiram rápida saturação de desempenho após 3–4 domínios. Em contraste, o SharpRec manteve uma trajetória ascendente robusta, alcançando ganhos contínuos (ex: melhoria de +51,4% sobre o WeaveRec na tarefa de Comida com 7 domínios).
Estudos de Ablação (RQ3): Remover o SGA levou a uma degradação severa do desempenho devido à interferência de parâmetros, enquanto remover o PSA causou a saturação de desempenho em configurações multi-domínio, confirmando a necessidade de ambos os módulos.
Robustez (RQ5): O SharpRec demonstrou desempenho estável através de varições nas taxas de sobreposição de usuários (20% a 80%), contornando efetivamente o "dilema da sobreposição" que aflige os métodos tradicionais de CDSR.

5. Significância e Alegações

O artigo afirma que a eficácia dos métodos existentes de fusão de modelos em CDSR é fundamentalmente limitada pela interferência geométrica de parâmetros e pela homogeneização estatística dos sinais de preferência.

A significância do SharpRec reside em sua capacidade de:

Quebrar o Teto de Escalabilidade: Ao abordar as causas raízes da saturação e do conflito, o SharpRec permite a integração eficaz de um grande número de domínios auxiliares diversos, uma capacidade anteriormente limitada em CDSR.
Desacoplar o Desempenho da Densidade de Dados: Ao alavancar o alinhamento semântico e a recuperação geométrica, o framework garante a transferência de conhecimento eficaz mesmo em cenários com mínima sobreposição de usuários, reduzindo a dependência de sinais de coocorrência explícitos.
Fornecer um Paradigma Robusto: O trabalho oferece uma solução escalável e eficiente para a utilização de conhecimento de mundo aberto em sistemas de recomendação, indo além das limitações da agregação linear e do alinhamento de representação rígido.

Os autores concluem que o SharpRec pavimenta o caminho para uma utilização mais eficiente de LLMs em cenários cross-domain, garantindo que os modelos fundidos retenham as características distintas de alta ordem necessárias para o raciocínio complexo e a modelagem de preferências.