🤖 machine learning

GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation

Este artigo propõe o GOD (Graft-Oriented Distillation), um framework de destilação de conhecimento ao nível de componente que melhora a generalização de recomendação sequencial através da construção de modelos híbridos por meio de enxertia para destrincar e fornecer feedback preciso sobre os embeddings e codificadores do estudante, superando assim os baselines de estado da arte sem incorrer em custos adicionais de inferência.

Autores originais: WooJoo Kim, JunYoung Kim, JaeHyung Lim, HwanJo Yu

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: WooJoo Kim, JunYoung Kim, JaeHyung Lim, HwanJo Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, os algoritmos tentam constantemente adivinhar o que queremos a seguir. Seja uma música, um filme ou um produto, esses sistemas aprendem com nossas ações passadas para prever nossas escolhas futuras. Este campo, conhecido como recomendação sequencial, baseia-se na ideia de que nosso histórico contém a chave para o nosso próximo passo. No entanto, o comportamento humano real é desordenado. Nossos históricos de interação são frequentemente curtos, repletos de lacunas e, às vezes, contêm cliques aleatórios que não refletem nossos interesses reais. Quando um algoritmo tenta aprender com dados tão esparsos e ruidosos, ele frequentemente tem dificuldade em generalizar, o que significa que falha em fazer boas previsões quando encontra situações novas ou incomuns. Para corrigir isso, pesquisadores recorreram a uma técnica chamada destilação de conhecimento. Imagine um mestre chef ensinando um aprendiz; o mestre conhece os sabores e técnicas complexos, e o objetivo é transferir esse entendimento profundo para o aluno, para que o aluno possa cozinhar bem por conta própria. No aprendizado de máquina, um modelo grande e poderoso atua como o professor, e um modelo menor e mais rápido atua como o aluno. O aluno aprende observando as respostas finais ou os pensamentos internos do professor, esperando imitar essa expertise.

Apesar da promessa deste método de ensino, um novo estudo sugere que a forma tradicional de fazê-lo possui um ponto cego. Na prática padrão, o professor e o aluno trabalham separadamente. O professor processa os dados e produz um resultado, e o aluno tenta copiar esse resultado. O problema é que, quando os dados são desordenados, é difícil dizer onde o aluno está falhando. O aluno está entendendo mal os ingredientes brutos? Está falhando ao combiná-los corretamente? Ou está simplesmente tentando copiar demais uma resposta específica que por acaso estava errada? Como o professor e o aluno operam em trilhas separadas, seus erros se misturam, tornando difícil fornecer orientação precisa. Pesquisadores da Universidade de Ciência e Tecnologia de Pohang, na Coreia do Sul, propuseram uma abordagem diferente para desembaraçar esses erros. Eles chamam seu método de GOD, que significa Destilação Orientada por Enxerto (Graft-Oriented Distillation). Em vez de manter o professor e o aluno inteiramente separados, este método costura temporariamente partes do aluno no céreão do professor durante o processo de treinamento.

Os pesquisadores testaram essa ideia pegando um sistema de recomendação padrão e criando modelos híbridos. Eles pegavam um modelo professor pré-treinado e congelado e substituíam um de seus componentes principais pela parte correspondente do aluno. Por exemplo, eles poderiam substituir o banco de memória de nomes de itens do professor pela versão do aluno, mantendo intacto o motor de lógica do professor. Isso criava um modelo "enxertado" que poderia processar dados usando a memória do aluno, mas a lógica do professor. Eles fizeram o inverso também, usando a memória do professor com o motor de lógica do aluno. Ao executar esses modelos híbridos, os pesquisadores puderam ver exatamente quão bem a memória do aluno funcionava quando guiada pela lógica do professor, e quão bem a lógica do aluno funcionava quando alimentada pelos dados do professor. Isso proporcionou uma visão muito mais clara de onde o aluno estava enfrentando dificuldades, permitindo correções direcionadas que um método de ensino padrão e separado não poderia oferecer.

Para fazer este processo funcionar suavemente, os pesquisadores introduziram uma técnica onde os componentes do professor e do aluno podiam olhar uns para os outros enquanto processavam informações. Essa atenção mútua ajudou a estabilizar o aprendizado, especialmente quando as partes do aluno ainda não estavam totalmente treinadas. Eles então usaram uma regra de aprendizado especializada que comparava as relações entre todas essas diferentes visões híbridas, em vez de apenas combinar pontuações finais. Essa regra garantiu que o aluno aprendesse a estrutura subjacente dos dados, não apenas as respostas superficiais. O resultado foi um sistema que podia aprender padrões robustos mesmo a partir de históricos muito curtos ou ruidosos. Quando testado em três conjuntos de dados do mundo real envolvendo compras online, avaliações de restaurantes e classificações de filmes, o novo método superou consistentemente as técnicas de ponta existentes. Em alguns casos, melhorou a precisão das recomendações em quase quatorze por cento em comparação com os melhores métodos anteriores.

Uma das descobertas mais significativas foi que esta abordagem funcionou particularmente bem quando os dados eram esparsos. Em situações onde os usuários tinham pouquíssimas interações, o novo método ajudou o modelo do aluno a generalizar muito melhor do que antes. Também provou ser mais robusto quando os dados de entrada eram ruidosos ou corrompidos, mantendo o alto desempenho mesmo quando uma parte significativa do histórico era substituída por itens aleatórios. Os pesquisadores descobriram que o método permanecia eficaz mesmo quando o professor não estava perfeitamente treinado, sugerindo que a técnica de enxerto poderia extrair conhecimento útil de fontes imperfeitas. Crucialmente, todos esses modelos híbridos complexos eram usados apenas durante a fase de treinamento. Uma vez que o aluno estava totalmente treinado, o sistema descartava o professor e os enxertos, usando apenas o modelo compacto do aluno para as previsões reais. Isso significa que, embora o processo de treinamento fosse mais sofisticado, a aplicação final não exigia poder de computação ou tempo extra, tornando-o uma solução prática para sistemas de recomendação do mundo real.

O estudo também explorou como este método se sustentava quando o aluno e o professor tinham o mesmo tamanho, um cenário frequentemente usado para testar técnicas de autoaperfeiçoamento. Mesmo sem um professor grande para guiar um aluno pequeno, o método de enxerto continuou a superar outras abordagens, sugerindo que o benefício vinha da maneira como os componentes eram acoplados e examinados, e não apenas da diferença de tamanho entre os modelos. Os pesquisadores concluíram que, ao isolar e supervisionar componentes específicos do processo de aprendizado, eles poderiam superar as limitações da destilação tradicional. Esse feedback ao nível do componente permitiu que o sistema aprendesse padrões mais confiáveis a partir de dados imperfeitos, oferecendo um caminho mais claro para as máquinas entenderem as preferências humanas em um mundo complexo e muitas vezes desordenado. O trabalho demonstra que, às vezes, para ensinar melhor uma máquina, você precisa deixá-la pensar com o seu cérebro por um momento, antes que ela aprenda a pensar por conta própria.

Resumo Técnico: GOD: Aprimorando a Generalização via Enxertia Profunda para Recomendação Sequencial

Declaração do Problema

A Recomendação Sequencial (SR) visa prever a próxima interação de um usuário ao modelar padrões em suas sequências históricas de interação. Embora modelos sequenciais profundos, particularmente arquiteturas baseadas em Transformer, tenham alcançado um forte desempenho, eles lutam com dados do mundo real caracterizados por esparsidade e ruído. Nesses ambientes, os modelos frequentemente sofrem de overfitting em coocorrências observadas ou transições espúrias, em vez de aprenderem padrões robustos que generalizem para interações não vistas.

Métodos convencionais de Destilação de Conhecimento (KD) tentam mitigar a esparsidade de dados transferindo supervisão densa de um modelo "professor" pré-treinado e de grande escala para um modelo "aluno" compacto. No entanto, as abordagens de KD convencionais tipicamente executam o professor e o aluno através de caminhos de inferência independentes. O aluno é então treinado para corresponder às saídas ou representações do professor. Os autores argumentam que essa separação emaranha os efeitos dos componentes do aluno (ex: tabelas de embedding e codificadores de sequência). Consequentemente, torna-se difícil determinar se a baixa generalização decorre de embeddings não confiáveis, codificadores com overfitting ou da coadaptação de ambos à histórias esparsas. Além disso, a KD padrão fornece apenas feedback ao nível da saída ou do nível de representação intermediária, falhando em oferecer a orientação específica por componente necessária para uma generalização robusta.

Metodologia: Destilação Orientada por Enxertia (GOD)

Para abordar essas limitações, o artigo propõe o GOD, um framework de KD ao nível de componente que utiliza enxertia (grafting). A enxertia envolve a substituição de componentes selecionados e congelados do modelo professor por contrapartes treináveis do aluno para criar "modelos de origem híbridos". Isso permite que o sistema avalie componentes específicos do aluno sob o caminho de computação do professor, fornecendo feedback granular.

1. Modelos de Origem Híbridos

O GOD constrói três modelos de origem distintos para facilitar a destilação ao nível de componente:

Professor Não-Enxertado: O modelo professor original e congelado, servindo como uma âncora de conhecimento estável.
Professor com Enxertia de Embedding (Embed-Grafted Teacher): A tabela de embedding do professor é substituída pela tabela de embedding treinável do aluno, enquanto o codificador de sequência do professor permanece congelado. Isso avalia os embeddings do aluno sob a lógica de codificação do professor.
Professor com Enxertia de Codificador (Encoder-Grafted Teacher): O codificador de sequência do professor é substituído pelo codificador treinável do aluno, enquanto a tabela de embedding do professor permanece congelada. Isso avalia o codificador do aluno sob as representações de embedding do professor.

O Modelo Alvo é o Aluno Não-Enxertado, que recebe representações destiladas de todos os três modelos de origem.

2. Codificação Enxertada (GE)

Para estabilizar a geração de representações nos modelos híbridos, particularmente durante o início do treinamento quando os componentes do aluno ainda não estão otimizados, o GOD introduz a Codificação Enxertada (Grafted Encoding - GE).

Mecanismo: Para modelos baseados em Transformer, a GE concatena os embeddings do lado do professor e do lado do aluno e os processa através de um codificador de sequência compartilhado.
Atenção Mútua: Diferente da atenção causal padrão, a GE permite a atenção mua entre os tokens do professor e do aluno dentro da sequência concatenada. Isso permite que tokens estáveis do lado do professor forneçam contexto para os tokens do lado do aluno no início do treinamento, enquanto embeddings aprimorados do aluno refinam as representações posteriormente, sem atualizar o professor congelado.
Eficiência: Embora a GE aumente o comprimento da sequência durante o treinamento, ela não é utilizada durante a inferência, não incorrendo em custo adicional de inferência.

3. Aprendizado Contrastivo Consciente de Enxertia (GCL)

O GOD emprega aprendizado contrastivo para destilar estruturas relacionais entre as quatro representações geradas pelos modelos de origem e alvo:

Relações Pareadas: O framework considera todas as relações pareadas entre as representações: $(T,T)$ , $(S,T)$ , $(T,S)$ e $(S,S)$ .
Ponderação Adaptativa: Nem todos os pares são igualmente informativos. O GCL pondera dinamicamente os pares com base em sua similaridade. Relações altamente similares são penalizadas (redução de peso) para reduzir a supervisão redundante, enquanto pares menos alinhados (complementares) são enfatizados.
Parada de Gradiente (Stop-Gradient): O mecanismo de ponderação utiliza uma operação de parada de gradiente para garantir que os pesos atuem como coeficientes adaptativos em vez de alvos de otimização direta.

4. Inferência e Otimização

Durante a inferência, o GOD utiliza apenas o Aluno Não-Enxertado, garantindo que não haja sobrecarga computacional adicional em comparação com modelos padrão. O objetivo de treinamento otimiza conjuntamente a perda de recomendação (prevendo o próximo item) e a perda de destilação (GCL) usando um coeficiente $\lambda$ .

Principais Contribuições

Perspectiva ao Nível de Componente: O artigo reexamina a KD para SR, destacando como caminhos separados de professor-aluno podem enfraquecer a generalização sob histórias esparsas e propondo uma mudança para o feedback ao nível de componente.
Framework GOD: A introdução de um framework de KD que constrói modelos de origem híbridos via enxertia. Isso permite a avaliação dos embeddings e codificadores do aluno dentro de caminhos de computação condicionados pelo professor.
Validação Empírica: Experimentos extensos em três conjuntos de dados do mundo real (Amazon Beauty, Yelp, MovieLens 1M) demonstram que o GOD supera consistentemente os baselines de estado da arte e de auto-supervisão.

Resultados Experimentais

Os autores avaliaram o GOD em três conjuntos de dados utilizando três arquiteturas de backbone (GRU4Rec, FMLPRec e SASRec).

Desempenho: O GOD alcançou os melhores resultados em todos os conjuntos de dados e métricas. Superou o baseline mais forte em até 13,92% (especificamente em NDCG@20 no conjunto de dados Yelp com SASRec).
Generalização: O GOD mostrou melhorias particularmente grandes em conjuntos de dados esparsos (Amazon Beauty, Yelp) em comparação com os mais densos (MovieLens 1M), validando sua eficácia no tratamento de interações esparsas.
Robustez:
- Esparsidade: O GOD manteve um desempenho superior mesmo para usuários com históricos de interação muito curtos.
- Ruído: O modelo demonstrou robustez contra ruído injetado nas sequências de entrada.
- Qualidade do Professor: O GOD funcionou bem mesmo quando o professor estava apenas parcialmente treinado, superando métodos de KD bidirecional que dependem de atualizações do professor.
Eficiência: Apesar da complexidade adicional dos modelos híbridos durante o treinamento, o GOD atingiu seu melhor desempenho de validação mais rapidamente (em tempo de relógio) do que os fortes baselines como BD e EMKD, e incorreu em menor uso de memória do que alguns competidores.
Auto-destilação: Mesmo em um cenário de auto-destilação onde o professor e o aluno possuem capacidades idênticas (sem compressão), o GOD superou tanto a KD convencional quanto os baselines de contraste auto-supervisionados, sugerindo que os ganhos advêm do próprio mecanismo de enxertia e não apenas da compressão de modelo.

Significância e Alegações

O artigo afirma que o GOD aborda uma limitação fundamental na recomendação sequencial: o emaranhamento dos componentes do aluno em uma KD padrão. Ao usar a enxertia para isolar e supervisionar componentes específicos (embeddings vs. codificadores) dentro de um caminho condicionado pelo professor, o GOD fornece uma orientação mais direta e detalhada.

Os autores enfatizam que o GOD não depende de modalidades externas (como Grandes Modelos de Linguagem) ou de atualizações massivas do professor. Em vez disso, ele melhora a generalização do conhecimento destilado através do acoplamento estrutural. O framework é apresentado como uma solução prática que melhora o desempenho da recomendação sem um overhead de treinamento proibitivo e incorre em custo zero adicional durante a inferência, pois depende exclusivamente do modelo aluno não-enxertado no momento do deploy.