🤖 AI

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

Este artigo propõe um framework de pós-treinamento progressivo de três fases (Linear Probing, Full Fine-Tuning e Reinforcement Fine-Tuning) que alinha efetivamente modelos de fundação para recomendação com métricas de negócio ao desacoplar a adaptação de tarefas da otimização baseada em recompensa, demonstrando desempenho superior tanto em experimentos offline quanto em testes A/B online de larga escala.

Autores originais: Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

Publicado 2026-08-10

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca mágica e enorme onde os livros conversam de volta. Esta não é apenas uma biblioteca comum; é uma biblioteca "Foundation Model" (Modelo de Fundação). Pense neste modelo como um bibliotecário superinteligente e muito viajado, que leu bilhões de histórias e sabe exatamente como as pessoas se comportam ao folhear os livros. Este bibliotecário já aprendeu as regras gerais da narrativa e da curiosidade humana. Mas aqui está a parte complicada: só porque o bibliotecário sabe como encontrar um livro, não significa que ele saiba o que o dono da biblioteca realmente quer. O dono pode se importar com quanto tempo as pessoas permanecem na biblioteca, ou quantas delas assinam uma assinatura, não apenas com quantos livros elas pegam da prateleira.

No mundo da ciência da computação, especificamente em Sistemas de Recomendação, este é o dilema diário. Temos esses modelos de IA gigantes e pré-treinados (os bibliotecários) que são ótimos em prever no que você pode clicar em seguida. Mas o negócio quer mais do que apenas cliques; eles querem engajamento profundo, como terminar toda uma série de quadrinhos ou pagar por conteúdo premium. O problema é que os sinais para "cliques" estão em toda parte e são fáceis de ver, enquanto os sinais para "satisfação profunda" são raros e difíceis de encontrar. Se você tentar ensinar o bibliotecário a perseguir os sinais raros diretamente, eles podem ficar confusos, esquecer tudo o que já sabiam e começar a recomendar coisas estranhas. Este artigo explora uma maneira inteligente e passo a passo de treinar esses bibliotecários digitais para que eles não apenas adivinhem no que você clicará, mas realmente ajudem você a encontrar histórias que você amará a longo prazo.

A Dança dos Três Passos: Como Treinar um Bibliotecário de Recomendação

Os pesquisadores da NAVER WEBTOON, uma plataforma gigante de quadrinhos digitais, perceberam que tentar ensinar tudo à sua IA de uma só vez era uma receita para o desastre. Eles propuseram um framework de "Alinhamento Progressivo", que é basicamente um acampamento de treinamento de três fases, projetado para transformar uma IA de propósito geral em um especialista em recomendações consciente dos objetivos de negócio, sem "quebrar o cérebro" dela.

Fase 1: O Aquecimento (Linear Probing)
Imagine que você tem um mestre chef (o Modelo de Fundação pré-treinado) que sabe cozinhar qualquer coisa. Você quer que ele faça um prato novo e específico para um restaurante, mas não quer que ele esqueça como cozinhar todo o resto. Se você entregar a ele um conjunto de facas e panelas totalmente novas e aleatórias (os "módulos downstream") e disser para ele começar a cozinhar imediatamente, ele pode entrar em pânico e estragar suas habilidades existentes.

Portanto, o primeiro passo é o Linear Probing (LP). Nesta fase, o céreã do mestre chef está congelado — ele não pode mudar seu estilo de cozinha fundamental. Você permite que ele pratique apenas com as novas facas e panelas. Isso ajuda as novas ferramentas a se acostumarem nas mãos do chef sem bagunçar as receitas principais. É como deixar um novo funcionário observar o chefe por uma semana antes de ser permitido tocar no fogão. Isso estabiliza a conexão entre o vasto conhecimento da IA e a tarefa específica de recomendar quadrinhos.

Fase 2: A Prática Completa (Full Fine-Tuning)
Uma vez que as novas ferramentas estejam estáveis, é hora de deixar o chef cozinhar com total liberdade. Isso é o Full Fine-Tuning (FFT). Agora, todo o modelo é desbloqueado. O chef pode ajustar todo o seu estilo de cozinha para se especializar no menu deste restaurante específico. Como as novas ferramentas já foram aquecidas na Fase 1, o chef não fica sobrecarregado. Ele pode aprender os gostos específicos dos clientes (a "tarefa downstream") mantendo intacta a base sólida de seu conhecimento geral. Os pesquisadores descobriram que fazer isso em dois passos (LP depois FFT) foi muito melhor do que tentar fazer tudo em um único salto gigante, o que frequentemente leva ao "esquecimento catastrófico" — onde a IA esquece como ser inteligente porque está ocupada demais tentando ser específica.

Fase 3: O Jogo da Recompensa (Reinforcement Fine-Tuning)
É aqui que a mágica acontece. O chef agora é bom em cozinhar o menu, mas será que ele está cozinhando o que o dono realmente quer? O dono se importa com a satisfação profunda (como um cliente comprando uma temporada inteira de quadrinhos), não apenas com um lanche rápido (um único clique). Mas a satisfação profunda é rara; a maioria das pessoas apenas navega.

Se você tentar ensinar o chef a visar apenas as vitórias raras de "satisfação profunda", ele pode começar a adivinhar de forma desenfreada. Em vez disso, os pesquisadores usaram um Modelo de Recompensa (Reward Model). Pense nisso como um provador de sabores que possui uma ficha de avaliação especial. O provador olha para as interações profundas e raras e atribui uma "pontuação de recompensa" a elas.

Na terceira fase, o Reinforcement Fine-Tuning (RFT), o chef não apenas cozinha para agradar a multidão; ele cozinha para agradar a pontuação do provador. A IA gera várias recomendações, o provador (o Modelo de Recompensa) dá notas a elas com base na probabilidade de levarem ao engajamento profundo, e a IA aprende a ajustar sua estratégia para obter pontuações mais altas. Crucialmente, a IA ainda usa os sinais "densos" (como cliques) que aprendeu na Fase 2 para saber o que recomendar, mas os sinais de "recompensa" guiam como classificar esses itens para maximizar a felicidade a longo prazo.

O Que Eles Descobriram (e o Que Eles Disseram "Não")

A equipe testou este método de três etapas em um enorme conjunto de dados de interações reais de usuários de sua plataforma Webtoon. Eles compararam seu novo método com as formas antigas de fazer as coisas.

A Lista do "Não Faça Isso":
O artigo argumenta explicitamente contra dois atalhos comuns:

Não treine diretamente nos objetivos de negócio raros. Se você tentar ensinar a IA a otimizar para a "conclusão de conteúdo pago" desde o início, ela falha em generalizar. É como tentar ensinar um aluno a resolver problemas avançados de cálculo antes que ele tenha aprendido multiplicação. Os sinais são muito esparsos (muito raros) e o modelo se perde.
Não use apenas o Modelo de Recompensa como o recomendador final. Os pesquisadores tentaram usar o "provador de sabores" (o Modelo de Recompensa) diretamente como a pessoa que entrega as recomendações. Embora esse modelo fosse bom em detectar o engajamento profundo, era terrível em classificar os milhões de quadrinhos disponíveis para um clique. Faltava a ele a "discriminação" necessária para escolher o melhor item de uma lista enorme. O artigo sugere que o Modelo de Recompensa é melhor usado como um treinador, não como o jogador.

A Estratégia Vencedora:
O "Alinhamento Progressivo" (LP → FFT → RFT) funcionou melhor.

Testes Offline: Quando rodaram simulações em dados históricos, o modelo de três fases superou os modelos de fase única. Especificamente, a versão que utilizou GRPO (um tipo específico de algoritmo de aprendizado por reforço) com o modelo de recompensa aprendido alcançou as pontuações mais altas. Ela conseguiu manter as altas taxas de clique (Rank NDCG) ao mesmo tempo em que empurrava os usuários para mais fundo no funil de conteúdo (Funnel NDCG).
Prova no Mundo Real: Eles não pararam nas simulações. Realizaram um grande teste A/B em sua plataforma ao vivo. Compararam seu novo IA com seu modelo padrão, que não é baseado em fundação. Os resultados mostraram que o novo framework melhorou consistentemente o engajamento do usuário. A versão "GRPO com Modelo de Recompensa" foi particularmente boa em fazer os usuários lerem mais e alcançarem episódios pagos, enquanto a versão "DPO" (outro algoritmo) foi ligeiramente melhor em conseguir o clique inicial.

A Conclusão

O artigo sugere que o segredo para criar recomendadores de IA poderosos não é apenas jogar mais dados neles ou tentar otimizar o objetivo mais difícil imediatamente. Trata-se de etapas. Primeiro, estabilize as novas ferramentas. Segundo, especialize o modelo. Terceiro, use um sinal de "recompensa" aprendido para guiar suavemente o modelo em direção aos objetivos de longo prazo do negócio, sem perder sua capacidade de fazer boas escolhas imediatas.

Ao separar o "aprender a tarefa" do "alinhar com os objetivos de negócio", os pesquisadores encontraram uma maneira de tornar sua IA inteligente e lucrativa ao mesmo tempo. É um lembrete de que, às vezes, para obter o melhor resultado, você precisa ir devagar, passo a passo, em vez de tentar correr uma maratona em velocidade de sprint até a linha de chegada.

Resumo Técnico: Alinhamento Progressivo de Modelo de Fundação para Recomendação através de Pós-Treinamento Multifásico

Declaração do Problema

Embora os Modelos de Fundação (FMs) para recomendação tenham demonstrado fortes capacidades na modelagem de comportamento sequencial de longo horizonte, seu implantação prática enfrenta dois desafios críticos:

Esquecimento Catastrófico: O ajuste fino direto de backbones pré-treinados massivos junto com módulos específicos de tarefas inicializados aleatoriamente em um único passo frequentemente desestabiliza as representações pré-treinadas, levando à perda de conhecimento comportamental geral.
Desalinhamento com Métricas de Negócio: O Ajuste Fino Supervisionado (SFT) padrão otimiza o feedback implícito denso (ex: cliques, curtidas). No entanto, esses objetivos de nível de tarefa nem sempre se alinham com métricas de negócio esparsas e atrasadas (ex: retenção de longo prazo, conversão paga) que determinam o sucesso da recomendação. Além disso, otimizar diretamente políticas de serviço em rótulos de negócio esparsos resulta frequentemente em baixa generalização e fraca discriminação de ranking em comparação com políticas treinadas em sinais densos.

Abordagens existentes lutam para equilibrar a estabilidade da adaptação com a necessidade de alinhar a política de serviço com objetivos de negócio de longo prazo sem sacrificar a capacidade de ranking construída com feedback denso.

Metodologia

Os autores propõem um framework de pós-treinamento progressivo de três fases que desvincula explicitamente a adaptação de conhecimento de downstream do alinhamento de métricas de negócio. O framework consiste nas seguintes etapas:

1. Arquitetura do Modelo

O sistema emprega um paradigma Fundação–Especialista (Foundation–Expert). Um codificador sequencial pré-treinado (backbone do FM) gera embeddings de usuário, que são fundidos com um módulo de downstream leve e específico para a tarefa, que codifica características específicas da superfície.

Codificador de Downstream: Utiliza pooling de atenção cruzada para comprimir a sequência do FM em uma representação fixa, concatenada com características de downstream.
Modelo de Recompensa (Reward Model): Para lidar com objetivos de negócio esparsos, um modelo de recompensa é treinado para prever a profundidade do engajamento do usuário (modelado como um funil ordinal de 6 níveis, desde a impressão até a conclusão de conteúdo pago). Este modelo incorpora uma cabeça de propensão de impressão para corrigir o viés de exposição usando Self-Normalized Inverse Propensity Scoring (SNIPS).

2. Fase 1: Sondagem Linear (Linear Probing - LP)

Objetivo: Estabilizar a integração de componentes específicos da tarefa sem corromper o backbone pré-treinado.
Processo: O backbone do FM é congelado. Apenas o módulo de downstream e as cabeças de predição são otimizados.
Objetivo: Minimizar uma perda combinada de política (predição de clique), recompensa (profundidade do funil) e propensão (exposição) para alinhar os espaços semânticos dos componentes de downstream com a representação do FM congelado.

3. Fase 2: Ajuste Fino Total (Full Fine-Tuning - FFT)

Objetivo: Especializar conjuntamente todo o modelo para a tarefa alvo enquanto preserva a estabilidade ganha na Fase 1.
Processo: O backbone do FM é descongelado. Todos os parâmetros são atualizados.
Estratégia: Uma estratégia de taxa de aprendizado discriminativa é empregada, onde o backbone do FM é atualizado com uma taxa de aprendizado uma ordem de magnitude menor que os módulos de downstream. Isso permite a adaptação rápida de componentes específicos da tarefa enquanto o backbone se co-adapta de forma conservadora para evitar o esquecimento catastrófico.

4. Fase 3: Ajuste Fino por Reforço (Reinforcement Fine-Tuning - RFT)

Objetivo: Alinhar a política de serviço estabilizada com os objetivos de negócio de longo prazo usando o modelo de recompensa aprendido como um sinal, em vez de otimizar diretamente sobre rótulos esparsos.
Processo: O snapshot do modelo ao final do FFT serve como uma política de referência ( $\pi_{ref}$ ) congelada. A cabeça de política e o backbone do FM são otimizados usando Otimização de Política Relativa de Grupo (GRPO) ou Otimização de Preferência Direta (DPO).
Mecanismo:
- GRPO: Para um estado de usuário dado, a política amostra um grupo de ações candidatas. O modelo de recompensa fornece feedback escalar denso. As vantagens são computadas normalizando as recompensas dentro do grupo, e a política é atualizada para maximizar o objetivo substituto clipado com regularização KL contra $\pi_{ref}$ .
- DPO: Pares de preferência são construídos com base nos scores do modelo de recompensa (ou resultados observados do funil), e a política é otimizada para preferir itens de maior recompensa sem a necessidade de modelagem de recompensa explícita durante a etapa de atualização.
Distinção Chave: O modelo de recompensa não é implantado como a política de serviço. Em vez disso, ele atua como um sinal de alinhamento para direcionar a política treinada com feedback denso em direção aos objetivos de negócio.

Principais Contribuições

Framework de Adaptação Progressiva: O artigo introduz um pipeline estruturado LP-FFT-RFT que mitiga o esquecimento catastrófico ao separar a estabilização das cabeças de downstream da especialização total do modelo.
Estratégia de Alinhamento Desacoplada: Propõe uma separação inovadora de papéis onde o feedback implícito denso treina a capacidade de ranking da política de serviço, enquanto as métricas de negócio esparsas treinam um modelo de recompensa usado apenas como sinal de alinhamento. Isso evita os problemas de generalização da otimização direta de rótulos esparsos.
Alinhamento Baseado em Recompensa vs. Serviço Direto: O trabalho demonstra que o uso de um modelo de recompensa aprendido como sinal de alinhamento (via RFT) produz um desempenho superior em comparação com a implantação direta do modelo de recompensa como política de ranking.
Validação Empírica: O framework é validado através de extensos estudos de ablação offline e testes A/B online em larga escala em uma plataforma de Webtoon de produção.

Resultados

Avaliação Offline

Superioridade do LP-FFT: O ajuste fino de duas fases (LP $\to$ FFT) com taxas de aprendizado discriminativas supera as baselines de fase única (ou apenas LP ou apenas FFT) tanto em Rank NDCG (ranking de cliques de catálogo completo) quanto em Funnel NDCG (ranking de títulos impressos por profundidade de engajamento).
Efetividade do RFT: Aplicar RFT à política de SFT estabilizada melhora ainda mais ambas as métricas.
Alinhamento vs. Serviço Direto:
- Uma política treinada diretamente no modelo de recompensa alcançou alto Funnel NDCG, mas baixo Rank NDCG, indicando que carece de discriminação para o ranking de catálogo completo.
- GRPO com Modelagem de Recompensa alcançou o melhor desempenho geral, igualando o Funnel NDCG do modelo de recompensa direto, enquanto mantinha um Rank NDCG significativamente mais alto.
- DPO mostrou resultados mistos; embora o DPO com preferências de funil observadas tenha performado bem, o DPO com preferências induzidas pelo modelo de recompensa teve desempenho inferior, sugerindo que converter recompensas escalares em pares binários pode descartar informações relativas úteis.

Testes A/B Online

Melhoria da Baseline: A baseline do modelo de fundação de 2 fases (SFT) superou consistentemente o modelo de produção convencional não-fundação (CTRL) em todas as métricas de sessão (Clique, Leitura Engajada, Conversão Paga).
Ganhos de Alinhamento: As variantes alinhadas via RFT forneceram ganhos adicionais sobre a baseline de SFT.
- GRPO com RM: Mostrou as maiores melhorias em métricas de engajamento médio-profundo (ex: alcançar o último episódio gratuito, último episódio pago), demonstrando um direcionamento eficaz para os objetivos de negócio de longo prazo.
- DPO sem RM: Mostrou os maiores ganhos em métricas de interação imediata (Clique/Imp), sugerindo que é altamente eficaz para ranking de topo de funil quando utiliza preferências observadas diretas.
Estabilidade: Todas as variantes de modelos de fundação exibiram um aumento estável após um período transitório inicial, com o GRPO com RM mostrando os ganhos mais persistentes em resultados de engajamento profundo.

Significância e Alegações

O artigo afirma que o pós-treinamento progressivo é uma abordagem prática e eficaz para implantar modelos de fundação em sistemas de recomendação industriais. Sua principal significância reside em:

Estabilidade: Separar explicitamente a adaptação de conhecimento específico de tarefa (via LP e FFT) do alinhamento baseado em recompensa evita a instabilidade e o esquecimento catastrófico associados à otimização direta de todos os parâmetros.
Preenchimento da Lacuna: O framework consegue preencher a lacuna entre o feedback implícito denso (que fornece forte discriminação de ranking) e as métricas de negócio esparsas (que definem o valor real) ao usar estas últimas apenas como um sinal de recompensa para alinhamento, em vez de um objetivo de treinamento direto para a política de serviço.
Viabilidade em Produção: Os resultados online em larga escala confirmam que esta abordagem multifásica melhora a qualidade da recomendação de produção em relação às baselines convencionais, validando que a separação da adaptação supervisionada do alinhamento baseado em recompensa aumenta tanto a estabilidade da otimização quanto o desempenho de serviço downstream.