💬 NLP

LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation

LATTE é um framework que aprimora a geração personalizada de LLMs ao prever a trajetória de preferências ancorada nos pares de um usuário e injetar o estado previsto em um modelo congelado por meio de um único token suave, superando assim os métodos existentes de personalização estáticos e baseados em recuperação.

Autores originais: Jinze Li, Xiaoyan Yang, Shuo Yang, Jinfeng Xu, Yue Shen, Jian Wang, Jinjie Gu, Edith Cheuk-Han Ngai

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinze Li, Xiaoyan Yang, Shuo Yang, Jinfeng Xu, Yue Shen, Jian Wang, Jinjie Gu, Edith Cheuk-Han Ngai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um escritor robô muito inteligente e congelado. Ele é incrivelmente talentoso, mas está "congelado", o que significa que você não pode ensiná-lo coisas novas nem alterar seu cérebro. Você quer que esse robô escreva resenhas ou histórias que soem exatamente como você — seu estilo, seu tom e o que você valoriza no momento.

O problema é que as pessoas mudam. Um leitor pode começar como um fã casual de filmes de ação e gradualmente se tornar um crítico que ama dramas profundos e de ritmo lento. Se você apenas disser ao robô: "Aqui está tudo o que essa pessoa já escreveu", o robô fica confuso. Ele mistura o estilo antigo e casual com o novo e sério, resultando em uma saída confusa e com aparência mediana, que não parece a pessoa de hoje.

Este artigo apresenta o LATTE (um acrônimo inteligente para Latent Anchored Trajectory Tracking and Extrapolation, ou Rastreamento e Extrapolação de Trajetória Ancorada em Latência), uma nova maneira de ensinar o robô congelado a acompanhar a mente em mudança de uma pessoa.

Veja como o LATTE funciona, usando analogias simples:

1. A "Âncora de Pares" (O Controle de Multidão)

Imagine que você está escrevendo uma resenha para um novo filme. Sua opinião pode ser influenciada pelo próprio filme (por exemplo: "A iluminação estava ruim").

Jeito Antigo: O robô olha para suas resenhas passadas e tenta adivinhar seu estilo. Mas ele fica confuso porque suas resenhas passadas eram sobre filmes diferentes com iluminações diferentes.
Jeito do LATTE: Antes de olhar para sua opinião, o LATTE vê o que outras pessoas (pares) pensaram sobre aquele mesmo filme naquele mesmo momento. Ele calcula a "reação média da multidão" e a subtrai da sua opinião.
O Resultado: O que sobra é puramente a sua reação única, desprovida da influência do filme. É como isolar sua voz do ruído da multidão. Isso é chamado de "estado ancorado em pares".

2. A "Trajetória" (O Filme, Não a Foto)

A maioria dos sistemas trata você como uma foto estática. Eles pegam todas as suas opiniões passadas "ancoradas em pares" e as amontoam em um único perfil médio.

O Defeito: Se você era um "fã casual" há cinco anos e um "crítico sério" hoje, a foto média faz você parecer um "fã um tanto sério", o que está errado para agora.
Jeito do LATTE: O LATTE trata seu histórico como uma bobina de filme, não como um álbum de fotos. Ele observa a sequência de suas opiniões ao longo do tempo. Ele vê o movimento de casual para sério.
A Previsão: Em vez de apenas mostrar ao robô seu passado, o LATTE usa um preditor leve (uma calculadora pequena e rápida) para prever para onde sua opinião está indo a seguir. Ele prevê seu "estado atual" com base na direção em que você tem se movido.

3. O "Token Suave" (O Aperto de Mão Secreto)

Uma vez que o LATTE prevê seu estilo atual, ele precisa informar o robô congelado.

O Problema: Você não pode reescrever o cérebro do robô.
A Solução: O LATTE usa uma "ponte" para transformar seu estilo previsto em um único código secreto especial (um "token suave"). Ele insere esse único token no prompt do robô, acompanhado de uma instrução em linguagem natural como: "Aqui está a preferência atual do usuário".
O Efeito: O robô congelado lê esse código secreto e instantaneamente ajusta seu estilo de escrita para combinar com seu eu atual, ignorando seu passado desatualizado.

Por Que Isso Importa (Os Resultados)

Os autores testaram isso em conjuntos de dados massivos de resenhas de livros, filmes e músicas.

A Concorrência: Eles compararam o LATTE com métodos que apenas resumem seu passado, métodos que consultam suas resenhas antigas e métodos que tentam comprimir seu histórico em um único número.
O Vencedor: O LATTE venceu consistentemente. Ele produziu textos mais precisos em relação ao estilo de escrita e às preferências atuais do usuário.
A Chave do Insight: A melhoria não veio apenas de ter mais dados; veio da previsão. Ao prever para onde o usuário está indo a seguir, em vez de apenas fazer uma média de onde ele esteve, o LATTE evita o problema de "estarvel" dos sistemas antigos.

Em Poucas Palavras

Se os métodos antigos de personalização são como mostrar a um robô um anuário da sua vida (que mistura seu eu do ensino médio com seu eu adulto), o LATTE é como mostrar ao robô um mapa de GPS da sua jornada. Ele vê onde você começou, onde você está agora e prevê exatamente para onde você está indo, permitindo que o robô escreva na voz que você tem hoje, não na voz que você tinha há cinco anos.

Resumo Técnico: LATTE – Previsão de Trajetórias de Preferência Ancoradas em Pares para Geração Personalizada com LLMs

Declaração do Problema
A geração personalizada com Modelos de Linguagem de Grande Escala (LLMs) congelados requer um sinal de condicionamento que seja ao mesmo tempo compacto e atual. As abordagens existentes geralmente dependem da recuperação ou sumarização de históricos de usuários em texto, ou da compressão deles em perfis latentes estáticos e prompts suaves. Embora eficientes, esses métodos tratam o histórico do usuário como um perfil agregado, confundindo identidade estável, deriva comportamental recente e conteúdo específico de itens em uma única representação. Essa agregação estática falha em capturar mudanças temporais nas preferências do usuário (por exemplo, um revisor tornando-se mais técnico ao longo do tempo) e frequentemente resulta em perfis desatualizados ou dominados por conteúdo que não correspondem ao estado atual do usuário. O desafio central é como condicionar um LLM congelado ao estado de preferência atual de um usuário sem ajustar o modelo ou adicionar parâmetros específicos do usuário.

Metodologia: Framework LATTE
Os autores propõem o Rastreamento e Extrapolação de Trajetória Latente (LATTE), um framework que reformula a personalização como a previsão de um "estado de preferência relativa ancorado em pares". O método opera em três etapas distintas e desacopladas:

Construção de Estados Relativos Ancorados em Pares:
Para cada sessão histórica, o LATTE constrói um estado que isola a preferência específica do usuário das variações compartilhadas de itens.
- Linha de Base de Pares: Para uma interação de um usuário-alvo com um item $i_t$ no tempo $\tau_t$ , o sistema identifica um conjunto de usuários "pares" comparáveis que revisaram o mesmo item antes de $\tau_t$ .
- Cálculo do Resíduo: O sistema computa uma média ponderada dos embeddings de resposta dos pares (a linha de base) e subtrai isso do embedding de resposta do usuário-alvo.
- Normalização: O resíduo resultante é normalizado para formar um vetor de estado relativo ancorado em pares. Esse processo remove matematicamente o componente de item compartilhado (sob uma suposição de modelo de embedding aditivo), deixando um sinal que representa como o usuário difere de pares similares sob o mesmo contexto.
Previsão de Trajetória:
Em vez de agregar esses estados em uma média estática, o LATTE os trata como uma sequência ordenada no tempo.
- Um preditor de sequência leve (por exemplo, um GRU, Transformer ou mecanismo de atenção aprendido) é treinado offline para prever o próximo estado na trajetória com base no histórico observado de estados ancorados em pares.
- O objetivo de treinamento é uma perda de regressão direta (similaridade de cosseno e MSE) para prever o próximo estado construído, desacoplando a previsão do estado da perda de modelagem de linguagem. Isso impede que o vetor de condicionamento colapse em um atalho de baixo rank que depende exclusivamente de metadados de itens.
Ponte Estado-a-Token (STB):
O estado previsto é injetado no LLM congelado.
- Um módulo de ponte leve mapeia o vetor latente previsto para o espaço de embeddings de tokens do LLM.
- Esse vetor substitui um único token placeholder ([PREF_TOKEN]) no prompt.
- Uma âncora em linguagem natural precede o token para instruir o LLM sobre como interpretar o estado injetado.
- Crucialmente, os pesos do LLM permanecem congelados; apenas a ponte e o preditor são treinados.

Principais Contribuições

Formulação: O artigo formula a personalização de LLMs congelados como a previsão de um estado de preferência relativa ancorado em pares, transformando o histórico do usuário de um perfil estático em uma trajetória latente ordenada no tempo.
Design do Framework: Introduz um framework modular (LATTE) que constrói estados residuais de pares para o mesmo item, prevê o próximo estado usando um modelo de sequência leve e injeta a previsão via um único token suave ancorado.
Validação Teórica e Empírica: Os autores fornecem provas analíticas (Proposições 1 e 2) demonstrando que a ancoragem em pares reduz a variação compartilhada de itens e que a previsão de trajetória oferece um trade-off viés-variância superior à média estática quando os estados do usuário sofrem deriva. Empiricamente, mostram que os ganhos são impulsionados pela previsão de informações de trajetória específicas do usuário, e não apenas pela adição de uma interface de prompt suave.

Resultados Experimentais
O método foi avaliado em Amazon Reviews 2023 (Livros, Filmes, CDs) e MemoryCD contra um conjunto abrangente de baselines, incluindo métodos baseados em recuperação, memória de resumo, perfis latentes estáticos, perfis estáticos conscientes de diferença (estilo DEP) e compressão de prompt suave (estilo PERSOMA).

Desempenho: O LATTE superou consistentemente todas as baselines. Nas Amazon Reviews 2023, o LATTE (usando um preditor GRU) alcançou uma ROUGE-L média de 0,259, melhorando sobre a baseline de perfil latente estático mais forte (0,245) e a baseline de compressão de prompt suave mais forte (0,245).
Fidelidade de Preferência: Além da sobreposição lexical, o LATTE mostrou melhorias significativas nas taxas de vitória em pares conscientes do histórico (64,0% vs. 58,6% para PERSOMA) e em métricas de fidelidade de preferência, particularmente no alinhamento de "Recência", que está diretamente ligado à formulação de trajetória.
Ablação e Diagnósticos:
- Remover a âncora de pares eliminou quase totalmente o ganho de desempenho sobre a compressão estática, confirmando a necessidade da ancoragem em pares.
- O treinamento de ponta a ponta (sem regressão desacoplada) levou ao colapso de representação e geração pobre, validando a estratégia de treinamento desacoplado.
- Diagnósticos confirmaram que o modelo não vaza consenso de pares ou conteúdo de itens, e que os estados aprendidos retêm a variação do usuário sem colapsar para um vetor constante.

Significado e Alegações
O artigo alega que modelar usuários como trajetórias em evolução e não como agregados fixos é crítico para a geração personalizada, especialmente em configurações de histórico longo onde o comportamento recente importa. O significado do LATTE reside em sua capacidade de:

Desacoplar Representação de Injeção: Ao separar a previsão do estado do condicionamento do LLM, evita o problema de "atalho" onde o modelo ignora o sinal do usuário.
Lidar com Deriva Temporal: Ao prever o próximo estado em vez de fazer a média do passado, adapta-se a mudanças nas preferências do usuário de forma mais eficaz do que perfis estáticos.
Controlar Conteúdo: Ao usar ancoragem em pares, isola o sinal de preferência específico do usuário das características inerentes do item, fornecendo um sinal de condicionamento mais limpo para o LLM.

Os autores mantêm um escopo modesto, observando que o método requer histórico de usuário suficiente para estimativa de trajetória e assume a existência de pares comparáveis para itens históricos. Para usuários de cold-start, o framework recorre a textos existentes ou baselines latentes estáticas. O trabalho foca em melhorar o mecanismo de condicionamento para LLMs congelados sem exigir ajuste fino do modelo.