Resumo Técnico: PREFER - Resumo de Avaliações Personalizado com Aprendizado de Preferências Online

Declaração do Problema

As avaliações de produtos em plataformas de comércio eletrônico influenciam significativamente as decisões de compra, mas o volume massivo de texto frequentemente sobrecarrega os usuários, obscurecendo informações relevantes para suas necessidades específicas. Os sistemas de resumo atuais geralmente geram um único resumo estático e genérico para cada produto. Essa abordagem falha em levar em conta duas realidades críticas: (i) diferentes usuários priorizam diferentes atributos do produto (por exemplo, durabilidade versus preço versus facilidade de uso) e (ii) as preferências dos usuários não são estacionárias; elas podem evoluir ao longo do tempo e variar entre produtos. Os sistemas existentes não se adaptam a essas preferências latentes e dinâmicas, nem aprendem com as interações dos usuários para refinar futuros resumos. O desafio central é formular o resumo de avaliações personalizado como um problema de decisão adaptativo a feedback online, onde o sistema deve gerar resumos úteis enquanto simultaneamente aprende um vetor de preferência latente do usuário a partir de feedback escalar leve.

Metodologia: O Framework PREFER

Os autores propõem o PREFER, um framework modular que operacionaliza o resumo de avaliações personalizado por meio de um loop adaptativo a feedback. O sistema equilibra o trade-off entre exploração e exploração (exploration-exploitation) entre aprender preferências do usuário e gerar resumos de alta qualidade. O framework consiste em quatro componentes principais:

1. Descoberta de Aspectos Latentes Offline

Em vez de depender de palavras-chave ou tags pré-rotuladas, o PREFER descobre um espaço de aspectos latentes $\mathcal{A} = \{a_1, \dots, a_K\}$ diretamente do texto das avaliações usando aprendizado não supervisionado.

• Embedding: Frases de avaliações são mapeadas para um espaço semântico contínuo usando um modelo de embedding pré-treinado (por exemplo, sentence-transformers).
• Agrupamento (Clustering): A Análise de Componentes Principais (PCA) reduz a dimensionalidade, seguida por agrupamento K-means para identificar centróides que representam aspectos latentes.
• Atribuição Suave: Para lidar com frases que discutem múltiplos temas, uma atribuição de aspecto suave é usada via um softmax baseado em distância sobre os centróides dos clusters, resultando em uma distribuição $\phi_i \in \Delta^{K-1}$ para cada frase $i$.

2. Seleção de Evidências Personalizada

Dada uma estimativa atual da preferência do usuário $\hat{w}_{u,t}$ (uma distribuição sobre aspectos), o sistema seleciona um subconjunto de frases de avaliações $S_t$ que são tanto relevantes para o usuário quanto não redundantes.

• Pontuação de Relevância: Uma pontuação de relevância é calculada como o produto escalar entre o vetor de preferência estimado e a distribuição de aspectos da frase: $Rel_{i,t} = \hat{w}_{u,t}^\top \phi_i$.
• Penalidade de Redundância: A similaridade semântica entre frases é medida usando a similaridade de cosseno de seus embeddings.
• Estratégia de Seleção: O sistema otimiza um trade-off entre relevância e redundância usando um objetivo de Relevância Marginal Máxima (MMR).
  • MMR Determinístico: Seleciona greedy a frase com o maior ganho marginal.
  • Extração Estocástica Gumbel: Para incentivar a exploração (especialmente no início do aprendizado), o sistema adiciona ruído Gumbel às pontuações, permitindo a seleção de conjuntos de frases alternativos.

3. Geração de Resumo Abstrato

As frases selecionadas são reescritas em um resumo coerente em terceira pessoa através de um pipeline hierárquico leve:

• Binning (Agrupamento em Faixas): As frases são agrupadas em faixas de "Alto", "Médio" e "Baixo" suporte com base no número de revisores distintos que contribuíram para cada aspecto.
• Compressão e Costura: Cada faixa é comprimida em um bloco de texto intermediário, que são então costurados juntos em um rascunho.
• Polimento: Uma passagem final de reescrita produz um resumo polido voltado para o usuário, garantindo generalização em terceira pessoa e removendo estilos de citação direta.

4. Aprendizado de Preferências Online

Após o usuário visualizar o resumo, ele fornece feedback escalar $f_t \in [0, 1]$. O sistema atualiza sua estimativa do vetor de preferência latente do usuário $\hat{w}_{u,t}$ usando Descida de Espelho Online (OMD) com uma função geradora de distância entrópica.

• Função de Perda Surrogate: O feedback é centrado contra uma linha de base (por exemplo, média móvel exponencial) para determinar se o resumo performou melhor ou pior do que o esperado.
• Regra de Atualização: O vetor de preferência é atualizado via uma regra de gradiente exponenciado. Aspectos presentes em resumos recebidos positivamente recebem peso aumentado, enquanto aqueles em resumos recebidos negativamente são despesados. Essa atualização preserva a restrição do simplex e garante que a estimativa permaneça estritamente positiva.

Contribuições Principais

1. Framework para Resumo Adaptativo: O PREFER é o primeiro framework a combinar descoberta de aspectos latentes, seleção estruturada de evidências e geração abstrativa dentro de um único loop de aprendizado online para resumo de avaliações.
2. Tratamento de Preferências Latentes e em Desvio: O sistema infere interesses do usuário a partir de feedback de interação, em vez de assumir perfis fixos, modelando explicitamente a dinâmica do desvio de preferência.
3. Garantias Teóricas: Os autores fornecem um limite de arrependimento dinâmico para a atualização OMD entrópica. Eles provam que o sistema atinge desempenho sem arrependimento (arrependimento sublinear) mesmo quando as preferências do usuário mudam ao longo do tempo, recuperando o resultado padrão de arrependimento nulo estacionário como um caso especial.
4. Espaço de Ação Estruturado: Diferentemente de problemas de bandit padrão que selecionam itens atômicos, o PREFER opera sobre um espaço estruturado envolvendo tanto seleção combinatória de frases quanto geração composicional de resumos.

Resultados Experimentais

O framework foi avaliado no conjunto de dados Amazon Reviews'23 (especificamente na categoria ALL_BEAUTY) através de simulações controladas onde preferências verdadeiras foram ocultadas e o feedback foi simulado.

• Heterogeneidade Inter-usuário: A análise qualitativa demonstrou que condicionar em diferentes vetores de preferência produz resumos significativamente diferentes para o mesmo produto. Por exemplo, um usuário focado em "apresentação visual" recebeu resumos destacando a variedade de cores, enquanto um usuário focado em "esfoliação" recebeu resumos enfatizando textura da pele e eficácia.
• Convergência: Em configurações de preferência estacionária, o arrependimento médio empírico diminuiu em direção a zero, alinhando-se com os limites teóricos de arrependimento nulo. As variantes online superaram significativamente as bases estáticas em alinhar evidências selecionadas com os interesses-alvo do usuário.
• Adaptação ao Desvio: Quando as preferências do usuário foram simuladas para desviar de um aspecto para outro, o sistema online rastreou com sucesso a mudança. O método de extração estocástica Gumbel mostrou recuperação e adaptabilidade mais fortes ao novo alvo de preferência em comparação com o método MMR determinístico, que exibiu recuperação mais lenta devido a efeitos de "travamento" (lock-in).

Significado e Alegações

O artigo afirma que o resumo de avaliações deve ir além da produção de um único resumo genérico para todos os usuários. Ao tratar o resumo como um processo interativo e adaptativo a feedback, o PREFER demonstra que os sistemas podem aprender a alinhar-se com interesses específicos do usuário e adaptar-se à evolução das preferências sem exigir perfilamento explícito do usuário ou dados rotulados.

Os autores mantêm uma postura modesta, observando que seu feedback é gerado sinteticamente e os aspectos descobertos são latentes em vez de rotulados por humanos. Eles reconhecem limitações relacionadas a possíveis alucinações no módulo de reescrita do LLM e à falta de dados de interação real com usuários. O trabalho sugere que pesquisas futuras devem focar em validar esses mecanismos com feedback humano, incorporar restrições de factualidade mais fortes e explorar sinais de feedback mais ricos (por exemplo, cliques, tempo de permanência). A contribuição principal é a prova de conceito de que o aprendizado de preferências online pode personalizar efetivamente o resumo de avaliações enquanto mantém garantias teóricas sobre a eficiência do aprendizado.