Resumo Técnico: Otimização de Prompts para Simulação de Usuário em Sistemas de Recomendação Conversacionais

1. Definição do Problema

Sistemas de Recomendação Conversacionais (CRSs) são críticos para permitir que os usuários articulem preferências e esclareçam intenções em tempo real. No entanto, seu desenvolvimento enfrenta dois gargalos principais: o alto custo e o tempo consumido por estudos de avaliação humana real, e a dificuldade de obter dados de treinamento devido a preocupações com privacidade. Embora simuladores de usuário baseados em Grandes Modelos de Linguagem (LLMs) ofereçam uma alternativa escalável e preservadora de privacidade, as abordagens existentes sofrem de três limitações críticas que dificultam sua implementação prática:

1. Viés Positivo Sistemático: Os simuladores exibem taxas de aceitação irrealisticamente altas, falhando em capturar comportamentos de rejeição realistas. Eles tendem a aceitar recomendações independentemente das preferências declaradas, ao contrário dos usuários reais, que rejeitam uma parte significativa das sugestões.
2. Vazamento de Dados (Data Leakage): Simuladores frequentemente "ecoam" itens do histórico de perfil de um usuário de forma literal em suas respostas. Isso ocorre quando itens alvo aparecem no histórico, levando a métricas de precisão infladas e uma diversidade artificialmente suprimida, deturpando a verdadeira capacidade do simulador.
3. Diversidade Comportamental Restrita: Os simuladores atuais exibem viés de popularidade (favorecendo itens mainstream) e agrupamento temporal, resultando em interações homogeneizadas que falham em refletir as diversas preferências das populações de usuários reais.

Além disso, os simuladores baseados em prompts existentes dependem de uma engenharia de prompt manual frágil, que requer extensa expertise de domínio e carece de métodos sistemáticos de otimização.

2. Metodologia

Os autores propõem um framework multi-objetivo para a otimização automática de prompts para simuladores de usuário baseados em LLM. O framework utiliza o TextGrad, uma técnica de otimização de prompt automatizada que usa gradientes textuais para refinar iterativamente os prompts sem modificar os pesos do modelo. O sistema é implementado usando uma implantação local do Llama-3.3-70B via Ollama para garantir a execução preservadora de privacidade.

O framework aborda os três desafios principais através de componentes de design específicos:

A. Correção de Viés via Pontuação Sensível à Entropia

Para mitigar o viés positivo e de popularidade, o framework introduz métricas baseadas em entropia que guiam o processo de otimização de prompt. Em vez de simplesmente maximizar a entropia (o que poderia levar a um comportamento aleatório), o sistema otimiza contra distribuições de baseline humano derivadas empiricamente. As métricas principais incluem:

• Entropia de Item: Mede a diversidade nas seleções de filmes entre gênero, era, região e origem cultural, penalizando duplicatas e o uso excessivo de listas de alta classificação (ex: IMDb Top 250).
• BinPref: Calcula a correlação de Pearson entre as taxas de aceitação simuladas e as classificações humanas reais para garantir o alinhamento de preferência.
• Entropia de Aspecto e Sentimento: Mede a diversidade das justificativas (ex: enredo, atuação) e a variação de tom para expor e corrigir o viés positivo.
• Riqueza Semântica: Avalia a diversidade de vocabulário nos pedidos de recomendação.

B. Sumarização de Perfil para Prevenção de Vazamento de Dados

Para evitar o vazamento de dados, o framework substitui o histórico bruto do usuário por sumários de perfil. Em vez de passar títulos de filmes específicos para o LLM, o sistema amostra até $k=5$ itens do histórico de um usuário e solicita ao LLM que gere uma descrição concisa e em linguagem natural das preferências (ex: "prefere dramas policiais focados em personagens") sem nomear títulos específicos. Isso abstrai dados sensíveis enquanto retém traços comportamentais essenciais.

C. NegFeedback: Uma Nova Métrica de Avaliação

Os autores introduzem o NegFeedback, uma métrica de prova de conceito projetada para avaliar a qualidade do feedback negativo (rejeições). Diferente de trabalhos anteriores que focam na coerência de aceitação, o NegFeedback avalia:

1. Clareza da Rejeição: A explicidade da recusa.
2. Especificidade da Justificativa: Se a rejeição é fundamentada nas preferências da persona do usuário.
3. Qualidade de Reformulação: A capacidade de solicitar recomendações alternativas semanticamente sem nomear itens específicos.
4. Consistência de Tom: Alinhamento com a persona do usuário.
   Esta métrica é avaliada usando um pontuador baseado em LLM (Llama-3.3-70B) treinado em um rubrica, que é validado contra avaliadores humanos.

D. Loop de Otimização

O framework emprega um loop de otimização iterativo:

1. Inicializa um prompt específico para a tarefa.
2. Gera respostas de um lote de usuários.
3. Computa métricas específicas da tarefa (ex: entropia, correlação).
4. Consulta o motor TextGrad para gerar feedback textual sobre como melhorar as métricas.
5. Atualiza o prompt (especificamente as seções de diretriz e persona) com base nesse feedback.
   Este processo roda por um número fixo de iterações (ex: $T=3$) para refinar o comportamento do simulador.

3. Principais Contribuições

• Framework de Otimização Automática de Prompts: O primeiro framework para otimizar automaticamente prompts para simuladores de usuário baseados em LLM em CRSs, abordando simultaneamente o viés positivo, o vazamento de dados e a diversidade comportamental.
• Novas Métricas e Soluções:
  • Design de funções de pontuação sensíveis à entropia e baseadas em gradiente textual para corrigir vieses positivos e de popularidade.
  • Implementação de sumarização de perfil para reduzir o vazamento de dados enquanto preserva informações essenciais do usuário.
  • Proposta do NegFeedback, uma métrica especificamente desenhada para avaliar a correção e a racionalidade do feedback negativo do usuário.
• Melhor Alinhamento Comportamental: Demonstração de superior alinhamento com padrões de interação humana comparado às baselines GPT-3.5 e GPT-4, validado usando execução local de Llama-3.3.
• Avaliação Escalável: Validação de um avaliador baseado em LLM para o NegFeedback, mostrando alinhamento com julgamentos humanos, o que permite a avaliação escalável do comportamento de rejeição sem necessidade de anotação humana exaustiva.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados Amazon Reviews 2023 (Movies & TV) através de cinco tarefas: ItemsTalk (Diversidade), BinPref (Alinhamento de Preferência), OpenPref (Riqueza de Review), RecRequest (Riqueza Semântica) e NegFeedback (Qualidade de Rejeição).

• ItemsTalk (Diversidade): O método otimizado alcançou uma entropia de item de 9.269, aproximando-se do baseline humano de 10.067 e superando significativamente as baselines GPT-3.5 e GPT-4 (que variaram de 6.49 a 6.64).
• BinPref (Alinhamento de Preferência): O método alcançou uma correlação de Pearson de 0.726 com as preferências humanas, uma melhoria substancial sobre o GPT-3.5 (0.079–0.265) e GPT-4 (0.265).
• OpenPref (Riqueza de Review): A entropia de aspecto pós-ajuste atingiu 7.523 (vs. humano 6.761), enquanto a entropia de sentimento foi 1.274 (vs. humano 1.277). Em contraste, as baselines GPT colapsaram para 0.000 de entropia de sentimento, indicando uma severa falta de expressão de sentimento negativo.
• RecRequest (Riqueza Semântica): O método alcançou uma Razão Tipo-Token (TTR) de 0.235, aproximando-se do baseline humano de 0.188, enquanto as baselines GPT exibiram diversidade inflada (0.42+), sugerindo uma variedade lexical não natural.
• NegFeedback (Qualidade de Rejeição): O método proposto alcançou uma correlação humano-LLM de 0.484, superando o Llama base (0.258) e todas as variantes GPT-3.5 (que mostraram correlações negativas ou próximas de zero).

5. Significância e Alegações

O artigo afirma que seu framework fornece uma solução principista e automatizada para a natureza "frágil" da engenharia de prompt manual na simulação de usuários. Ao otimizar conjuntamente para fidelidade comportamental em vez de apenas similaridade linguística, a abordagem mitiga com sucesso os problemas de viés sistemático e vazamento de dados que atualmente assolam os simuladores baseados em LLM.

Os autores enfatizam que seu trabalho aborda um desafio central na engenharia de dados impulsionada por LLM: a capacidade de gerar, otimizar e validar automaticamente dados comportamentais sintéticos em escala. A integração da sumarização de perfil e da métrica NegFeedback oferece um caminho para pipelines de simulação conformes à privacidade e reproduzíveis, adequados para indústrias regulamentadas (ex: saúde, finanças) onde os dados reais de usuários são inacessíveis. O framework é apresentado como imediatamente aplicável para profissionais que buscam avaliar CRSs sem os custos proibitivos de estudos humanos, desde que possuam acesso a infraestrutura de LLM local.

Nota: O artigo reconhece o uso de ferramentas de IA (Claude) para refinar a linguagem e a clareza, mas mantém que todo o conteúdo técnico, análise e responsabilidade final pela precisão cabem aos autores.