RPM: Reasoning-Level Personalization for Black-Box Large Language Models

Este trabalho apresenta o RPM, um novo framework que supera as limitações da personalização em nível de resposta ao introduzir a personalização em nível de raciocínio, permitindo que modelos de linguagem de caixa-preta descubram automaticamente estruturas de raciocínio específicas do usuário a partir de dados comportamentais brutos para guiar inferências personalizadas e interpretáveis.

O essencial

Imagine que você está pedindo uma recomendação de filme para um amigo que conhece seus gostos há anos. Ele sabe que você adora comédias românticas dos anos 90 e odeia filmes de terror.

Agora, imagine que você pede a mesma recomendação para um robô superinteligente (um Modelo de Linguagem Grande, ou LLM), mas que é uma "caixa preta". Você não pode mexer no cérebro dele, nem ensinar novos fatos. Ele só responde com base no que já sabe.

O problema é que, até agora, esses robôs eram como um garçom genérico: ele olha para o que você pediu ("quero um filme") e traz o prato mais popular da casa, ignorando se você prefere salgado ou doce. Os métodos antigos de personalização tentavam consertar isso apenas mostrando ao robô o que você pediu no passado e dizendo: "Olha, ele gosta disso aqui, então faça igual". Mas isso é superficial; o robô apenas imita o prato, sem entender por que você gosta dele.

A Solução: RPM (Personalização no Nível do Raciocínio)

Os autores deste paper, da Universidade Yonsei, criaram algo chamado RPM. Em vez de apenas mostrar o prato final, o RPM ensina ao robô como pensar como você.

Vamos usar uma analogia para entender como o RPM funciona:

1. A Metáfora do "Detetive de Gostos"

Imagine que o RPM é um detetive particular que trabalha para você.

• O que os outros fazem (Personalização de Resposta): O detetive olha para a sua lista de compras passada e diz: "Ah, você comprou leite, então vou sugerir café". É uma correlação simples e burra.
• O que o RPM faz (Personalização de Raciocínio): O detetive não olha apenas para o leite. Ele investiga por que você comprou leite.
  • Ele descobre que você compra leite orgânico quando está preocupado com saúde.
  • Ele nota que você compra leite desnatado quando está fazendo dieta.
  • Ele percebe que você compra leite de amêndoas quando está com amigos veganos.

O RPM transforma esses dados brutos em padrões de raciocínio. Ele cria um "mapa mental" seu.

2. Como o RPM Constrói esse Mapa (Os 3 Passos Mágicos)

O paper descreve três etapas principais que o sistema faz automaticamente:

• Passo 1: Encontrar os "Ingredientes" (Extração de Características)
  Quando você dá um feedback (ex: "Adorei este filme porque o final foi surpreendente"), o RPM não apenas anota "final surpreendente". Ele quebra isso em ingredientes: "surpresa", "final", "emoção". Ele separa o que é importante do que é ruído.

• Passo 2: Criar as "Regras de Ouro" (Construção de Fatores)
  O RPM agrupa esses ingredientes em categorias maiores, que ele chama de Fatores.

  • Exemplo: Se você sempre elogia filmes com "final surpreendente" e "trilha sonora emocionante", o RPM cria um fator chamado "Drama Emocionante".
  • Ele também calcula estatísticas: "Quando o fator 'Drama Emocionante' aparece, o usuário dá nota 5 em 90% das vezes". Isso é como dizer ao robô: "Se você vir esse ingrediente, lembre-se que eu gosto muito disso".

• Passo 3: O "Treinamento com Exemplos" (Construção de Raciocínio)
  Aqui está a mágica. O RPM pega um exemplo antigo seu (ex: "Gostei do filme X") e escreve um diário de raciocínio explicando como você chegou àquela conclusão.

  • Exemplo de Raciocínio: "O usuário gostou do filme X porque ele tinha um final surpreendente (Fator: Drama Emocionante), e o usuário historicamente dá notas altas para finais surpreendentes."
  • Quando você faz uma nova pergunta, o RPM procura exemplos antigos onde você usou esse mesmo raciocínio e mostra para o robô: "Veja como você pensou da última vez que viu algo parecido. Pense assim agora."

Por que isso é tão importante?

1. Não é apenas "Copiar e Colar": Os métodos antigos tentavam fazer o robô imitar sua resposta final. O RPM faz o robô entender a lógica por trás da sua resposta. É a diferença entre alguém que decora a resposta de uma prova e alguém que entende a matéria.
2. Transparência (Interpretabilidade): Como o RPM usa esses "diários de raciocínio", você pode ver exatamente por que o robô sugeriu algo. Ele não diz apenas "Recomendo este filme". Ele diz: "Recomendo este filme porque você costuma gostar de finais surpreendentes, e este filme tem um final surpreendente". Isso gera confiança.
3. Funciona sem mexer no cérebro do robô: Como o robô é uma "caixa preta" (você não pode reprogramá-lo), o RPM não precisa de treinamento pesado. Ele apenas organiza seus dados e os entrega de uma forma que o robô consegue entender e seguir.

Resumo em uma frase

O RPM é como dar ao robô um manual de instruções personalizado escrito na sua própria lógica, ensinando-o não apenas o que você gosta, mas como você pensa sobre o que gosta, resultando em respostas muito mais precisas e que parecem realmente feitas para você.

É como se, em vez de um garçom que apenas repete seu pedido, você tivesse um chef de cozinha que entende seus paladares e cria pratos personalizados baseados na sua história culinária.

Resumo técnico

Título: RPM: Personalização no Nível de Raciocínio para Modelos de Linguagem Grandes (LLMs) de Caixa-Preta

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) de caixa-preta (onde os parâmetros internos não são acessíveis) são amplamente utilizados, mas tendem a produzir respostas genéricas que ignoram as preferências individuais dos usuários.

• Limitação Atual: As abordagens existentes de personalização focam exclusivamente na Personalização no Nível de Resposta (Response-Level Personalization). Elas tentam apenas ajustar a saída final para coincidir com o histórico do usuário, sem modelar o processo de raciocínio subjacente que conecta o comportamento do usuário à resposta.
• Desafios Identificados:
  1. Aprendizado de Padrões Superficiais: Os sistemas atuais capturam apenas correlações rasas entre a entrada e a saída, falhando em entender como componentes específicos da entrada influenciam a decisão.
  2. Falta de Interpretabilidade: Sem um caminho de raciocínio explícito, é difícil determinar se a saída reflete preferências autênticas ou correlações enganosas, comprometendo a confiabilidade do sistema.
• Falha de Abordagens Simples: O uso direto de Chain-of-Thought (CoT) zero-shot ou a construção de exemplos few-shot com raciocínio genérico não melhorou consistentemente o desempenho, pois não estão fundamentados no comportamento específico do usuário.

2. Metodologia: O Framework RPM

O trabalho propõe o RPM (Reasoning-Level Personalization), um novo paradigma que visa alinhar o processo de raciocínio do LLM com o padrão de comportamento do usuário. O framework opera em três etapas principais, sem modificar os parâmetros do modelo:

A. Construção de Fatores Personalizados (Personalized Factor Construction)

• Extração de Estrutura: Em vez de apenas resumir o histórico do usuário em um perfil de texto, o RPM extrai recursos influentes na resposta (response-influential features) de cada interação (query).
• Agrupamento Semântico: Esses recursos são agrupados em Fatores (Factors), que são clusters semânticos de nível superior (ex: "Sabor", "Praticidade", "Saúde") utilizando técnicas de clustering baseadas em LLM.
• Atribuição Estatística: Cada fator recebe significado estatístico baseado no histórico do usuário, calculando:
  • Cobertura: Frequência de aparecimento.
  • Influência: Quantas vezes o fator impactou a resposta.
  • Polaridade: A direção da influência (positiva, neutra ou negativa).

B. Construção de Raciocínio Personalizado (Personalized Reasoning Construction)

• O sistema gera um caminho de raciocínio personalizado para cada par (query, resposta) do histórico do usuário.
• Este caminho conecta os recursos extraídos e os fatores estatísticos à resposta final, explicando como e por que o usuário reagiu daquela maneira.
• O resultado é um histórico de usuário aumentado por raciocínio (Reasoning-Augmented User History), armazenando não apenas a resposta, mas a lógica por trás dela.

C. Geração Alinhada ao Raciocínio (Reasoning-Aligned Generation)

• Extração de Recursos Consciente de Fatores: Na inferência, o modelo extrai recursos da nova query, mapeando-os para os fatores estatísticos do usuário.
• Recuperação Baseada em Recursos: Em vez de recuperar exemplos apenas por similaridade de texto bruto (topico), o RPM recupera exemplos do histórico que compartilham estruturas de raciocínio similares (baseadas nos recursos e fatores).
• Geração Guiada: O LLM recebe a query, os recursos extraídos, os fatores do usuário e os exemplos de raciocínio recuperados. Isso guia o modelo a seguir o padrão de lógica do usuário, gerando uma resposta personalizada e interpretável.

3. Contribuições Principais

1. Novo Paradigma: Introdução e formalização da Personalização no Nível de Raciocínio, mudando o foco de apenas igualar a resposta final para alinhar o processo de inferência do LLM com o padrão de comportamento do usuário.
2. Framework RPM: Proposta de um sistema automatizado que descobre estruturas de raciocínio específicas do usuário a partir de dados brutos e as utiliza para guiar a inferência de LLMs de caixa-preta com alta interpretabilidade.
3. Evidência Empírica Robusta: Validação abrangente em quatro tarefas diversas (classificação, regressão, geração de texto e QA), demonstrando desempenho superior (SOTA) em comparação com métodos de personalização existentes.
4. Transferibilidade: Demonstração de que o histórico de raciocínio construído com um modelo base pode ser reutilizado por outros modelos LLM com desempenho comparável, indicando forte transferibilidade cruzada.

4. Resultados Experimentais

O RPM foi avaliado em quatro conjuntos de dados (LaMP-2, LaMP-3, LaMP-5 e GOQA) e comparado com baselines como Zero-shot, ICL, RAG, PAG, HYDRA e Fermi.

• Desempenho Geral: O RPM superou consistentemente todos os métodos de personalização no nível de resposta em todas as tarefas.
  • Exemplo (LaMP-3 - Previsão de Classificação): RPM alcançou MAE de 0.259 e RMSE de 0.548, superando o melhor baseline (Fermi) que teve MAE de 0.328.
  • Exemplo (GOQA - QA Personalizada): RPM alcançou 85.2% de acurácia, contra 80.0% do HYDRA e Fermi.
• Ablação: Estudos mostraram que a remoção da geração de raciocínio explícito ou dos fatores estruturados leva a quedas significativas de desempenho, confirmando que a estruturação dos dados é crucial.
• Interpretabilidade: Uma avaliação humana (via Amazon Mechanical Turk) indicou que as saídas do RPM foram significativamente mais interpretáveis e alinhadas com a lógica do usuário em comparação com métodos que usam CoT genérico.
• Custo: O RPM apresenta um custo computacional e de latência moderado, sendo mais eficiente em termos de API do que métodos que exigem otimização iterativa de prompts (como Fermi) ou ajuste de parâmetros (como HYDRA).

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma na personalização de LLMs de caixa-preta.

• Mudança de Foco: Transita da simples adaptação de saída (resposta) para a modelagem do processo cognitivo (raciocínio) do usuário.
• Transparência: Ao tornar explícitos os fatores e recursos que influenciam a decisão, o RPM aumenta a confiança e a transparência do sistema, permitindo que os usuários entendam por que uma resposta foi gerada.
• Viabilidade Prática: Demonstra que é possível criar sistemas de personalização altamente eficazes e interpretáveis sem acesso aos pesos do modelo, utilizando apenas dados comportamentais estruturados e mecanismos de recuperação inteligentes.

Em resumo, o RPM prova que a chave para uma personalização robusta em LLMs não está apenas em fornecer mais contexto ao modelo, mas em ensinar ao modelo como o usuário pensa e raciocina, estruturando esse conhecimento de forma quantificável e recuperável.