From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

Este artigo propõe um quadro unificado para Aprendizado por Reforço Agente Personalizado que integra a Otimização de Política Desacoplada de Recompura de Âncora Personalizada (PARPO), um modelo de recompensa desentrelaçado de preferências e a Memória em Grafo de Evolução de Habilidades Alinhada a Preferências (PSGM) para abordar efetivamente preferências de usuário heterogêneas e melhorar o desempenho do agente em diversos cenários de planejamento e uso de ferramentas.

O essencial

Imagine que você tem um robô assistente pessoal. No passado, ensinávamos esses robôs a serem "corretos". Se você pedisse: "Planeje uma viagem para Tóquio", o robô aprenderia o único itinerário matematicamente perfeito que funciona para a pessoa média. Seria eficiente, lógico e factualmente preciso.

Mas no mundo real, "correto" não é suficiente. Se Usuário A é um amante silencioso de museus que odeia caminhar, e Usuário B é um fã energético de anime que adora vida noturna, a viagem "perfeita" para Tóquio para cada um deles é completamente diferente. A mesma pergunta exige duas respostas diferentes.

Este artigo propõe uma nova maneira de treinar agentes de IA para que parem de tentar ser especialistas "tamanho único" e comecem a se tornar verdadeiros companheiros pessoais. Veja como eles fizeram isso, explicado de forma simples:

1. O Problema: A Armadilha da "Média"

O treinamento atual de IA é como ensinar um chef a cozinhar uma única refeição "média" que todos gostam. Se você pedir um prato picante, o chef pode lhe dar algo suave porque está tentando agradar a maioria.

• O Problema: Usuários reais têm gostos, hábitos e restrições únicos. Um sistema de recompensa genérico (como uma pontuação para "você completou a tarefa?") não consegue distinguir entre um plano de viagem que é factualmente correto mas entediante para o usuário, versus um que é perfeitamente adaptado a eles.
• O Ruído: Às vezes, os usuários agem de maneiras que não correspondem aos seus verdadeiros desejos (talvez tenham comprado algo apenas porque os amigos compraram). A IA precisa descobrir o que o usuário realmente quer, não apenas o que eles fizeram.

2. A Solução: Um Kit de Ferramentas de Três Partes

Os autores criaram um framework chamado PARPO (Personalized Anchor Reward-Decoupled Policy Optimization). Pense nisso como uma atualização de três etapas para o cérebro da IA:

Parte A: O Treinador de "Dupla Pista" (PARPO)

Imagine um treinador esportivo treinando dois atletas ao mesmo tempo.

• Pista 1 (O Básico): O treinador garante que ambos os atletas corram uma volta perfeita e segura. Esta é a recompensa de Qualidade Geral. Eles terminaram a corrida? Seguiram as regras?
• Pista 2 (O Estilo Pessoal): O treinador então dá feedback específico baseado no estilo do atleta. Para o velocista, é "corra mais rápido". Para o maratonista, é "conservar energia". Esta é a recompensa de Preferência Personalizada.
• A Âncora: Para manter a estabilidade, o treinador usa uma "âncora pessoal" para cada atleta. Em vez de comparar o velocista com o maratonista (o que seria injusto), o treinador compara o velocista com o próprio desempenho passado dele. Isso impede que a IA se confunda com as diferentes "escalas" de diferentes usuários.

Parte B: O Detector de "Interesse Verdadeiro" (Modelo de Recompensa)

Como a IA sabe o que um usuário realmente gosta versus o que eles apenas fizeram por pressão dos pares?

• O artigo introduz um Detector de Duas Etapas.
  • Etapa 1: Constrói um perfil do usuário a partir de vários ângulos (como ler sua biografia, seu histórico e seu círculo social).
  • Etapa 2: Age como um detetive separando "Interesse Verdadeiro" de "Conformidade". Pergunta: "Este usuário fez isso porque ama, ou apenas porque todo mundo estava fazendo?". Filtra o ruído para encontrar o sinal.

Parte C: A "Biblioteca Viva" (PSGM)

A memória antiga da IA é como uma pilha plana de papéis. Você faz uma pergunta, e ela pesquisa toda a pilha.

• Este artigo constrói um Grafo de Evolução de Habilidades. Imagine uma teia de aranha dinâmica e tridimensional onde cada nó está conectado.
  • Um nó é "Usuário A".
  • Conecta-se a "Habilidade: Planejamento de Museus".
  • Isso conecta-se a "Cenário: Dia de Chuva".
  • E "Ferramenta: Reserva de Ingressos".
• Quando um usuário faz uma pergunta, a IA não apenas pesquisa; ela viaja por essa teia para encontrar as habilidades e ferramentas exatas que correspondem ao histórico e às preferências específicas daquele usuário. É como um bibliotecário que sabe exatamente qual livro você gostou no ano passado e sugere um similar, em vez de apenas entregar o livro mais vendido.

3. Os Resultados: Melhor que os Demais

A equipe testou isso em três desafios diferentes:

1. ETAPP: Um teste padrão para assistentes pessoais (planejamento de tarefas diárias).
2. ETAPP-Hard: Uma versão mais difícil com problemas complexos e de múltiplas etapas.
3. SJAgent: Um teste industrial real usando dados de uma plataforma massiva de comércio eletrônico chinesa (ajudando comerciantes a tomar decisões).

O Resultado:
Seu novo framework consistentemente superou os melhores métodos existentes.

• Não apenas acertou os fatos; acertou a vibe.
• Aprendeu a ser proativo (antecipando necessidades) e seguiu procedimentos complexos melhor.
• Crucialmente, manteve alta qualidade enquanto se adaptava a usuários individuais, provando que você não precisa sacrificar a "correção" para ser "pessoal".

Analogia de Resumo

Pense na IA antiga como um guia turístico que memorizou um roteiro perfeito para Tóquio e o recitou para todos.
A nova IA é um amigo local que te conhece pessoalmente. Sabe que você odeia caminhar, ama anime e está com orçamento limitado. Eles não apenas te dão um mapa; projetam um dia que parece ter sido feito apenas para você, usando sua memória do que você gostou antes, enquanto garantem que você realmente veja as atrações que queria ver.

O artigo afirma que isso é alcançado separando "fazer o trabalho certo" de "fazer o trabalho do jeito que você gosta", e usando um sistema de memória inteligente para lembrar exatamente quem você é.

Resumo técnico

Resumo Técnico: Da Correção à Preferência: Um Framework para Aprendizado por Reforço Agente Personalizado

1. Definição do Problema

Enquanto o Aprendizado por Reforço Agente (Agentic RL) alcançou sucesso significativo em tarefas verificáveis com respostas de verdade absoluta claras (por exemplo, geração de código, navegação na web), enfrenta desafios fundamentais em aplicações do mundo real onde o comportamento ótimo é dependente do usuário. Em domínios como assistência em comércio eletrônico, planejamento de viagens e agendamento diário, uma única consulta (por exemplo, "planeje uma viagem de um dia em Tóquio") admite múltiplas trajetórias plausíveis, com o caminho preferido determinado pelas preferências, hábitos e restrições individuais do usuário.

Os métodos existentes geralmente otimizam objetivos genéricos (qualidade geral, utilidade) ou realizam personalização apenas no momento da inferência via prompting ou recuperação de memória. Eles carecem de um framework nativo de tempo de treinamento para otimizar políticas para trajetórias contingentes ao usuário. Esta configuração introduz três desafios centrais:

1. Ambiguidade de Recompensa Personalizada: Recompensas genéricas capturam a correção da tarefa, mas falham em expressar como usuários específicos avaliam trajetórias ou lidam com escalas de recompensa heterogêneas entre usuários.
2. Desemaranhamento de Preferências: Comportamentos observados de usuários estão frequentemente emaranhados com interesses intrínsecos e conformidade externa ou efeitos contextuais, tornando os sinais de preferência ruidosos.
3. Memória Consciente do Usuário: As memórias de agentes existentes são frequentemente planas e centradas na consulta, falhando em modelar relações estruturadas entre usuários, intenções, habilidades, ferramentas e cenários necessários para recuperação personalizada.

2. Metodologia

Os autores propõem um framework unificado de RL Agente Personalizado que incorpora a personalização no loop de otimização de tempo de treinamento. O framework opera como um ciclo fechado de identificação de preferências, otimização de política e acumulação estruturada de habilidades, compreendendo três componentes principais:

2.1 PARPO: Otimização de Política com Recompensa Ancorada Desacoplada e Personalizada

PARPO é o algoritmo central de otimização de política projetado para lidar com preferências de usuários heterogêneas.

• Desacoplamento de Recompensa: Separa a otimização em duas trilhas: uma Trilha Base para qualidade genérica da tarefa (correção, coerência lógica) e uma Trilha Personalizada para melhoria de preferências contingentes ao usuário.
• Âncoras Específicas do Usuário: Para estabilizar o aprendizado sob escalas de recompensa heterogêneas, o PARPO mantém uma âncora persistente e específica do usuário (média móvel e variância) para recompensas personalizadas.
• Estimativa de Vantagem:
  • A Vantagem Base ($A_{base}$) usa normalização relativa padrão dentro do grupo.
  • A Vantagem Personalizada ($A_{pers}$) usa uma base consciente do usuário: $b_{u,g} = \max(\bar{R}_{pers}^{(g)}, m_u - \gamma_p \sqrt{v_u})$, onde $m_u$ e $v_u$ são as estatísticas históricas de recompensa do usuário. Isso impede que a base se desvie excessivamente acima do centro histórico do usuário.
  • A vantagem total é uma soma ponderada: $A_{total} = w_{base}A_{base} + w_{pers}A_{pers}$.
• Justificativa Teórica: Os autores provam que, sob preferências heterogêneas, a otimização consciente do usuário nunca é pior do que a otimização alheia ao usuário. Eles demonstram que o GRPO padrão incorre em viés estrutural devido a bases agrupadas e normalização, enquanto o PARPO reduz esse viés através da decomposição de recompensas e calibração de âncoras.

2.2 Modelo de Recompensa Desemaranhado de Preferências em Duas Etapas

Para fornecer supervisão personalizada limpa, o framework emprega um modelo de recompensa que separa interesses intrínsecos de conformidade.

• Etapa 1 (Representação de Perfil Multivista): Constrói embeddings de usuários fundindo múltiplas visões semânticas do perfil do usuário usando mecanismos de atenção e perdas de reconstrução para preservar informações específicas de cada visão.
• Etapa 2 (Desemaranhamento Colaborativo): Utiliza um grafo baseado em LightGCN para propagar sinais colaborativos. Aprende dois ramos distintos:
  • Codificador de Interesses: Aumenta o peso de itens menos populares para capturar preferências intrínsecas.
  • Codificador de Conformidade: Aumenta o peso de itens populares para capturar efeitos de conformidade.
  • Regularização de Ortogonalidade: Garante que os dois ramos permaneçam distintos.
• A pontuação personalizada final é uma representação fundida desses ramos, calibrada e integrada com avaliação baseada em LLM.

2.3 Memória em Grafo de Evolução de Habilidades Alinhada a Preferências (PSGM)

Para suportar contextos de execução personalizados, o PSGM substitui a recuperação plana por uma memória em grafo heterogêneo.

• Estrutura: Os nós do grafo representam usuários, habilidades, ferramentas, cenários e trajetórias. As arestas codificam propriedade, aplicabilidade, complementaridade, conflito e histórico de execução.
• Detecção de Comunidade: A detecção hierárquica de comunidades (Leiden/Louvain) organiza usuários e habilidades em comunidades para capturar estrutura de multi-granularidade.
• Mecanismo de Recuperação:
  1. Inicialização Semântica: Recupera as top-$K$ habilidades com base na similaridade da consulta.
  2. Expansão de 2 Saltos: Expande candidatos da habilidade para o usuário proprietário e, em seguida, para as habilidades irmãs desse usuário, injetando estrutura local personalizada.
  3. Pontuação Consciente do Grafo: Classifica candidatos com base na similaridade consulta-habilidade, similaridade usuário-habilidade, relevância da comunidade, complementaridade e penalidades de conflito.

3. Contribuições Principais

1. Formulação do Problema: O artigo formula o RL Agente Personalizado como um Processo de Decisão de Markov (MDP) condicionado ao usuário, onde o comportamento ótimo depende de preferências individuais e não de uma única verdade absoluta.
2. Algoritmo PARPO: Propõe um método de otimização de política estabilizado por âncora e desacoplado de recompensa que aprende efetivamente políticas personalizadas sob escalas de recompensa de usuários heterogêneas.
3. Supervisão Desemaranhada e Memória: Introduz um modelo de recompensa desemaranhado de preferências em duas etapas para isolar interesses reais de conformidade, e uma Memória em Grafo de Evolução de Habilidades estruturada (PSGM) para recuperação de habilidades alinhada a preferências.
4. Validação Empírica: Demonstra ganhos consistentes em múltiplos benchmarks, mostrando que o framework melhora a personalização e a qualidade procedural, mantendo a integridade factual e lógica.

4. Resultados Experimentais

O framework foi avaliado em ETAPP, ETAPP-Hard (uma divisão mais desafiadora que requer coordenação de múltiplas ferramentas e raciocínio implícito) e SJAgent (um cenário industrial real de uma plataforma de comércio eletrônico chinesa).

• Desempenho: O método proposto (PARPO + PSGM) superou significativamente bases fortes, incluindo métodos de prompting (ReAct), agentes baseados em memória (Mem0) e vários algoritmos de RL (GRPO, DAPO, GSPO, GiGPO, SkillRL).
  • Em ETAPP-Hard, alcançou as maiores pontuações de "Julgador" e "Pessoal", indicando robustez em cenários personalizados complexos.
  • Em SJAgent, liderou em dimensões-chave como Autenticidade de Dados, Lógica de Negócios e Conclusão de Tarefa, demonstrando generalização entre domínios.
• Estudos de Ablação:
  • A remoção da memória de habilidades causou a maior queda de desempenho, confirmando sua centralidade na tomada de decisão personalizada.
  • Substituir o PARPO pelo GRPO padrão ou remover a calibração de âncora do usuário resultou em degradação significativa de desempenho, validando a necessidade da abordagem desacoplada e estabilizada por âncora.
  • Desemaranhar o modelo de recompensa (remover os ramos de interesse/conformidade) também reduziu o desempenho, destacando a importância de separar preferências reais de ruído.
• Avaliação Humana e por LLM: Em um estudo cego em 20 tarefas ETAPP, o PARPO alcançou as maiores pontuações médias tanto de especialistas humanos quanto de juízes LLM, particularmente em "Relevância para o Usuário", confirmando que as melhorias foram devidas à personalização genuína e não apenas à fluência.
• Dinâmica de Treinamento: O PARPO mostrou estabilidade superior de treinamento, taxas de sucesso mais altas e melhor sucesso em chamadas de ferramentas comparado a outras estratégias de RL, com divergência KL estável indicando melhoria eficiente da política sem desvio excessivo.

5. Significado e Limitações

Significado:
O artigo argumenta que a personalização muda fundamentalmente o alvo de otimização do RL Agente. Ao ir além de políticas "tamanho único" para otimização de trajetória contingente ao usuário, o framework proposto preenche a lacuna entre competência genérica em tarefas e alinhamento específico ao usuário. Demonstra que a otimização de tempo de treinamento, apoiada por modelagem de recompensa desemaranhada e memória estruturada, é essencial para agentes operando em ambientes do mundo real orientados por preferências.

Limitações:
Os autores reconhecem que a escala da avaliação humana é limitada devido aos custos de anotação, com julgamentos fornecidos por apenas 15 especialistas em 20 exemplos amostrados. Embora esses resultados se alinhem com as avaliações de LLM, os autores observam que trabalhos futuros devem expandir os estudos humanos para pools maiores e mais diversos para avaliar melhor a robustez e a validade no mundo real. Além disso, a implementação atual depende de estruturas de grafo específicas e mecanismos de âncora que podem exigir adaptação para diferentes domínios de aplicação.