From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

Ce papier propose un cadre unifié pour l'apprentissage par renforcement agentique personnalisé intégrant l'optimisation de politique découplée de récompense ancrée personnalisée (PARPO), un modèle de récompense désintriqué des préférences, et une mémoire graphique d'évolution des compétences alignée sur les préférences (PSGM) afin de traiter efficacement les préférences utilisateurs hétérogènes et d'améliorer les performances des agents dans divers scénarios de planification et d'utilisation d'outils.

L'essentiel

Imaginez que vous ayez un robot assistant personnel. Autrefois, nous apprenions à ces robots à être « corrects ». Si vous demandiez : « Planifiez un voyage à Tokyo », le robot apprenait l'unique itinéraire mathématiquement parfait qui fonctionne pour la personne moyenne. Il serait efficace, logique et factuellement exact.

Mais dans le monde réel, le « correct » ne suffit pas. Si l'Utilisateur A est un amateur de musées calme qui déteste marcher, et que l'Utilisateur B est un fan d'anime énergique qui adore la vie nocturne, le voyage « parfait » à Tokyo pour eux est complètement différent. La même question nécessite deux réponses différentes.

Ce papier propose une nouvelle façon d'entraîner des agents IA afin qu'ils cessent d'essayer d'être un expert « fait pour tous » et commencent à devenir un véritable compagnon personnel. Voici comment ils l'ont fait, expliqué simplement :

1. Le Problème : Le Piège de la « Moyenne »

L'entraînement actuel des IA ressemble à apprendre à un chef de cuisiner un seul repas « moyen » que tout le monde aime. Si vous demandez un plat épicé, le chef pourrait vous donner quelque chose de doux car il essaie de satisfaire la majorité.

• Le Problème : Les vrais utilisateurs ont des goûts, des habitudes et des contraintes uniques. Un système de récompense générique (comme un score pour « avez-vous terminé la tâche ?») ne peut pas faire la différence entre un plan de voyage qui est factuellement correct mais ennuyeux pour l'utilisateur, et celui qui est parfaitement adapté à lui.
• Le Bruit : Parfois, les utilisateurs agissent d'une manière qui ne correspond pas à leurs vrais désirs (peut-être qu'ils ont acheté quelque chose simplement parce que leurs amis l'ont fait). L'IA doit déterminer ce que l'utilisateur veut vraiment, et pas seulement ce qu'il a fait.

2. La Solution : Une Boîte à Outils en Trois Parties

Les auteurs ont construit un cadre appelé PARPO (Personalized Anchor Reward-Decoupled Policy Optimization). Imaginez-le comme une mise à niveau en trois étapes pour le cerveau de l'IA :

Partie A : Le Coach « Double Voie » (PARPO)

Imaginez un entraîneur sportif formant deux athlètes en même temps.

• Voie 1 (Les Bases) : L'entraîneur s'assure que les deux athlètes courent un tour parfait et sûr. C'est la récompense de Qualité Générale. Ont-ils terminé la course ? Ont-ils respecté les règles ?
• Voie 2 (Le Style Personnel) : L'entraîneur donne ensuite des retours spécifiques basés sur le style de l'athlète. Pour le sprinter, c'est « allez plus vite ». Pour le marathonien, c'est « économisez votre énergie ». C'est la récompense de Préférence Personnalisée.
• L'Ancrage : Pour maintenir la stabilité, l'entraîneur utilise un « ancrage personnel » pour chaque athlète. Au lieu de comparer le sprinter au marathonien (ce qui serait injuste), l'entraîneur compare le sprinter à sa propre performance passée. Cela empêche l'IA de se confondre avec les différentes « échelles » des différents utilisateurs.

Partie B : Le Détecteur de « Vrai Intérêt » (Modèle de Récompense)

Comment l'IA sait-elle ce qu'un utilisateur aime vraiment par rapport à ce qu'il a fait simplement à cause de la pression des pairs ?

• Le papier introduit un Détecteur en Deux Étapes.
  • Étape 1 : Il construit un profil de l'utilisateur sous de nombreux angles (comme lire sa biographie, son historique et son cercle social).
  • Étape 2 : Il agit comme un détective séparant le « Vrai Intérêt » de la « Conformité ». Il se demande : « Cet utilisateur a-t-il fait cela parce qu'il l'adore, ou simplement parce que tout le monde le faisait ? » Il filtre le bruit pour trouver le signal.

Partie C : La « Bibliothèque Vivante » (PSGM)

L'ancienne mémoire de l'IA ressemble à un tas de papiers plats. Vous posez une question, et elle fouille tout le tas.

• Ce papier construit un Graphe d'Évolution des Compétences. Imaginez une toile d'araignée dynamique en 3D où chaque nœud est connecté.
  • Un nœud est « Utilisateur A ».
  • Il se connecte à « Compétence : Planification de musée ».
  • Cela se connecte à « Scénario : Jour de pluie ».
  • Et « Outil : Réservation de billets ».
• Lorsqu'un utilisateur pose une question, l'IA ne cherche pas seulement ; elle voyage à travers cette toile pour trouver les compétences et les outils exacts qui correspondent à l'historique et aux préférences spécifiques de cet utilisateur. C'est comme un bibliothécaire qui sait exactement quel livre vous a plu l'année dernière et vous en suggère un similaire, plutôt que de simplement vous remettre le livre le plus vendu.

3. Les Résultats : Meilleurs que les Autres

L'équipe a testé cela sur trois défis différents :

1. ETAPP : Un test standard pour les assistants personnels (planification de tâches quotidiennes).
2. ETAPP-Hard : Une version plus difficile avec des problèmes complexes à plusieurs étapes.
3. SJAgent : Un test industriel réel utilisant des données d'une immense plateforme de commerce électronique chinoise (aidant les marchands à prendre des décisions).

Le Résultat :
Leur nouveau cadre a systématiquement battu les meilleures méthodes existantes.

• Il n'a pas seulement obtenu les faits corrects ; il a obtenu le vibe correct.
• Il a appris à être proactif (anticipant les besoins) et a mieux suivi des procédures complexes.
• Crucialement, il a maintenu une haute qualité tout en s'adaptant aux utilisateurs individuels, prouvant que vous n'avez pas à sacrifier le « correct » pour être « personnel ».

Analogie de Résumé

Imaginez l'ancienne IA comme un guide touristique qui a mémorisé un seul script parfait pour Tokyo et le récite à tout le monde.
La nouvelle IA est un ami local qui vous connaît personnellement. Il sait que vous détestez marcher, que vous adorez l'anime et que vous avez un budget serré. Il ne vous donne pas juste une carte ; il conçoit une journée qui semble faite spécialement pour vous, en utilisant sa mémoire de ce que vous avez aimé auparavant, tout en s'assurant que vous voyez réellement les sites que vous vouliez voir.

Le papier affirme que cela est obtenu en séparant « faire le travail correctement » de « faire le travail de la façon dont vous aimez », et en utilisant un système de mémoire intelligent pour se souvenir exactement de qui vous êtes.

Résumé technique

Résumé Technique : De la Correction à la Préférence : Un Cadre pour l'Apprentissage par Renforcement Agentique Personnalisé

1. Définition du Problème

Bien que l'Apprentissage par Renforcement Agentique (Agentic RL) ait connu un succès significatif dans des tâches vérifiables dotées de réponses de vérité terrain claires (par exemple, la génération de code, la navigation web), il fait face à des défis fondamentaux dans les applications réelles où le comportement optimal est dépendant de l'utilisateur. Dans des domaines tels que l'assistance au commerce électronique, la planification de voyages et l'organisation quotidienne, une requête unique (par exemple, « planifiez un voyage d'une journée à Tokyo ») admet plusieurs trajectoires plausibles, le chemin préféré étant déterminé par les préférences, les habitudes et les contraintes individuelles de l'utilisateur.

Les méthodes existantes optimisent généralement des objectifs génériques (qualité globale, utilité) ou ne réalisent une personnalisation qu'au moment de l'inférence via l'incitation (prompting) ou la récupération de mémoire. Elles manquent d'un cadre natif au moment de l'entraînement pour optimiser les politiques en faveur de trajectoires contingentes à l'utilisateur. Ce cadre introduit trois défis principaux :

1. Ambiguïté de la Récompense Personnalisée : Les récompenses génériques capturent la correction de la tâche mais échouent à exprimer comment des utilisateurs spécifiques évaluent les trajectoires ou gèrent des échelles de récompense hétérogènes entre les utilisateurs.
2. Désenchevêtrement des Préférences : Les comportements utilisateurs observés sont souvent entremêlés avec des intérêts intrinsèques et une conformité externe ou des effets contextuels, rendant les signaux de préférence bruyants.
3. Mémoire Consciente de l'Utilisateur : Les mémoires d'agents existantes sont souvent plates et centrées sur la requête, échouant à modéliser les relations structurées entre utilisateurs, intentions, compétences, outils et scénarios nécessaires à une récupération personnalisée.

2. Méthodologie

Les auteurs proposent un cadre unifié d'Apprentissage par Renforcement Agentique Personnalisé qui intègre la personnalisation dans la boucle d'optimisation au moment de l'entraînement. Le cadre fonctionne comme une boucle fermée d'identification des préférences, d'optimisation de la politique et d'accumulation structurée de compétences, comprenant trois composants principaux :

2.1 PARPO : Optimisation de Politique Découplée de la Récompense Ancrée Personnalisée

PARPO est l'algorithme d'optimisation de politique central conçu pour gérer des préférences utilisateurs hétérogènes.

• Découplage de la Récompense : Il sépare l'optimisation en deux pistes : une Piste de Base pour la qualité générique de la tâche (correction, cohérence logique) et une Piste Personnalisée pour l'amélioration des préférences contingentes à l'utilisateur.
• Ancres Spécifiques à l'Utilisateur : Pour stabiliser l'apprentissage sous des échelles de récompense hétérogènes, PARPO maintient une ancre persistante et spécifique à l'utilisateur (moyenne et variance en cours d'exécution) pour les récompenses personnalisées.
• Estimation de l'Avantage :
  • L'Avantage de Base ($A_{base}$) utilise une normalisation relative standard au sein du groupe.
  • L'Avantage Personnalisé ($A_{pers}$) utilise une ligne de base consciente de l'utilisateur : $b_{u,g} = \max(\bar{R}_{pers}^{(g)}, m_u - \gamma_p \sqrt{v_u})$, où $m_u$ et $v_u$ sont les statistiques historiques de récompense de l'utilisateur. Cela empêche la ligne de base de dériver trop loin au-dessus du centre historique de l'utilisateur.
  • L'avantage total est une somme pondérée : $A_{total} = w_{base}A_{base} + w_{pers}A_{pers}$.
• Justification Théorique : Les auteurs prouvent que, sous des préférences hétérogènes, l'optimisation consciente de l'utilisateur n'est jamais pire que l'optimisation agnostique de l'utilisateur. Ils démontrent que le GRPO standard incorpore un biais structurel dû aux lignes de base et à la normalisation regroupées, tandis que PARPO réduit ce biais grâce à la décomposition des récompenses et à l'étalonnage de l'ancre.

2.2 Modèle de Récompense à Deux Étapes pour le Désenchevêtrement des Préférences

Pour fournir une supervision personnalisée propre, le cadre emploie un modèle de récompense qui sépare les intérêts intrinsèques de la conformité.

• Étape 1 (Représentation de Profil Multi-vues) : Construit des plongements d'utilisateurs en fusionnant plusieurs vues sémantiques du profil utilisateur à l'aide de mécanismes d'attention et de pertes de reconstruction pour préserver les informations spécifiques à chaque vue.
• Étape 2 (Désenchevêtrement Collaboratif) : Utilise un graphe basé sur LightGCN pour propager des signaux collaboratifs. Il apprend deux branches distinctes :
  • Encodeur d'Intérêts : Surpondère les éléments moins populaires pour capturer les préférences intrinsèques.
  • Encodeur de Conformité : Surpondère les éléments populaires pour capturer les effets de conformité.
  • Régularisation d'Orthogonalité : Garantit que les deux branches restent distinctes.
• Le score personnalisé final est une représentation fusionnée de ces branches, étalonnée et intégrée avec une évaluation basée sur les LLM.

2.3 Mémoire Graphique d'Évolution des Compétences Alignée sur les Préférences (PSGM)

Pour soutenir des contextes de déploiement personnalisés, PSGM remplace la récupération plate par une mémoire graphique hétérogène.

• Structure : Les nœuds du graphe représentent les utilisateurs, les compétences, les outils, les scénarios et les trajectoires. Les arêtes encodent la propriété, l'applicabilité, la complémentarité, le conflit et l'historique d'exécution.
• Détection de Communautés : La détection hiérarchique de communautés (Leiden/Louvain) organise les utilisateurs et les compétences en communautés pour capturer une structure multi-granulaire.
• Mécanisme de Récupération :
  1. Initialisation Sémantique : Récupère les $K$ meilleures compétences basées sur la similarité de la requête.
  2. Expansion à 2 Sauts : Étend les candidats de la compétence vers l'utilisateur propriétaire, puis vers les compétences sœurs de cet utilisateur, injectant ainsi une structure locale personnalisée.
  3. Classement Conscient du Graphe : Classe les candidats en fonction de la similarité requête-compétence, de la similarité utilisateur-compétence, de la pertinence communautaire, de la complémentarité et des pénalités de conflit.

3. Contributions Clés

1. Formulation du Problème : L'article formule l'Apprentissage par Renforcement Agentique Personnalisé comme un Processus de Décision Markovien (MDP) conditionné par l'utilisateur, où le comportement optimal dépend des préférences individuelles plutôt que d'une seule vérité terrain.
2. Algorithme PARPO : Propose une méthode d'optimisation de politique stabilisée par ancre et découplée de la récompense, qui apprend efficacement des politiques personnalisées sous des échelles de récompense utilisateurs hétérogènes.
3. Supervision et Mémoire Désenchevêtrées : Introduit un modèle de récompense à deux étapes pour désenchevêtrer les préférences afin d'isoler les vrais intérêts de la conformité, et une Mémoire Graphique d'Évolution des Compétences structurée (PSGM) pour la récupération de compétences alignée sur les préférences.
4. Validation Empirique : Démontre des gains cohérents sur plusieurs benchmarks, montrant que le cadre améliore la personnalisation et la qualité procédurale tout en maintenant l'intégrité factuelle et logique.

4. Résultats Expérimentaux

Le cadre a été évalué sur ETAPP, ETAPP-Hard (une partition plus difficile nécessitant une coordination multi-outils et un raisonnement implicite) et SJAgent (un scénario industriel réel provenant d'une plateforme de commerce électronique chinoise).

• Performance : La méthode proposée (PARPO + PSGM) a nettement surpassé de solides lignes de base, y compris des méthodes d'incitation (ReAct), des agents basés sur la mémoire (Mem0) et divers algorithmes RL (GRPO, DAPO, GSPO, GiGPO, SkillRL).
  • Sur ETAPP-Hard, elle a obtenu les scores « Judge » et « Personal » les plus élevés, indiquant une robustesse dans des scénarios personnalisés complexes.
  • Sur SJAgent, elle a mené dans des dimensions clés telles que l'Authenticité des Données, la Logique Métier et l'Achèvement de la Tâche, démontrant une généralisation inter-domaines.
• Études d'Ablation :
  • La suppression de la mémoire des compétences a provoqué la plus forte baisse de performance, confirmant sa centralité dans la prise de décision personnalisée.
  • Le remplacement de PARPO par le GRPO standard ou la suppression de l'étalonnage de l'ancre utilisateur a entraîné une dégradation significative des performances, validant la nécessité de l'approche découplée et stabilisée par ancre.
  • Le désenchevêtrement du modèle de récompense (suppression des branches intérêts/conformité) a également réduit les performances, soulignant l'importance de séparer les vraies préférences du bruit.
• Évaluation Humaine et par LLM : Dans une étude en aveugle sur 20 tâches ETAPP, PARPO a obtenu les scores moyens les plus élevés à la fois de la part d'experts humains et de juges LLM, en particulier dans la « Pertinence Utilisateur », confirmant que les améliorations étaient dues à une véritable personnalisation et non simplement à la fluidité.
• Dynamiques d'Entraînement : PARPO a montré une stabilité d'entraînement supérieure, des taux de réussite plus élevés et un meilleur succès d'appel d'outils par rapport aux autres stratégies RL, avec une divergence KL stable indiquant une amélioration efficace de la politique sans déviation excessive.

5. Signification et Limites

Signification :
L'article soutient que la personnalisation modifie fondamentalement l'objectif d'optimisation de l'Apprentissage par Renforcement Agentique. En passant des politiques « taille unique » à l'optimisation de trajectoires contingentes à l'utilisateur, le cadre proposé comble le fossé entre la compétence générique dans les tâches et l'alignement spécifique à l'utilisateur. Il démontre que l'optimisation au moment de l'entraînement, soutenue par une modélisation de récompense désenchevêtrée et une mémoire structurée, est essentielle pour les agents opérant dans des environnements réels pilotés par les préférences.

Limites :
Les auteurs reconnaissent que l'échelle de l'évaluation humaine est limitée en raison des coûts d'annotation, les jugements étant fournis par seulement 15 experts sur 20 exemples échantillonnés. Bien que ces résultats s'alignent avec les évaluations par LLM, les auteurs notent que les travaux futurs devraient étendre les études humaines à des pools plus vastes et plus diversifiés pour mieux évaluer la robustesse et la validité dans le monde réel. De plus, l'implémentation actuelle repose sur des structures de graphes et des mécanismes d'ancre spécifiques qui pourraient nécessiter une adaptation pour différents domaines d'application.