Résumé Technique : Agentic-DPO

1. Problématique

Les agents basés sur les Grands Modèles de Langage (LLM) sont fréquemment entraînés via le réglage fin supervisé (SFT) sur des trajectoires d'experts. Bien que le SFT soit simple et peu coûteux, il traite le comportement multi-tours de l'agent comme une simple imitation de texte ordinaire. Cette approche hérite des limites de l'imitation de comportement (behavior cloning) : le modèle apprend à imiter la séquence de jetons de l'expert mais échoue à apprendre comment choisir l'action correcte face à des erreurs plausibles dans un état spécifique.

Les méthodes existantes pour y remédier, telles que l'apprentissage par préférence ou l'apprentissage par renforcement (RL), nécessitent souvent des déploiements coûteux dans l'environnement, des modèles de récompense ou l'exploration complète de trajectoires par l'étudiant. De plus, l'application naïve de l'apprentissage par préférence aux actions d'un agent est problématique car les chaînes d'actions mélangent la décision de politique latente avec le rendu spécifique au schéma (par exemple, JSON vs format ReAct). Si elle n'est pas contrôlée, le modèle peut optimiser le style de rendu plutôt que la décision sous-jacente.

Le défi central consiste à convertir les trajectoires d'experts en préférences d'actions conditionnées par l'état qui enseignent à l'agent à éviter ses propres erreurs probables, sans la surcharge de calcul du RL en ligne ou le besoin de modèles de récompense externes.

2. Méthodologie : Agentic-DPO

Les auteurs proposent Agentic-DPO, une méthode légère d'optimisation de la politique d'agent hors ligne. Elle transforme les trajectoires d'experts en supervision par préférence en contrastant l'action de l'expert avec une « action erronée plausible » échantillonnée à partir de la politique actuelle de l'étudiant au même état.

Mécanisme Central

1. Construction de Préférences Conditionnées par l'État :

   • Pour chaque étape d'expert $(s_t, u^+_t)$ dans une trajectoire, la méthode traite l'action de l'expert comme le choix « préféré ».
   • Elle échantillonne une action d'un seul pas à partir de la politique actuelle de l'étudiant ($\pi_{\theta_{student}}$) au même état $s_t$.
   • L'action échantillonnée de l'étudiant est analysée pour extraire une décision latente. Si elle est équivalente à l'action de l'expert (même outil/arguments), elle est rejetée. Si elle constitue une décision valide différente, elle sert d'échantillon « rejeté » (négatif) ($u^-_t$).
   • Cela crée un triplet de préférence $(s_t, u^+_t, u^-_t)$ où le modèle est entraîné à préférer l'action de l'expert par rapport à l'erreur spécifique que l'étudiant est susceptible de commettre.

2. Fonction de Perte :

   • La méthode utilise une perte de type Direct Preference Optimization (DPO), optimisée uniquement sur les jetons d'action générés.
   • Pour gérer les longueurs d'action variables entre les différents outils ou les interactions d'interface graphique (GUI), un coefficient de préférence mis à l'échelle par la longueur $\beta_{eff}$ est utilisé pour éviter que les actions longues ne dominent le gradient simplement en raison du nombre de jetons.

Stratégies de Stabilisation

Pour garantir la stabilité et empêcher le modèle d'optimiser le format de surface plutôt que la logique de décision, Agentic-DPO introduit deux composants clés :

• Ancre SFT :

  • L'entraînement commence par un préchauffage SFT pour s'assurer que l'étudiant comprend les formats d'action valides.
  • Pendant l'entraînement DPO, une politique de référence gelée ($\pi_{ref}$) issue de l'étape SFT est utilisée.
  • La perte totale combine le terme contrastif DPO avec un terme SFT ($L_{train} = L_{ADPO} + \lambda L_{SFT}$). Cette ancre empêche la perte de préférence de supprimer trop agressivement la probabilité de l'action de l'expert et maintient la politique proche d'une syntaxe valide.

• Augmentation Préservant la Politique (PPA) :

  • La PPA rend la même trajectoire latente sous plusieurs vues de schémas (par exemple, en changeant les noms d'outils, en basculant entre ReAct et JSON, ou en injectant des contextes de récupération).
  • En échantillonnant différentes vues $\phi$ pour le même couple de préférence latente pendant l'entraînement, la méthode moyenne les gradients liés aux formes spécifiques au schéma ($H_\theta$), garantissant que le modèle optimise la marge de décision latente ($G_\theta$).

Procédure d'Entraînement

L'entraînement se déroule en « cycles de rafraîchissement ». Dans chaque cycle, la politique actuelle de l'étudiant est utilisée pour échantillonner de nouvelles actions négatives pour un sous-ensemble de données d'experts. Cela permet aux échantillons négatifs d'évoluer à mesure que l'étudiant s'améliore, fournissant un signal de « négatif difficile » dynamique sans nécessiter d'interaction avec l'environnement.

3. Contributions Clés

1. Agentic-DPO : Une méthode légère d'optimisation de politique hors ligne qui construit des préférences d'action conditionnées par l'état en contrastant les actions d'experts avec des négatifs d'un seul pas de l'étudiant, éliminant le besoin de déploiements d'environnement en ligne ou de modèles de récompense.
2. Augmentation Préservant la Politique (PPA) : Une technique qui rend les trajectoires latentes sous plusieurs schémas pour réduire les gradients de préférence dominés par le schéma, stabilisant ainsi le DPO au niveau de l'action.
3. Validation Empirique : Démonstration qu'Agentic-DPO améliore les performances des agents à travers divers benchmarks (utilisation d'outils, interaction utilisateur à long horizon, et ancrage web-GUI) et différentes échelles de modèles, surpassant le SFT standard et égalant les méthodes de RL en ligne pour un coût bien moindre.

4. Résultats Expérimentaux

Les auteurs ont évalué Agentic-DPO sur trois benchmarks : StableToolBench (utilisation d'outils), $\tau$-bench retail (interaction intercalée avec l'utilisateur à long horizon) et Mind2Web (ancrage web-GUI), en utilisant des modèles Qwen3.5 (2B, 4B, 9B) et Gemma3-4B.

• Gains de Performance : Agentic-DPO a systématiquement surpassé le SFT et les autres bases de référence (PPA+SFT, DFT, ETO, GRPO) sur toutes les échelles de modèles.
  • Sur $\tau$-bench retail, Agentic-DPO a fait passer la précision d'un modèle 9B de 21,7 % (SFT) à 41,4 %, égalant la performance du GRPO en ligne (40,0 %) mais sans les déploiements de RL en ligne.
  • Sur StableToolBench, il a amélioré un modèle 2B de 57,1 % (SFT) à 90,9 %, surpassant les bases de référence solides.
  • Sur Mind2Web, il a atteint un taux de succès moyen par étape de 64,4 % sur les partitions de test (held-out splits).
• Efficacité : Agentic-DPO est nettement moins coûteux que le RL en ligne. Sur $\tau$-bench, il coûte 1,6x le temps de calcul par étape par rapport au SFT, alors que le GRPO coûte 13,6x en raison des déploiements multi-tours.
• Études d'Ablation :
  • Supprimer le préchauffage SFT a provoqué l'effondrement des performances à 0,0 % (rejet par l'analyseur syntaxique).
  • Supprimer l'ancre SFT pendant l'entraînement a conduit à une variance plus élevée et une précision moindre.
  • Supprimer la PPA a maintenu une haute précision canonique mais a considérablement élargi l'écart entre la performance canonique et la performance perturbée (hors distribution), indiquant que la PPA est cruciale pour la robustesse.
• Mise à l'échelle (Scaling) : La méthode montre des rendements décroissants sur le nombre de négatifs échantillonnés ($K$) au-delà de 2–4, suggérant que le principal bénéfice provient de la découverte d'une seule erreur locale plausible plutôt que de l'approximation d'une distribution complète de déploiement. Elle est également très efficace en termes de données, performant bien avec seulement 25 % des données d'experts.

5. Signification et Revendications

L'article affirme que les trajectoires d'experts peuvent supporter une optimisation de politique d'agent à faible coût lorsque leur structure état-action est utilisée directement. En convertissant les démonstrations en préférences d'action au niveau de l'état, Agentic-DPO comble le fossé entre l'imitation simple (SFT) et l'apprentissage par renforcement en ligne coûteux.

Les auteurs soulignent qu'Agentic-DPO fournit un signal d'entraînement « conscient de l'étudiant » — apprenant au modèle à éviter ses propres erreurs probables — sans les coûts dominants du RL (déploiements répétés de trajectoires complètes dans l'environnement et entraînement de modèles de récompense). Bien qu'il s'agisse d'une méthode hors ligne limitée aux états présents dans les données d'experts (contra럽 aux méthodes de RL en ligne qui peuvent explorer de nouveaux états), les résultats suggèrent qu'il s'agit d'une approche hautement efficace et pratique pour améliorer la prise de décision des agents à travers divers paradigmes d'interaction.