Résumé Technique : SAGE-OPD

Problématique

La distillation on-policy (OPD) est apparue comme une approche de premier plan pour l'entraînement de modèles de raisonnement à poids ouverts, en alignant les politiques de l'étudiant sur les distributions de l'enseignant sur des trajectoires induites par le propre comportement de l'étudiant, atténuant ainsi le biais d'exposition inhérent au réglage fin supervisé (SFT) hors ligne. Cependant, la recherche actuelle sur l'OPD se concentre principalement sur les tâches de génération à un seul tour. Appliquée aux agents LLM réalistes à plusieurs tours, l'OPD standard rencontre des limitations significatives :

1. Erreurs cumulatives : Dans les interactions multi-tours, les premières actions incorrectes altèrent l'état de l'environnement, déformant les observations suivantes et rendant la récupération de plus en plus difficile. Cela crée un décalage de distribution où les historiques ultérieurs induits par l'étudiant deviennent de plus en plus hors distribution pour l'enseignant.
2. Fragilité de l'alignement au niveau du jeton (token) : L'OPD standard applique un alignement dense au niveau du jeton de manière uniforme. Cela peut pénaliser excessivement des alternatives de l'étudiant sémantiquement valides qui diffèrent de la formulation spécifique ou de la décomposition locale de l'enseignant.
3. Renforcement des dégénérescences : Les gradients denses peuvent renforcer les dégénérescences locales, telles que les pensées ou actions répétitives, si ces schémas reçoivent accidentellement des probabilités favorables de l'enseignant.
4. Supervision peu fiable : À mesure que les erreurs de l'étudiant s'accumulent, la distribution prédictive de l'enseignant sur les historiques corrompus peut devenir incertaine. L'application uniforme de l'OPD dans ces scénarios propage une supervision peu fiable.

La question centrale abordée est de savoir si l'OPD multi-tours peut préserver les avantages de la supervision on-policy tout en l'appliquant sélectivement uniquement aux tours où l'intervention est à la fois nécessaire et fiable.

Méthodologie : SAGE-OPD

Les auteurs proposent SAGE-OPD (Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation), un cadre sans vérificateur conçu pour allouer sélectivement la supervision de l'enseignant. La méthode repose sur trois composantes clés :

1. Intervention au niveau du tour

Au lieu de traiter la trajectoire comme une séquence plate de jetons, SAGE-OPD segmente la trajectoire en tours basés sur le feedback de l'environnement. Pour chaque tour $t$, une variable d'intervention discrète $z_t \in \{\text{Skip (Sauter), Weak (Faible), Strong (Forte)}\}$ est déterminée pour moduler l'intensité de la supervision :

• Skip : La réponse de l'étudiant est acceptable ou sémantiquement flexible ; aucune supervision de l'enseignant n'est appliquée ($w_t = 0$).
• Weak : La réponse est potentiellement sous-optimale mais incertaine ; une supervision partielle est appliquée ($w_t = \alpha$).
• Strong : La réponse contient des erreurs claires (ex: appels d'outils malformés, actions manquantes) ; une supervision complète est appliquée ($w_t = 1$).

L'assignation de $z_t$ suit une procédure en deux étapes sans vérificateur :

1. Vérification déterministe : Si le feedback de l'environnement indique un échec d'exécution clair (ex: action malformée), le tour est immédiatement assigné à Strong.
2. Jugement de l'enseignant : Pour les tours exécutables mais ambigus, l'enseignant est interrogé via un prompt proactif pour classer le tour dans l'une des trois catégories en fonction de l'historique et du feedback.

2. Pondération par la confiance de l'enseignant

Pour traiter l'imprévisibilité de la supervision de l'enseignant sur les historiques hors distribution, SAGE-OPD introduit un score de confiance $c_t$. Ce score mesure la certitude prédictive de l'enseignant pour le tour actuel, calculée comme la probabilité moyenne du top-1 sur les jetons de la réponse de l'étudiant :
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
Le poids sélectif final $s_t$ pour le tour $t$ est le produit du poids d'intervention $i_t$ et du score de confiance $c_t$ :
$$s_t = i_t \cdot c_t$$
Cela garantit qu'une supervision forte n'est appliquée que lorsqu'une intervention est jugée nécessaire et que le signal de l'enseignant est fiable.

3. Normalisation de la perte

Multiplier directement la perte OPD par $s_t$ réduit la magnitude globale du gradient, ce qui peut altérer l'échelle d'optimisation. Pour isoler l'effet de la pondération sélective, SAGE-OPD applique un facteur de normalisation $Z$ afin de préserver l'échelle globale de la perte de l'OPD standard tout en conservant la pondération relative par tour :
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
où $Z$ normalise la somme des jetons pondérés pour correspondre à l'échelle de l'OPD standard.

Principales contributions

1. Proposition de cadre : Introduction de SAGE-OPD, un cadre d'intervention sélective sans vérificateur qui préserve les avantages on-policy tout en évitant une distillation dense uniforme sur tous les tours générés par l'étudiant.
2. Mécanisme à trois composantes : Identification et intégration de trois composantes complémentaires :
   • Intervention au niveau du tour : Décide si la supervision est nécessaire.
   • Pondération par la confiance de l'enseignant : Décide de combien faire confiance au signal au niveau du jeton.
   • Normalisation de la perte : Assure que l'échelle du signal d'entraînement reste comparable à l'OPD standard.
3. Validation empirique : Démonstration de l'efficacité à travers l'interaction incarnée (ALFWorld), la résolution de tâches scientifiques (ScienceWorld) et la recherche de réponses basée sur la recherche (SearchQA).

Résultats expérimentaux

Les auteurs ont évalué SAGE-OPD en utilisant des modèles Qwen3 (0.6B, 1.7B, 8B, 32B) à travers plusieurs paires enseignant-étudiant.

• ALFWorld : SAGE-OPD a obtenu jusqu'à 13,3 % d'amélioration relative du taux de succès sur les cas non vus par rapport à l'OPD standard. Par exemple, avec un étudiant Qwen3-1.7B et un enseignant Qwen3-8B, le taux de succès non vu est passé de 61,94 % (OPD standard) à 70,15 %. Il a également réduit de manière constante le nombre moyen de tours nécessaires pour résoudre les tâches.
• ScienceWorld : SAGE-OPD a obtenu les meilleurs taux de succès pour l'étudiant Qwen3-1.7B avec des enseignants de 8B et 32B. Notamment, il a amélioré le score moyen de la tâche pour l'étudiant Qwen3-0.6B de -12,88 (OPD) à +3,89, bien que cela s'accompagne d'un nombre moyen de tours légèrement plus élevé, suggérant une exploration plus soutenue.
• SearchQA : SAGE-OPD a obtenu le meilleur Exact Match (EM) moyen pour l'étudiant Qwen3-1.7B distillé de Qwen3-8B, passant de 30,09 à 30,77.
• Dynamique d'entraînement : L'analyse a montré que tandis que l'OPD standard sature tôt (autour de 60-63 % de taux de succès sur les séparations non vues), SAGE-OPD continue de s'améliorer lors des phases d'entraînement ultérieures, indiquant une meilleure généralisation plutôt qu'une simple convergence initiale plus rapide.

Signification et affirmations

L'article affirme qu'une distillation on-policy multi-tours efficace doit rester on-policy mais ne nécessite pas une supervision dense au niveau du jeton. La signification de SAGE-OPD réside dans sa capacité à :

• Atténuer les erreurs cumulatives : En sautant sélectivement les tours acceptables et en intervenant uniquement quand nécessaire, il empêche la propagation de signaux d'enseignants peu fiables sur des historiques corrompus.
• Éviter la sur-correction : En distinguant les alternatives sémantiquement valides des erreurs réelles, il évite de pénaliser les comportements flexibles de l'étudiant qui diffèrent de la formulation spécifique de l'enseignant.
• Opérer sans vérificateurs : Contrairement à l'apprentissage par renforcement avec récompenses vérifiables (RLVR), SAGE-OPD ne nécessite pas de vérificateur externe ou de signal de récompense défini par l'environnement, s'appuyant plutôt sur le feedback de l'environnement et le jugement de l'enseignant.

Les auteurs concluent que la supervision de l'enseignant doit être allouée sélectivement aux tours où l'intervention est nécessaire et fiable, plutôt que d'être appliquée uniformément sur l'ensemble de la trajectoire.