Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

Résumé Technique : Laisser les Personas de Tuteurs s'exprimer pour les LLM

Énoncé du Problème
Bien que les modèles de langage de grande taille (LLM) soient devenus prééminents dans le tutorat éducatif, les approches existantes adoptent généralement une politique de tuteur monolithique et unique. Ces méthodes échouent souvent à capturer la diversité intrinsèque des styles de tutorat humain. Dans les interactions réelles, l'intention pédagogique se concrétise par des stratégies adaptatives où les tuteurs varient leur niveau d'étayage (scaffolding), de directivité, de rétroaction et de soutien affectif en fonction des besoins de l'apprenant. Les techniques actuelles, telles que le prompting avec des politiques spécifiques ou l'entraînement via le réglage fin supervisé (SFT) et l'apprentissage par renforcement (RL), optimisent la qualité pédagogique générale mais ne modélisent ni ne contrôlent explicitement les variations stylistiques spécifiques exhibées par les tuteurs humains individuels. La question de recherche centrale est de savoir comment capturer ces différences de styles de tutorat et guider les LLM pour qu'ils exhibent des comportements spécifiques alignés sur le tuteur, sans dépendre d'instructions de prompting explicites et artisanales.

Méthodologie
Les auteurs proposent une approche de pilotage par activation (activation steering) qui apprend un « vecteur de pilotage » à partir de dialogues tuteur-élève humains pour guider le comportement du LLM vers des personas de tuteurs spécifiques. La méthodologie se déroule en trois étapes principales :

1. Construction des Données et Modélisation de Référence :
   Les auteurs utilisent le jeu de données Question-Anchored-Tutoring-Dialogues-2k, comprenant des dialogues entre 21 tuteurs humains uniques et des étudiants. D'abord, un LLM (Llama-3.1-8B-Instruct) est soumis à un réglage fin supervisé (SFT) sur ce jeu de données pour servir de proxy pour le comportement de « moyenne de la population » du tuteur. Ce modèle est conditionné par le contexte du dialogue pour générer une réponse de tuteur générique et moyenne pour n'importe quel tour de parole.

2. Construction de Paires Contrastives :
   Pour chaque tour de parole, une paire contrastive est construite :

   • Réponse Préférée : L'énoncé de vérité terrain provenant d'un tuteur humain spécifique ($t_{i,j,k}$).
   • Réponse Dépréciée : La réponse générée par le modèle SFT ($\bar{t}_{j,k}$), représentant la moyenne de la population.
     Cette configuration définit explicitement la direction allant du comportement moyen du tuteur vers le comportement spécifique du tuteur $i$.

3. Apprentissage du Vecteur de Pilotage et des Coefficients :
   Les auteurs emploient un objectif d'optimisation de préférence inspiré de BiPO (basé sur la Direct Preference Optimization). Ils apprennent :

   • Un vecteur de pilotage partagé ($v$) dans l'espace d'activation du modèle (spécifiquement à la dernière couche du transformer).
   • Des coefficients d'échelle spécifiques au tuteur ($\delta_i$) qui mettent à l'échelle le vecteur partagé pour chaque tuteur.

   L'optimisation minimise une perte logistique qui encourage le modèle piloté à attribuer une probabilité plus élevée à l'énoncé du tuteur de vérité terrain et une probabilité plus faible à l'énoncé moyen de la population. Les coefficients $\delta_i$ sont paramétrés via des scalaires apprenables $u_i$ et normalisés pour avoir une moyenne unitaire à travers les tuteurs afin de résoudre l'ambiguïté d'échelle. La fonction d'objectif est :
   $$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$$
   où $\mathcal{A}_L$ représente les activations latentes à la couche $L$, et $\beta$ est un hyperparamètre contrôlant la similitude avec le modèle de base.

   À l'inférence, un facteur d'échelle global $\alpha$ est introduit ($\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$) pour permettre un ajustement fluide de l'intensité de l'intervention.

Contributions Clés

• Extraction Implicite de Persona : L'article démontre que les personas spécifiques aux tuteurs ancrés dans les dialogues humains peuvent être extraits et utilisés pour guider les LLM sans prompting textuel explicite.
• Pilotage par Activation pour le Tutorat : Les auteurs introduisent une méthode pour apprendre une direction de pilotage partagée et des coefficients spécifiques aux tuteurs qui déplacent le comportement du modèle de la moyenne de la population vers les styles de tuteurs individuels.
• Variation Contrôlable et Interprétable : Les coefficients d'échelle appris ($\delta_i$) révèlent une structure interprétable correspondant à des différences constantes de comportement de tutorat (par exemple, de l'étayage riche en affect à l'instruction minimale et focalisée sur la tâche).
• Gains de Performance : L'approche améliore l'alignement sémantique avec les énoncés des tuteurs de vérité terrain et augmente les taux de victoire basés sur la préférence tout en préservant largement la similitude lexicale.

Résultats Expérimentaux
Les auteurs ont évalué la méthode sur un ensemble de test non vu en utilisant des métriques tant lexicales (ROUGE-L, BLEU) que sémantiques (Similitude Cosinus, Taux de Victoire par Jugement de LLM).

• Alignement Sémantique : Le pilotage a considérablement amélioré l'alignement sémantique avec les tuteurs de vérité terrain. Dans la phase « milieu » des dialogues (où se produit la résolution de problèmes centrale), la similitude cosinus est passée de 0,385 (non piloté) à 0,426 (piloté). Le juge LLM a préféré les énoncés pilotés aux énoncés de référence non pilotés dans 58,7 % des comparaisons.
• Similitude Lexicale : Le chevauchement lexical (ROUGE-L et BLEU) est resté largement préservé, avec seulement de légères réductions, indiquant que le pilotage modifie la formulation et la structure du discours plutôt que de forcer une correspondance exacte des mots.
• Facteur d'Échelle ($\alpha$) : La variation de $\alpha$ a révélé un compromis. Des valeurs modérées (par exemple, $\alpha=0,5$) offraient le meilleur équilibre, améliorant l'alignement stylistique tout en maintenant la similitude lexicale. Des valeurs plus élevées ($\alpha=1,0$) augmentaient le Taux de Victoire (0,582) mais réduisaient les scores lexicaux, suggérant qu'un pilotage trop fort peut dégrader la fluidité de surface.
• Analyse Qualitative : L'analyse des coefficients appris ($\delta_i$) a cartographié les tuteurs sur un spectre de styles. Les tuteurs ayant un $\delta_i$ plus faible présentaient un « étayage riche en rapport » (utilisation d'emojis, de compliments, de guidage étape par étape), tandis que ceux ayant un $\delta_i$ plus élevé démontraient des styles « orientés vers l'efficacité » ou « minimalistes » (corrections concises, incitations focalisées sur la tâche, moins de langage affectif). Le LLM piloté a réussi à répliquer ces styles distincts, comme passer d'explications génériques à des mouvements correctifs spécifiques et concis ou à un étayage empathique selon le tuteur cible.

Signification et Revendications
L'article affirme que le pilotage par activation offre un mécanisme efficace et interprétable pour contrôler la variation spécifique aux tuteurs dans les LLM en utilisant des signaux dérivés directement des données de dialogue humain. Les auteurs soutiennent que leur méthode permet de récupérer de manière cohérente le pilotage spécifique au tuteur à travers les contextes de dialogue, déplaçant le comportement du modèle d'un comportement moyen de la population vers les comportements spécifiques exhibés par les tuteurs individuels.

La signification réside dans la capacité à capturer la « diversité des styles de tutorat » qui est souvent perdue dans les modèles à politique unique. Les auteurs notent que la direction de pilotage apprise encode un continuum de comportements pédagogiques, allant d'un étayage à haut investissement et créateur de rapport à une instruction à faible investissement et orientée vers l'achèvement de la tâche. Ils concluent que cette approche offre un moyen de contrôler l'intention pédagogique au-delà du style de surface, permettant des simulations de tutorat personnalisées qui reflètent les nuances trouvées dans les interactions humaines réelles.

Limites et Directions Futures
Les auteurs reconnaissent plusieurs limites :

• Généralisabilité : L'évaluation est restreinte à un seul jeu de données de dialogue mathématique ; la généralisation à d'autres domaines n'est pas vérifiée.
• Lignes de Base : Les comparaisons sont limitées au SFT ; les travaux futurs devraient inclure des bases de comparaison par prompting.
• Évaluation : L'étude repose sur des mesures automatiques et des jugements basés sur des modèles plutôt que sur une évaluation humaine.

Les directions de travaux futurs proposées incluent l'intégration de rubriques pédagogiques explicites ou de récompenses basées sur les résultats des étudiants pour mieux aligner les modèles avec les pratiques efficaces, l'apprentissage de vecteurs de pilotage complémentaires pour les personas d'étudiants afin de simuler des interactions, et l'extension de la méthode pour apprendre plusieurs directions de pilotage désengagées pour un contrôle plus fin sur des attributs pédagogiques distincts.