FairTutor: Equity-Aware Pedagogical LLM Routing for Budget-Constrained AI Tutoring

Résumé Technique : FairTutor

Énoncé du Problème

Les tuteurs d'IA générative offrent un soutien à l'apprentissage personnalisé mais risquent d'exacerber l'iniquité éducative. Les étudiants ayant accès à des services d'IA premium reçoivent des explications plus claires, un meilleur étayage et un guidage plus personnalisé par rapport à ceux qui sont limités aux services gratuits ou à faible coût. Bien que les méthodes de routage de modèles de langage (LLM) existantes traitent les compromis entre coût et qualité pour le questionnement générique, elles ne parviennent pas à prendre en compte les exigences pédagogiques uniques du tutorat. Une réponse peut être factuellement correcte mais pédagogiquement médiocre si elle divulgue des réponses, ignore les erreurs de compréhension, utilise un langage inapproprié ou échoue à étayer le raisonnement. Le défi central est de concevoir un système de routage qui maximise la qualité pédagogique sous des contraintes budgétaires tout en minimisant l'écart de qualité entre les étudiants ayant un accès premium et ceux ayant un accès limité par le budget.

Méthodologie : Architecture FairTutor

Les auteurs proposent FairTutor, un cadre multi-agents sensible à l'équité, conçu pour router les requêtes des étudiants à travers un flux de travail motivé par la pédagogie. Le système opère sur un objectif d'optimisation contrainte qui équilibre la qualité pédagogique, le coût et l'« Écart d'Avantage AIED lié au Niveau d'Accès ».

Composants Clés

FairTutor traite les requêtes via six composants séquentiels :

1. Analyseur de Requête : Analyse l'entrée de l'étudiant pour déterminer la matière, le niveau scolaire, la difficulté, le risque de réponse directe et les besoins en raisonnement.
2. Planificateur Pédagogique : Sélectionne une stratégie de tutorat spécifique (ex: indices socratiques, exemples résolus, diagnostic de l'erreur de compréhension) basée sur l'analyse de la requête.
3. Générateur de Tuteur à Faible Coût : Produit une réponse initiale en utilisant un modèle à faible coût (ex: Qwen3-8B).
4. Évaluateur Pédagogique : Note la réponse selon une rubrique à sept dimensions : exactitude, clarté conceptuelle, étayage, adéquation au niveau scolaire, évitement de la fuite de la réponse, empathie et sécurité.
5. Critique-Réécrivain : Si la réponse initiale est proche de l'acceptabilité mais faible dans des domaines spécifiques (ex: l'étayage), ce module révise la réponse en utilisant le feedback de l'évaluateur.
6. Contrôleur d'Escalade : Si la réponse est incorrecte, non sécurisée ou ne respecte pas les seuils de qualité même après révision, la requête est escaladée vers un modèle premium (ex: GPT-5).

Logique de Routage

Le système emploie une politique de cascade basée sur des seuils (Algorithme 1) :

• Si la réponse initiale à faible coût respecte tous les seuils de qualité ($\ge \tau$), elle est renvoyée.
• Si le score se situe dans une bande de réécriture ($[\tau_{rewrite}, \tau)$), le critique-réécrivain est invoqué, suivi d'une réévaluation.
• Si la réponse révisée échoue toujours, ou si le score initial est inférieur à la bande de réécriture, la requête est escaladée vers le modèle premium.

Métriques et Objectif

Le papier introduit l'Écart d'Avantage AIED lié au Niveau d'Accès ($\Delta_{AIED}$), défini comme la différence attendue de qualité pédagogique entre une politique qui route toujours vers des modèles premium et une politique contrainte par le budget. Le système vise à minimiser cet écart tout en réduisant les coûts de service. La fonction d'objectif est formulée comme suit :
$$\max_{\pi_{budget}} E[Q] - \lambda E[C] - \gamma \Delta_{AIED}$$
où $Q$ est la qualité pédagogique, $C$ est le coût, et $\lambda, \gamma$ sont des poids de pénalité.

Contributions Clés

1. Formulation du Problème : Les auteurs formulent le tutorat par IA sensible à l'équité des niveaux d'accès comme un problème d'optimisation de routage de modèles contraint, guidé par la qualité pédagogique et les métriques de disparité.
2. Conception du Système : Ils introduisent l'architecture multi-agents FairTutor intégrant l'analyse de requête, la planification pédagogique, la révision guidée par le critique et l'escalade sélective.
3. Nouvelle Métrique : Ils proposent l'Écart d'Avantage AIED lié au Niveau d'Accès pour quantifier la disparité de qualité entre les niveaux d'accès premium et à budget contraint.
4. Benchmark : Ils présentent TutorAccessEval, un nouveau jeu de données de 50 requêtes synthétiques d'étudiants couvrant les mathématiques, la lecture, l'écriture, les sciences et l'apprentissage des langues, conçu pour évaluer le coût, la qualité pédagogique, la sécurité et l'équité.

Résultats Expérimentaux

Les auteurs ont évalué FairTutor par rapport à cinq lignes de base : Faible coût uniquement, Premium uniquement, Routeur de difficulté naïf, Routeur de cascade générique, et FairTutor. L'évaluation a utilisé un proxy de coût pondéré par les tokens (en supposant que les modèles premium sont 100 fois plus chers par token d'entrée et 75 fois plus par token de sortie).

• Qualité Pédagogique : FairTour a obtenu un score de qualité moyen de 4,760 (sur une échelle de 1 à 5), égalant presque la cible Premium-uniquement de 4,874. Cela représente 97,1 % de la qualité pédagogique premium.
• Efficacité des Coûts : FairTutor a réduit les coûts de service de 71,6 % par rapport à la ligne de base Premium-uniquement, avec un coût de service de seulement 28,4 % par rapport au premium.
• Écart d'Équité : L'Écart d'Avantage AIED lié au Niveau d'Accès ($\Delta_{AIED}$) a été réduit de 0,474 (Faible coût uniquement) et 0,331 (Routeur naïf) à 0,114 pour FairTutor.
• Parité : FairTutor a obtenu des réponses à moins de 0,5 point de qualité de la cible premium pour 92 % des requêtes, surpassant le routeur de cascade générique (88 %) et le mode Faible coût uniquement (78 %).
• Analyse de Sensibilité : La variation du seuil d'escalade ($\tau$) a révélé une frontière de Pareto coût-qualité ajustable. Un seuil plus élevé ($\tau=4,5$) a atteint 100 % de parité avec le modèle premium tout en coûtant environ un tiers de l'approche Premium-uniquement.

Signification et Revendications

Le papier affirme que l'orchestration multi-agents motivée par la pédagogie peut effectivement combler l'écart de qualité entre le tutorat par IA premium et celui à budget contraint. En estimant et en réduisant explicitement l'Écart d'Avantage AIED lié au Niveau d'Accès, le cadre permet à diverses populations d'étudiants d'accéder à un tutorat de haute qualité sans coûts prohibitifs.

Les auteurs soulignent que la capacité du système à effectuer une révision guidée par le critique améliore considérablement la qualité pédagogique des modèles à faible coût, particulièrement dans la dimension critique de l'étayage (où FairTutor a obtenu un score de 4,380 contre 3,640 pour le mode Faible coût uniquement).

Limites et Travaux Futurs

Les auteurs maintiennent une position modeste concernant leurs conclusions, notant quelques limites :

• Biais de l'Évaluateur : L'expérience principale a utilisé GPT-5 à la fois comme tuteur premium et comme évaluateur, créant un biais d'auto-cohérence potentiel. Bien qu'un test de robustesse avec DeepSeek-V4 ait préservé le classement, les auteurs considèrent les magnitudes exactes comme des estimations directionnelles.
• Portée du Dataset : TutorAccessEval est un benchmark synthétique de petite taille (50 requêtes) à un seul tour. Il manque d'interactions réelles d'étudiants, de dialogues multi-tours et de diversité démographique.
• Optimisation : L'implémentation actuelle utilise un routage heuristique basé sur des seuils plutôt qu'une politique apprise et optimisée via la fonction d'objectif (Éq. 2).
• Portée de l'Équité : Le présent travail se concentre sur l'équité entre les niveaux de prix des API, reportant explicitement l'étude de l'équité démographique (ex: disparités socio-économiques ou raciales) à des travaux futurs.

Les travaux futurs visent à mettre à l'échelle le benchmark, à incorporer des conversations réelles multi-tours, à apprendre des politiques de routage optimales et à étendre l'analyse de l'équité à diverses populations démographiques.