💬 NLP

Expected Reward Prediction, with Applications to Model Routing

Ce papier propose une méthode de prédiction du récompense attendue pour orienter les requêtes vers le modèle le plus adapté avant la génération, démontrant que cette approche simple surpasse les méthodes de routage basées sur la performance moyenne et s'adapte facilement à l'ajout de nouveaux modèles.

Auteurs originaux : Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎩 Le Problème : Le Dilemme du Chef d'Orchestre

Imaginez que vous êtes le chef d'un grand orchestre (un système d'intelligence artificielle) composé de plusieurs musiciens (des modèles de langage comme Llama, Gemma, etc.).

Certains musiciens sont des virtuoses mais très lents et coûteux à payer (les gros modèles).
D'autres sont rapides et pas chers, mais parfois un peu brouillons (les petits modèles).

Le problème, c'est que quand un client vous donne une partition (une question ou un prompt), vous ne savez pas à l'avance quel musicien sera le meilleur pour jouer ce morceau précis.

Si vous demandez à un virtuose de jouer une comptine simple, c'est du gaspillage d'argent.
Si vous demandez à un apprenti de jouer un concerto complexe, le résultat sera catastrophique.

Habituellement, pour savoir qui est le meilleur, il faut faire essayer le morceau à tous les musiciens, écouter les résultats, et choisir le meilleur. C'est lent et cher.

💡 La Révolution : La "Prédiction de Récompense"

Les auteurs de ce papier ont découvert quelque chose d'étonnant : on peut prédire la qualité du résultat avant même que le musicien ne joue un seul note !

Ils ont développé une méthode qu'ils appellent ERP (Expected Reward Prediction). Voici comment ça marche avec une analogie simple :

Imaginez que chaque musicien a un "style" unique. Si vous regardez simplement la partition (la question), vous pouvez deviner :

"Ah, cette partition demande beaucoup de technique, le petit apprenti va probablement rater."
"Cette partition est très simple, le grand virtuose va surenchérir et perdre du temps."

En utilisant une formule mathématique très simple (un modèle linéaire), ils peuvent regarder la question et dire : "Si je donne cette question au modèle A, il va obtenir une note moyenne de 8/10. Si je la donne au modèle B, il va en obtenir 4/10."

Ils n'ont pas besoin de faire jouer les musiciens pour le savoir. Ils peuvent prédire la note moyenne que le musicien obtiendrait s'il jouait.

🚀 L'Application : Le Système de Routage Intelligent

Une fois qu'on peut prédire ces notes, on peut créer un système de routage intelligent (un chef d'orchestre super efficace).

Voici le scénario :

Un client pose une question.
Le système regarde la question et utilise sa "boule de cristal" (le modèle de prédiction) pour estimer la note que chaque musicien obtiendrait.
Le système choisit le musicien qui offre le meilleur rapport qualité/prix.
- Si la question est simple, il envoie le travail au petit modèle rapide et pas cher.
- Si la question est dure, il envoie le travail au grand modèle puissant.

Le résultat ? On obtient des réponses de haute qualité, mais on dépense beaucoup moins d'argent et de temps de calcul que si on utilisait toujours le plus gros modèle, ou si on testait tout le monde.

🧩 Pourquoi c'est génial ? (Les Analogies Clés)

Le "Téléphone Arabe" vs la "Boule de Cristal" :
- Avant : Pour savoir qui est le meilleur, il fallait faire passer le message à tout le monde (tester tous les modèles) et comparer les résultats. C'était lent.
- Maintenant : On a une boule de cristal qui nous dit directement : "Pour cette question, c'est le modèle 2 qui va gagner". Pas besoin de faire le tour de la table.
La Carte Routière :
- Imaginez que vous devez aller d'un point A à un point B.
- Les anciennes méthodes disaient : "Essaie la route 1, puis la route 2, puis la route 3, et choisis la plus rapide."
- La méthode de ce papier dit : "Regarde juste la carte (la question), et je te dis tout de suite quelle route est la plus rapide pour ce trajet précis."
La Facilité d'ajout :
- Si vous engagez un nouveau musicien (un nouveau modèle IA), avec les anciennes méthodes, il fallait le comparer à tous les autres musiciens un par un (beaucoup de travail).
- Avec cette méthode, vous lui donnez juste quelques questions, vous regardez ses notes moyennes, et hop ! Il est intégré au système. C'est comme ajouter un nouvel instrument à l'orchestre sans réécrire toute la partition.

🏆 En Résumé

Ce papier nous dit que nous n'avons pas besoin de faire des milliers de tests pour savoir quel modèle d'IA est le meilleur pour une question donnée. Nous pouvons simplement prédire la performance en regardant la question elle-même.

C'est comme si vous pouviez goûter un plat en regardant juste la liste des ingrédients, sans avoir besoin de le cuisiner d'abord. Cela permet d'utiliser les intelligences artificielles de manière beaucoup plus intelligente, rapide et économique.

1. Problématique

Les modèles de récompense (Reward Models - RM) sont des outils standards pour évaluer et classer les réponses des Grands Modèles de Langage (LLM). Traditionnellement, un RM attribue un score $r(x, y)$ à une réponse $y$ donnée un prompt $x$ . Cependant, ce score est intrinsèquement lié à la réponse spécifique et non au modèle générateur lui-même.

L'article s'attaque à la question suivante : Peut-on prédire, a priori (avant de générer une réponse), la qualité attendue d'un modèle spécifique pour un prompt donné ?

Plus formellement, l'objectif est de « relever » (lift) une fonction de récompense au niveau des réponses vers une fonction de récompense au niveau des modèles. On cherche à prédire la récompense attendue $ER_\pi(x)$ d'un modèle $\pi$ pour un prompt $x$ , définie comme l'espérance mathématique de la récompense sur l'ensemble des réponses possibles générées par le modèle :
$ER_\pi(x) := \mathbb{E}_{Y \sim \pi(y | x)}[r(x, Y)]$

Les défis théoriques identifiés sont :

Comportement imprévisible : Un LLM peut être sensible aux détails du prompt ou avoir une distribution de réponses non déterministe difficile à modéliser.
Indétermination des RM : La plupart des RM sont entraînés sur des données de préférence (Bradley-Terry) pour classer des paires de réponses ( $y^+$ vs $y^-$ ). Théoriquement, cela ne garantit que l'ordre relatif des réponses, laissant une valeur arbitraire dépendante du prompt non identifiée. Cela suggère que la prédiction de la valeur absolue attendue pourrait être impossible.

2. Méthodologie

Les auteurs proposent une approche empirique basée sur la prédiction directe de la récompense attendue à partir de l'embedding du prompt.

A. Configuration Expérimentale

Données : Utilisation du jeu de données open-perfectblend (4000 prompts répartis en 4 catégories : chat général, suivi d'instructions, raisonnement mathématique, raisonnement en code).
Modèles Générateurs (Pool) : Cinq modèles instruction-tuned de différentes tailles : Llama 3.1 (8B, 70B), Gemma 2 (9B, 27B), et Gemma 1 (7B).
Modèles de Récompense (RM) : Trois RM différents (OpenAssistant-RM, GRM-2B-RM, InternLM-RM) entraînés sur des données de préférence humaines.
Calcul de la vérité terrain : Pour chaque prompt, 32 réponses sont échantillonnées pour chaque modèle. La moyenne de leurs scores de récompense constitue la cible ( $\widehat{ER}$ ).

B. Modèle de Prédiction (ERP)

L'approche centrale est la Prédiction de Récompense Attendue (Expected Reward Prediction - ERP) :

Représentation : Le prompt $x$ est converti en un vecteur d'embedding fixe $v(x)$ (utilisant le modèle gte-large-en-v1.5).
Apprentissage : Un modèle linéaire régularisé (Ridge) est entraîné pour mapper l'embedding du prompt directement vers la récompense attendue du modèle.
- Fonction de perte : Minimisation de l'erreur quadratique entre la prédiction linéaire $\theta^\top v(x)$ et la récompense empirique moyenne.
- Avantage clé : Un seul modèle de prédiction est nécessaire par modèle générateur (pas de comparaisons par paires nécessaires).

C. Application au Routage de Modèles

L'ERP est appliqué à un problème d'optimisation de routage :

Objectif : Maximiser la récompense attendue tout en respectant un budget de coût computationnel (lié à la taille du modèle).
Stratégie : Pour un prompt $x$ , le routeur choisit le modèle $i$ qui maximise :
$\widehat{ER}_{\pi_i}(x) - \lambda \cdot c(i)$
où $c(i)$ est le coût du modèle et $\lambda$ un paramètre d'échange coût-récompense.

3. Contributions Clés

Preuve de faisabilité : L'article démontre que la récompense attendue d'un LLM est hautement prévisible à partir du seul prompt, contredisant l'hypothèse selon laquelle les RM ne fourniraient que des ordres relatifs.
Simplicité du modèle : La prédiction peut être réalisée avec un modèle linéaire simple sur des embeddings pré-entraînés, sans nécessiter de modèles complexes ou de données de comparaison par paires.
Scalabilité du routage : La méthode ERP permet d'ajouter facilement de nouveaux modèles au pool de routage. Contrairement aux méthodes basées sur les préférences (qui nécessitent des comparaisons par paires, complexité $O(N^2)$ ), ERP nécessite seulement l'entraînement d'un prédicteur par nouveau modèle (complexité $O(N)$ ).
Explication des méthodes existantes : Les résultats suggèrent que la réussite de méthodes de routage complexes (comme Zooter) repose implicitement sur la prédictibilité de la récompense attendue, que ERP capture de manière plus directe et efficace.

4. Résultats

Prédictibilité : Les modèles linéaires atteignent des scores $R^2$ significatifs (souvent entre 0,40 et 0,60 selon les modèles et les catégories), prouvant que la variance de la qualité des réponses est capturée par l'embedding du prompt.
Performance de Routage :
- La stratégie ERP surpasse les baselines (routage aléatoire, routage vers un modèle fixe, ou routage basé sur la meilleure moyenne par catégorie).
- Dans les courbes de Pareto (compromis coût-régression), ERP domine ou égale les méthodes de référence, y compris l'oracle « par catégorie » (qui connaît la catégorie du prompt à l'inférence).
- ERP atteint des performances comparables à la méthode Zooter (plus complexe) tout en étant plus simple à entraîner et à déployer.
Discrimination : ERP réussit à distinguer quel modèle est le meilleur pour un prompt spécifique, même au sein d'une même catégorie de tâches, et non pas seulement à identifier les prompts « faciles » ou « difficiles » globalement.

5. Signification et Implications

Changement de paradigme : Cette recherche suggère que l'on peut passer d'une évaluation post-hoc (générer puis noter) à une évaluation prédictive (noter avant de générer).
Efficacité opérationnelle : Pour les systèmes de production, cela permet de router intelligemment les requêtes vers le modèle le plus performant et le moins coûteux sans avoir à générer des échantillons de test coûteux pour chaque requête.
Extensibilité : L'approche est particulièrement adaptée à l'écosystème dynamique des LLMs, où de nouveaux modèles sont ajoutés fréquemment, car elle évite le ré-entraînement coûteux de modèles de préférence pairwise.
Limites et Perspectives : La prédictibilité pourrait dépendre de la nature des données d'entraînement des RM (biais vers une échelle de récompense unique). Des recherches futures pourraient explorer quelles classes de RM permettent cette prédiction et comment l'encourager activement lors de l'entraînement.

En résumé, l'article établit que la récompense attendue est une propriété prédictible des LLMs, ouvrant la voie à des protocoles de routage d'inférence plus efficaces, économiques et évolutifs.