🤖 machine learning

Distribution-Aware Reward: Reinforcement Learning over Predictive Distributions for LLM Regression

Ce papier introduit la Récompense Sensible à la Distribution, un objectif d'apprentissage par renforcement qui optimise les grands modèles de langage pour générer des distributions prédictives calibrées pour les tâches de régression en évaluant plusieurs échantillons décodés avec le Score de Probabilité Rangée Continue, améliorant ainsi l'estimation de l'incertitude, les performances de classement et la robustesse par rapport aux méthodes d'entraînement traditionnelles par estimation ponctuelle.

Auteurs originaux : Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Loup Solitaire » contre l'« Équipe »

Imaginez que vous essayez de deviner la température exacte à l'extérieur. Vous avez un assistant IA très intelligent (un Grand Modèle de Langage, ou LLM) capable d'examiner une description de la météo et de vous fournir un chiffre.

L'Ancienne Méthode (Récompense Ponctuelle) :
Actuellement, la plupart des entraînements d'IA fonctionnent comme un enseignant strict notant la réponse d'un seul élève.

L'IA devine « 72°F ». L'enseignant vérifie : « Est-ce que 72 est proche de la vraie valeur de 70 ? Oui. Bien joué. »
L'IA devine « 75°F ». L'enseignant vérifie : « Est-ce que 75 est proche de 70 ? Non. Mauvais travail. »
Le Défaut : L'IA apprend à être un « loup solitaire ». Elle tente de toucher la cible à chaque fois. Mais si elle a peur de se tromper, elle pourrait commencer à deviner la température moyenne de toute l'année (disons 60°F) à chaque fois. Elle devient sûre, mais perd toute variété. Elle ne vous dit pas à quel point elle est sûre. Si la vraie température est de 70 et que l'IA dit 60 à chaque fois, elle est techniquement « proche » en moyenne, mais c'est un terrible prédicteur car elle ne varie jamais.

La Nouvelle Méthode (Récompense Sensible à la Distribution) :
Ce papier introduit une nouvelle méthode appelée Récompense Sensible à la Distribution (DAR). Au lieu de noter l'IA sur une seule devinette, l'enseignant demande à l'IA de faire 12 devinettes différentes à la fois.

L'IA dit : « Je pense que cela pourrait être 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78 ou 79. »
L'enseignant ne regarde pas un seul chiffre. Il examine l'ensemble du groupe de devinettes.
L'Objectif : L'enseignant veut que le groupe soit centré autour de la vraie réponse (70) mais aussi étalé suffisamment pour montrer que l'IA envisage différentes possibilités.

L'Idée Centrale : Le Score « Leave-One-Out » (Un Moins Un)

Comment l'enseignant décide-t-il quelles devinettes sont bonnes ? Il utilise une astuce ingénieuse appelée Attribution de Crédit Leave-One-Out.

Imaginez que les 12 devinettes de l'IA sont une équipe d'archers tirant sur une cible.

L'Ancienne Méthode : L'enseignant choisit un archer, voit si sa flèche a touché le centre, et lui donne une note. Si un archer a tiré un peu à côté mais a aidé l'équipe à couvrir plus de terrain, il est puni.
La Nouvelle Méthode (DAR) : L'enseignant demande : « Si nous retirions cet archer spécifique de l'équipe, la performance globale de l'équipe s'aggraverait-elle ? »
- Si retirer un archer fait que la dispersion de l'équipe semble trop étroite ou biaisée, cet archer reçoit une récompense élevée, même si sa flèche n'était pas la plus proche du centre.
- Si retirer un archer ne change rien (parce qu'un autre archer se tient juste à côté de lui), cet archer reçoit une récompense faible car il était redondant.

Cela apprend à l'IA à être diverse mais précise. Elle apprend à dire : « Je suis assez sûre que c'est autour de 70, mais cela pourrait être un peu plus bas ou plus haut », plutôt que de simplement crier un seul chiffre.

Où Ils L'Ont Testé

Les chercheurs ont testé cette nouvelle méthode de « Notation d'Équipe » sur trois types de problèmes différents :

Mathématiques Synthétiques (La Salle de Gymnase d'Entraînement) : Ils ont créé un problème mathématique fictif où la réponse change selon un motif complexe et ondulé.
- Résultat : Les anciennes méthodes (Devine Unique) se sont perdues et ont aplati les ondulations. La nouvelle méthode (Devine d'Équipe) a suivi le motif ondulé parfaitement, même dans des zones qu'elle n'avait jamais vues auparavant.
Performance du Code (Le Programmeur) : Ils ont demandé à l'IA de deviner la vitesse d'exécution d'un morceau de code informatique ou la quantité de mémoire qu'il utiliserait.
- Résultat : La nouvelle méthode était bien meilleure pour classer les éléments. Si vous avez 100 morceaux de code et que vous voulez savoir lesquels sont les plus lents, la nouvelle méthode pouvait les trier correctement bien mieux que les anciennes méthodes. Elle ne devinait pas seulement la vitesse moyenne ; elle comprenait les différences entre le code rapide et le code lent.
Propriétés Moléculaires (Le Chimiste) : Ils ont donné à l'IA des formules chimiques (écrites sous forme de chaînes de texte) et lui ont demandé de prédire des choses comme la solubilité d'un produit chimique dans l'eau.
- Résultat : Même si l'IA ne voyait que du texte (et non des modèles chimiques 3D), elle a performé aussi bien ou mieux que des ordinateurs chimiques spécialisés. Elle était meilleure pour prédire la plage de valeurs possibles, ce qui est crucial pour les scientifiques.

Pourquoi Cela Compte

Le papier affirme qu'en entraînant l'IA à se soucier de la forme de ses devinettes (la distribution) plutôt que simplement de la précision d'une seule devinette, l'IA devient :

Meilleure pour le Classement : Elle peut vous dire quel élément a plus de chances d'être élevé ou faible.
Meilleure pour l'Incertitude : Elle sait quand elle devine au hasard et quand elle est confiante.
Plus Robuste : Elle ne s'effondre pas pour donner la même réponse ennuyeuse à chaque fois.

L'Essentiel

Pensez à l'ancienne méthode comme à l'entraînement d'un élève pour mémoriser la réponse exacte d'un examen. La nouvelle méthode (DAR) entraîne l'élève à comprendre le concept suffisamment bien pour fournir une gamme de réponses plausibles, en expliquant pourquoi la réponse pourrait varier. Cela rend l'IA un outil beaucoup plus fiable pour la science et l'ingénierie, où connaître la « marge d'erreur » est tout aussi important que le chiffre lui-même.

Résumé technique : Récompense consciente de la distribution pour la régression par les LLM

Énoncé du problème

Les grands modèles de langage (LLM) ont démontré leur capacité à prédire des quantités à valeurs réelles à partir d'entrées hétérogènes (texte, code, chaînes moléculaires). Cependant, les objectifs d'entraînement standard pour la régression par LLM — tels que l'affinement supervisé (SFT) ou l'apprentissage par renforcement (RL) avec des récompenses ponctuelles (par exemple, l'erreur quadratique moyenne négative) — traitent chaque nombre à virgule flottante décodé comme une prédiction indépendante.

Cette approche optimise les estimations ponctuelles individuelles sans garantir que l'ensemble des prédictions échantillonnées forme une distribution prédictive calibrée. Par conséquent, les modèles produisent souvent des prédictions individuellement proches de la cible mais collectivement mal calibrées, excessivement étroites ou unilatérales. Ce comportement de « recherche de la moyenne » effondre la distribution prédictive, échouant à capturer l'incertitude nécessaire ou l'ordre relatif. Cette limitation entrave les applications nécessitant un classement de candidats, une estimation de l'incertitude ou une prise de décision robuste face à l'incertitude, où la distribution des valeurs possibles compte autant que la meilleure estimation unique.

Méthodologie : Récompense consciente de la distribution (DAR)

Les auteurs proposent la Récompense consciente de la distribution (DAR), un objectif d'apprentissage par renforcement on-policy conçu pour optimiser la qualité de l'ensemble de la distribution prédictive formée par plusieurs échantillons décodés, plutôt que d'optimiser des trajectoires individuelles isolément.

Mécanisme central

Distribution prédictive empirique : Pour une entrée donnée $x$ , le modèle échantillonne $K$ trajectoires, produisant un ensemble de prédictions $\{p_{ik}\}_{k=1}^K$ . Cet ensemble est traité comme une distribution prédictive empirique $F_i$ .
Évaluation via le CRPS : La qualité de cette distribution est évaluée par rapport à la cible de vérité terrain $y_i$ $y_{i}$ en utilisant le Score de probabilité classé continu (CRPS). Le CRPS est une règle de score propre qui récompense les distributions à la fois précises (concentrées près de la cible) et correctement dispersées (évitant la dégénérescence).
- La récompense pour l'ensemble complet est définie comme $S_i = -\text{CRPS}(F_i, y_i)$ .
Attribution de crédit Leave-One-Out : Puisque le RL nécessite une récompense scalaire pour chaque trajectoire individuelle afin de mettre à jour la politique, DAR convertit le score au niveau de la distribution en feedback au niveau de la trajectoire. Il calcule la contribution marginale de chaque trajectoire $p_{ik}$ $p_{ik}$ en comparant le CRPS de l'ensemble complet ( $S_i$ $S_{i}$ ) au CRPS de l'ensemble avec cette trajectoire retirée ( $S_i^{(-k)}$ $S_{i}^{(- k)}$ ).
- La récompense de la trajectoire est : $R_{ik}^{\text{DAR}} = S_i - S_i^{(-k)}$ .
- Si le retrait d'une trajectoire dégrade la distribution (abaisse le CRPS négatif), cette trajectoire reçoit une récompense positive, même si son erreur ponctuelle individuelle est élevée. Inversement, les trajectoires redondantes qui n'améliorent pas la dispersion ou le centrage de la distribution reçoivent des récompenses plus faibles ou négatives.

Distinction théorique

L'article oppose cela à la perte quadratique ponctuelle (MSE), qui est théoriquement « recherche de la moyenne » et encourage la distribution prédictive à s'effondrer en un point unique (la moyenne conditionnelle). En revanche, le CRPS est « recherche de distribution », optimisant pour l'ensemble de la distribution conditionnelle. DAR exploite cela en utilisant l'attribution de crédit Leave-One-Out pour encourager un ensemble de trajectoires bien centrées et utilement dispersées.

Contributions clés

Nouvel objectif RL : Introduction de la DAR, qui déplace l'objectif d'optimisation de la minimisation des erreurs ponctuelles individuelles vers la maximisation de la qualité de la distribution prédictive empirique.
Attribution de crédit Leave-One-Out : Un mécanisme spécifique pour attribuer des récompenses aux trajectoires individuelles en fonction de leur contribution marginale à la qualité collective de la distribution, permettant au modèle de récompenser une « dispersion utile » même lorsque les échantillons individuels sont moins précis.
Atténuation de l'effondrement de la diversité : La méthode adresse la tendance de l'affinement par RL à réduire la diversité des sorties (entropie de la politique) et à effondrer les prédictions vers la moyenne, garantissant que les trajectoires échantillonnées restent suffisamment diversifiées pour couvrir la vérité terrain.

Résultats expérimentaux

Les auteurs ont évalué la DAR sur trois tâches distinctes : une tâche de régression synthétique à mélange gaussien, la prédiction des performances du code et la prédiction des propriétés moléculaires.

1. Régression distributionnelle synthétique

Tâche : Prédiction de cibles à partir d'un mélange gaussien hétéroscédastique à deux composantes.
Résultats : La DAR a obtenu la corrélation de Spearman la plus élevée parmi les méthodes basées sur les LLM, surpassant nettement le SFT et les récompenses MSE ponctuelles. Elle a mieux préservé l'ordre global de la fonction cible et s'est bien adaptée aux régions d'extrapolation où d'autres bases de réseaux de neurones peinaient.

2. Prédiction des performances du code

Tâche : Prédiction de la latence du noyau (KBSS) et de l'utilisation maximale de la mémoire (APPS) à partir du code source.
Résultats : La DAR a obtenu la corrélation de rang la plus forte (Spearman $\rho$ $ρ$ ) et une erreur absolue moyenne (MAE) compétitive ou inférieure par rapport au SFT et aux bases RL ponctuelles.
- Sur KBSS, la DAR a amélioré la corrélation de Spearman de 6 points par rapport à la base la plus forte.
- Sur APPS, elle a amélioré la corrélation de Spearman de 4 points.
- Cela indique une sensibilité supérieure à la variation dépendante de l'entrée et un classement de candidats plus fiable.

3. Prédiction des propriétés moléculaires (MoleculeNet)

Tâche : Prédiction des propriétés physico-chimiques (FreeSolv, ESOL, Lipophilicité) à partir de chaînes SMILES.
Résultats : Malgré l'utilisation exclusive de chaînes SMILES (manquant des biais inductifs explicites de graphes ou 3D utilisés par de fortes bases GNN), la DAR est restée compétitive.
- Elle a obtenu des améliorations statistiquement significatives en RMSE sur FreeSolv et la Lipophilicité par rapport à d'autres stratégies d'entraînement de LLM (SFT, MSE, Value Head).
- Elle a démontré que l'optimisation au niveau de la distribution peut produire un comportement de régression robuste même sans représentations moléculaires spécialisées.

Diagnostics d'incertitude

Calibration : L'analyse a montré une forte corrélation log-Pearson (0,91) entre l'écart-type des trajectoires et l'erreur de prédiction pour la DAR, indiquant que les estimations d'incertitude du modèle étaient bien calibrées par rapport aux erreurs réelles.
Diversité : Pendant l'entraînement, la DAR a maintenu une entropie de trajectoire plus élevée et un « taux de bracket » plus élevé (la fraction d'exemples où la vérité terrain se situe entre les prédictions minimale et maximale des trajectoires) par rapport au RL basé sur le MSE, confirmant l'atténuation de l'effondrement de la diversité.

Signification et affirmations

L'article affirme que l'optimisation directe des distributions prédictives rend la régression basée sur les LLM plus robuste et mieux calibrée. En traitant plusieurs échantillons décodés comme une distribution et en récompensant leur qualité collective, la DAR améliore les performances basées sur le rang (cruciales pour la sélection de candidats) et l'estimation de l'incertitude sans sacrifier la précision ponctuelle.

Les auteurs positionnent ce travail comme une étape vers l'utilisation des LLM non seulement comme générateurs de texte ou estimateurs ponctuels, mais comme régresseurs probabilistes flexibles pour les domaines scientifiques. Ils soulignent que si la régression par LLM offre de la flexibilité dans la gestion d'entrées hétérogènes (texte, code, chaînes), l'approche consciente de la distribution proposée est nécessaire pour débloquer le plein potentiel de ces modèles pour des tâches nécessitant une quantification de l'incertitude et un ordre fiable, des domaines où l'entraînement ponctuel traditionnel échoue. Le travail ne prétend pas remplacer les modèles de régression spécialisés (comme les GP ou les GNN) dans tous les domaines, mais démontre que le RL conscient de la distribution peut rendre les LLM polyvalents compétitifs dans des contextes de régression scientifique.