🤖 machine learning

Distribution-Aware Reward: Reinforcement Learning over Predictive Distributions for LLM Regression

Dit artikel introduceert Distribution-Aware Reward, een versterkt leerndoel dat grote taalmodellen optimaliseert om gekalibreerde voorspellingsverdelingen voor regressietaken te genereren door meerdere gedecodeerde steekproeven te evalueren met de Continuous Ranked Probability Score, waardoor onzekerheidsschatting, rangschikkingsprestaties en robuustheid worden verbeterd ten opzichte van traditionele trainingsmethoden op basis van punt-schattingen.

Oorspronkelijke auteurs: Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Eenzame Wolf" versus het "Team"

Stel je voor dat je probeert de exacte buitentemperatuur te raden. Je hebt een zeer slimme AI-assistent (een Large Language Model, of LLM) die een beschrijving van het weer kan bekijken en je een getal kan geven.

De Oude Weg (Puntbeloning):
Momenteel werkt de meeste AI-training als een strenge leraar die het antwoord van één enkele leerling corrigeert.

De AI raadt "22°C". De leraar controleert: "Is 22 dicht bij de echte 21? Ja. Goed gedaan."
De AI raadt "24°C". De leraar controleert: "Is 24 dicht bij 21? Nee. Slecht gedaan."
De Tekortkoming: De AI leert een "eenzame wolf" te zijn. Het probeert elke keer de kern te raken. Maar als het bang wordt om fout te zijn, kan het beginnen met het raden van de gemiddelde temperatuur voor het hele jaar (zeg maar 15°C) elke keer opnieuw. Het wordt veilig, maar verliest alle variatie. Het vertelt je niet hoe zeker het is. Als de echte temperatuur 21 is, en de AI zegt elke keer 15, is het technisch gezien "dichtbij" op gemiddelde, maar het is een verschrikkelijke voorspeller omdat het nooit varieert.

De Nieuwe Weg (Distributiebewuste Beloning):
Dit paper introduceert een nieuwe methode genaamd Distribution-Aware Reward (DAR). In plaats van de AI te beoordelen op één enkele gok, vraagt de leraar de AI om 12 verschillende gissen tegelijk te doen.

De AI zegt: "Ik denk dat het 20, 20,5, 21, 21,5, 22, 22,5, 23, 23,5, 24, 24,5 of 25°C kan zijn."
De leraar kijkt niet alleen naar één getal. Hij kijkt naar de hele groep gissen.
Het Doel: De leraar wil dat de groep gecentreerd is rond het echte antwoord (21), maar ook uitgespreid genoeg om te laten zien dat de AI verschillende mogelijkheden overweegt.

Het Kernidee: De "Leave-One-Out" Score

Hoe beslist de leraar welke gissen goed zijn? Ze gebruiken een slimme truc genaamd Leave-One-Out Credit Assignment.

Stel je voor dat de 12 gissen van de AI een team van boogschutters zijn dat op een doel schiet.

De Oude Weg: De leraar kiest één boogschutter, ziet of hun pijl de kern raakte, en geeft hen een score. Als een boogschutter iets naast het doel schoot maar hielp het team om meer grond te dekken, worden ze gestraft.
De Nieuwe Weg (DAR): De leraar vraagt: "Als we deze specifieke boogschutter uit het team zouden verwijderen, zou de algehele prestatie van het team dan verslechteren?"
- Als het verwijderen van een boogschutter de spreiding van het team te smal of vertekend maakt, krijgt die boogschutter een hoge beloning, zelfs als hun pijl niet het dichtst bij de kern zat.
- Als het verwijderen van een boogschutter niets verandert (omdat er een andere boogschutter direct naast hen staat), krijgt die boogschutter een lage beloning omdat ze overbodig waren.

Dit leert de AI om divers maar accuraat te zijn. Het leert te zeggen: "Ik ben vrij zeker dat het rond de 21 ligt, maar het kan iets lager of hoger zijn," in plaats van gewoon één getal te schreeuwen.

Waar Ze Het Testten

De onderzoekers testten deze nieuwe "Teamscoring"-methode op drie verschillende soorten problemen:

Synthetische Wiskunde (De Trainingsgym): Ze creëerden een nep-wiskundeprobleem waarbij het antwoord verandert in een complex, golvend patroon.
- Resultaat: De oude methoden (Enkele Gok) raakten in de war en vlamden de golven af. De nieuwe methode (Teamgok) volgde het golvende patroon perfect, zelfs in gebieden die ze nog niet hadden gezien.
Codeprestaties (De Programmeur): Ze vroegen de AI te raden hoe snel een stuk computercode zou draaien of hoeveel geheugen het zou gebruiken.
- Resultaat: De nieuwe methode was veel beter in het rangschikken van dingen. Als je 100 stukken code hebt en wilt weten welke het langzaamst zijn, kon de nieuwe methode ze veel beter correct sorteren dan de oude methoden. Het raakte niet alleen het gemiddelde tempo; het begreep de verschillen tussen de snelle en trage code.
Moleculaire Eigenschappen (De Scheikundige): Ze gaven de AI chemische formules (geschreven als tekstreeksen) en vroegen het om dingen te voorspellen zoals hoe goed een chemische stof in water oplost.
- Resultaat: Hoewel de AI alleen tekst zag (geen 3D-chemische modellen), presteerde het even goed of beter dan gespecialiseerde chemische computers. Het was beter in het voorspellen van het bereik van mogelijke waarden, wat cruciaal is voor wetenschappers.

Waarom Dit Belangrijk Is

Het paper beweert dat door de AI te trainen om om te geven met de vorm van zijn gissen (de distributie) in plaats van alleen met de nauwkeurigheid van één enkele gok, de AI wordt:

Beter in Rangschikking: Het kan je vertellen welk item "waarschijnlijker" hoog of laag is.
Beter in Onzekerheid: Het weet wanneer het wild aan het raden is en wanneer het zeker is.
Robuuster: Het stort niet in tot het geven van hetzelfde saaie antwoord elke keer.

De Bottom Line

Denk aan de oude methode als het trainen van een leerling om het exacte antwoord op een toets uit het hoofd te leren. De nieuwe methode (DAR) traint de leerling om het concept zo goed te begrijpen dat het een reeks plausibele antwoorden kan geven, en uitlegt waarom het antwoord kan variëren. Dit maakt de AI een veel betrouwbaarder hulpmiddel voor wetenschap en techniek, waar het kennen van de "marge van fout" net zo belangrijk is als het getal zelf.

Technische Samenvatting: Distributiebewuste Beloning voor LLM-regressie

Probleemstelling

Grote Taalmodellen (LLMs) hebben het vermogen aangetoond om realwaardige grootheden te voorspellen uit heterogene invoer (tekst, code, moleculaire strings). Echter, standaard trainingsdoelen voor LLM-regressie—zoals Supervised Fine-Tuning (SFT) of Reinforcement Learning (RL) met puntsgewijze beloningen (bijvoorbeeld negatieve Mean Squared Error)—behandelen elke gedecodeerde drijvende-kommagetal als een onafhankelijke voorspelling.

Deze aanpak optimaliseert individuele puntenschattingen zonder te waarborgen dat de verzameling bemonsterde voorspellingen een gekalibreerde voorspellende distributie vormt. Bijgevolg produceren modellen vaak voorspellingen die individueel dicht bij het doel liggen, maar collectief slecht gekalibreerd, overdreven smal of eenzijdig zijn. Dit "middelenzoekende" gedrag doet de voorspellende distributie instorten, waardoor de nodige onzekerheid of relatieve ordening niet wordt vastgelegd. Deze beperking hindert toepassingen die kandidaat-rangschikking, onzekerheidsschatting of robuuste besluitvorming onder onzekerheid vereisen, waarbij de distributie van mogelijke waarden even belangrijk is als de enige beste schatting.

Methodologie: Distributiebewuste Beloning (DAR)

De auteurs stellen Distribution-Aware Reward (DAR) voor, een on-policy reinforcement learning-doel dat is ontworpen om de kwaliteit van de gehele voorspellende distributie die wordt gevormd door meerdere gedecodeerde steekproeven te optimaliseren, in plaats van individuele rollouts geïsoleerd te optimaliseren.

Kernmechanisme

Empirische Voorspellende Distributie: Voor een gegeven invoer $x$ bemonstert het model $K$ rollouts, wat resulteert in een verzameling voorspellingen $\{p_{ik}\}_{k=1}^K$ . Deze verzameling wordt behandeld als een empirische voorspellende distributie $F_i$ .
Scorebepaling via CRPS: De kwaliteit van deze distributie wordt geëvalueerd tegen de grondwaarheid-doel $y_i$ $y_{i}$ met behulp van de Continuous Ranked Probability Score (CRPS). CRPS is een juiste scoreregel die distributies beloont die zowel accuraat zijn (geconcentreerd rond het doel) als adequaat verspreid (vermijden van degeneratie).
- De beloning voor de volledige verzameling wordt gedefinieerd als $S_i = -\text{CRPS}(F_i, y_i)$ .
Leave-One-Out Credit Assignment: Omdat RL een scalair beloning vereist voor elke individuele rollout om het beleid bij te werken, converteert DAR de score op distributieniveau naar feedback op rolloutniveau. Het berekent de marginale bijdrage van elke rollout $p_{ik}$ $p_{ik}$ door de CRPS van de volledige verzameling ( $S_i$ $S_{i}$ ) te vergelijken met de CRPS van de verzameling waarbij die rollout is verwijderd ( $S_i^{(-k)}$ $S_{i}^{(- k)}$ ).
- De rolloutbeloning is: $R_{ik}^{\text{DAR}} = S_i - S_i^{(-k)}$ .
- Als het verwijderen van een rollout de distributie verslechtert (de genegateerde CRPS verlaagt), ontvangt die rollout een positieve beloning, zelfs als zijn individuele puntsgewijze fout hoog is. Omgekeerd ontvangen redundante rollouts die de spreiding of centrering van de distributie niet verbeteren lagere of negatieve beloningen.

Theoretisch Onderscheid

Het artikel contrasteert dit met puntsgewijze kwadratische fout (MSE), wat theoretisch "middelenzoekend" is en de voorspellende distributie aanmoedigt in te storten tot één punt (de conditionele mean). Daarentegen is CRPS "distributiezoekend" en optimaliseert het de volledige conditionele distributie. DAR maakt hier gebruik van door leave-one-out credit assignment te gebruiken om een verzameling rollouts aan te moedigen die goed gecentreerd zijn en nuttig verspreid.

Belangrijkste Bijdragen

Nieuw RL-doel: Introductie van DAR, wat het optimalisatiedoel verschuift van het minimaliseren van individuele puntfouten naar het maximaliseren van de kwaliteit van de empirische voorspellende distributie.
Leave-One-Out Credit Assignment: Een specifiek mechanisme om beloningen toe te schrijven aan individuele rollouts op basis van hun marginale bijdrage aan de collectieve distributiekwaliteit, waardoor het model "nuttige spreiding" kan belonen zelfs wanneer individuele steekproeven minder accuraat zijn.
Mitigatie van Diversiteitsinstorting: De methode adresseert de neiging van RL-finetuning om outputdiversiteit (beleid-entropie) te verminderen en voorspellingen naar het gemiddelde te laten instorten, zodat bemonsterde rollouts divers genoeg blijven om de grondwaarheid te dekken.

Experimentele Resultaten

De auteurs evalueerden DAR op drie verschillende taken: een synthetische Gaussian-mixture-regressietak, voorspelling van codeprestaties en voorspelling van moleculaire eigenschappen.

1. Synthetische Distributieregressie

Taak: Voorspellen van doelen uit een heteroscedastische twee-componenten Gaussian-mixture.
Vondsten: DAR behaalde de hoogste Spearman-correlatie onder LLM-gebaseerde methoden, aanzienlijk beter presterend dan SFT en puntsgewijze MSE-beloningen. Het behield de globale ordening van de doelfunctie beter en paste zich goed aan aan extrapolatiegebieden waar andere neurale baselines moeite hadden.

2. Voorspelling van Codeprestaties

Taak: Voorspellen van kernel-latentie (KBSS) en piekgeheugengebruik (APPS) uit broncode.
Vondsten: DAR behaalde de sterkste rangcorrelatie (Spearman $\rho$ $ρ$ ) en een concurrerende of lagere Mean Absolute Error (MAE) vergeleken met SFT en puntsgewijze RL-baselines.
- Op KBSS verbeterde DAR de Spearman-correlatie met 6 punten ten opzichte van de sterkste baseline.
- Op APPS verbeterde het de Spearman-correlatie met 4 punten.
- Dit wijst op superieure gevoeligheid voor invoer-afhankelijke variatie en betrouwbaardere kandidaat-rangschikking.

3. Voorspelling van Moleculaire Eigenschappen (MoleculeNet)

Taak: Voorspellen van fysisch-chemische eigenschappen (FreeSolv, ESOL, Lipofiliciteit) uit SMILES-strings.
Vondsten: Ondanks het gebruik van alleen SMILES-strings (zonder expliciete graf- of 3D-inductieve bias die door sterke GNN-baselines worden gebruikt), bleef DAR concurrerend.
- Het behaalde statistisch significante verbeteringen in RMSE op FreeSolv en Lipofiliciteit vergeleken met andere LLM-trainingsstrategieën (SFT, MSE, Value Head).
- Het toonde aan dat optimalisatie op distributieniveau robuust regressiegedrag kan opleveren, zelfs zonder gespecialiseerde moleculaire representaties.

Onzekerheidsdiagnostiek

Kalibratie: Analyse toonde een sterke log-Pearson-correlatie (0,91) aan tussen de standaardafwijking van de rollout en de voorspellingfout voor DAR, wat aangeeft dat de onzekerheidsschattingen van het model goed gekalibreerd waren aan de werkelijke fouten.
Diversiteit: Tijdens training behield DAR een hogere rollout-entropie en een hoger "bracket rate" (het fractie voorbeelden waarbij de grondwaarheid ligt tussen de minimum- en maximum-rolloutvoorspellingen) vergeleken met op MSE gebaseerde RL, wat de mitigatie van diversiteitsinstorting bevestigt.

Betekenis en Claims

Het artikel beweert dat het direct optimaliseren van voorspellende distributies LLM-gebaseerde regressie robuuster en beter gekalibreerd maakt. Door meerdere gedecodeerde steekproeven als een distributie te behandelen en hun collectieve kwaliteit te belonen, verbetert DAR rang-gebaseerde prestaties (cruciaal voor kandidaatselectie) en onzekerheidsschatting zonder puntsgewijze nauwkeurigheid op te offeren.

De auteurs positioneren dit werk als een stap in de richting van het gebruik van LLM's niet alleen als tekstgeneratoren of puntenschattingen, maar als flexibele, probabilistische regressors voor wetenschappelijke domeinen. Ze benadrukken dat hoewel LLM-regressie flexibiliteit biedt in het hanteren van heterogene invoer (tekst, code, strings), de voorgestelde distributiebewuste aanpak noodzakelijk is om het volledige potentieel van deze modellen te ontsluiten voor taken die onzekerheidskwantificatie en betrouwbare ordening vereisen, gebieden waar traditionele puntsgewijze training faalt. Het werk claimt niet om gespecialiseerde regressiemodellen (zoals GPs of GNNs) in alle domeinen te vervangen, maar toont aan dat distributiebewuste RL algemene LLM's concurrerend kan maken in wetenschappelijke regressiesituaties.