🤖 machine learning

Distribution-Aware Reward: Reinforcement Learning over Predictive Distributions for LLM Regression

Dieser Beitrag stellt den Distribution-Aware Reward vor, ein Reinforcement-Learning-Ziel, das große Sprachmodelle so optimiert, dass sie für Regressionsaufgaben kalibrierte Vorhersageverteilungen generieren, indem mehrere dekodierte Stichproben mit dem Continuous Ranked Probability Score bewertet werden, wodurch im Vergleich zu traditionellen Trainingsmethoden mit Punktschätzungen die Unsicherheitsschätzung, die Rangfolgeleistung und die Robustheit verbessert werden.

Ursprüngliche Autoren: Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Einsame Wolf" vs. das „Team"

Stellen Sie sich vor, Sie versuchen, die genaue Außentemperatur zu erraten. Sie haben einen sehr intelligenten KI-Assistenten (ein Large Language Model, oder LLM), der eine Wetterbeschreibung analysieren und Ihnen eine Zahl nennen kann.

Der alte Weg (Punktuelle Belohnung):
Derzeit funktioniert das Training der meisten KIs wie ein strenger Lehrer, der die Antwort eines einzelnen Schülers bewertet.

Die KI rät „72°F". Der Lehrer prüft: „Ist 72 nah an den echten 70? Ja. Gut gemacht."
Die KI rät „75°F". Der Lehrer prüft: „Ist 75 nah an 70? Nein. Schlecht gemacht."
Der Fehler: Die KI lernt, ein „Einsamer Wolf" zu sein. Sie versucht, jedes Mal den Bullseye zu treffen. Aber wenn sie Angst hat, falsch zu liegen, könnte sie beginnen, jeden Tag die durchschnittliche Temperatur des ganzen Jahres (sagen wir 60°F) zu raten. Sie wird sicher, verliert aber jede Vielfalt. Sie sagt Ihnen nicht, wie sicher sie ist. Wenn die echte Temperatur 70 ist und die KI jedes Mal 60 sagt, ist sie technisch „im Durchschnitt" nah dran, aber ein schrecklicher Prädiktor, weil sie nie variiert.

Der neue Weg (Distribution-Aware Reward):
Dieses Paper stellt eine neue Methode namens Distribution-Aware Reward (DAR) vor. Anstatt die KI an einer einzigen Schätzung zu bewerten, bittet der Lehrer die KI, 12 verschiedene Schätzungen gleichzeitig zu machen.

Die KI sagt: „Ich denke, es könnte 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78 oder 79 sein."
Der Lehrer schaut nicht nur auf eine Zahl. Er betrachtet die gesamte Gruppe von Schätzungen.
Das Ziel: Der Lehrer möchte, dass die Gruppe zentriert um die richtige Antwort (70) ist, aber auch ausreichend verteilt, um zu zeigen, dass die KI verschiedene Möglichkeiten in Betracht zieht.

Die Kernidee: Der „Leave-One-Out"-Score

Wie entscheidet der Lehrer, welche Schätzungen gut sind? Er verwendet einen cleveren Trick namens Leave-One-Out Credit Assignment.

Stellen Sie sich vor, die 12 Schätzungen der KI sind ein Team von Bogenschützen, die auf ein Ziel schießen.

Der alte Weg: Der Lehrer wählt einen Bogenschützen aus, sieht, ob sein Pfeil den Bullseye getroffen hat, und gibt ihm eine Punktzahl. Wenn ein Bogenschütze etwas daneben geschossen hat, aber dem Team geholfen hat, mehr Boden abzudecken, wird er bestraft.
Der neue Weg (DAR): Der Lehrer fragt: „Wenn wir diesen spezifischen Bogenschützen aus dem Team entfernen würden, würde die Gesamtleistung des Teams schlechter?"
- Wenn das Entfernen eines Bogenschützen dazu führt, dass die Streuung des Teams zu eng oder verzerrt aussieht, erhält dieser Bogenschütze eine hohe Belohnung, selbst wenn sein Pfeil nicht am nächsten am Bullseye war.
- Wenn das Entfernen eines Bogenschützen nichts ändert (weil ein anderer Bogenschütze direkt neben ihm steht), erhält dieser Bogenschütze eine niedrige Belohnung, weil er redundant war.

Dies lehrt die KI, vielfältig aber genau zu sein. Sie lernt zu sagen: „Ich bin ziemlich sicher, dass es um 70 liegt, aber es könnte etwas niedriger oder höher sein", anstatt einfach nur eine Zahl herauszuschreien.

Wo sie es getestet haben

Die Forscher testeten diese neue „Team-Bewertung"-Methode an drei verschiedenen Arten von Problemen:

Synthetische Mathematik (Das Trainingsstudio): Sie erstellten ein fiktives Mathematikproblem, bei dem sich die Antwort in einem komplexen, wellenförmigen Muster ändert.
- Ergebnis: Die alten Methoden (Einzelne Schätzung) gerieten in Verwirrung und flachten die Wellen ab. Die neue Methode (Team-Schätzung) folgte dem wellenförmigen Muster perfekt, sogar in Bereichen, die sie noch nie gesehen hatte.
Code-Leistung (Der Programmierer): Sie baten die KI zu erraten, wie schnell ein Stück Computercode laufen würde oder wie viel Speicher es verbrauchen würde.
- Ergebnis: Die neue Methode war viel besser im Ranking. Wenn Sie 100 Code-Stücke haben und wissen wollen, welche die langsamsten sind, konnte die neue Methode diese viel besser sortieren als die alten Methoden. Sie riet nicht nur die Durchschnittsgeschwindigkeit; sie verstand die Unterschiede zwischen schnellem und langsamem Code.
Molekulare Eigenschaften (Der Chemiker): Sie gaben der KI chemische Formeln (als Textzeichenfolgen geschrieben) und baten sie, Dinge vorherzusagen, wie gut sich eine Chemikalie in Wasser auflöst.
- Ergebnis: Obwohl die KI nur Text sah (keine 3D-Chemiemodelle), schnitt sie genauso gut oder besser ab als spezialisierte chemische Computer. Sie war besser darin, den Bereich möglicher Werte vorherzusagen, was für Wissenschaftler entscheidend ist.

Warum das wichtig ist

Das Paper behauptet, dass durch das Trainieren der KI, sich um die Form ihrer Schätzungen (die Verteilung) zu kümmern, anstatt nur um die Genauigkeit einer einzelnen Schätzung, die KI wird:

Besser im Ranking: Sie kann Ihnen sagen, welches Element „wahrscheinlicher" hoch oder niedrig ist.
Besser bei Unsicherheit: Sie weiß, wann sie wild rät und wann sie zuversichtlich ist.
Robuster: Sie kollabiert nicht darin, jedes Mal dieselbe langweilige Antwort zu geben.

Das Fazit

Denken Sie an die alte Methode als das Trainieren eines Schülers, um die exakte Antwort auf einen Test auswendig zu lernen. Die neue Methode (DAR) trainiert den Schüler, das Konzept so gut zu verstehen, dass er eine Reihe plausibler Antworten geben kann und erklärt, warum die Antwort variieren könnte. Dies macht die KI zu einem viel zuverlässigeren Werkzeug für Wissenschaft und Technik, wo die Kenntnis der „Fehlermarge" genauso wichtig ist wie die Zahl selbst.

Technische Zusammenfassung: Verteilungsbewusste Belohnung für LLM-Regression

Problemstellung

Large Language Models (LLMs) haben die Fähigkeit unter Beweis gestellt, reellwertige Größen aus heterogenen Eingaben (Text, Code, Molekülstrings) vorherzusagen. Standardisierte Trainingsziele für LLM-Regressionen – wie Supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL) mit punktweisen Belohnungen (z. B. negativer mittlerer quadratischer Fehler) – behandeln jedoch jede dekodierte Gleitkommazahl als unabhängige Vorhersage.

Dieser Ansatz optimiert einzelne Punktschätzungen, ohne sicherzustellen, dass die Menge der Stichprobenvorhersagen eine kalibrierte Vorhersageverteilung bildet. Folglich erzeugen Modelle oft Vorhersagen, die einzeln nahe am Ziel liegen, aber kollektiv schlecht kalibriert, übermäßig eng oder einseitig sind. Dieses „mittelwertsuchende" Verhalten kollabiert die Vorhersageverteilung und erfasst weder die notwendige Unsicherheit noch die relative Reihenfolge. Diese Einschränkung behindert Anwendungen, die eine Kandidatenrangfolge, Unsicherheitsschätzung oder robuste Entscheidungsfindung unter Unsicherheit erfordern, wo die Verteilung möglicher Werte ebenso wichtig ist wie die einzelne beste Schätzung.

Methodik: Verteilungsbewusste Belohnung (Distribution-Aware Reward, DAR)

Die Autoren schlagen Distribution-Aware Reward (DAR) vor, ein on-policy Reinforcement-Learning-Ziel, das darauf ausgelegt ist, die Qualität der gesamten Vorhersageverteilung zu optimieren, die durch mehrere dekodierte Stichproben gebildet wird, anstatt einzelne Rollouts isoliert zu optimieren.

Kernmechanismus

Empirische Vorhersageverteilung: Für eine gegebene Eingabe $x$ sampelt das Modell $K$ Rollouts und erzeugt eine Menge von Vorhersagen $\{p_{ik}\}_{k=1}^K$ . Diese Menge wird als empirische Vorhersageverteilung $F_i$ behandelt.
Bewertung mittels CRPS: Die Qualität dieser Verteilung wird gegen das Ground-Truth-Ziel $y_i$ $y_{i}$ unter Verwendung des Continuous Ranked Probability Score (CRPS) bewertet. CRPS ist eine korrekte Bewertungsfunktion, die Verteilungen belohnt, die sowohl genau (konzentriert nahe am Ziel) als auch angemessen dispergiert sind (Vermeidung von Degeneriertheit).
- Die Belohnung für den gesamten Satz ist definiert als $S_i = -\text{CRPS}(F_i, y_i)$ .
Gutschriftszuweisung nach dem „Leave-One-Out"-Prinzip: Da RL eine skalare Belohnung für jeden einzelnen Rollout benötigt, um die Policy zu aktualisieren, wandelt DAR die Verteilungsebene-Bewertung in Rollout-Level-Feedback um. Es berechnet den marginalen Beitrag jedes Rollouts $p_{ik}$ $p_{ik}$ , indem es den CRPS des vollständigen Satzes ( $S_i$ $S_{i}$ ) mit dem CRPS des Satzes vergleicht, bei dem dieser Rollout entfernt wurde ( $S_i^{(-k)}$ $S_{i}^{(- k)}$ ).
- Die Rollout-Belohnung lautet: $R_{ik}^{\text{DAR}} = S_i - S_i^{(-k)}$ .
- Wenn das Entfernen eines Rollouts die Verteilung verschlechtert (die negierte CRPS senkt), erhält dieser Rollout eine positive Belohnung, selbst wenn sein individueller punktweiser Fehler hoch ist. Umgekehrt erhalten redundante Rollouts, die die Streuung oder Zentrierung der Verteilung nicht verbessern, niedrigere oder negative Belohnungen.

Theoretische Unterscheidung

Die Arbeit kontrastiert dies mit dem punktweisen quadratischen Verlust (MSE), der theoretisch „mittelwertsuchend" ist und die Vorhersageverteilung dazu anregt, zu einem einzigen Punkt (dem bedingten Mittelwert) zu kollabieren. Im Gegensatz dazu ist CRPS „verteilungsorientiert" und optimiert die gesamte bedingte Verteilung. DAR nutzt dies, indem es die Gutschriftszuweisung nach dem „Leave-One-Out"-Prinzip verwendet, um einen Satz von Rollouts zu fördern, die gut zentriert und nützlich dispergiert sind.

Hauptbeiträge

Neues RL-Ziel: Einführung von DAR, das das Optimierungsziel von der Minimierung individueller Punktfehler auf die Maximierung der Qualität der empirischen Vorhersageverteilung verschiebt.
Gutschriftszuweisung nach dem „Leave-One-Out"-Prinzip: Ein spezifischer Mechanismus, um Belohnungen einzelnen Rollouts basierend auf ihrem marginalen Beitrag zur kollektiven Verteilungsqualität zuzuordnen, wodurch das Modell eine „nützliche Streuung" belohnen kann, selbst wenn einzelne Stichproben weniger genau sind.
Minderung des Diversitätskollapses: Die Methode adressiert die Tendenz von RL-Finetuning, die Output-Diversität (Policy-Entropie) zu reduzieren und Vorhersagen zum Mittelwert hin kollabieren zu lassen, und stellt sicher, dass gesampelte Rollouts ausreichend divers bleiben, um das Ground Truth abzudecken.

Experimentelle Ergebnisse

Die Autoren bewerteten DAR an drei unterschiedlichen Aufgaben: einer synthetischen Gauß-Mischungs-Regression, der Vorhersage von Code-Leistung und der Vorhersage molekularer Eigenschaften.

1. Synthetische Verteilungsregression

Aufgabe: Vorhersage von Zielen aus einer heteroskedastischen Zwei-Komponenten-Gauß-Mischung.
Ergebnisse: DAR erreichte die höchste Spearman-Korrelation unter LLM-basierten Methoden und übertraf SFT und punktweise MSE-Belohnungen deutlich. Es bewahrte die globale Ordnung der Zielfunktion besser und passte sich gut an Extrapolationsbereiche an, in denen andere neuronale Baselines Schwierigkeiten hatten.

2. Vorhersage der Code-Leistung

Aufgabe: Vorhersage der Kernel-Latenz (KBSS) und des Spitzen-Speicherbedarfs (APPS) aus Quellcode.
Ergebnisse: DAR erreichte die stärkste Rangkorrelation (Spearman $\rho$ $ρ$ ) und eine konkurrenzfähige oder niedrigere mittlere absolute Abweichung (MAE) im Vergleich zu SFT und punktweisen RL-Baselines.
- Bei KBSS verbesserte DAR die Spearman-Korrelation um 6 Punkte gegenüber der stärksten Baseline.
- Bei APPS verbesserte es die Spearman-Korrelation um 4 Punkte.
- Dies deutet auf eine überlegene Sensitivität für eingangsabhängige Variationen und eine zuverlässigere Kandidatenrangfolge hin.

3. Vorhersage molekularer Eigenschaften (MoleculeNet)

Aufgabe: Vorhersage physikochemischer Eigenschaften (FreeSolv, ESOL, Lipophilizität) aus SMILES-Strings.
Ergebnisse: Trotz der Verwendung nur von SMILES-Strings (ohne explizite Graph- oder 3D-induktive Verzerrungen, die von starken GNN-Baselines verwendet werden), blieb DAR konkurrenzfähig.
- Es erzielte statistisch signifikante Verbesserungen des RMSE bei FreeSolv und Lipophilizität im Vergleich zu anderen LLM-Trainingsstrategien (SFT, MSE, Value Head).
- Es zeigte, dass eine Optimierung auf Verteilungsebene auch ohne spezialisierte molekulare Repräsentationen zu robustem Regressionsverhalten führen kann.

Unsicherheitsdiagnostik

Kalibrierung: Die Analyse zeigte eine starke log-Pearson-Korrelation (0,91) zwischen der Standardabweichung der Rollouts und dem Vorhersagefehler für DAR, was darauf hindeutet, dass die Unsicherheitsschätzungen des Modells gut an die tatsächlichen Fehler kalibriert waren.
Diversität: Während des Trainings behielt DAR eine höhere Rollout-Entropie und eine höhere „Bracket-Rate" (der Anteil der Beispiele, bei denen das Ground Truth zwischen dem Minimum und Maximum der Rollout-Vorhersagen liegt) im Vergleich zu MSE-basiertem RL bei, was die Minderung des Diversitätskollapses bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die direkte Optimierung von Vorhersageverteilungen LLM-basierte Regression robuster und besser kalibriert macht. Indem mehrere dekodierte Stichproben als Verteilung behandelt und ihre kollektive Qualität belohnt werden, verbessert DAR die rangbasierte Leistung (entscheidend für die Kandidatenauswahl) und die Unsicherheitsschätzung, ohne die punktweise Genauigkeit zu beeinträchtigen.

Die Autoren positionieren diese Arbeit als einen Schritt hin zur Nutzung von LLMs nicht nur als Textgeneratoren oder Punktschätzer, sondern als flexible, probabilistische Regressoren für wissenschaftliche Domänen. Sie betonen, dass zwar LLM-Regression Flexibilität bei der Handhabung heterogener Eingaben (Text, Code, Strings) bietet, der vorgeschlagene verteilungsbewusste Ansatz jedoch notwendig ist, um das volle Potenzial dieser Modelle für Aufgaben zu erschließen, die eine Unsicherheitsquantifizierung und zuverlässige Ordnung erfordern – Bereiche, in denen das traditionelle punktweise Training versagt. Die Arbeit behauptet nicht, spezialisierte Regressionsmodelle (wie GPs oder GNNs) in allen Domänen zu ersetzen, zeigt jedoch, dass verteilungsbewusstes RL allgemeine LLMs in wissenschaftlichen Regressionsumgebungen konkurrenzfähig machen kann.