🤖 AI

ReCal: Reward Calibration for RL-based LLM Routing

ReCal is een raamwerk voor beloningskalibratie voor RL-gebaseerde LLM-routing dat de prestaties en trainingsstabiliteit verbetert door hiërarchische beloningsdecompositie met componentgewijze advantage-schatting en een distributiebewuste optimalisatiestrategie te introduceren om ambigue credit assignment en optimalisatiebias veroorzaakt door heterogene taakmoeilijkheden aan te pakken.

Oorspronkelijke auteurs: Qihang Yu, Hanwen Tong, Zhengqi Zhang, Bo Zheng, Feng Wei, Shengyu Zhang, Zemin Liu, Fei Wu

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qihang Yu, Hanwen Tong, Zhengqi Zhang, Bo Zheng, Feng Wei, Shengyu Zhang, Zemin Liu, Fei Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een druk callcenter. Je hebt een team van agenten met verschillende superkrachten: Agent A is een genie in wiskunde maar verschrikkelijk in spelling; Agent B is een creatieve verhalenverteller maar traag in berekeningen; Agent C is snel maar verzint feiten.

Jouw taak is LLM Routing: beslissen welke agent elke inkomende klantoproep moet afhandelen.

In het verleden gebruikten managers eenvoudige regels (zoals "stuur alle wiskundevragen naar Agent A") of trainden ze een supervisor om te raden wat de beste agent was. Onlangs zijn managers begonnen met het gebruiken van Reinforcement Learning (RL). Dit is alsof je de supervisor een videogamecontroller geeft waarbij ze punten krijgen voor goede resultaten. De supervisor leert door de game keer op keer te spelen, waarbij ze proberen de hoogste score te halen.

De auteurs van dit artikel hebben echter een groot probleem ontdekt in hoe deze "games" werden gespeeld. Ze noemen hun oplossing ReCal (Reward Calibration). Zo werkt het, met behulp van eenvoudige analogieën:

Het Probleem: De "Wazige Scorekaart"

In de oude manier van het trainen van deze supervisors, gaf de computer de hen een enkele, definitieve score voor elke oproep. Bijvoorbeeld: "Je hebt 8,5 punten gekregen."

Maar deze scorekaart was wazig en onrechtvaardig op twee manieren:

Het "Smoothie"-probleem (Verstrengelde Signalen):
Stel je voor dat de score een smoothie was gemaakt van drie ingrediënten: Correctheid, Redenering en Formattering.
- Scenario A: De agent gaf een perfect antwoord maar vergat een komma te gebruiken. Score: 8,5.
- Scenario B: De agent gaf een fout antwoord maar schreef een prachtig, perfect geformatteerd essay. Score: 8,5.
- De Verwarring: De supervisor ziet dezelfde score (8,5) voor twee totaal verschillende gedragingen. Ze weten niet of ze moeten stoppen met het maken van formatteringsfouten of moeten stoppen met het geven van foute antwoorden. Het signaal is "verstrengeld" (gemengd), wat het moeilijk maakt om te leren wat er echt toe doet.
Het "Luidruchtige Publiek"-probleem (Heterogene Distributies):
Sommige vragen zijn makkelijk (iedereen is het eens over het antwoord) en sommige zijn moeilijk (agenten verschillen enorm van mening).
- Makkelijke Vragen: De score is altijd hoog en consistent.
- Moeilijke Vragen: De scores variëren enorm.
- De Bias: In de oude trainingsmethode zouden de "luidruchtige" moeilijke vragen (met een hoge variantie) of de "makkelijke" vragen (met enorme beloningen) de stille, informatieve middenweg overstemmen. De supervisor zou geobsedeerd raken door de makkelijke overwinningen of de chaotische moeilijke vragen, en de subtiele, belangrijke lessen daartussen negeren.

De Oplossing: ReCal (De "Slimme Scorekaart")

ReCal lost dit op door te veranderen hoe de supervisor de score ziet. Het werkt als een tweestaps kalibratieproces:

Stap 1: De Smoothie Ontmengen (Hiërarchische Beloningsdecompositie)

In plaats van één wazige score te geven, breekt ReCal de score af in aparte, duidelijke categorieën voordat de supervisor leert.

De Analogie: In plaats van te zeggen "Je hebt 8,5", zegt de computer:
- "Je Antwoord was 10/10."
- "Je Redenering was 4/10."
- "Je Formattering was 2/10."
Het Voordeel: Nu weet de supervisor precies wat er moet worden verbeterd. Ze kunnen zien dat het gedeelte "Redenering" verbetering nodig heeft, zelfs als het "Antwoord" perfect was. Dit wordt Component-wise Advantage Estimation genoemd. Het voorkomt dat de "smoothie" de specifieke ingrediënten die veranderd moeten worden, verbergt.

Stap 2: Het Volume Balanceren (Distributiebewuste Optimalisatie)

ReCal lost ook het "Luidruchtige Publiek"-probleem op. Het realiseert zich dat sommige vragen van nature chaotischer zijn dan andere.

De Analogie: Stel je een klas voor waar sommige leerlingen schreeuwen en anderen fluisteren. Als de leraar alleen naar de luidste stemmen luistert, mist hij de stille genieën.
De Fix: ReCal gebruikt Variance-Aware Reweighting. Als een groep agenten erg verward is over een vraag (hoge variantie), zet ReCal het volume omhoog op die les omdat het een waardevol leermoment is. Als de agenten het allemaal met elkaar eens zijn (lage variantie), zet het het volume omlaag omdat er niets nieuws te leren valt.
Fix 2: Het gebruikt ook Per-Dataset Normalization. Als één dataset (zoals een wiskundetoets) scores geeft van 0 tot 100, en een andere (zoals een geschiedenisquiz) van 0 tot 10, normaliseert ReCal deze zodat de ene dataset de andere niet domineert. Het zorgt ervoor dat de supervisor van alle soorten vragen evenveel leert.

Het Resultaat

Toen de auteurs dit nieuwe systeem (ReCal) testten op zeven verschillende soorten vragen (van algemene trivia tot complexe meerstaps logische puzzels), werkte het beter dan de oude methoden.

Beter Leren: De supervisor leerde sneller omdat de feedback duidelijk was.
Meer Stabiliteit: De supervisor raakte niet in de war door makkelijke of chaotische vragen; het bleef gefocust op de moeilijke, informatieve vragen.
Generalisatie: Zelfs toen ze tijdens de test nieuwe, ongeziene agenten aan het team toevoegden, wist de supervisor hoe hij deze moest afhandelen, wat bewees dat het de principes van routing leerde, en niet alleen de trainingsdata uit het hoofd leerde.

Kortom: ReCal stopt de AI met het gokken wat een "goede score" betekent door het een gedetailleerd rapportcijfer te geven en ervoor te zorgen dat het aandacht besteedt aan de juiste lessen, ongeacht hoe luid of stil de vragen ook zijn.

Technische Samenvatting: ReCal – Beloningskalibratie voor RL-gebaseerde LLM-routing

1. Probleemstelling

LLM-routing heeft als doel om dynamisch de meest geschikte methode of redeneerstrategie te selecteren voor een gegeven query, om zo de complementaire sterktes van meerdere LLM's te benutten. Hoewel Reinforcement Learning (RL) een veelbelovend paradigma is geworden voor het optimaliseren van deze routing-policies, kampen huidige methoden met significante knelpunten gerelateerd aan de kwaliteit en vergelijkbaarheid van leersignalen, met name onder heterogene taken met variërende moeilijkheidsgraden.

Het artikel identificeert twee primaire technische problemen in bestaande RL-gebaseerde routingframeworks:

Verstrengelde Leersignalen: Routing-policies worden doorgaans geoptimaliseerd met behulp van gescalariseerde beloningen die meerdere doelstellingen (bijv. antwoordcorrectheid, kwaliteit van redenering, formaataccuratesse) aggregeren tot één enkele score. Deze aggregatie vertroebelt de toeschrijving van krediet (credit assignment), waardoor het voor de policy moeilijk wordt om te onderscheiden welke specifieke routing-beslissing leidde tot een verbetering van de beloning, aangezien vergelijkbare scalaire verbeteringen kunnen voortkomen uit volkomen verschillende gedragsveranderingen.
Heterogene Beloningsverdelingen: Beloningssignalen vertonen aanzienlijke variabiliteit over instanties en datasets heen. Sommige instanties produceren hoog gedispergeerde beloningen door modeldiscrepantie (hoge onzekerheid), terwijl andere geconcentreerde beloningen opleveren (lage onzekerheid). Bovendien induceren verschillende datasets substantieel verschillende beloningsschalen en varianties. Deze heterogeniteit bevoordeelt optimalisatie naar makkelijkere gevallen of datasets met grotere beloningsschalen, waardoor informatieve maar onzekere routing-beslissingen onvoldoende aandacht krijgen tijdens het leren.

2. Methodologie: ReCal Framework

Om deze uitdagingen aan te pakken, stellen de auteurs ReCal voor, een Reward Calibration framework dat policy-leren behandelt als een tweestaps-kalibratieproces: het herstructureren van beloningssignalen voor helderheid en het aanpassen van hun bijdrage aan policy-updates onder heterogene distributies.

2.1 Kalibratie van de Helderheid van het Leersignaal

In plaats van voordelen (advantages) direct te schatten vanuit geaggregeerde scalaire beloningen, gebruikt ReCal een mechanisme voor Hiërarchische Beloningsdecompositie:

Component-gewijze Beloningsdefinitie: Beloningen worden gedecomponeerd in specifieke doelstellingen, waaronder antwoordcorrectheid ( $r_{ans}$ ), kwaliteit van redenering ( $r_{info}$ ), formaataccuratesse ( $r_{format}$ ), routing-efficiëntie ( $r_{route}$ ) en router-balans ( $r_{balance}$ ).
Hiërarchische Activering: Bijbehorende beloningen worden pas geactiveerd wanneer de respons voldoet aan een correctheidsdrempel, wat ervoor zorgt dat de optimalisatie zich eerst richt op geldige antwoorden.
Component-gewijze Voordeelestimatie (CAE): In plaats van beloningen te aggregeren vóór de berekening van het voordeel, berekent ReCal de groep-relatieve voordelen onafhankelijk voor elk beloningscomponent. Deze component-gewijze voordelen worden vervolgens gewogen en geaggregeerd. Dit behoudt de doelstelling-specifieke relatieve verbeteringen, waardoor de policy een duidelijkere, meer discriminerende supervisie ontvangt over welke specifieke doelstellingen worden geoptimaliseerd.

2.2 Distributie-bewuste Optimalisatie

Om optimalisatiebias veroorzaakt door heterogene beloningsverdelingen te mitigeren, introduceert ReCal een Distributie-bewuste Optimalisatiestrategie:

Variantie-bewuste Herweging: Op het niveau van de instantie meet het framework de routing-onzekerheid met behulp van de variantie van de beloningen binnen een gesamplede responsgroep. Gegevens met een hogere variantie (wat duidt op grotere onenigheid tussen kandidaat-modellen en hogere onzekerheid) worden dynamisch hergewogen om sterkere optimalisatiesignalen te ontvangen. Dit zorgt ervoor dat informatieve, onzekere routing-beslissingen niet worden genegeerd.
Per-dataset Normalisatie: Op het niveau van de dataset worden voordelen onafhankelijk binnen elke dataset genormaliseerd. Dit voorkomt dat datasets met disproportioneel grote beloningsschalen of varianties de policy-updates domineren, wat vergelijkbaarheid tussen heterogene databronnen waarborgt.

2.3 Totale Trainingsdoelstelling

De uiteindelijke gekalibreerde voordelen worden geïntegreerd in een GRPO-stijl (Group Relative Policy Optimization) doelstelling. Het trainingsproces maximaliseert de verwachte waarde van de afgeklemde (clipped) policy-ratio vermenigvuldigd met het gekalibreerde voordeel, waarbij de supervisie op doelstellingniveau expliciet wordt gescheiden van de variabiliteit van de optimalisatie op distributieniveau.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Perspectief van Leersignaal-kalibratie: Een nieuw standpunt voor RL-gebaseerde LLM-routing dat de helderheid van leersignalen en de vergelijkbaarheid van optimalisatie onder heterogene taken gezamenlijk modelleert.
Hiërarchisch Ontwarpt Beloningsmechanisme: Een methode die component-gewijze voordeelestimatie uitvoert vóór aggregatie, wat zorgt voor een duidelijkere toeschrijving van krediet en interferentie tussen concurrerende doelstellingen vermindert.
Distributie-bewuste Optimalisatiestrategie: Een techniek die optimalisatiebias vermindert door variantie-bewuste herweging en per-dataset normalisatie, wat stabiel leren over diverse datasets garandeert.
Empirische Validatie: Uitgebreide experimenten die consistente verbeteringen in routing-prestaties en trainingsstabiliteit laten zien ten opzichte van baselines.

4. Experimentele Resultaten

De auteurs hebben ReCal geëvalueerd op zeven vraag-antwoord (QA) datasets, die zowel algemene QA (Natural Questions, TriviaQA, PopQA) als Multi-Hop QA (HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle) beslaan.

Prestaties: ReCal behaalde de beste gemiddelde Exact Match (EM) score van 0,481, waarmee het de sterkste RL-gebaseerde baseline (Router-R1) met 6,7% (0,414) versloeg. De verbeteringen waren bijzonder significant op uitdagende multi-hop benchmarks, zoals een sprong van 0,476 naar 0,560 op 2Wiki en van 0,424 naar 0,568 op Bamboogle.
Generalisatie: De methode toonde een sterke generalisatie naar out-of-domain datasets en ongeziene modelpools. Bij testen met aanvullende ongeziene LLM's (DeepSeek-V3 en Qwen2.5-72B) tijdens inferentie, behield de policy een sterke prestatie, wat suggereert dat het niet overfit is op een vaste routing-ruimte.
Stabiliteit: Ablatiestudies bevestigden dat het verwijderen van ofwel de helderheid-kalibratie (LSC) of de distributie-bewuste optimalisatie (DAO) de prestaties verslechterde. Trainingscurves lieten zien dat ReCal een gladdere entropie-convergentie en stabielere beloningsverbeteringen vertoont vergeleken met Router-R1, dat leed onder oscillaties en cross-dataset optimalisatie-interferentie.

5. Betekenis en Claims

Het artikel claimt dat ReCal een veelbelovende richting biedt voor toekomstige RL-gebaseerde LLM-routing door de fundamentele disconnect tussen verstrengelde beloningssignalen en heterogene datadistributies aan te pakken. De auteurs stellen dat het verbeteren van de helderheid van leersignalen en het kalibreren van optimalisatievariabiliteit cruciaal is voor het mogelijk maken van betrouwbare gedragingen voor uitdagende gevallen.

Het werk suggere houdt in dat de voorgestelde kalibratiemechanismen de generalisatiekracht van routing-policies verbeteren in plaats van simpelweg te overfitten op specifieke trainingsdistributies. Hoewel de huidige evaluatie gericht is op QA-georiënteerde routing, stellen de auteurs dat het framework een robuuste basis biedt voor bredere routing-scenario's.

Beperkingen: De auteurs erkennen dat de evaluatie primair beperkt is tot QA-taken, waarbij de effectiviteit in multimodale systemen nog onverkend blijft. Daarnaast kan de huidige afhankelijkheid van handmatig ontworpen beloningscomponenten en wegingscoëfficiënten tuning vereisen bij het aanpassen aan nieuwe taken of modelpools.