Technische Samenvatting: ARCO (Adaptive Rubric CO-evolution)

Probleemstelling

Reinforcement learning (RL) voor multi-step Large Language Model (LLM) agents, zoals die gebruikt worden bij multi-hop vraagbeantwoording (QA), vertrouwt doorgaans op scalaire beloningen. Deze beloningen zijn vaak ofwel gebaseerd op de uitkomst (binaire succes/falen op trajectniveau) of gebaseerd op het proces (ondoorzichtige scalaire scores per stap).

• Uitkomstbeloningen falen in het bieden van fijnmazige credit assignment, wat het moeilijk maakt om onderscheid te maken tussen een gelukkige gok en een methodisch zoekproces.
• Procesbeloningen verbeteren de granulariteit, maar blijven vaak "black boxes" die geen uitleg geven over waarom een specifieke stap goed of slecht was.
• Bestaande rubric-gebaseerde methoden proberen de interpreteerbaarheid te verbeteren met behulp van natuurlijke taal-criteria. Deze lijden echter aan twee kritieke beperkingen:
  1. Scoring op trajectniveau: Ze wijzen een enkele score toe aan de gehele rollout, waardoor credit assignment op stapniveau onopgelost blijft.
  2. Statische judges: Ze vertrouwen op bevroren, closed-source LLM's (bijv. GPT-4) als externe judges. Hoewel de tekst van de rubric kan worden bijgewerkt, blijven de parameters van de judge statisch, wat voorkomt dat de scorefunctie zich aanpast aan de evoluerende foutmodi van de agent.

Methodologie: ARCO

De auteurs stellen ARCO (Adaptive Rubric CO-evolution) voor, een framework waarbij de evaluatiecriteria (rubric) en de scorefunctie co-evolueren met de policy op parameterniveau met behulp van een same-scale open-source model.

1. Hiërarchisch Rubric Model ($\mu$)

ARCO instantiëert zowel de rubric-generatie als de scoring binnen één trainbaar model $\mu$ dat een gedeelde backbone $f_\theta$ deelt met de policy $\pi$. Het model beschikt over twee lichtgewicht heads:

• Generatie Head (Hoog niveau): Gegeven de traject-prefix $h_t$ en actie $a_t$, genereert het een geordende set van $K$ natuurlijke taal-criteria $r_t = (c_{t,1}, \dots, c_{t,K})$. Deze criteria zijn context-specifiek en passen zich aan de fase van de taak aan (bijv. entiteit-targeting voor vroege zoekopdrachten versus antwoordondersteuning voor de laatste stappen).
• Score Head (Laag niveau): Het neemt dezelfde state-action context en de gegenereerde criteria $r_t$ als input. Het produceert $K$ dimensie-niveau scores $d_t \in [-1, 1]^K$, die worden gemiddeld om de stap-niveau beloning $s_t$ te vormen.

2. Co-evolutionaire Training

Het framework werkt op on-policy data en werkt de policy $\pi$ en de rubric model $\mu$ gezamenlijk bij:

• Supervised Warmup: Voor de RL annoteren een closed-source teacher de trajecten met rubrics en scores. De policy wordt geïnitialiseerd via Supervised Fine-Tuning (SFT) op succesvolle trajecten, en $\mu$ wordt geïnitialiseerd om criteria te genereren en scores te voorspellen die voldoen aan een traject-niveau decompositie-constraint.
• RL Loop:
  • Policy Update ($\pi$): De policy wordt bijgewerkt met reward-to-go advantages afgeleid van de stap-niveau scores $s_t$ voorspeld door de huidige $\mu$. Een position-bucketed baseline wordt gebruikt om variantie te verminderen.
  • Rubric Model Update ($\mu$): Het model wordt bijgewerkt met een trajectory decomposition constraint. De som van de voorspelde stap-scores moet gelijk zijn aan de terminale binaire uitkomst $R(\tau)$:
    $$\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$$
    Dit stelt $\mu$ in staat om stap-niveau credit assignment te leren zonder gold step-labels, terwijl de KL-term de gegenereerde rubrics coherent houdt met de warmup-distributie.

3. Belangrijke Ontwerpkeuzes

• Gedeelde Backbone: De generatie en scoring heads delen parameters. Dit zorgt ervoor dat de criteria worden geschreven in dezelfde representatieruimte die voor scoring wordt gebruikt, waardoor gradiënten van de decompositie-objective de features voor beide stadia kunnen vormgeven.
• Same-Scale Open Source: ARCO gebruikt open-source modellen (bijv. Qwen3-4B, Llama-3.2-3B) voor zowel de agent als de evaluator, waardoor de afhankelijkheid van externe closed-source judges wordt geëlimineerd.

Belangrijkste Bijdragen

1. Adaptief, Stap-niveau Rubric Framework: ARCO introduceert een process reward framework waarbij zowel de natuurlijke taal-rubric als de scorefunctie co-evolueren met de policy op parameterniveau, wat de noodzaak voor een bevroren closed-source judge wegneemt.
2. Hiërarchisch Model met Decompositie: De auteurs ontwerpen een model dat context-specifieke criteria genereert en acties onder deze criteria scoort. Door een traject-decompositie constraint af te dwingen, leert het model om credit toe te wijzen aan individuele stappen op basis van enkel de terminale uitkomst.
3. Empirische Validatie: Uitgebreide experimenten op multi-hop QA benchmarks tonen aan dat ARCO sterke baselines verslaat, en analyses bevestigen dat de gegenereerde rubrics stap-specifiek, robuust en nuttig zijn voor het diagnosticeren van agent-gedrag.

Experimentele Resultaten

De auteurs evalueerden ARCO op drie multi-hop QA benchmarks: HotpotQA, 2WikiMultiHopQA, en MuSiQue, gebruikmakend van twee open-source backbones (Qwen3-4B en Llama-3.2-3B).

• Prestaties: ARCO behaalde de beste Exact Match (EM) scores in alle zes de (dataset, backbone) configuraties en de beste F1-scores in vijf van de zes. Het presteerde consistent beter dan:
  • Outcome Reward Models (ORMs): Inclusief binaire-reward methoden (Search-R1, R1-Searcher) en rubric-gebaseerde ORM's met bevroren judges (RaR, CARMO, RLER).
  • Process Reward Models (PRMs): Specifiek AgentPRM, dat ondoorzichtige scalaire stapwaarden gebruikt.
• Ablatie Studies:
  • Het verwijderen van de rubric tekst-generatie ("w/o Rubric") veroorzaakte een significante daling in prestaties, wat bevestigt dat rubrics essentiële semantische structuur bieden in plaats van slechts decoratie.
  • Het gebruik van vaste dataset-niveau criteria ("w/o Adaptive") presteerde slechter dan adaptieve generatie, wat aangeeft dat vaste criteria niet in staat zijn om evoluerende foutmodi te volgen.
  • Het conditioneren van rubrics enkel op de vraag/actie zonder de traject-prefix ("w/o Prefix") verminderde de antwoordcorrectheid, wat het belang van de volledige context aantoont.
• Rubric Kwaliteit: Diagnostische tests toonden aan dat de rubrics van ARCO sterk aan acties gebonden zijn (42–55% nauwkeurigheid in het identificeren van de specifieke actie die ze scoorden, significant boven toeval) en hoog werden beoordeeld op specificiteit (ongeveer 4.0/5.0).
• Sensitiviteit: De mate van criteria ($K$) bleek gevoelig te zijn; $K=3$ leverde optimale prestaties op, terwijl hogere $K$-waarden redundantie introduceerden zonder de scores te verbeteren.

Betekenis en Claims

Het artikel claimt dat ARCO een verschuiving vertegenwoordigt van statische, ondoorzichtige reward modeling naar adaptieve, interpreteerbare en co-evolutionaire reward systemen.

• Interpreteerbaarheid: Door voor elke stap natuurlijke taal-criteria te genereren, biedt ARCO een "leesbaar" signaal dat uitlegt waarom een actie werd beloond of bestraft, wat helpt bij de diagnose van agent-gedrag.
• Adaptiviteit: In tegen tegenstelling tot methoden die gebruikmaken van bevroren judges, evolueert de evaluator van ARCO mee met de policy. Terwijl de agent leert bepaalde fouten te vermijden, past het rubric model zich aan om subtielere foutmodi te identificeren (bijv. het targeten van de verkeerde entiteit of redundante retrieval).
• Efficiëntie en Toegankelijkheid: Door same-scale open-source modellen te gebruiken voor zowel de agent als de evaluator, vermijdt ARCO de kosten en afhankelijkheid van closed-source API's terwijl het een hoge prestatie behoudt.

De auteurs concluderen dat ARCO een fundament biedt voor het bouwen van interpreteerbare process-reward learning systemen voor taal-agents, waarbij schaarse uitkomstbeloningen worden omgezet in dichte, stap-bewuste signalen zonder externe judges.