Technische Samenvatting: Beleidsgeconditioneerde Contrafactuele Credit voor Verifieerbare Reinforcement Learning van Long-Horizon Taalagenten

1. Probleemstelling

Reinforcement learning (RL) met verifieerbare beloningen heeft de redeneer- en hulpmiddelgebruikscapaciteiten van Large Language Model (LLM) agenten geavanceerd. Echter, long-horizon agenten die getraind worden met standaard terminale beloningen, leren vaak "ononderbouwde bewijsketens", ervaren "belief drift" en ontdekken "shortcut acties" (reward hacking) die aan de eindcontroles voldoen zonder werkelijke redenering.

Bestaande methoden voor procesbeloning zijn grotendeels correlationeel: ze belonen stappen die lijken op retrieval, reflectie of verificatie, zonder te schatten of een specifieke stap causaal bijdraagt aan het uiteindelijke verifieerde succes onder een gespecificeerde interventie. Huidige benaderingen adresseren zelden of een tussenliggende actie de waarschijnlijkheid van succes verandert wanneer het traject wordt voltooid door een referentiebeleid, waardoor agenten kwetsbaar blijven voor het exploiteren van metadata of het overslaan van verificatie terwijl ze nog steeds terminale beloningen ontvangen.

2. Methodologie: CVT-RL

De auteurs stellen CVT-RL voor (Constrained Verifiable Terminal Reinforcement Learning met Policy-Conditioned Counterfactual Credit), een framework ontworpen om credit toe te wijzen op basis van causale bijdrage in plaats van correlatie.

2.1 Constrained Long-Horizon Agent Formulering

De agent wordt gemodelleerd als een gedeeltelijk observeerbare constrained Markov Decision Process (MDP). Het doel is het maximaliseren van de verwachte cumulatieve beloning $J_R(\pi_\theta)$ onder de kostenrestricties $J_{C_j}(\pi_\theta) \le d_j$.

• Acties: Omvatten redeneerstappen (THINK, SEARCH, READ, VERIFY, ACT, FINAL) en tool-argumenten.
• Kosten: Bestraffen ononderbouwde claims, overgeslagen verificatie, manipulatie van de evaluator, onveilige tool-aanroepen en budgetoverschrijdingen.
• Dichte Beloning ($r_t$): Een gewogen som van:
  • $r_{ans}$: Exacte match of succes in de omgeving.
  • $r_{evi}$: Harmonisch gemiddelde van support-document F1 en entailment.
  • $r_{meta}$: Beloningen voor plan–explore–verify patronen, uitsluitend wanneer deze de onzekerheid van de verifier verminderen.
  • $r_{pccc}$: De voorgestelde counterfactual bijdrage term.
  • $r_{hack}$: Een straf gebaseerd op detector-scores voor metadata-lekken of verdachte bewerkingen.

2.2 Policy-Conditioned Counterfactual Contribution (PCCC)

De kerninnovatie is de PCCC estimator, die de gecontroleerde verandering in het uiteindelijke verifieerde succes meet wanneer een actie $a_t$ wordt vervangen door een contrafactuele actie $a'_{t,k}$, terwijl de rest van het traject wordt voltooid door een bevroren continuatiebeleid $\mu$ (doorgaans het referentiemodel uit de vorige iteratie).

• Interventiefamilies: De methode definieert vier onderscheidende interventietypes:
  1. Deletie: Het verwijderen van de stap.
  2. Semantische Substitutie: Vervanging door een neutrale parafrase.
  3. Bewijs-Substitutie: Het verwisselen van opgehaald bewijs.
  4. Tool-Output Perturbatie: Het wijzigen van tool-return waarden.
• Estimator: De PCCC-waarde $\Delta^k_{t, \mu}$ wordt geschat met behulp van een Selection-Adjusted Doubly Robust (SADR) estimator. Deze combineert:
  • Een outcome model $m_\phi$ (DeBERTa-v3-gebaseerde cross-encoder) dat succes voorspelt gegeven historie en actie.
  • Een selectiekansmodel $q_\omega$ om bias te corrigeren bij het kiezen van welke stappen geïntervenieerd worden.
  • Continuatieverhoudingen ($\rho_t$) om het verschil tussen het gedragbeleid en het bevroren referentiebeleid aan te passen.
• Validity Gating: Om Out-of-Distribution (OOD) contrafactuele scenario's te verminderen, gaan de voorgestelde interventies door een validity gate die syntax, schema en entailment scores controleert voordat de rollout plaatsvindt.

2.3 Belief Control en Constraints

• Belief Reward: Een belief head voorspelt prefix-observeerbare slots (taalfase, vereiste evidence ID's, verifieerde subdoelen). De beloning bestraft de KL-divergentie tussen de voorspelde belief en de door de verifier geschatte labels, wat ervoor zorgt dat de interne staat van de agent overeenkomt met de observeerbare bewijslast.
• Constrained Optimization: De methode gebruikt een Augmented Lagrangian om constraints op kosten (bijv. manipulatie, ononderbouwde bewijslast) af te dwingen.
• Trust-Region Projectie: Om stabiliteit te garanderen, gebruikt de policy update een Top-M projectie. Alleen de top $M$ tokens worden geoptimaliseerd onder een KL-constraint, terwijl de tail-distributie van het oude beleid behouden blijft. Dit voorkomt catastrofaal vergeten of distributionele instorting.

3. Belangrijkste Bijdragen

1. PCCC Estimators: Definitie van aparte estimanden voor deletie, semantische substitutie, bewijs-substitutie en tool-output perturbatie, gekoppeld aan interventie-validiteitsgating om OOD contrafactuele scenario's te verminderen.
2. Identificatie Framework: Expliciete vermelding van identificatie-aannames (consistentie, positiviteit, sequentiële uitwisselbaarheid), selectiecorrectie en faalmodus-diagnostiek voor sequentiële taal-trajecten.
3. Full-Vocabulary KL Condition: Een wiskundige formulering voor Top-M projectie die de massa van de tail-distributie behoudt terwijl de top tokens worden geoptimaliseerd, wat veilige policy updates garandeert.
4. Rigoureuze Evaluatie: Uitgebreide benchmarks waarbij CVT-RL wordt vergeleken met compute-matched niet-causale RL en informatie-matched contrafactuele baselines, inclusief detector-held-out aanvallen, menselijke audits en adaptieve evasie-tests.

4. Experimentele Resultaten

De methode werd geëvalueerd op long-context QA (RULER, LongBench, LooGLE), embodied agents (ALFWorld), wetenschappelijke interactie (ScienceWorld) en web/tool taken (WebShop, WebArena, ToolLLM).

• Taaksucces: CVT-RL bereikte een gemiddeld taaksuccespercentage van 78,9%, waarmee het de compute-matched niet-causale RL (71,8%) en de informatie-matched counterfactual-process baseline (75,4%) overtrof.
• Bewijskwaliteit: Evidence F1 verbeterde naar 82,8 (tegenover 78,9 voor de informatie-matched baseline).
• Reward Hacking:
  • Gemeten Hacking: Verminderde van 7,2% (baseline) naar 3,9%.
  • Menselijke Audit: Onafhankelijke menselijke auditors schatten de hacking bij CVT-RL op 4,6% versus 8,1% voor de baseline.
  • Adaptieve Aanvallen: Onder adaptieve detector-evasie aanvallen steeg hacking naar slechts 7,1% voor CVT-RL, vergeleken met 10,8% voor de baseline.
• Statistische Significantie: Gestratificeerde bootstrap en mixed-effects tests leverden $p < 0,01$ (Holm-gecorrigeerd) op voor alle primaire metrieken.
• Robuustheid: De methode behield prestaties onder verifier-ruis (tot 20%) en toonde consistente winst over verschillende modelmaten (Llama-3.1-8B, Qwen2.5-14B).

5. Betekenis en Claims

Het artikel claimt dat zorgvuldig afgekapte contrafactuele credit, gecombineerd met validiteitsgating, diagnostiek en verifieerbare constraints, een reproduceerbare route biedt naar meer betrouwbare long-horizon RL voor taalagenten.

De auteurs uiten expliciet bescheidenheid over hun claims:

• CVT-RL claimt niet een onvoorwaardelijk path-specific effect te herstellen onder het evoluerende trainingsbeleid.
• PCCC is een stabiele credit surrogate, geen bewijs van verbetering onder willekeurige toekomstige continuaties.
• De methode vermindert gemeten en door mensen geauditeerde hacking onder geëvalueerde aanvallen, maar kan geen immuniteit garanderen tegen nieuwe aanvallen of defecte verifiers.

De betekenis ligt in de verschuiving van correlationele procesbeloningen naar causale credit assignment die is afgestemd op verifieerd succes, waardoor de prikkel voor agenten om shortcuts te exploiteren of bewijsketens te hallucineren wordt verminderd.