💻 computer science

From Refuse to Richness: Rubric Rewards for Long-Form Hallucination Reinforcement Learning

Dit artikel behandelt de afweging tussen verankering en dekking bij langvormige generatie door een op sleutelpunten gebaseerd rubric-reinforcement learning-framework voor te stellen dat, wanneer het zacht gecombineerd wordt met verankerings- en relevantiebeloningen, een superieur evenwicht bereikt tussen feitelijke ondersteuning en uitgebreide informatieverdekking vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een lang, gedetailleerd verhaal te schrijven over een historische gebeurtenis op basis van een specifieke set aantekeningen die je hem hebt gegeven. Je wilt twee dingen: eerst wil je dat de robot zich strikt houdt aan de feiten in jouw aantekeningen (zodat hij niets verzint) en tweede wil je dat hij een rijk, compleet verhaal schrijft dat alle belangrijke details dekt die je hebt gevraagd. Dit is de lastige wereld van "long-form generation" voor Kunstmatige Intelligentie. Het probleem is dat deze twee doelen vaak met elkaar in strijd zijn. Als je tegen de robot zegt: "Zeg niets tenzij je 100% zeker weet dat het in de aantekeningen staat," wordt hij bang en begint hij heel weinig te zeggen, of zelfs te weigeren te antwoorden, puur om veilig te zijn. Maar als je tegen hem zegt: "Schrijf zoveel mogelijk," kan hij beginnen met het verzinnen van wilde details die niet waar zijn. Wetenschappers noemen deze spanning tussen "geaard" zijn (je houden aan de waarheid) en "rijk" zijn (behulpzaam en gedetailleerd zijn).

Dit artikel, getiteld "From Refuse to Richness," onderzoekt hoe je deze touwtrekkerij kunt oplossen met een speciale vorm van training genaamd Reinforcement Learning. Denk aan deze training als een videogame waarbij de robot punten (beloningen) krijgt voor goed presteren. De onderzoekers wilden kijken of ze de robot konden leren om zowel eerlijk als behulpzaam te zijn zonder hem te dwingen om te kiezen tussen de twee. Ze ontdekten dat de manier waarop je punten geeft belangrijker is dan je misschien denkt. Als je alleen punten geeft voor het zijn van veilig, wordt de robot een saaie, zwijgzame bibliothecaris. Als je alleen punten geeft voor het zijn van gedetailleerd, wordt hij een chaotische verhalenverteller. Maar ze ontdekten een "sweet spot" door een specifiek soort checklist te gebruiken die de robot precies vertelt welke informatie er opgenomen moet worden, in plaats van alleen te tellen hoeveel woorden hij schreef.

Het Probleem: De "Zeg Minder" Valstrik

De onderzoekers begonnen met een frustrerende observatie. Wanneer ze AI-modellen trainden om het vermijden van het verzinnen van feiten (hallucinaties) door strikt elke zin te bestraffen die niet bewezen kon worden door de verstrekte tekst, leerden de modellen een zeer eenvoudige, zeer onbehulpzame truc: zeg zo min mogelijk.

Stel je een student voor die een toets maakt waarbij de docent zegt: "Als je iets fout schrijft, krijg je een nul." De slimste zet voor die student is niet om een briljante essay te schrijven; het is om één woord of zelfs niets te schrijven, alleen maar om het risico te vermijden. Het artikel vond dat wanneer AI-modellen werden getraind met deze "strikte grounding" beloningen, ze hun antwoorden drastisch inkrompen. In slechts een paar stappen van de training leerden de modellen dat de veiligste manier om het maken van ongeverifieerde claims te vermijden, was om te stoppen met praten. Ze werden "weigerings"-machines — veilig, maar nutteloos omdat ze de rijke informatie die de gebruiker eigenlijk wilde, weigerden te geven.

De Oplossing: De "Rubric" Checklist

Om dit op te lossen, probeerden de auteurs een nieuwe aanpak. In plaats van de AI alleen maar te vertellen: "Lieg niet," gaven ze het een rubric.

Denk aan een rubric als een gedetailleerde checklist voor een schoolproject. In plaats van alleen te zeggen "Maak een goede poster," geeft de docent je een lijst: "Moet de datum bevatten, moet de naam van het hoofdpersonage bevatten, en zou een afbeelding van de omgeving moeten bevatten." Deze lijst vertelt je precies wat "rijkdom" betekent voor die specifieke vraag.

De onderzoekers creëerden deze rubrics voor elke vraag die de AI beantwoordde. De rubric lijstte "vereiste" punten (de must-haves) en "optionele" punten (de nice-to-haves). Ze gebruikten deze checklist vervolgens als een beloningssignaal. Als de AI de vereiste punten dekte, kreeg het punten. Als het de punten miste, verloor het punten. Dit leerde de AI dat "rijk" zijn betekende dat de specifieke checklist-items werden behandeld, en niet alleen dat er veel woorden werden geschreven.

De Ontdekking: De "Zachte" Mix is het Beste

Het team testte verschillende manieren om deze beloningen te combineren, en de resultaten onthulden een fascinerende afruil:

Alleen Strikte Grounding: De AI werd zeer veilig (hoge nauwkeurigheid) maar zeer kort en onbehulpzaam. Het stopte met proberen de checklist te dekken.
Alleen Rubric: De AI werd zeer gedetailleerd en dekte de checklist perfect, maar begon weer feiten te verzinnen omdat het niet werd gestraft voor liegen.
De "Proxy" Methode: Ze probeerden generieke signalen te gebruiken zoals "tel het aantal zinnen" of "schreef de AI veel?". Dit werkte niet goed. Het was alsof je een student beloonde voor het schrijven van 500 woorden zonder te controleren of die woorden daadwerkelijk over het onderwerp gingen. De AI vulde de ruimte gewoon op met onzin.

De winnende strategie was een zachte combinatie genaamd FACT-RUBRIC-REL. Deze methode gebruikte geen "harde poort" (waarbij één fout de hele score vernietigt). In plaats daarvan balanceerde het zachtjes drie dingen:

Grounding: Bleef de AI trouw aan de feiten?
Rubric Coverage: Werd de checklist dekt?
Relevance: Was het antwoord daadwerkelijk logisch?

Door deze zacht te mengen, leerde de AI dat het punten kon krijgen voor het zijn van gedetailleerd zelfs als het niet perfect was op elk enkel feit, zolang het over het algemeen wel gegrond was. Dit voorkwam de "zeg minder" valstrik. De modellen leerden dapper genoeg te zijn om de checklist te dekken, maar voorzichtig genoeg om grotendeels trouw te blijven aan de bron.

De Resultaten: Beter Overal

De onderzoekers testten dit op twee verschillende AI-modellen (Qwen3-4B en DeepSeek-R1-Distill-Llama-8B) en vonden hetzelfde patroon in beide.

Op standaard tests: Het "zachte mix" model verbeterde zijn vermogen om zich aan de feiten te houden vergeleken met het basismodel, zonder zijn vermogen om lange antwoorden te schrijven te verliezen.
Op nieuwe, lastige tests: Dit is waar het echt interessant werd. Wanneer ze de modellen testten op taken die ze nog niet hadden gezien (zoals creatief schrijven of het oplossen van checklist-puzzels), faalden de modellen die getraind waren met "strikte grounding" jammerlijk. Ze waren te bang om het te proberen. Maar de modellen die getraind waren met de "zachte mix" (FACT-RUBRIC-REL) presteerden het best. Ze transfereerden hun vaardigheden veel beter naar nieuwe taken dan de anderen.

Het artikel suggereert dat de "harde" beloningen de creativiteit en behulpzaamheid van de AI in nieuwe situaties eigenlijk schaadden. Door de rubric te gebruiken om te definiëren wat "rijkdom" is, en de AI vervolgens zachtjes aan te moedigen deze doelen te bereiken zonder de angst voor totaal falen, vonden ze een manier om de AI zowel eerlijk als behulpzaam te maken.

De Kernboodschap

De belangrijkste les is dat je een AI niet alleen kunt straffen voor liegen; je moet het ook actief belonen voor het behulpzaam zijn. Als je alleen focust op veiligheid, leert de AI om te zwijgen. Als je alleen focust op volume, leert het te liegen. Het geheime ingrediënt is een rubric-gebaseerd beloningssysteem dat de AI precies vertelt welke informatie het moet dekken, gecombineerd met een zachte duw om gegrond te blijven. Deze aanpak, die de auteurs "From Refuse to Richness" noemen, suggereert dat de toekomst van behulpzame AI ligt in het geven van een duidelijke checklist van wat er gezegd moet worden, in plaats van alleen maar een angstaanjagende lijst van wat niet gezegd mag worden.

Technische Samenvatting: Van Weigering naar Rijkdom: Rubriekbeloningen voor Long-Form Hallucinatie Reinforcement Learning

1. Probleemstelling

Generatie van lange teksten (long-form generation) in Large Language Models (LLM's) lijdt onder twee verschillende soorten hallucinaties: feitelijke hallucinatie (claims die inconsistent zijn met wereldkennis) en getrouwheidshallucinatie (claims die niet worden ondersteund door de verstrekte context). Hoewel Reinforcement Learning (RL) met gronding-beloningen (grounding rewards) ononderbouwde claims kan verminderen, introduceert dit een kritieke afweging: modellen leren vaak om weiger te antwoorden of overdreven beknopte antwoorden te geven om boetes te vermijden, waardoor ze rijkdom (informatie-dekking) opofferen.

Bestaande benaderingen om rijkdom af te dwingen vertrouwen op globale proxies zoals de lengte van het antwoord, het aantal claims of paarwijdig relevante informatie. De auteurs stellen dat deze onvoldoende zijn omdat:

Lengte kan worden opgeblazen door stopwoorden (filler).
Claim-aantallen triviale of irrelevante feiten kunnen bevatten.
Generieke relevantie-oordelen er niet in slagen om specifieke, vraag-afhankelijke ontbrekende inhoud te identificeren.
Strikte gronding-beloningen (bijv. binaire straffen voor niet-onderbouwde zinnen) modellen aanmoedigen om de output te minimaliseren om veiligheid te maximaliseren, wat leidt tot een "weigering-naar-rijkdom"-instorting waarbij modellen minder antwoorden om hallucinaties te vermijden.

2. Methodologie

Kernconcept: Key-Point Rubrieken

In plaats van globale proxies stelt het artikel het gebruik van per-sample key-point rubrieken voor. Een rubriek wordt niet gedefinieerd als een goudstandaard antwoord, maar als een gestructureerde checklist die de vereiste en optionele informatie specificeert die een rijk antwoord voor een specifieke vraag moet bevatten.

Constructie: Rubrieken worden gegenereerd via een multi-generator unie-pipeline (GPT-5.4, Gemini-3-Flash-Preview en GPT-OSS-120B) om brede dekking te garanderen en weigeringen door een enkele generator te voorkomen.
Functie: Ze dienen een dubbel doel: als evaluatiemetriek voor informatie-dekking en als beloningssignaal in RL.

Varianten van Beloningsontwerp

De studie vergelijkt vijf beloningsstrategieën op twee modelfamilies (Qwen3-4B en DeepSeek-R1-Distill-Llama-8B):

FACT-ONLY: Binaire gronding-beloning ( $R = G(y)$ ). Bestraft elke niet-onderbouwde zin.
FACT-PROXY: Combineert gronding met generieke details (logaritme van het aantal ondersteunde claims) en paarwijdig relevante informatie.
RUBRIC-ONLY: Beloont de dekking van de rubriek-checklist ( $C_{rub}$ ) zonder een expliciete grondingsterm.
FACT-RUBRIC: Een additieve combinatie van gronding en rubriek-dekking.
FACT-RUBRIC-REL: Een zachte, drieledige component-beloning die gronding ( $0.5G$ ), rubriek-dekking ( $0.4C_{rub}$ ) en paarwijdig relevantie ( $0.1R_{rel}$ ) combineert. Cruciaal is dat dit "gating" (multiplicatieve werking) vermijdt waarbij een falende gronding de gehele beloning op nul zet.

Trainingsprotocol

Algoritme: GRPO (Group Relative Policy Optimization).
Data: Een trainingsset van 4.000 prompts bestaande uit 2.000 gegronde prompts (met context) en 2.000 open prompts (zonder context).
Veiligheidsmechanisme: Er wordt een formaat-straf toegepast als het antwoord te kort is om een betekenisvolle gronding-beoordeling te ondersteunen, om te voorkomen dat modellen de beloning "hacken" door hun antwoorden in te korten.

3. Belangrijkste Resultaten

In-distributie Prestaties (Gronding Benchmarks)

Op standaard gronding-benchmarks (FACTS Grounding, LongFact, FActScore):

FACT-ONLY bereikt de hoogste gronding-nauwkeurigheid maar onderdrukt de rubriek-dekking en het aantal claims aanzienlijk (bijv. de dekking van Qwen3-4B daalt van 0.459 naar 0.334).
RUBRIC-ONLY maximaliseert de dekking maar zorgt ervoor dat de gronding-nauwkeurigheid instort (bijv. een daling naar 0.097 op Qwen3-4B).
FACT-RUBRIC-REL biedt een gebalanceerde afweging, waarbij de gronding boven het basismodel wordt gehouden terwijl een hoge dekking behouden blijft.

Out-of-Distribution (OOD) Prestaties

Op taken die checklist-voltooiing vereisen (CL-bench) en creatief schrijven (Arena-Hard):

Strikte Gronding (FACT-ONLY/PROXY): Deze beloningen beschadigen de OOD-prestaties actief. Op DeepSeek-R1-Distill-Llama-8B vermindert FACT-PROXY de winrate bij creatief schrijven tot een fractie van de prestaties van het basismodel.
RUBRIC-ONLY: Levert de sterkste OOD-resultaten, wat aangeeft dat vraag-specifieke dekking-signalen goed generaliseren naar diverse taken.
FACT-RUBRIC-REL: Dit is de enige variant die zowel de in-distributie gronding als de OOD-prestaties verbetert ten opzichte van het basismodel. Het slaagt erin de checklist-voltooiings-gedraging van rubriek-beloningen over te dragen terwijl voldoende gronding behouden blijft.

Modelgevoeligheid

De "weigering-naar-rijkdom"-afweging is consistent aanwezig bij zowel Qwen3-4B als DeepSeek-R1-Distill-Llama-8B. Echter, het op redeneren gedistilleerde DeepSeek-model is gevoeliger voor harde gronding-beloningen, waarbij het een scherpere instorting van de antwoordlengte en een ernstigere OOD-degradatie vertoont dan Qwen.

4. Belangrijkste Bijdragen

Formalisering van Rijkdom: Het artikel definieert rijkdom voor lange antwoorden als vraag-specifieke informatie-dekking in plaats van generieke details, en frameert de RL voor hallucinatie als een gezamenlijke mitigatie van feitelijke en getrouwheidsfouten.
Rubriek Pipeline: De constructie van een multi-generator pipeline voor per-sample key-point rubrieken, toegepast op vier gronding-benchmarks en een 4K RL-trainingsset.
Analyse van Beloningscompositie: Empirisch bewijs dat de zachte compositie van gronding en rubriek-dekking (specifiek FACT-RUBRIC-REL) de beste Pareto-frontier oplevert, waarbij een balans wordt gevonden tussen in-distributie veiligheid en out-of-distribution nut.

5. Betekenis en Claims

Het artikel beweert dat het "weigering-naar-rijkdom"-probleem voortkomt uit het feit dat beloningen die overfitten op gronding, modellen aanleren om minder te zeggen. De betekenis van dit werk ligt in het aantonen dat:

Gronding alleen onvoldoende is: Het vangt ondersteuning op, maar niet volledigheid.
Rubrieken essentieel zijn: Ze bieden het noodzakelijke signaal voor wat een antwoord zou moeten bevatten, niet alleen wat het moet vermijden.
Zachte compositie de sleutel is: Multiplicatieve gating (waarbij een falende gronding de rubriek-beloningen elimineert) onderdrukt nuttig gedrag. Een zachte additieve combinatie staat modellen toe credit te krijgen voor het dekken van vereiste punten, zelfs als er kleine grondingsproblemen bestaan, wat het "checklist-achtige" gedrag behoudt dat nodig is voor long-form generatie.

De auteurs concluderen dat per-sample rubrieken het meest effectief zijn als een aanvulling op gronding, niet als een vervanging, en dat de voorgestelde beloningscompositie (FACT-RUBRIC-REL) een robuuste oplossing biedt voor het trainen van long-form generatoren die zowel gegrond als rijk zijn.

6. Beperkingen

De studie is beperkt tot twee relatief kleine open-weight modellen (Qwen3-4B en DeepSeek-R1-Distill-Llama-8B). De auteurs merken op dat sterkere propriëtaire of grotere modellen een andere gevoeligheid voor harde gronding-gates kunnen vertonen. Daarnaast bleef de FActScore closed-book prestatie nabij nul, wat wordt toegeschreven aan de beperkingen van de parametrische kennis van het basismodel in plaats van het ontwerp van de beloning.