Technische Samenvatting: Configureerbaar Beloningsmodel voor Gebalanceerde Veiligheidsafstemming

Probleemstelling

De afstemming van Large Language Models (LLMs) op veiligheidseisen staat voor een kritische uitdaging: veiligheid is geen universele constante, maar een contextafhankelijke variabele die wordt gevormd door culturele normen, juridische jurisdicties en organisatorische beleidsregels. Huidige afstemmingsparadigma's, met name Reinforcement Learning from Human Feedback (RLHF), vertrouwen op statische Beloningsmodellen (RMs) waarbij veiligheidskennis impliciet is gecodeerd en bevroren tijdens de implementatie. Deze rigiditeit vereist een kostbare volledige her-trainings- en implementatiecyclus telkens wanneer veiligheidsbeleid evolueert (bijv. nieuwe regelgeving voor haatzaaiende taal of domeinspecifieke naleving).

Daartegenover staan bestaande "configureerbare" benaderingen, zoals autonome veiligheidsklassificaties (bijv. Llama Guard, ShieldGemma) of prompt-geconditioneerde redeneer-judges (bijv. DynaGuard), die zich aanpassen aan nieuwe beleidsregels tijdens de inferentie. Deze modellen fungeren echter als discriminatieve classificaties of redeneer-gebaseerde judges. Hun outputs vertonen vaak beloningsgeometrieën die slecht geschikt zijn voor reinforcement learning: de waarschijnlijkheden zijn ofwel scherp gepiekt (binaire beslissingen) of excessief vlak (deliberatieve oordelen). Bijgevolg leveren ze ijle, slecht gekalibreerde en effectief niet-differentieerbare signalen voor beleidsoptimalisatie, wat vaak leidt tot overmatige weigering (het afwijzen van onschuldige verzoeken) en de bruikbaarheid vermindert.

Er ontbreeft een essentieel onderdeel in de huidige pipelines: een beloningsmodel dat tegelijkertijd configureerbaar is tijdens de inferentie en in staat is om een dichte, gekalibreerde scalaire beloning te produceren die geschikt is voor optimalisatie in de inner-loop van een beleid.

Methodologie

De auteurs introduceren het Configurable Safety Reward Model (CSRM), een framework dat is ontworpen om tijdens de inferentie te conditioneren op natuurlijke taal veiligheidsconfiguraties, terwijl het een scalaire beloning output voor RLHF. De methodologie steunt op drie kerncomponenten:

1. Terminologie en Inputstructuur

Een veiligheidsconfiguratie $p$ wordt gedefinieerd als een set regels met natuurlijke taalrichtlijnen die de acceptabele en onacceptabele inhoud voor specifieke categorieën afbakenen. Het model neemt een tuple $(x, r, p)$ als input, waarbij $x$ de gesprekshistorie is, $r$ de respons van de agent is, en $p$ de veiligheidsconfiguratie is. Het produceert een label $y \in \{\text{veilig, onveilig}\}$ en een beloningswaarde $c \in [0, 1]$.

2. Gerichte Data-augmentatie

Om te generaliseren naar ongeziene configuraties zonder extra menselijke annotatie, stellen de auteurs twee augmentatiestrategieën voor:

• Configurable Safety Configuration Augmentation: Voor een gegeven gesprek en configuratie stelt een redeneermodel een "positieve" categorie voor (niet in $p$) die de conversatie onveilig zou maken als deze toegevoegd wordt, en een "negatieve" categorie die de conversatie veilig zou maken. De configuratie wordt geaugmenteerd door bestaande categorieën willekeurig te verwijderen en optioneel deze nieuwe categorieën in te voegen. Deze tweezijdige augmentatie vergroot de spreiding van de beloning en verbetert de paarwijze modellering.
• Strictness Augmentation (Strenge-heid-augmentatie): Om de beloningsgeometrie vorm te geven en de ernst van overtredingen te reflecteren, construeren de auteurs partieel geordende verzamelingen van richtlijnbeschrijvingen. Ze identificeren subcategorieën binnen een veiligheidscategorie, sorteren ze op geschatte ernst, en herschrijven de richtlijnen om selectief prefixes van deze geordende lijst toe of af te wijzen. Om betrouwbaarheid te garanderen, gebruiken ze een confidence-qualified dominance test met behulp van de Clopper–Pearson ondergrens. Alleen richtlijnparen $(d, d')$ waarbij $d$ statistisch significant strenger is dan $d'$, worden behouden voor training. Dit zorgt ervoor dat het model een gekalibreerd ernstenspectrum leert in plaats van willekeurige binaire onderscheidingen.

3. Gecombineerde Discriminatieve–Generatieve Training

CSRM verenigt veiligheidsklassificatie en beloningsmodellering binnen één enkel generatief framework.

• Classificatieverlies: Het model wordt getraind om veiligheidslabels te voorspellen met behulp van geverbaliseerde tokens (bijv. "veilig", "onveilig").
• Beloningsverlies: Met behulp van de strictness-geaugmenteerde paren wordt het model getraind om de marge tussen de log-waarschijnlijkheden van veilige versus onveilige tokens onder strikte versus milde configuraties te maximaliseren. Dit is geformuleerd als een Bradley–Terry-stijl voorkeurverlies, wat het model aanmoedigt om hogere beloningen toe te kennen aan responsen die veiliger zijn onder strengere richtlijnen.
• Kalibratie: In plaats van een aparte kalibratieverliesfunctie te gebruiken, wordt kalibratie geïnduceerd tijdens de training door diverse, statistisch gevalideerde ernst-paren te construeren. Dit maakt gebruik van de empirische link tussen rangschikkingskwaliteit en kalibratie.

Belangrijkste Bijdragen

1. Configureerbare, Gekalibreerde Veiligheidsbeloningsmodellering: CSRM conditioneert direct op natuurlijke taal veiligheidsconfiguraties tijdens de inferentie en produceert een dichte, gekalibreerde scalaire beloning in plaats van een binaire beoordeling. Dit maakt fijne controle over veiligheidsgedrag mogelijk zonder hertraining en blijft compatibel met gradiënt-gebaseerde beleidsoptimalisatie.
2. Gecombineerde Training met Gerichte Augmentatie: Het werk verenigt veiligheidsklassificatie en beloningsmodellering door configuratie-gerichte en strictness-augmentaties te introduceren. Dit stelt het model in staat om onderscheid te maken tussen grensgevallen en ernstige overtredingen en te generaliseren naar ongeziene configuraties zonder nieuwe menselijke annotaties.
3. Verbeterde Veiligheid–Bruikbaarheid Trade-offs: CSRM biedt een informatiever beloningssignaal voor RL, wat leidt tot beleidsregels die overmatige weigering voorkomen terwijl ze sterke veiligheidsgaranties behouden, waardoor de Pareto-frontier tussen veiligheid en bruikbaarheid effectief wordt uitgebreid.

Experimentele Resultaten

De auteurs hebben CSRM geëvalueerd op meerdere benchmarks en downstream afstemmingstaken:

• Veiligheidsklassificatie: Op benchmarks waaronder BeaverTails, WildGuardMix, CoSApien en DynaBench behaalde CSRM state-of-the-art prestaties. Opvallend genoeg bereikte het 94,6% F1 op CoSApien en 75,8% F1 op DynaBench, waarmee het baselines zoals LlamaGuard-3-8B en ShieldGemma-9B overtrof. Het demonstreerde ook superieure kalibratie (lagere smECE) vergeleken met redeneer-gebaseerde judges.
• Beloningsmodellering: In tweezijdige beloningsmodelleringstaken (BeaverTails-Aug, WildGuardMix-Aug) behaalde CSRM de hoogste nauwkeurigheid bij het ordenen van responsen naar de ernst van de overtreding, waarbij het baselines significant overtrof.
• Overmatige Weigering: Op overmatige weigeringsbenchmarks (XSTest, OR-Bench) behaalde CSRer de hoogste F1, wat duidt op een betere kalibratie en een verminderde neiging om onschuldige verzoeken af te wijzen vergeleken met instructie-getunede baselines.
• Downstream RL Alignment: Wanneer gebruikt als beloningssignaal voor het afstemmen van Mistral-7B-Instruct-v0.1 over vijf domeinen (bijv. Arab Publisher, Film Production) via Reward Distillation en REINFORCE++, behaalde CSRM consistent de beste CoSA Score (het dotproduct van veiligheids- en bruikbaarheidsbeloningen). In verschillende domeinen behaalde het een hogere bruikbaarheid bij vergelijkbare veiligheidsniveaus, wat een superieure trade-off aantoont. Bijvoorbeeld, in het Film Production-domein onder REINFORCE++ behaalde CSRM een CoSA-score van 3.981, waarmee het de LlamaGuard-baseline (3.391) en de instructie-getunede baseline (3.113) overtrof.

Betekenis en Claims

Het artikel claimt dat CSRM een fundamentele beperking in huidige veiligheidsafstemming aanpakt: het onvermogen om aan te passen aan evoluerende veiligheidseisen zonder kostbare hertraining, terwijl er een signaal behouden blijft dat geschikt is voor RL. Door te fungeren als een dicht, configureerbaar beloningssignaal binnen de inner-loop van RLHF, stelt CSRM het trainen van inherent veiligere modellen mogelijk, in plaats van ze enkel tijdens de inferentie te controleren.

De auteurs benadrukken dat CSRM deze resultaten bereikt zonder aanvullende menselijke annotatie te vereisen, door te vertrouwen op synthetische augmentatie van bestaande datasets. Het werk suggereert een praktisch pad naar beloningsniveau-configureerbaarheid, waardoor veiligheidsgedrag kan worden aangepast door specificaties tijdens de inferentie bij te werken, terwijl een optimalisatie-compatibel signaal behouden blijft voor training.

Door de auteurs genoemde beperkingen:

• De augmentatiepipeline vertrouwt op door LLM's gegenereerde voorstellen, die de biases van het voorstellende model kunnen erven, hoewel dit wordt gemitigeerd door statistische filtering.
• De studie heeft geen gerichte reward-hacking analyse uitgevoerd; strategische exploitatie onder langdurige online optimalisatie blijft toekomstig werk.
• De belangrijkste resultaten maken gebruik van een enkele basisarchitectuur (Llama-3.1-8B), hoewel trends zijn gerepliceerd op Qwen3-2B. Bredere backbone- en meertalige evaluaties zijn open voor toekomstig onderzoek.