Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling

Titel

Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling
(Auteurs: Pankayaraj Pathmanathan en Furong Huang, University of Maryland & Capital One)

1. Het Probleem

Reward Modeling (RM) is essentieel voor het alignen van Large Language Models (LLM's) met menselijke voorkeuren, bijvoorbeeld via fine-tuning, ranking of filtering. Ondanks hun nut vertonen reward modellen vaak foutieve specificaties (mis-specifications) onder distributieveranderingen of adversariale perturbaties.

• Oorzaak: Menselijke voorkeuren zijn complex en bestaande datasets hebben een beperkte dekking van mogelijke variaties.
• Gevolg: Reward modellen kunnen "reward hacking" vertonen, waarbij ze onjuiste scores toekennen aan voorkeursantwoorden (bijv. een schadelijk antwoord krijgt een hoge score, of een nuttig antwoord een lage score).
• Beperking van bestaande methoden: Huidige methoden om deze fouten te detecteren (zoals counterfactual generation) zijn vaak afhankelijk van a priori kennis over specifieke attributen (bijv. "lengte" of "hoofdletters"). In de praktijk is deze kennis vaak niet beschikbaar, waardoor deze methoden niet schaalbaar of generaliseerbaar zijn naar nieuwe modellen of distributies.

2. Methodologie: REFORM

De auteurs introduceren REFORM (Reward-Guided Failure Mode Discovery), een framework dat het reward model zelf gebruikt om zijn eigen kwetsbaarheden te vinden en te corrigeren. Het proces bestaat uit drie hoofdstappen:

A. Gestructureerde Ontdekking van Foutmodi (Failure Mode Discovery)

In plaats van externe attributen te gebruiken, gebruikt REFORM gecontroleerde decoding (controlled decoding) om "foute" voorbeelden te genereren.

• Doel: Het genereren van antwoorden die semantisch tot een bekende klasse behoren (bijv. "veilig" of "hulpvaardig"), maar die door het reward model onterecht een lage (of hoge) score krijgen.
• Mechanisme:
  1. Een beleid (policy) dat al gealigneerd is met de voorkeursdistributie genereert kandidaat-tokens.
  2. Het reward model stuurt de decoding aan om de verwachte reward te minimaliseren (voor voorkeursantwoorden) of te maximaliseren (voor afgekeurde antwoorden).
  3. Dit gebeurt via een geoptimaliseerd doelwit dat de reward minimaliseert, maar tegelijkertijd de taalfluïditeit behoudt (via een regularisatieterm gebaseerd op de originele policy).
  4. Dit resulteert in adversariële voorbeelden: antwoorden die correct zijn in inhoud, maar "falen" in de ogen van het reward model.

B. Data Augmentatie en Selectie

• Het framework selecteert de 5% meest invloedrijke trainingspunten (degenen met de laagste Bradley-Terry loss, wat aangeeft dat ze het leerproces het meest beïnvloeden).
• Voor deze punten worden de gegenereerde foutmodi gefilterd op basis van hun vermogen om de reward-schaal om te draaien (bijv. een voorkeursantwoord krijgt nu een lagere score dan het afgekeurde alternatief).
• Deze gefilterde "foutgevallen" worden toegevoegd aan de dataset als correcties.

C. Zelfverbetering (Self-Improvement)

• Het reward model wordt opnieuw getraind (of gefinetuned) op de uitgebreide dataset die nu zowel de originele voorbeelden als de gegenereerde foutmodi bevat.
• Door deze "uit de verdeling" (OOD) voorbeelden te zien tijdens training, leert het model om robuuster te zijn tegen perturbaties zoals onnodige lengte, hoofdlettergebruik van schadelijke woorden, herhaling of spellingfouten.

3. Belangrijkste Bijdragen

1. Model-afhankelijke Foutdetectie: Een nieuwe methode om foutmodi te ontdekken zonder externe kennis van attributen, puur door het reward model te gebruiken als gids voor de zoektocht.
2. REFORM Framework: Een volledig autonoom systeem dat reward modellen kan "harden" tegen adversariële aanvallen door zelf gegenereerde tegenvoorbeelden te gebruiken voor training.
3. Efficiëntie: Het is bewezen dat het corrigeren van slechts een klein deel van de dataset (de meest invloedrijke 5%) volstaat om aanzienlijke verbeteringen in robuustheid te bereiken, zonder de noodzaak voor enorme schalen van handmatige annotatie.
4. Behoud van Kwaliteit: Het bewijs dat robuustheid niet ten koste gaat van de oorspronkelijke prestaties of downstream alignment-kwaliteit.

4. Resultaten

De auteurs evalueren REFORM op twee datasets: Anthropic Helpful-Harmless (HH) en PKU Beavertails, met als basismodellen Mistral 7B en Qwen 2.5 14B.

• Detectie van Fouten (RQ1): REFORM slaagt er beter in dan baselines (zoals willekeurige perturbaties of attributegestuurde prompting) om semantisch correcte antwoorden te vinden die door het reward model onterecht slecht worden beoordeeld.
• Robuustheid (RQ2):
  • Reward modellen getraind met REFORM vertonen een aanzienlijk kleinere daling in "win-rate" (het vermogen om het juiste antwoord te kiezen) wanneer ze worden blootgesteld aan perturbaties zoals:
    • Verbosity: Onnodig lange antwoorden.
    • Capitalization: Schadelijke woorden in hoofdletters.
    • Repetition: Herhaling van schadelijke zinnen.
    • Misspelling: Opzettelijke spellingfouten in schadelijke termen.
  • REFORM presteert beter dan methoden die alleen binnen de bestaande dataset augmentatie toepassen (zoals RRM).
• Downstream Alignment (RQ3):
  • De robuustheid komt niet ten koste van de prestaties op onveranderde testdata.
  • Bij downstream taken (Best-of-N, PPO, DPO) behouden de modellen die zijn getraind met REFORM hun leesbaarheid, diversiteit en nuttigheid.
  • In sommige gevallen verbetert de alignment-kwaliteit zelfs doordat het model leert om spurious correlations (toevallige correlaties, zoals lengte of specifieke woordkeuze) te negeren.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het trainen van reward modellen. In plaats van te vertrouwen op statische datasets of externe interpretatie-methoden, stelt REFORM voor dat reward modellen zelf hun eigen zwaktes kunnen ontdekken en verhelpen.

• Praktische Impact: Het biedt een schaalbare, kosteneffectieve manier om LLM's veiliger en betrouwbaarder te maken tegen manipulaties, wat cruciaal is voor de inzet van AI in real-world scenario's waar adversariële aanvallen voorkomen.
• Toekomstvisie: De auteurs benadrukken dat hoewel de methode niet alle mogelijke fouten kan vinden (geen universele garantie), het een krachtige tool is om de "blinde vlekken" van reward modellen te dichten en zo de algehele alignatiekwaliteit te verhogen.

Samenvattend: REFORM maakt reward modellen robuuster door ze te laten "leren van hun eigen fouten" via gecontroleerde, adversariële generatie, zonder de kwaliteit van de output te verlagen.