Preference learning in shades of gray: Interpretable and bias-aware reward modeling for human preferences

Probleemstelling

Het trainen van taalmodellen om menselijke voorkeuren te leren (reward modeling) blijft fundamenteel uitdagend. In tegenstelling tot standaard toezichthoudende taken met duidelijke labels (juist/onjuist), werkt reward modeling met relatieve voorkeuren: het model moet bepalen welk van twee imperfecte antwoorden "beter" is. Dit wordt beschreven als het kiezen tussen "grijstinten" in plaats van zwart-wit beslissingen.

De belangrijkste uitdagingen zijn:

• Zwakke en subjectieve signalen: Menselijke annotaties zijn vaak inconsistent en afhankelijk van context (bijv. hulpvaardigheid, veiligheid, beleefdheid), wat resulteert in ruis in de trainingsdata.
• Compressie van informatie: Een rijke, multidimensionale menselijke beoordeling wordt gecomprimeerd tot één scalair signaal (gekozen vs. verworpen), waardoor het voor modellen moeilijk is om de onderliggende criteria te ontrafelen.
• Oppervlakkige patronen: Modellen neigen ernaar oppervlakkige kenmerken te leren (zoals langere antwoorden of beleefde formuleringen) in plaats van de werkelijke kwaliteit of veiligheid te begrijpen.
• Beperkte prestaties: Bestaande benaderingen, die uitsluitend vertrouwen op tekstuele embeddings, bereiken vaak een ROC-AUC onder de 0,74, wat aangeeft dat de taak moeilijk is om op te lossen met alleen tekst.

Methodologie

De auteurs stellen een hybride, feature-verrijkt framework voor om reward modeling te verbeteren. De aanpak omvat de volgende componenten:

1. Dataset: Gebruik van het Anthropic HH-RLHF-dataset, bestaande uit prompt-antwoordparen met labels voor "gekozen" (preferred) en "verworpen" (rejected) antwoorden.
2. Feature Augmentatie (Hybride Representatie): In plaats van alleen tekstuele embeddings te gebruiken, worden vier gestructureerde, interpreteerbare signalen toegevoegd aan de input:
   • Antwoordlengte: Aantal tokens/tekens.
   • Weigeringsindicatoren: Of het antwoord een weigering bevat (refusal).
   • Giftigheidsscores: Gemeten via de Detoxify-bibliotheek.
   • Semantische similariteit: De cosine-similariteit tussen de prompt en het antwoord.
3. Architectuur:
   • De tekst wordt verwerkt door een vooraf getrainde transformer-encoder (zoals DeBERTa-v3).
   • De gestructureerde features worden verwerkt via een aparte vector.
   • Een hybride scoring-head combineert de tekstuele representatie, de gestructureerde features en hun interactie-termen (elementsgewijze of bilineaire interactie) om een scalair reward-score te genereren.
4. Training:
   • Doelfunctie: Bradley-Terry parameterisatie om de waarschijnlijkheid te maximaliseren dat het gekozen antwoord een hogere score krijgt dan het verworpen antwoord.
   • Efficiëntie: Toepassing van LoRA (Low-Rank Adaptation) om de transformer-encoder efficiënt aan te passen zonder de volledige modelgewichten te updaten.
5. Interpretatie en Bias-analyse:
   • Toepassing van SHAP en LIME om token-level bijdragen te analyseren en te begrijpen waarom een model bepaalde antwoorden prefereert.
   • Correlatie-analyse om bias-amplificatie (bijv. voorkeur voor langere antwoorden) te detecteren.

Belangrijkste Bijdragen

1. Hybride Reward Modeling: Een nieuwe architectuur die tekstuele representaties combineert met expliciete, interpreteerbare features om menselijke voorkeuren beter te modelleren.
2. Verbeterde Prestaties: Het framework levert consistente verbeteringen op voor tien verschillende LLM-architecturen, wat aantoont dat gestructureerde features waardevolle aanvullende informatie bieden.
3. Interpreteerbaarheid: Integratie van XAI-methoden (SHAP/LIME) om inzicht te geven in de besluitvorming, waarbij wordt aangetoond dat modellen contextuele veiligheid en ondersteunende framing prioriteren boven geïsoleerde sleutelwoorden.
4. Bias-onderzoek: Een diepgaande analyse van hoe individuele features (zoals lengte en toon) en hun interacties bias in reward-modellen beïnvloeden, zelfs als individuele correlaties zwak zijn.

Resultaten

De experimenten werden uitgevoerd op tien diverse modellen (waaronder GPT-2, DeBERTa-v3, Pythia en Starling) met het HH-RLHF-dataset.

• Prestatieverbetering: De feature-verrijkte modellen vertoonden een significante stijging in prestaties ten opzichte van de tekst-only baselines.
  • De ROC-AUC steeg van een baseline van 0,74 naar 0,84 (+14%) voor het beste model (DeBERTa-v3-Large).
  • De Pairwise Accuracy steeg van 0,72 naar 0,83.
  • Alle geteste modellen lieten verbeteringen zien van ongeveer 7% tot 14%.
• Feature-Contributie (Ablatie-studie):
  • Giftigheid (Toxicity) bleek de meest invloedrijke individuele feature.
  • Semantische similariteit speelde een belangrijke rol bij het beoordelen van contextuele relevantie.
  • Lengte en weigeringen hadden een kleiner individueel effect, maar de combinatie van alle features leverde de grootste winst op, wat aangeeft dat menselijke voorkeuren multidimensionaal zijn en interacties vereisen.
• Interpretatie-inzichten:
  • SHAP/LIME-analyses toonden aan dat het model antwoorden prefereert die constructieve begeleiding bieden (bijv. "mindfulness", "ademhaling") in plaats van passieve validatie van schadelijk gedrag.
  • Bij voorbeelden met schadelijke inhoud (zoals pranks op school) bestrafte het model expliciet vernederende of onhygiënische acties sterker dan impliciete manipulatie.
• Bias-analyse:
  • Er is een lichte bias naar langere antwoorden en positievere toon, maar deze factoren alleen zijn niet voldoende om de voorkeur te verklaren.
  • De correlatie tussen features en voorkeur is individueel zwak, maar hun gezamenlijke interactie is cruciaal voor de modelbeslissingen.

Betekenis en Conclusie

Dit onderzoek benadrukt dat reward modeling voor LLMs niet kan worden opgelost met alleen tekstuele embeddings. Door het integreren van interpreteerbare, gestructureerde features (zoals giftigheid en lengte) in een hybride model, kunnen systemen menselijke voorkeuren nauwkeuriger en robuuster modelleren.

De studie toont aan dat:

1. Transparantie essentieel is: Zonder interpretatie (SHAP/LIME) is het moeilijk te begrijpen of een model echt kwaliteit leert of slechts oppervlakkige patronen (zoals lengte) volgt.
2. Multidimensionaliteit: Menselijke voorkeuren zijn complex; het combineren van verschillende signaaltypes is nodig om de "grijstinten" van menselijke oordelen te vangen.
3. Toekomstige richting: Voor betrouwbare en eerlijke AI-systemen moeten reward-modellen niet alleen accuraat zijn, maar ook vrij zijn van onbedoelde bias-amplificatie. De voorgestelde hybride aanpak biedt een solide basis voor veiligere en beter uitgelijnde AI-toepassingen in domeinen zoals zorg en onderwijs.