WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

Probleemstelling

De uitlijning van Large Language Models (LLMs) met menselijke voorkeuren is een kritieke uitdaging. Traditionele methoden, zoals Reinforcement Learning from Human Feedback (RLHF), zijn afhankelijk van handmatig geannoteerde datasets of synthetische data gegenereerd door andere LLMs. Deze benaderingen hebben aanzienlijke beperkingen:

1. Resource-intensief en schaalsproblemen: Menselijke annotatie is duur en tijdrovend, wat de schaalbaarheid beperkt.
2. Subjectiviteit en bias: Menselijke annotatoren vertegenwoordigen niet altijd de brede diversiteit aan gebruikersvoorkeuren.
3. Synthetische feedback loops: Het gebruik van LLM-generaties voor voorkeursdata kan leiden tot een feedbacklus waarbij het model zijn eigen biases versterkt in plaats van authentieke menselijke perspectieven te vangen.
4. Mismatch met realiteit: Bestaande datasets vangen vaak niet de dynamische en evoluerende behoeften van echte gebruikers in real-time interacties.

Methodologie: WildFeedback Framework

Het paper introduceert WildFeedback, een nieuw raamwerk dat gebruikmaakt van in-situ (op de locatie plaatsvinden) gebruikersfeedback tijdens echte conversaties met LLMs om automatisch voorkeursdatasets te creëren. Het proces verloopt in drie hoofdstappen:

1. Identificatie van Feedbacksignalen (Feedback Signal Identification)

Het team gebruikt een corpus van meer dan 148.000 multi-turn conversaties tussen gebruikers en ChatGPT (het WildChat-dataset).

• SAT/DSAT Classificatie: Met behulp van de SPUR-methode (Lin et al., 2024b) en aangepaste rubrieken, identificeert GPT-4 gebruikersuitingen die SAT (tevredenheid) of DSAT (ontevredenheid) signaleren.
• Rubrieken: Er worden 9 categorieën voor tevredenheid (bijv. dankbaarheid, leren, lof) en 9 voor ontevredenheid (bijv. revisieverzoek, feitelijke fouten, onvoldoende detail) gebruikt.
• Validatie: GPT-4's classificatieprestaties tonen een hoge overeenkomst met menselijke annotatoren (Cohen's Kappa van 0,69 voor SAT en 0,50 voor DSAT).

2. Constructie van Voorkeursdata (Preference Data Construction)

Nadat conversaties met feedbacksignalen zijn geïdentificeerd, worden gepaarde voorkeursdata gegenereerd:

• Prompt: De conversatiegeschiedenis tot aan het punt van ontevredenheid (DSAT).
• Dispreferred Response: Het oorspronkelijke antwoord van het model dat de ontevredenheid uitlokte.
• Preferred Response: Een nieuw gegenereerd antwoord dat voldoet aan de samengevatte gebruikersvoorkeuren.
  • Expert-versie: GPT-4 genereert het voorkeursantwoord op basis van de samenvatting van de gebruikersfeedback.
  • On-policy-versie: Het specifieke beleidmodel (bijv. Phi-3, Qwen-2, LLaMA-3) genereert het antwoord.
• Veiligheid: Er worden extra veiligheidsmaatregelen toegepast om te voorkomen dat het model schadelijke voorkeuren (bijv. expliciete inhoud) leert.

3. Checklist-geleide Evaluatie (Checklist-guided Evaluation)

Om de kwaliteit van de gegenereerde data en de modelprestaties te beoordelen, introduceert het paper een nieuwe evaluatiemethode:

• In plaats van een algemene beoordeling, wordt een instance-level checklist gegenereerd op basis van de specifieke gebruikersfeedback (bijv. "het antwoord moet beknopt zijn" of "geen feitelijke fouten").
• GPT-4 fungeert als rechter en beoordeelt antwoorden tegen deze specifieke checklist. Dit vermindert de bias van LLMs als rechters (die vaak voor langere antwoorden kiezen) en zorgt voor een nauwkeurigere afstemming op echte gebruikersbehoeften.

Belangrijkste Bijdragen

1. WildFeedback Framework: Een innovatief systeem dat voorkeursdatasets bouwt vanuit echte, natuurlijke interacties in plaats van synthetische of handmatig geannoteerde data. Dit lost problemen rond schaalbaarheid, subjectiviteit en bias op.
2. Robuuste Dataconstructie: Een nuanceerde dataset van 20.281 voorkeursparen die zowel expliciete als impliciete feedback van gebruikers omvat, inclusief de context van de conversatie en de specifieke voorkeuren.
3. Checklist-geleide Evaluatie: Een nieuwe evaluatiemetafoor die modelprestaties meet aan de hand van daadwerkelijke gebruikersvoorkeuren, wat leidt tot betrouwbaardere benchmarks dan traditionele methoden.

Resultaten

Het team heeft modellen (Phi-3, LLaMA-3, Qwen-2) getraind op de WildFeedback-dataset en vergeleken met basismodellen en modellen getraind op ULTRAFEEDBACK (een populaire synthetische dataset).

• Verbeterde Prestaties: Modellen getraind op WildFeedback presteerden significant beter op standaard benchmarks zoals AlpacaEval 2, Arena-Hard en MT-Bench.
  • Voorbeeld: De length-controlled win-rate van Phi-3 op AlpacaEval 2 steeg van 24,3% naar 34,9% na training met de GPT-4-versie van WildFeedback.
• Betere Uitlijning met Gebruikers: In de specifieke WildFeedback-testset (gebaseerd op echte ontevredenheidssignalen) overtroffen getrainde modellen de baselines consistent.
  • Bij evaluatie met een checklist (die de echte gebruikersvoorkeur simuleert) steeg de win-rate van LLaMA-3 (getraind op WildFeedback) ten opzichte van ULTRAFEEDBACK naar 50,8%.
• Effectiviteit van de Checklist: De resultaten tonen aan dat evaluaties zonder checklist vaak niet de voorkeuren van de gebruiker weerspiegelen, terwijl de checklist-geleide methode de selectie van het beste antwoord aanzienlijk verbetert.

Betekenis en Conclusie

WildFeedback markeert een verschuiving in het veld van LLM-uitlijning: van statische, handmatig gecurateerde datasets naar dynamisch leren van echte gebruikersinteracties.

• Authenticiteit: Het dataset vangt de complexiteit en diversiteit van echte menselijke interacties beter dan synthetische data.
• Schaalbaarheid: Door gebruik te maken van bestaande conversatielogbestanden en geautomatiseerde classificatie, is de methode schaalbaar zonder de hoge kosten van menselijke annotatie.
• Toekomstperspectief: Hoewel er risico's zijn op "spurious preferences" (bijv. gebruikers die schadelijke inhoud vragen) en selectiebias (gebruikers geven vaker feedback bij ontevredenheid), biedt WildFeedback een solide basis voor het ontwikkelen van meer gebruikersgerichte en responsieve AI-systemen.

Kortom, dit werk bewijst dat het direct leren van in-situ feedback een krachtigere route is om LLMs te aligneren met menselijke waarden dan traditionele methoden.