Users as Annotators: LLM Preference Learning from Comparison Mode

Technische Samenvatting: Gebruikers als Annotatoren: Voorkeursleren van LLM's uit Vergelijkingsmodus

Probleemstelling
De uitlijning van Large Language Models (LLM's) met menselijke voorkeuren is doorgaans afhankelijk van gepaarde voorkeursdata, waarbij annotatoren de betere reactie kiezen tussen twee modeloutput. Traditioneel wordt deze data verzameld via professionele menselijke annotatoren, een proces dat kostbaar is en beperkt in schaal. Hoewel eindgebruikers van LLM-platforms (bijvoorbeeld via vergelijkingsmodi in ChatGPT) een enorme, schaalbare bron van voorkeursdata bieden, kampt deze aanpak met een kritiek gebrek aan kwaliteitscontrole. In tegenstelling tot professionele annotatoren zijn gebruikers niet gestimuleerd om consistente oordelen te geven en kunnen ze data willekeurig labelen. Bestaande kwaliteitscontroletechnieken, zoals "gouden vragen" of zelfconsistentiecontroles, zijn in deze setting onpraktisch omdat platforms geen controle hebben over gebruikersvragen of gedwongen herhaalde annotaties kunnen opleggen. De kernuitdaging ligt in het onderscheid maken tussen hoogwaardige, attente gebruikersfeedback en ruisende, oppervlakkige input zonder toegang tot ground-truth-labels of experttoezicht.

Methodologie
Het artikel stelt een raamwerk voor om de kwaliteit van gebruikersannotaties te beoordelen en data te filteren voor downstream uitlijningstaken (specifiek Direct Preference Optimization, of DPO). De methodologie steunt op drie kerncomponenten:

1. Asymmetrische Reactiegeneratie: In tegenstelling tot standaard voorkeurspijplijnen waarbij twee reacties worden gegenereerd vanuit hetzelfde model, genereert dit raamwerk twee reacties ($y_{i1}, y_{i2}$) vanuit twee verschillende LLM's ($P_A$ en $P_B$) met een bekende prestatiekloof. Deze asymmetrie creëert een statistische greep: een attente gebruiker wordt verwacht de sterkere model vaker te prefereren, terwijl een oppervlakkige gebruiker willekeurig kiest.
2. Gebruikersgedragsmodel: De auteurs modelleren het annotatiegedrag van gebruiker $j$ met een latente "attentie"-parameter $\eta_j \in [0, 1]$.
   • Als $\eta_j = 1$, treedt de gebruiker op als een perfecte annotator en kiest de reactie die door de populatie wordt geprefereerd met waarschijnlijkheid $p(x_i)$.
   • Als $\eta_j = 0$, kiest de gebruiker willekeurig ($50/50$).
   • De waarschijnlijkheid dat gebruiker $j$ reactie 1 kiest, wordt gemodelleerd als $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Hier vertegenwoordigt $p(x_i)$ de ware voorkeurswaarschijnlijkheid van de populatie (de waarschijnlijkheid dat Model A beter is dan Model B).
3. Expectation-Maximization (EM) Algoritme: Aangezien $\eta_j$ niet waarneembaar is, ontwikkelen de auteurs een EM-algoritme om de parameters van het gebruikersgedragsmodel te schatten (inclusief de verdeling van $\eta_j$ en de globale voorkeurswaarschijnlijkheid $\mu$).
   • E-stap: Berekent de posterieure verdeling van de attentie van elke gebruiker $\eta_j$ gegeven hun annotatiegeschiedenis en huidige parameterschattingen.
   • M-stap: Update de modelparameters om de verwachte log-likelihood van de volledige data te maximaliseren.
   • Het algoritme gaat uit van een bekende of schatbare globale voorkeurswaarschijnlijkheid $\mu$ (het gemiddelde winpercentage van Model A ten opzichte van Model B) om identificeerbaarheid te waarborgen, hoewel het artikel uitbreidingen bespreekt voor onbekend $\mu$.
   • Zodra $\eta_j$ is afgeleid, worden gebruikers gefilterd op basis van een drempelwaarde (bijvoorbeeld alleen diegenen behouden met een hoge posterieure waarschijnlijkheid van attente te zijn).

Belangrijkste Bijdragen

• Nieuw Annotatieraamwerk: Het artikel introduceert het eerste probabilistische model dat specifiek is ontworpen om gebruikersgedrag in LLM-vergelijkingsmodi te vangen, waarbij gebruik wordt gemaakt van de asymmetrie van reactiegeneratie vanuit twee verschillende modellen om datakwaliteit af te leiden.
• Statistische Inferentie via EM: Het ontwikkelt een EM-algoritme om latente gebruikersattentie en de onderliggende voorkeursverdeling te schatten. De auteurs bieden theoretische garanties, waarbij wordt aangetoond dat het algoritme onder specifieke regulariteitsvoorwaarden convergeert naar de ware parameters naarmate het aantal gebruikers en steekproeven toeneemt.
• Datafiltering voor Uitlijning: Het raamwerk demonstreert een praktische pijplijn waarbij afgeleide attentie wordt gebruikt om laagwaardige annotaties te filteren voordat er wordt getraind. Dit maakt het gebruik mogelijk van enorme, niet-gecontroleerde gebruikersdata terwijl ruis wordt gemitigeerd.

Experimentele Resultaten
De auteurs valideren hun aanpak via synthetische experimenten en downstream DPO-taken:

• Synthetische Convergentie: Simulaties bevestigen dat het EM-algoritme convergeert naar de ware parameters, ongeacht de initialisatie. Het algoritme toont ook robuustheid tegen modelmispecificatie (bijvoorbeeld het schatten van een discrete verdeling wanneer de ware verdeling continu is).
• DPO-prestaties: In experimenten met datasets zoals UltraFeedback en HelpSteer3 fine-tuneden de auteurs LLM's (bijvoorbeeld Qwen2.5-7B) met gefilterde data.
  • Filteren op attente gebruikers (behoud van de top 80% op basis van afgeleide attentie) verbeterde consistent de DPO-prestaties in vergelijking met training op ongefilterde data.
  • Verbeteringen omvatten hogere gemiddelde beloningsscores (in sommige gevallen een toename van meer dan 10%) en hogere winpercentages tegen basismodellen.
  • De experimenten benadrukten ook een afweging: hoewel filteren de kwaliteit verbetert, vermindert excessief filteren het datavolume. Er bestaat een optimale drempelwaarde afhankelijk van de onderliggende verdeling van gebruikersattentie.
  • De prestatiekloof tussen de twee generatiemodellen (vertegenwoordigd door $\mu$) bleek kritiek; als $\mu$ te dicht bij 0,5 ligt, worden attente en oppervlakkige gebruikers niet meer van elkaar te onderscheiden, wat het filterproces belemmert.

Betekenis en Claims
Het artikel claimt een schaalbare oplossing voor LLM-uitlijning te bieden door eindgebruikers om te vormen tot effectieve annotatoren. Door gebruikersgedrag te formaliseren en een statistisch mechanisme in te voeren om ruis te filteren, maakt het werk het gebruik mogelijk van enorme hoeveelheden door gebruikers gegenereerde voorkeursdata die eerder als te ruisend voor training werden beschouwd. De auteurs positioneren dit als een complementaire aanpak voor bestaande robuuste trainingsmethoden (zoals robuuste DPO), met focus op datakwaliteit voor training in plaats van alleen ruistolerantie tijdens training. Het werk opent ook de deur voor toekomstige gebruikersstimulatiemechanismen, zoals het belonen van gebruikers op basis van hun afgeleide attentieniveaus. De theoretische bijdrage ligt in de globale convergentiegaranties van het voorgestelde EM-algoritme voor dit specifieke gedragsmodel, wat een solide wiskundige basis biedt voor de aanpak.