Technische Samenvatting: LLM-alignment met behulp van impliciete feedback van gebruikers

Probleemstelling

Huidige methoden voor het afstemmen (aligning) van Large Language Models (LLMs) op menselijke voorkeuren leunen zwaar op expliciete feedback (bijv. duimpjes omhoog/omlaag ratings). Deze aanpak kampt met twee kritieke beperkingen:

1. Schaarsheid en Kosten: Slechts 1–3% van de gebruikers geeft expliciete feedback, waardoor hoogwaardige annotatie van voorkeuren duur en moeilijk schaalbaar is.
2. Onderbenutting van Impliciete Signalen: Hoewel impliciete feedback (bijv. click-through rates) essentieel is geweest voor zoekmachines en aanbevelingssystemen, blijft het ondergeëxploreerd voor LLMs. Bestaande systemen missen vaak de "klik"-signalen die in andere domeinen wel aanwezig zijn, en het is onduidelijk hoe gebruikersinteracties (zoals leesgedrag) geïnterpreteerd kunnen worden als betrouwbare trainingssignalen.

Het paper stelt dat de natuurlijke interacties van gebruikers met LLM-responsen—specifiek muisbewegingen en oogbewegingspatronen—rijke, schaalbare signalen van voorkeur bevatten die momenteel genegeerd worden.

Methodologie

1. Datacollectie: De IFLLM-dataset

De auteurs hebben IFLLM (Implicit Feedback for Large Language Models) geconstrueerd, de eerste dataset die muis- en oogbewegingstrajecten vastlegt naast expliciete voorkeuren in een realistische, multi-turn conversatieomgeving.

• Deelnemers: 59 unieke Amazon Mechanical Turk (MTurk) werkers.
• Taak: Gebruikers namen deel aan multi-turn Q&A-sessies over 1.336 onderwerpen (afgeleid van Wikipedia). Zij interacteerden met vier LLM's (DeepSeek V3, GPT-4o Mini, Claude Sonnet 4.5, Llama 3.3 70B).
• Instellingen:
  • Pairwise: Het vergelijken van twee antwoorden naast elkaar.
  • Pointwise: Het scoren van een enkel antwoord op een 5-punts Likert-schaal.
• Instrumentatie: Een op maat gemaakt webgebaseerd crowdsourcingplatform dat gebruikmaakt van WebGazer.js om oogbewegingen te volgen via standaard webcams (waardoor gespecialiseerde laboratoriumapparatuur overbodig is) en het registreren van muiscoördinaten met een frequentie van 10Hz (elke 0,1s).
• Kalibratie: Gebruikers ondergingen een kalibratieproces om de nauwkeurigheid van de oogtracking te waarborgen (70% drempelwaarde) voordat de datacollectie begon.

2. Analyse van Gebruikersgedrag

De auteurs analyseerden de verzamelde trajecten om leespatronen te begrijpen:

• Afhankelijkheid van Responslengte: Voor korte responsen zijn muis- en oogtrajecten zwak gecorreleerd. Voor middelmatige en lange responsen worden ze sterk gecorreleerd omdat gebruikers moeten scrollen, wat de muisbeweging dwingt om de voortgang van het lezen te volgen.
• Aandachtsverdeling: Gebruikers concentreren zich vaker op het begin van responsen, maar de aandacht verschuift op basis van de lay-out (bijv. linker vs. rechter kolommen in pairwise settings).
• Individuele Variabiliteit: Leesgedrag is zeer divers, variërend van lineair lezen tot uitgebreid heen en weer reviewen.

3. Training van het Reward Model

De auteurs trainden een Random Forest (RF) reward model om gebruikersvoorkeuren te voorspellen met behulp van kenmerken geëxtraheerd uit de impliciete feedback.

• Feature Extractie: Kenmerken omvatten teksteigenschappen (lengte van query/respons) en trajectmetrieken (leestijd, maximale bekeken karakterindex, reviewtijd en de ratio tussen oogbeweging en muisbeweging).
• Feature Selectie: Het model identificeerde dat impliciete feedback-kenmerken (vooral muisbeweging) voorspellender waren dan tekstgebaseerde kenmerken of zelfs de identiteit van de genererende LLM.
• Vergelijking: Het impliciete feedback-model werd vergeleken met standaard tekst-only modellen (ModernBERT) en zero-shot LLM judges.

4. LLM-alignment (DPO)

De getrainde reward modellen werden gebruikt om acht verschillende base LLM's (variërend van 1B tot 4B parameters) af te stemmen met behulp van Direct Preference Optimization (DPO) en rDPO (regularized DPO met Negative Log Likelihood).

• Proces: De modellen werden eerst Supervised Fine-Tuned (SFT) op de responsen, en vervolgens geoptimaliseerd met behulp van de voorkeuren voorspeld door de reward modellen.
• Evaluatie: De kwaliteit van de gealigneerde LLM's werd geëvalueerd door GPT-4.1-mini en gevalideerd via een kleinschalig menselijk experiment waarbij werkers feitelijke beweringen verifieerden.

Belangrijkste Resultaten

1. Nauwkeurigheid van Voorkeurenvoorspelling

• Baseline: Een standaard tekstgebaseerd reward model (ModernBERT) behaalde een nauwkeurigheid van ongeveer 55%.
• Impliciete Feedback: Het integreren van impliciete feedback (muis en oog) via het Random Forest-model verhoogde de nauwkeurigheid naar 64%.
• Belang van Signalen: Het verwijderen van muisdata veroorzaakte een significante daling in prestaties, terwijl het verwijderen van oogdata een kleinere impact had. Dit suggereert dat muisbeweging een sterker signaal is, vooral voor langere responsen waarvoor gescrold moet worden.

2. Verbeteringen in LLM-alignment

• Responskwaliteit: Het toepassen van DPO met het impliciete feedback-reward model verbeterde de kwaliteit van de responsen aanzienlijk ten opzichte van alleen SFT.
• Win Rates: De "DPO vs. SFT" win rate steeg van 0,12 (met tekst-only rewards) naar 0,35 (met impliciete feedback rewards).
• Efficiëntie: De aanpak met impliciete feedback produceerde kwalitatief betere responsen met een aanzienlijk kortere gemiddelde lengte (202,5 tokens vs. 228,6 tokens voor SFT), wat wijst op een betere beknoptheid en relevantie.
• Model-agnosticisme: De verbeteringen waren consistent over verschillende base modellen, inclus\t de recente Qwen-series.

Betekenis en Bijdragen

Het paper claimt drie primaire bijdragen:

1. IFLLM Dataset: De creatie en release van de eerste dataset die webcam-gebaseerde oogbeweging en mustrajecten koppelt aan expliciete voorkeuren in een multi-turn conversatiecontext. De auteurs geven ook de broncode van de datacollectie-website vrij om toekomstig onderzoek te faciliteren.
2. Systematische Analyse: De eerste diepgaande analyse van diverse leesgedragingen (oog en muis) en een vergelijkende evaluatie van hun effectiviteit voor het trainen van reward modellen. De studie onthult dat muistrajecten een cruciaal, voorheen onderbenut signaal zijn voor langere inhoud.
3. Schaalbare Alignment: De demonstratie dat impliciete feedback de nauwkeurigheid van reward modellen substantieel kan verbeteren, en daarmee de kwaliteit van gealigneerde LLM's. De auteurs stellen dat dit de basis legt voor schaalbare gepersonaliseerde alignment, wat potentieel een "zelfversterkende data-flywheel" creëert waarbij gewone gebruikersinteracties de systeemprestaties continu verbeteren zonder dat er dure expliciete labeling nodig is.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij zij opmerken dat hun reward model vereist dat gebruikers responsen bekijken om data te verzamelen (een vereiste voor RLHF toch al) en dat zij multi-turn contexten voor deze studie hebben vereenvoudigd tot single-turn sessies. Ze erkennen ook ethische overwegingen met betrekking tot privacy en het potentieel voor een verminderde diversiteit in LLM-keuzes als data-flywheels dominant worden.