Users as Annotators: LLM Preference Learning from Comparison Mode

Technische Zusammenfassung: Nutzer als Annotatoren: LLM-Präferenzlernen aus dem Vergleichsmodus

Problemstellung
Die Ausrichtung von Large Language Models (LLMs) auf menschliche Präferenzen stützt sich typischerweise auf paarweise Präferenzdaten, bei denen Annotatoren die bessere Antwort zwischen zwei Modelloutputs auswählen. Traditionell werden diese Daten durch professionelle menschliche Annotatoren gesammelt, ein Prozess, der kostspielig ist und in seiner Skalierbarkeit begrenzt bleibt. Zwar bieten Endnutzer von LLM-Plattformen (z. B. über Vergleichsmodi in ChatGPT) eine riesige, skalierbare Quelle für Präferenzdaten, doch dieser Ansatz leidet unter einem kritischen Mangel an Qualitätskontrolle. Im Gegensatz zu professionellen Annotatoren sind Nutzer nicht dazu angehalten, konsistente Urteile abzugeben, und können Daten zufällig kennzeichnen. Bestehende Techniken zur Qualitätskontrolle, wie „Goldene Fragen" oder Selbstkonsistenzprüfungen, sind in diesem Setting unpraktikabel, da Plattformen keine Kontrolle über Nutzerabfragen haben oder wiederholte Annotationen erzwingen können. Die Kernherausforderung besteht darin, hochwertige, aufmerksame Nutzerfeedbacks von verrauschten, oberflächlichen Eingaben zu unterscheiden, ohne Zugriff auf Ground-Truth-Labels oder Expertenüberwachung zu haben.

Methodik
Die Arbeit schlägt ein Framework vor, um die Qualität von Nutzerannotationen zu bewerten und Daten für nachgelagerte Ausrichtungsaufgaben (insbesondere Direct Preference Optimization, kurz DPO) zu filtern. Die Methodik stützt sich auf drei Hauptkomponenten:

1. Asymmetrische Antwortgenerierung: Im Gegensatz zu Standard-Präferenzpipelines, bei denen zwei Antworten aus demselben Modell generiert werden, generiert dieses Framework zwei Antworten ($y_{i1}, y_{i2}$) aus zwei verschiedenen LLMs ($P_A$ und $P_B$) mit einer bekannten Leistungslücke. Diese Asymmetrie schafft einen statistischen Hebel: Ein aufmerksamer Nutzer wird erwartet, dass er das stärkere Modell häufiger bevorzugt, während ein oberflächlicher Nutzer zufällig wählt.
2. Nutzer-Verhaltensmodell: Die Autoren modellieren das Annotationsverhalten des Nutzers $j$ mittels eines latenten „Aufmerksamkeits"-Parameters $\eta_j \in [0, 1]$.
   • Wenn $\eta_j = 1$, agiert der Nutzer als perfekter Annotator und wählt die Antwort mit der Wahrscheinlichkeit $p(x_i)$, die von der Population bevorzugt wird.
   • Wenn $\eta_j = 0$, wählt der Nutzer zufällig (50/50).
   • Die Wahrscheinlichkeit, dass Nutzer $j$ Antwort 1 auswählt, wird modelliert als $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Hier repräsentiert $p(x_i)$ die wahre Präferenzwahrscheinlichkeit der Population (die Wahrscheinlichkeit, dass Modell A besser ist als Modell B).
3. Expectation-Maximization (EM) Algorithmus: Da $\eta_j$ nicht beobachtbar ist, entwickeln die Autoren einen EM-Algorithmus, um die Parameter des Nutzer-Verhaltensmodells (einschließlich der Verteilung von $\eta_j$ und der globalen Präferenzwahrscheinlichkeit $\mu$) zu schätzen.
   • E-Schritt: Berechnet die Posterior-Verteilung der Aufmerksamkeitsparameter $\eta_j$ jedes Nutzers basierend auf deren Annotationshistorie und aktuellen Parameterschätzungen.
   • M-Schritt: Aktualisiert die Modellparameter, um die erwartete Log-Likelihood der vollständigen Daten zu maximieren.
   • Der Algorithmus geht von einer bekannten oder schätzbaren globalen Präferenzwahrscheinlichkeit $\mu$ (die durchschnittliche Gewinnrate von Modell A gegenüber Modell B) aus, um die Identifizierbarkeit sicherzustellen, obwohl die Arbeit Erweiterungen für unbekanntes $\mu$ diskutiert.
   • Sobald $\eta_j$ inferiert wurde, werden Nutzer basierend auf einem Schwellenwert gefiltert (z. B. nur diejenigen behalten, die eine hohe Posterior-Wahrscheinlichkeit für Aufmerksamkeit aufweisen).

Hauptbeiträge

• Neuartiges Annotationsframework: Die Arbeit stellt das erste probabilistische Modell vor, das speziell entwickelt wurde, um das Nutzerverhalten in LLM-Vergleichsmodi zu erfassen, indem die Asymmetrie der Antwortgenerierung aus zwei verschiedenen Modellen genutzt wird, um die Datenqualität zu inferieren.
• Statistische Inferenz via EM: Es wird ein EM-Algorithmus entwickelt, um latente Nutzer-Aufmerksamkeit und die zugrundeliegende Präferenzverteilung zu schätzen. Die Autoren liefern theoretische Garantien, die zeigen, dass der Algorithmus unter spezifischen Regularitätsbedingungen gegen die wahren Parameter konvergiert, wenn die Anzahl der Nutzer und Stichproben zunimmt.
• Datenfilterung für Ausrichtung: Das Framework demonstriert eine praktische Pipeline, bei der die inferierte Aufmerksamkeit genutzt wird, um vor dem Training qualitativ minderwertige Annotationen herauszufiltern. Dies ermöglicht die Nutzung massiver, ungeprüfter Nutzerdaten bei gleichzeitiger Reduzierung von Rauschen.

Experimentelle Ergebnisse
Die Autoren validieren ihren Ansatz durch synthetische Experimente und nachgelagerte DPO-Aufgaben:

• Synthetische Konvergenz: Simulationen bestätigen, dass der EM-Algorithmus unabhängig von der Initialisierung gegen die wahren Parameter konvergiert. Der Algorithmus zeigt zudem Robustheit gegenüber Fehlspezifikation des Modells (z. B. Schätzung einer diskreten Verteilung, wenn die wahre Verteilung kontinuierlich ist).
• DPO-Leistung: In Experimenten mit Datensätzen wie UltraFeedback und HelpSteer3 fine-tunten die Autoren LLMs (z. B. Qwen2.5-7B) unter Verwendung gefilterter Daten.
  • Das Filtern nach aufmerksamen Nutzern (Beibehaltung der Top 80 % nach inferierter Aufmerksamkeit) verbesserte die DPO-Leistung im Vergleich zum Training mit ungefilterten Daten konsistent.
  • Die Verbesserungen umfassten höhere durchschnittliche Belohnungswerte (in einigen Fällen über 10 % Steigerung) und höhere Gewinnraten gegenüber Baseline-Modellen.
  • Die Experimente hoben zudem einen Trade-off hervor: Während Filtern die Qualität verbessert, reduziert übermäßiges Filtern das Datenvolumen. Ein optimaler Schwellenwert existiert, abhängig von der zugrundeliegenden Verteilung der Nutzer-Aufmerksamkeit.
  • Es wurde festgestellt, dass die Leistungslücke zwischen den beiden Generierungsmodellen (repräsentiert durch $\mu$) kritisch ist; wenn $\mu$ zu nahe bei 0,5 liegt, werden aufmerksame und oberflächliche Nutzer ununterscheidbar, was den Filterprozess behindert.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine skalierbare Lösung für die LLM-Ausrichtung zu bieten, indem Endnutzer in effektive Annotatoren verwandelt werden. Durch die Formalisierung des Nutzerverhaltens und die Einführung eines statistischen Mechanismus zum Filtern von Rauschen ermöglicht die Arbeit die Nutzung riesiger Mengen an von Nutzern generierten Präferenzdaten, die zuvor als zu verrauscht für das Training galten. Die Autoren positionieren dies als ergänzenden Ansatz zu bestehenden robusten Trainingsmethoden (wie robustem DPO), mit Fokus auf Datenqualität vor dem Training und nicht nur auf Rauschtoleranz während des Trainings. Die Arbeit ebnet zudem den Weg für zukünftige Nutzer-Anreizmechanismen, wie z. B. die Belohnung von Nutzern basierend auf ihren inferierten Aufmerksamkeitsniveaus. Der theoretische Beitrag liegt in den globalen Konvergenzgarantien des vorgeschlagenen EM-Algorithmus für dieses spezifische Verhaltensmodell und bietet eine solide mathematische Grundlage für den Ansatz.