Technische Zusammenfassung: Personalisierung von LLMs mit binärem Feedback (C-BPO)

1. Problemstellung

Die Personalisierung von Large Language Models (LLM) zielt darauf ab, das Modellverhalten mit den individuellen Benutzerpräferenzen in Einklang zu bringen. Während bestehende Methoden retrievalbasiertes Prompting oder parameter-effizientes Fine-Tuning (PEFT) auf isolierten Benutzerhistorien nutzen, vernachlässigen sie häufig die entscheidende Rolle von Inter-User-Unterschieden. Neuere Erkenntnisse der Verhaltenswissenschaft deuten darauf hin, dass Individualität durch die Abweichung eines Benutzers von der allgemeinen Bevölkerung definiert wird.

Aktuelle Präferenzoptimierungsrahmen, wie Direct Preference Optimization (DPO), erfordern kontrastive Paare (bevorzugte vs. nicht-bevorzugte Vervollständigungen für denselben Eingabewert), die in rohen, ungepaarten historischen Benutzerdaten nicht verfügbar sind. Obwohl neuere Fortschritte eine Ausrichtung über binäres Feedback (z. B. „Daumen hoch" oder „Daumen runter" bei einzelnen Datenpunkten) ermöglichen, führt die direkte Anwendung dieser Methoden auf die Personalisierung zu einem fundamentalen Mangel: Präferenzüberlappung.

In einem personalisierten Kontext ist es problematisch, Daten anderer Benutzer als rein negative („Daumen runter") Signale zu behandeln. Diese Hilfsdatensätze teilen unvermeidlich generische aufgabenbezogene Kenntnisse und stilistische Präferenzen der gesamten Gemeinschaft mit dem Zielbenutzer. Eine naive Bestrafung dieser Daten zwingt das Modell, fälschlicherweise geteilte, hilfreiche Merkmale zu unterdrücken, wodurch die allgemeine Leistung beeinträchtigt wird, während versucht wird, individuelle Nuancen zu erfassen.

2. Methodik: C-BPO-Rahmenwerk

Die Autoren schlagen C-BPO (Preference-Calibrated Binary Feedback Preference Optimization) vor, ein Rahmenwerk, das LLMs personalisiert, indem es Inter-User-Variabilität als natürliches kontrastives Signal nutzt und gleichzeitig der Präferenzüberlappung entgegenwirkt.

2.1 Kernformulierung

C-BPO fasst die Personalisierung als Optimierungsproblem mit binärem Feedback zusammen:

• Positive Signale ($D_+$): Die historischen Interaktionsdaten des Zielbenutzers ($H_{tar}$).
• Implizite negative Signale ($D_-$): Daten aus einem Pool von Hilfsbenutzern ($H_{aux}$).

Im Gegensatz zu Standardmethoden für Binary Feedback Preference Optimization (BPO) (z. B. KTO, BCO), die „saubere" negative Labels voraussetzen, erkennt C-BPO an, dass $H_{aux}$ eine Mischung aus echten negativen Signalen (benutzerspezifische Abneigungen) und positiven Signalen (geteilte Gemeinschaftspräferenzen) darstellt.

2.2 Präferenzkalibriertes Ziel via PU-Learning

Um das Problem der Präferenzüberlappung zu adressieren, leitet C-BPO ein Optimierungsziel ab, das auf der Theorie des Positive-Unlabeled (PU) Learning basiert. Die zentrale Erkenntnis besteht darin, dass die Hilfsdaten als ungelabelte Menge wirken, die eine Mischung aus positiven und negativen Verteilungen enthält.

Die Autoren reformulieren die Risikoschätzung, um das wahre negative Risiko zu gewinnen, indem sie die „positive Verzerrung" (das erwartete Risiko von Zielpräferenzen, die in den breiteren Benutzerdaten enthalten sind) subtrahieren. Die finale Zielfunktion ($L_{C-BPO}$) ist definiert als:

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

Wobei:

• $L_{pos}$: Der Verlust auf den Daten des Zielbenutzers (Positive Ausrichtung).
• $L_{pure\_neg}$: Der gereinigte negative Verlust, berechnet als $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$.
• $\alpha$: Ein Korrekturkoeffizient ($0 < \alpha < 1$), der den Grad der Überlappung von Präferenzmerkmalen zwischen dem Zielbenutzer und den Hilfsbenutzern darstellt. Er quantifiziert den Anteil der Hilfsdaten, der funktional als positives Signal dient.

Diese Formulierung „reinigt" die negativen Signale explizit und stellt sicher, dass sich das Modell auf einzigartige individuelle Eigenheiten konzentriert, anstatt allgemeine Hilfsbereitschaft zu unterdrücken.

2.3 Umgang mit Datenungleichgewicht

In personalisierten Szenarien übersteigt das Volumen an Hilfsdaten das des Zielbenutzers oft weitgehend. Standard-BPO-Methoden schätzen einen Referenzpunkt ($\delta$) durch Mittelung der Belohnungen über einen Batch, was zu einer Drift führen kann, wenn der Batch unausgewogen ist. C-BPO führt eine unabhängige Schätzung des Referenzpunkts mittels Exponential Moving Average (EMA) ein. Es werden separate EMA-Statistiken für positive und Hilfs-Belohnungen gepflegt, wobei $\delta_{EMA}$ als deren Mittelwert berechnet wird. Dies gewährleistet eine stabile Entscheidungsgrenze, die gegenüber Batch-Level-Datenungleichgewichten invariant ist.

3. Hauptbeiträge

1. Neuartige Rahmung: Die Arbeit ist die erste, die die Personalisierung von LLMs als Optimierungsproblem für binäres Feedback-Präferenzen formuliert und Inter-User-Variabilität als natürliches kontrastives Signal für die Ausrichtung auf Individualebene nutzt, ohne gepaarte Daten zu benötigen.
2. Theoretische Innovation: Die Autoren identifizieren das Problem der „Präferenzüberlappung" bei Standard-BPO für die Personalisierung und formulieren ein präferenzkalibriertes Ziel auf Basis der PU-Learning-Theorie, um eine unverzerrte Präferenzausrichtung zu erreichen.
3. Empirische Validierung: Umfassende Experimente über fünf personalisierte Generierungsaufgaben (Nachrichtenüberschrift, Wissenschaftlicher Titel, Abstract, Rezension und Themenschreiben) und verschiedene Backbone-LLMs (LLaMA, Qwen, Mistral) zeigen, dass C-BPO konsistent starke Baselines, einschließlich SFT-basierter Adapter und bestehender binärer Feedback-Methoden, übertrifft.

4. Experimentelle Ergebnisse

Die Autoren bewerteten C-BPO auf den Benchmarks LaMP und LongLaMP unter Verwendung von Mistral-7B-, LLaMA-3- und Qwen2.5-Backbones.

• Leistung: C-BPO erzielte konsistent die besten ROUGE-1- und ROUGE-L-Werte über alle Aufgaben hinweg. Beispielsweise erreichte C-BPO bei der Aufgabe „Nachrichtenüberschrift" einen ROUGE-L-Wert von 0,198 und übertraf damit die beste Baseline (CoPE, eine DPO-basierte Methode) mit 0,184 sowie Standard-BPO-Methoden (BCO mit 0,179).
• Vergleich mit Baselines:
  • Standard-Binärfedback-Methoden (KTO, BCO) schnitten bei naiver Anwendung auf die Personalisierung oft schlechter ab als SFT-basierte Baselines (OPPU), was die schädliche Wirkung unkorrigierter Präferenzüberlappung bestätigt.
  • C-BPO übertraf DPO-basierte Methoden (CoPE), die komplexe Ablehnungsstichproben zur Konstruktion negativer Paare erfordern.
• Ablationsstudien:
  • Volumen an Hilfsdaten: Eine Erhöhung des Volumens an Hilfsdaten garantiert keine monotonen Gewinne; eine ausreichende Menge an Daten des Zielbenutzers ist erforderlich, um den Entzerrungsprozess zu verankern.
  • Einzigartigkeit des Benutzers: C-BPO zeigte die signifikantesten Verbesserungen bei „einzigartigen" Benutzergruppen (hohe Inter-User-Distanz), während Standard-BPO-Methoden bei „nicht-einzigartigen" Gruppen (hohe Überlappung) keine Gewinne erzielten.
  • Referenzpunkt: Die unabhängige EMA-Strategie war entscheidend für die Stabilität und verhinderte Leistungsabfälle bei unausgewogenen Datenverhältnissen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass C-BPO eine robuste, theoretisch fundierte und skalierbare Lösung zur Ausrichtung von LLMs auf nuancierte individuelle Präferenzen bietet. Ihre Bedeutung liegt in:

• Effizienz: Sie eliminiert die Notwendigkeit, teure kontrastive Paare zu konstruieren (wie bei DPO) oder sich auf ressourcenintensive LLMs für textuelle Vergleiche zu verlassen.
• Datennutzung: Sie nutzt effektiv rohe, ungepaarte historische Daten sowohl des Zielbenutzers als auch der Hilfsbenutzer und wandelt das „Rauschen" geteilter Präferenzen in ein kalibriertes Signal um.
• Generalisierung: Das Rahmenwerk ist modellagnostisch und effektiv über verschiedene Backbone-Architekturen und Aufgabentypen hinweg.

Die Autoren erkennen Einschränkungen an, darunter die Empfindlichkeit gegenüber dem Kalibrierungskoeffizienten $\alpha$ (obwohl eine Schätzmethode bereitgestellt wird) und die Notwendigkeit des Zugriffs auf einen zentralisierten Hilfsdatensatz, was in föderierten oder geräteseitigen Umgebungen Datenschutzherausforderungen mit sich bringt. Dennoch etabliert die Arbeit ein neues Paradigma für die Personalisierung, das über die isolierte Historienmodellierung hinausgeht und zu einer expliziten, präferenzkalibrierten Inter-User-Vergleichung führt.