Technische Zusammenfassung: DUET – Optimierung von LLM-Trainingsdatenkombinationen durch verrauschtes Feedback von nicht gesehenen Evaluierungsaufgaben

1. Problemstellung

Die Leistungsfähigkeit von Large Language Models (LLMs) hängt stark von der Übereinstimmung zwischen dem Bereich der Trainingsdaten und der nachgelagerten Evaluierungsaufgabe ab. In vielen praktischen Einsatzszenarien sind jedoch die spezifische Datenverteilung, der Bereich oder die Labels der Evaluierungsaufgabe unbekannt. Dies wird als Setting der nicht gesehenen Evaluierungsaufgabe bezeichnet.

Häufige Beispiele umfassen:

• End-to-End-verschlüsselte Konversationen: LLM-Betreiber können aufgrund von Datenschutzbestimmungen (z. B. unternehmensinterne Datenschutzrichtlinien) nicht auf die tatsächlichen Daten der Nutzer-Chatbot-Konversation zugreifen, können aber grobes Feedback wie Nutzerbewertungen oder Sitzungsdauern beobachten.
• Modellmarktplätze: Ein Modellbetreiber verkauft ein Modell an einen Kunden, der Feedback zur Leistung gibt, ohne die sensiblen Evaluierungsdaten preiszugeben, die vom Kunden verwendet werden.

In diesen Settings erhält der Betreiber nur grobes, verrauschtes Feedback (z. B. Bewertungen, Zeit bis zum Aufgabenerfolg) anstelle von detaillierten Dateninformationen (Gradienten, Labels oder Verteilungen). Bestehende Methoden zur Datenmischung (z. B. DoReMi, BiMix) und Techniken zur Datenselektion (z. B. LESS, Coresets) erfordern typischerweise Zugriff auf detaillierte Evaluierungsdaten oder gehen davon aus, dass die Trainingsverteilung mit der Aufgabenverteilung übereinstimmt. Folglich versagen sie oder performen suboptimal, wenn sie direkt auf Settings angewendet werden, in denen die Evaluierungsdaten nicht zugänglich sind. Die Kernherausforderung lautet: Wie kann man die LLM-Trainingsdatenkombination effizient optimieren, indem man nur mehrere Runden verrauschten Feedbacks von einer nicht gesehenen Aufgabe nutzt?

2. Methodik: DUET

Die Arbeit schlägt DUET (Optimierung von LLM-Trainingsdatenkombinationen durch verrauschtes Feedback von nicht gesehenen Evaluierungsaufgaben) vor, einen neuartigen Global-zu-Lokal-Algorithmus, der Datenselektion mit Bayesscher Optimierung (BO) verknüpft.

2.1 Neu-Parametrisierung des Problems

Die Autoren parametrisieren das Optimierungsproblem neu. Anstatt direkt nach dem optimalen Satz von Datenpunkten $X^*$ zu suchen, suchen sie nach dem optimalen Mischungsverhältnis $r \in \mathbb{R}^n$ über $n$ Trainingsdatenbereiche hinweg. Das Problem wird als zweistufige Optimierung formuliert:

• Äußere Ebene (Global): Finde das optimale Mischungsverhältnis $r$, das den Verlust der nicht gesehenen Evaluierungsaufgabe minimiert.
• Innere Ebene (Lokal): Für ein gegebenes Verhältnis $r$ finde die hochwertige Teilmenge der Daten $X \in S_r$ (wobei $S_r$ die Menge der Datenmischungen ist, die das Verhältnis $r$ erfüllen), die den Verlust minimiert.

2.2 Die innere Schleife: Datenselektion

Um das innere Problem zu lösen, setzt DUET eine Datenselektionsstrategie ein, um hochwertige Datenpunkte aus jedem Bereich gemäß dem vorgeschlagenen Verhältnis $r$ zu extrahieren.

• Einflussfunktionen (IF): Die Arbeit nutzt primär Einflussfunktionen als Selektionsmechanismus. Für jeden Bereich wird ein separates LLM feinabgestimmt, und IF-Werte werden für jeden Datenpunkt relativ zu einer Validierungsmenge berechnet.
• IF-gewichtetes Sampling: Anstatt eines gleichmäßigen zufälligen Samplings führt DUET ein gewichtetes Sampling durch, bei dem die Wahrscheinlichkeit, einen Datenpunkt auszuwählen, proportional zu seinem IF-Wert ist. Dies verzerrt die Selektion zugunsten von Datenpunkten, die „einflussreicher" bei der Reduzierung des Modellverlusts sind.
• Schätzer: Die Lösung des inneren Problems wird geschätzt, indem ein LLM auf der ausgewählten Mischung trainiert und an der nicht gesehenen Aufgabe evaluiert wird. Die Autoren charakterisieren theoretisch die Verteilung dieses Schätzers und zeigen, dass IF-gesteuertes Sampling im Vergleich zum gleichmäßigen zufälligen Sampling die Varianz und den Bias reduziert.

2.3 Die äußere Schleife: Bayessche Optimierung

Die äußere Schleife nutzt Bayessche Optimierung, um das Mischungsverhältnis $r$ schrittweise zu verfeinern.

• Black-Box-Zielfunktion: Die Funktion $f(r)$ repräsentiert den Verlust der nicht gesehenen Aufgabe für ein gegebenes Verhältnis $r$. Da dieser Verlust über den verrauschten Schätzer der inneren Schleife erhalten wird, wird $f(r)$ als Black-Box-Funktion mit verrauschten Beobachtungen behandelt.
• Gaußscher Prozess (GP): DUET modelliert $f(r)$ unter Verwendung eines GP-Priors.
• Akquisitionsfunktion: In jeder Iteration $t$ schlägt DUET ein neues Mischungsverhältnis $r_t$ vor, indem es die Lower Confidence Bound (LCB)-Akquisitionsfunktion minimiert, um Exploration und Exploitation auszubalancieren.
• Feedback-Schleife: Das vorgeschlagene Verhältnis $r_t$ wird verwendet, um Daten zu sampeln, das LLM zu trainieren/feinabzustimmen und das verrauschte Feedback zu beobachten. Diese Beobachtung wird zur Historie hinzugefügt, um den GP-Posterior zu aktualisieren, und der Prozess wiederholt sich für $T$ Iterationen.

2.4 Algorithmusablauf

1. Initialisierung: Vorab-Berechnung der IF-Werte für alle Datenpunkte in den Trainingsbereichen. Initialisierung der BO mit zufälligen Datenmischungen.
2. Iteration:
   • BO schlägt ein Mischungsverhältnis $r_t$ vor.
   • Durchführung von IF-gewichtetem Sampling, um eine Datenmischung $X_t$ zu generieren, die $r_t$ erfüllt.
   • Feinabstimmung des LLM auf $X_t$ und Beobachtung des verrauschten Feedbacks (Evaluierungsverlust) von der nicht gesehenen Aufgabe.
   • Aktualisierung des GP-Posterior mit $(r_t, \text{Feedback})$.
3. Beendigung: Nach $T$ Iterationen wird die am besten performende beobachtete Datenmischung zurückgegeben.

3. Hauptbeiträge

1. Neuartiges Problem-Setting: Die Arbeit definiert ein realistisches Setting, bei dem Evaluierungsdaten unbekannt sind (nicht gesehenes Task), aber grobes, verrauschtes Feedback verfügbar ist, und unterscheidet dies von Standardaufgaben zur Domänenanpassung oder Generalisierung.
2. DUET-Algorithmus: Einführung eines Global-zu-Lokal-Rahmens, der Datenselektion (speziell IF-gesteuertes Sampling) mit Bayesscher Optimierung verknüpft, um Datenmischungen ohne feingranulare Aufgabendaten zu optimieren.
3. Theoretische Garantien: Die Autoren liefern eine theoretische Analyse der Konvergenz von DUET durch Begrenzung des kumulativen Regrets. Sie zeigen, dass DUET auch bei verrauschtem Feedback zur optimalen Trainingsdatenkombination konvergiert, sofern die Anzahl der BO-Iterationen steigt.
4. Empirische Validierung: Umfangreiche Experimente belegen, dass DUET bestehende Datenmischungs- (DoReMi, Aioli) und Selektionsbaselines (LESS) sowohl in in-domain- als auch in out-of-domain-Szenarien mit nicht gesehenen Aufgaben übertrifft.

4. Experimentelle Ergebnisse

Die Experimente wurden mit Llama-3-8b-Instruct und Qwen2.5-7B-Instruct durchgeführt, die via PEFT (LoRA) feinabgestimmt wurden.

• Datensätze: 9 Trainingsbereiche (z. B. Wikitext, GSM8K, PubMedQA, TruthfulQA) und verschiedene nicht gesehene Evaluierungsaufgaben (einige in-domain, einige out-of-domain).
• Baselines: Vergleich mit DoReMi, LESS, Aioli, Multi-fidelity BO und naiven Ansätzen (gleichmäßige Mischung, zufällige Suche).
• Leistung:
  • DUET erzielte konsistent höhere Leistungswerte über alle Evaluierungsaufgaben hinweg im Vergleich zu den Baselines.
  • Bei in-domain-Aufgaben (z. B. TruthfulQA) identifizierte DUET erfolgreich den relevanten Trainingsbereich und wies ihm ein hohes Gewicht zu.
  • Bei out-of-domain-Aufgaben (z. B. GSM8K ohne GSM8K-Trainingsdaten) nutzte DUET das Feedback effektiv, um relevante Proxy-Bereiche (z. B. Wikitext, SciQ) zu finden und übertraf Methoden, die sich nicht an das Feedback anpassen konnten.
• Ablationsstudien:
  • Datenselektion: DUET mit IF-gesteuertem Sampling (DUET-IF) schnitt besser ab als DUET mit gleichmäßigem zufälligen Sampling (DUET-UR) und andere Selektionsmethoden wie LESS und Log-Determinant.
  • Stichprobengröße ($k$): Eine Erhöhung der Anzahl der Stichproben $k$ in der inneren Schleife verbesserte die Leistung, obwohl $k=1$ ausreichte, um die Baselines zu schlagen.
  • Komponenten: Sowohl die BO-Komponente als auch die Datenselektionskomponente erwiesen sich als notwendig für eine optimale Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DUET die erste Arbeit ist, die Datenselektion mit Bayesscher Optimierung verknüpft, um Trainingsdatenkombinationen schrittweise basierend auf Feedback von einer nicht gesehenen Evaluierungsaufgabe zu optimieren.

• Praktische Relevanz: Sie adressiert eine kritische Lücke im LLM-Einsatz, bei der Datenschutz oder Datenbesitz den Zugriff auf Evaluierungsdaten verhindern, eine iterative Verbesserung jedoch gewünscht ist.
• Effizienz: Durch die Nutzung von BO ist die Methode stichprobeneffizient und erfordert weniger Runden des Trainings/Feinabstimmens im Vergleich zur Brute-Force-Aufzählung von Datenmischungen.
• Flexibilität: Der Rahmen ist flexibel genug, um verschiedene Datenselektionsmethoden (IF, LESS, Coresets) je nach Rechenbudget einzubeziehen, wobei IF in ihrem Setting als am effektivsten gezeigt wird.
• Theoretische Fundierung: Die Konvergenzanalyse liefert eine theoretische Grundlage dafür, warum der Algorithmus trotz Rauschens und fehlender feingranularer Daten funktioniert.

Die Autoren weisen darauf hin, dass der aktuelle Fokus auf der Feinabstimmung liegt, der Ansatz jedoch theoretisch an das Pre-Training anpassbar ist, obwohl sie nicht behaupten, die Pre-Training-Optimierung in dieser Arbeit gelöst zu haben. Sie erkennen zudem an, dass die Berechnung von IF-Werten rechenintensiv sein kann, schlagen jedoch Vorab-Berechnung und Surrogatmodelle als praktische Abschwächungen vor.