Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

1. Problemstellung

Große Sprachmodelle (LLMs) erzielen starke Leistungen in Downstream-Aufgaben maßgeblich durch umfangreiche, hochwertige Daten für das überwachtes Feinabstimmung (Supervised Fine-Tuning, SFT). In wissensintensiven Domänen wie Geisteswissenschaften, Medizin, Recht und Finanzen ist jedoch qualitativ hochwertige SFT-Daten extrem knapp. Die Gründe hierfür sind:

• Hohe Kosten und begrenzte Verfügbarkeit von Expertenwissen für die Kuratierung.
• Strenge Datenschutzbestimmungen.
• Schwierigkeiten, eine konsistente manuelle Annotation im großen Maßstab zu gewährleisten.

Bestehende Ansätze zur Generierung synthetischer Daten nutzen oft "Teacher-Modelle", die auf Basis von manuell erstellten Rubriken (Regeln/Prompts) Fragen und Antworten generieren. Diese Herangehensweise hat jedoch zwei fundamentale Schwächen:

1. Eingeschränkte Übertragbarkeit: Rubriken sind oft domänenspezifisch und expertenbasiert; sie lassen sich schwer auf andere Domänen oder Modelle übertragen.
2. Heuristische Optimierung: Der aktuelle Optimierungszyklus (Rubrik schreiben → Daten synthetisieren → Modell trainieren → Ergebnisse prüfen → manuelle Anpassung) basiert auf Intuition. Es fehlt ein zuverlässiges, quantitatives Feedback darüber, wie stark eine bestimmte Rubrik tatsächlich zur Verbesserung der Downstream-Leistung beiträgt.

2. Methodik: OptimSyn

OptimSyn schlägt einen Paradigmenwechsel vor: Statt Rubriken manuell zu entwerfen, wird die Qualität synthetischer Daten direkt über ihren Trainingsnutzen für das Zielmodell gemessen. Dieser Nutzen dient als Feedback-Signal, um die Generierung von Rubriken zu optimieren.

A. Einfluss-basierte Schätzung (Optimizer-Aware Influence Estimation)

Das Kernstück der Methode ist die Nutzung von Einflussfunktionen (Influence Functions), um den Beitrag eines einzelnen synthetischen Datenpunkts (QA-Paar) zum Lernfortschritt des Zielmodells zu quantifizieren.

• Gradienten statt Embeddings: Die Autoren zeigen, dass die räumliche Nähe von Daten im Embedding-Space nicht unbedingt mit ihrem Trainingsnutzen korreliert. Stattdessen nutzen sie Gradienten-Informationen.
• Adam-kompatible Schätzung: Da moderne LLMs meist mit dem Adam-Optimizer trainiert werden, verwenden sie eine modifizierte Einflussfunktion (basierend auf TracIn), die die Moment-Statistiken von Adam berücksichtigt.
• Berechnung: Für ein synthetisches QA-Paar $(Q, A)$ wird der Einfluss auf die Verlustfunktion eines Validierungsdatensatzes $z'$ approximiert:
  $$\text{Inf}_{\text{Adam}}(z, z') = \sum_{i=1}^{T} \bar{\eta}_i \cos(\nabla_\theta \ell(z'; \theta_i), \Gamma(z, \theta_i))$$
  Dabei ist $\Gamma$ die Update-Richtung des Adam-Optimierers. Ein hoher Einfluss-Score (IF) deutet darauf hin, dass das Datenstück den Modellverlust auf dem Validierungsset signifikant senken würde.

B. Reinforcement Learning (RL) Framework

Die Rubrik-Generierung wird als lernbare Policy ($\pi_\theta$) formuliert, die durch RL optimiert wird.

1. Ablauf:
   • Ein Seed-Dokument wird dem Prompter-Modell (Policy) gegeben.
   • Das Prompter-Modell generiert $G$ verschiedene Rubriken ($B_{i,j}$).
   • Ein Generator-Modell (Teacher) erstellt basierend auf Seed und Rubrik ein QA-Paar.
   • Das Zielmodell (Target Model) bewertet das QA-Paar.
2. Reward-Funktion:
   Der Reward $R(\tau)$ kombiniert eine Verifizierbarkeit (Format, Sicherheit) mit dem Einfluss-Score:
   $$R(\tau) = \text{Valid}(Q, A) \cdot \text{IF}(Q, A) - \lambda (1 - \text{Valid}(Q, A))$$
   Nur gültige Generierungen erhalten den Einfluss-Score als Belohnung; ungültige werden stark bestraft.
3. Optimierung:
   Die Policy wird mit dem GRPO-Algorithmus (Group Relative Policy Optimization) aktualisiert. Das Ziel ist es, die erwarteten Downstream-Verbesserungen zu maximieren, indem Rubriken gelernt werden, die Daten produzieren, die den höchsten Einfluss auf das Training haben.

3. Wichtige Beiträge

1. Optimizer-Aware Einfluss-Schätzung: Anpassung klassischer Einflussfunktionen an moderne SFT-Pipelines mit Adam-Optimierung, um den Trainingsnutzen synthetischer Daten präzise zu messen.
2. Von Heuristiken zu Supervision: Ersetzung des manuellen Rubrik-Engineerings durch ein lernbares System, das Rubriken basierend auf dem tatsächlichen Modell-Impact (Gradienten-basiert) optimiert.
3. Domänen- und Modellunabhängigkeit: Das Framework funktioniert robust über verschiedene Domänen (Geisteswissenschaften, Medizin), Zielmodelle (Qwen, Llama) und Generator-Modelle hinweg, ohne domänenspezifisches Tuning zu erfordern.

4. Ergebnisse

Die Autoren evaluieren OptimSyn in zwei Domänen: Humanities & Social Sciences (HSS) und Medicine & Health.

• Überlegenheit gegenüber Baselines:

  • Das mit OptimSyn trainierte Modell (Qwen3-8B-Base) übertrifft konsistent starke Open-Source-SFT-Baselines (wie WildChat, OpenHermes, Conder) und sogar das Instruct-Modell desselben Basismodells.
  • In der HSS-Domäne wurde ein relativer Gewinn von +27,2% auf dem HLE-Benchmark (Humanity's Last Exam) erzielt.
  • Im medizinischen Bereich wurden signifikante Verbesserungen auf Benchmarks wie MMLU-Pro, Super GPQA und HealthBench erzielt, wobei die Methode oft mit Modellen konkurriert, die "Thinking"-Fähigkeiten (Reasoning) nutzen.

• Generalisierung:

  • Die Methode funktioniert gleichermaßen gut auf verschiedenen Modellgrößen (4B bis 14B) und Architekturen (Qwen, Llama).
  • Sie ist robust gegenüber der Wahl des Generator-Modells (Qwen-235B, GPT-4.1, Gemini-2.5-Pro).

• Analyse:

  • Korrelation: Es besteht eine starke positive Korrelation zwischen dem aggregierten Einfluss-Score eines Datensatzes und der tatsächlichen Validierungs-Genauigkeit.
  • Rubrik-Verbesserung: Nach dem RL-Training werden die generierten Rubriken spezifischer, detaillierter und domänenspezifischer (z. B. Fokus auf "logische Konsistenz", "Informationsdichte") im Vergleich zu generischen Anweisungen vor dem Training.

5. Bedeutung und Fazit

OptimSyn adressiert das Problem der Datenknappheit in spezialisierten Domänen, indem es den Prozess der Datengenerierung von einer manuellen, heuristischen Aufgabe in ein optimierbares, modellzentriertes Problem verwandelt.

• Paradigmenwechsel: Anstatt zu raten, welche Daten gut sind, misst das System direkt, wie sich Daten auf die Optimierung des Zielmodells auswirken.
• Skalierbarkeit: Da die Rubriken automatisch gelernt werden, ist der Ansatz skalierbar und übertragbar, ohne dass für jede neue Domäne teure Experten-Rubriken erstellt werden müssen.
• Effizienz: Die Methode zeigt, dass hochwertige, zielgerichtete synthetische Daten (selbst in kleineren Mengen) effektiver sind als große Mengen an unsortierten oder heuristisch gefilterten Daten.

Das Paper demonstriert somit einen vielversprechenden Weg, um hochwertige Trainingsdaten für wissensintensive Anwendungen zu generieren, wo traditionelle Methoden an Kosten und Datenschutz scheitern. Der Code ist öffentlich verfügbar.