🤖 machine learning

One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

Dieser Beitrag stellt DualSFT vor, einen One-Shot-Algorithmus, der die Parameter- und Datenselektion für das Fine-Tuning von LLMs vereint, indem er eine gemeinsame gradientenbasierte Bewertungsvorschrift aus einem Bilevel-Optimierungsrahmen ableitet und dadurch eine effizientere und koordinierte gemeinsame Selektion im Vergleich zu traditionellen getrennten Strategien ermöglicht.

Ursprüngliche Autoren: Xinrui Chen, Liu Yang, Ou Wu

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinrui Chen, Liu Yang, Ou Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, hochtrainierte Wissensbibliothek (ein Large Language Model oder LLM), die alles über die Welt weiß. Nun möchten Sie dieser Bibliothek eine spezifische neue Fähigkeit beibringen, etwa das Schreiben von Computercode oder das Lösen von Matheaufgaben. Dieser Prozess wird „Feinabstimmung" (fine-tuning) genannt.

Normalerweise haben Sie zwei Möglichkeiten, um diese Bibliothek zu unterrichten:

Jedes einzelne Buch in der Bibliothek erneut zu lesen (unter Verwendung aller Ihrer Daten).
Jede einzelne Seite in der Bibliothek neu zu schreiben (Aktualisierung aller Parameter).

Beides ist unglaublich teuer, langsam und erfordert massive Rechenleistung. Um Geld zu sparen, versuchen Forscher in der Regel, nur auf eine Weise effizient zu sein: Entweder sie wählen nur die besten Bücher zum Lesen aus (Datenselektion) ODER sie wählen nur die wichtigsten Seiten zum Umschreiben aus (Parameterauswahl).

Das Problem? Nur eines davon zu tun, ist wie der Versuch, eine neue Sprache zu lernen, indem man nur die besten Bücher liest, aber jede Seite umschreibt, oder nur die besten Seiten umschreibt, aber jedes einzelne Buch liest. Es ist immer noch verschwenderisch.

Die große Idee des Papiers: „DualSFT"
Die Autoren dieses Papiers schlagen eine neue Methode namens DualSFT vor. Stellen Sie sich dies als einen „intelligenten Bibliothekar" vor, der beide Probleme mit einem einzigen, klugen Trick gleichzeitig löst.

So funktioniert es, anhand einer einfachen Analogie:

1. Der „One-Stop-Shop"-Bewertungsbogen

Stellen Sie sich vor, Sie stellen ein Team für ein großes Projekt ein. Sie müssen die besten Mitarbeiter (Daten) auswählen und entscheiden, welche Werkzeuge sie verwenden sollen (Parameter).

Der alte Weg: Sie beauftragen einen „Mitarbeiter-Scout", um die besten Leute zu finden, und einen separaten „Werkzeug-Scout", um die besten Werkzeuge zu finden. Sie sprechen nicht miteinander. Sie könnten einen großartigen Mitarbeiter auswählen, der ein Werkzeug benötigt, das der Werkzeug-Scout nicht gewählt hat, oder umgekehrt. Es ist chaotisch und redundant.
Der DualSFT-Weg: Die Autoren erkannten, dass der „beste Mitarbeiter" und das „beste Werkzeug" tatsächlich miteinander verbunden sind. Sie schufen einen einzigen Bewertungsbogen, der beide gleichzeitig betrachtet.

2. Die „Interaktionsmatrix" (Das Geheimnis)

Das Papier erklärt, dass es eine verborgene mathematische Beziehung zwischen den Daten (den Büchern) und den Parametern (den Seiten) gibt.

Stellen Sie sich ein riesiges Gitter vor, bei dem die Zeilen Ihre Trainingsbeispiele (Bücher) und die Spalten die Parameter des Modells (Seiten) sind.
Die Autoren fanden einen Weg, für jede einzelne Zelle in diesem Gitter einen „Score" zu berechnen.
Wenn Sie die Scores einer Zeile aufsummieren, wissen Sie sofort, welche Bücher am nützlichsten sind.
Wenn Sie die Scores einer Spalte aufsummieren, wissen Sie sofort, welche Seiten am wichtigsten zu aktualisieren sind.

Es ist wie eine einzige magische Karte. Wenn Sie die Karte horizontal betrachten, sagt sie Ihnen, wo Sie nach Gold graben müssen (Daten). Wenn Sie sie vertikal betrachten, sagt sie Ihnen, wo Sie eine Straße bauen müssen (Parameter). Sie benötigen keine zwei verschiedenen Karten; Sie müssen nur dieselbe auf unterschiedliche Weise lesen.

3. Der „One-Shot"-Trick

Normalerweise müssten Sie, um die besten Daten und Parameter auszuwählen, den Trainingsprozess starten, stoppen, die Ergebnisse prüfen, neue Daten auswählen, ihn erneut ausführen und dies wiederholen. Das dauert ewig.

DualSFT ist eine „One-Shot"-Methode.

Schritt 1: Das Modell unternimmt einen kurzen „Aufwärm"-Spaziergang (eine kurze Übungseinheit), um ein Gefühl für die Aufgabe zu bekommen.
Schritt 2: Es betrachtet die oben beschriebene „magische Karte" (die Gradienten-Interaktionsmatrix).
Schritt 3: In einem einzigen Blick wählt es die besten 10 % der Bücher zum Lesen und die besten 5 % der Seiten zum Umschreiben aus.
Schritt 4: Es geht direkt zum endgültigen Training über, wobei es nur diese ausgewählten Bücher und Seiten verwendet.

4. Die Vergangenheit im Gedächtnis behalten (Nicht vergessen)

Ein häufiges Problem beim Beibringen einer neuen Fähigkeit an ein intelligentes Modell ist, dass es beginnt, seine alten Fähigkeiten zu vergessen (wie etwa das Schreiben eines Gedichts oder das Beantworten allgemeiner Fragen). Dies wird als „katastrophales Vergessen" bezeichnet.

DualSFT enthält einen speziellen „Gedächtniswächter" namens CWSD.

Stellen Sie sich vor, das Modell ist ein Schüler, der Mathematik lernt. Der „Gedächtniswächter" ist ein Lehrer, der flüstert: „Hey, vergiss nicht, wie man eine Geschichte schreibt, während du Mathematik lernst!"
Dieser Wächter verwendet eine spezielle Technik, um sicherzustellen, dass das Modell seine ursprüngliche Persönlichkeit und sein Allgemeinwissen behält, während es die neue Aufgabe lernt, ohne die gesamte ursprüngliche Bibliothek von Büchern erneut lesen zu müssen.

Die Ergebnisse

Die Autoren testeten dies an Modellen unterschiedlicher Größe (von 3 Milliarden bis 9 Milliarden „Neuronen").

Effizienz: Sie verwendeten deutlich weniger Daten und aktualisierten weit weniger Parameter als Standardmethoden.
Leistung: Trotz der geringeren Nutzung performten die Modelle bei den neuen Aufgaben (wie Programmieren und Mathematik) tatsächlich besser als Modelle, die versuchten, mehr Ressourcen, aber weniger intelligent einzusetzen.
Ausgewogenheit: Sie fanden das perfekte Gleichgewicht zwischen dem Erlernen der neuen Fähigkeit (Plastizität) und dem Bewahren der alten Fähigkeiten (Stabilität).

Zusammenfassung

Kurz gesagt ist DualSFT ein neuer Algorithmus, der aufhört, die „Auswahl von Daten" und die „Auswahl von Parametern" als zwei separate Aufgaben zu behandeln. Stattdessen betrachtet er sie als zwei Seiten derselben Medaille. Indem er einen einzigen mathematischen Trick verwendet, um beide gleichzeitig zu bewerten, spart er Zeit, spart Geld und produziert intelligentere, effizientere KI-Modelle, die nicht vergessen, was sie bereits wissen.

Technische Zusammenfassung: DualSFT – Ein Algorithmus, zwei Ziele für das Fine-Tuning von LLMs

1. Problemstellung

Das Fine-Tuning von Large Language Models (LLMs) stößt bei modernen Maßstäben auf prohibitiv hohe Kosten, was die Forschung zu zwei unterschiedlichen Effizienzstrategien antreibt: Parameter-Efficient Fine-Tuning (PEFT) und Data-Efficient Fine-Tuning (DEFT). PEFT-Methoden (z. B. Parametersauswahl, LoRA) reduzieren den Speicherbedarf für trainierbare Zustände, während DEFT-Methoden (z. B. Datensatzauswahl, Umgewichtung) die Optimierungslast verringern.

Derzeit arbeiten diese Strategien unabhängig voneinander. Wenn sowohl eine Parametersmaske als auch eine Datenuntermenge angewendet werden, um Updates einzuschränken, setzen bestehende Ansätze typischerweise separate Bewertungsmechanismen ein. Diese Trennung verursacht redundante Rechenkosten und führt zu einem Koordinationsmismatch: Eine Parametersmaske, die ohne Berücksichtigung der spezifischen Datenuntermenge ausgewählt wurde (und umgekehrt), kann zu suboptimaler gemeinsamer Leistung führen. Die Arbeit geht davon aus, dass da Parametersmasken und Datenuntermengen gemeinsam die eingeschränkten Updates bestimmen, sie über eine gemeinsame Bewertungsregel statt über getrennte Mechanismen ausgewählt werden sollten.

2. Methodik: DualSFT

Die Autoren schlagen DualSFT (Dual-Selection Fine-Tuning) vor, einen One-Shot-Algorithmus, der die Bedeutung von Parametern und den Nutzen von Daten gemeinsam aus geteilten Gradientenstatistiken extrahiert. Der theoretische Kerngedanke besteht darin, Parameters- und Datenauswahl als zwei Ansichten eines einzelnen lokalen Response-Surrogat-Problems unter einem gemeinsamen Validierungsziel zu betrachten.

2.1 Theoretische Grundlage: Bilevel-Formulierung und Surrogate

Der Auswahlprozess wird als zwei Bilevel-Optimierungsprobleme formuliert, die ein äußeres Validierungsziel $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$ teilen, wobei $\mathcal{L}_{new}$ der Verlust der Zielaufgabe ist und $\mathcal{L}_{prior}$ die vortrainierten Fähigkeiten bewahrt.

Äußere Ebene: Wählt eine budgetbeschränkte Maske (Parametersmaske $\mathbf{m}_\theta$ oder Datenmaske $\mathbf{m}_D$ ).
Innere Ebene: Berechnet das optimale Parameter-Update $\delta^*$ , das durch die ausgewählte Maske induziert wird.

Die exakte Lösung dieser Probleme ist für LLMs unlösbar. Die Autoren approximieren die innere Antwort mittels eines einschrittigen Gradienten-Updates an einem gemeinsamen Warmup-Checkpoint $\bar{\theta}$ . Dies ergibt lokale Surrogate, bei denen die Update-Richtung von der ausgewählten Teilmenge abhängt.

2.2 Die gemeinsame Interaktionsmatrix

Durch die Entwicklung des Validierungsziels um $\bar{\theta}$ herum unter Verwendung von Taylor-Approximationen erster und zweiter Ordnung leiten die Autoren eine Gradienten-Interaktionsmatrix $\mathbf{M} \in \mathbb{R}^{N \times D}$ ab (wobei $N$ die Anzahl der Stichproben und $D$ die Parameterdimension ist).

Parameter-Bedeutung: Tritt als spaltenweise Aggregation von $\mathbf{M}$ auf.
Daten-Nutzen: Tritt als zeilenweise Aggregation von $\mathbf{M}$ auf.

Diese Struktur offenbart eine Zeilen-Spalten-Dualität: Beide Signale werden aus demselben algebraischen Objekt abgeleitet. Die geschlossenen Formeln für die Scores erlauben eine Shapley-Wert-Interpretation, die die Auswahl als kooperatives Spiel behandelt, bei dem die Interaktionsmatrix die Zuordnung des Beitrags liefert.

2.3 Die DualSFT-Algorithmus-Pipeline

Der Algorithmus führt drei Phasen aus:

Pilot-Warmup: Ein leichter Warmup (1 Epoche, 5 % der Daten) etabliert einen stabilen Checkpoint $\bar{\theta}$ und schätzt die diagonale Krümmung $\hat{c}$ unter Verwendung des zweiten-Moment-Puffers von AdamW.
One-Shot-Dual-Bewertung:
- Ein Projektionsvektor für Validierungsverbesserung $\mathbf{u}$ wird konstruiert: $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$ , wobei $\mathbf{G}$ der kumulierte Trainingsgradient ist.
- Parameterscores: $s_{\theta, d} = u_d G_d$ (spaltenweise Aggregation).
- Datenscores: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (zeilenweise Aggregation, berechnet via Ghost Dot Product, um die Materialisierung pro-Stichproben-Gradienten zu vermeiden).
- Die Top- $k$ -Parameter und Top- $b$ -Stichproben werden basierend auf diesen vorzeichenbehafteten Scores ausgewählt.
Eingeschränktes Fine-Tuning: Das Modell wird auf der ausgewählten Datenuntermenge unter Verwendung nur der ausgewählten Parameter feinabgestimmt.

2.4 Erhaltungsmechanismus

Um katastrophales Vergessen ohne Zugriff auf Vortrainingsdaten zu mildern, setzt DualSFT Confidence-Weighted Self-Distillation (CWSD) ein. Dies konstruiert die Erhaltungsrichtung $\nabla \mathcal{L}_{prior}$ durch Minimierung der KL-Divergenz zwischen dem aktuellen Modell und dem ursprünglichen vortrainierten Modell auf einer Ankermenge, gewichtet mit dem Vertrauen der Vorhersagen des ursprünglichen Modells.

3. Hauptbeiträge

Vereinheitlichte Bewertungs-Theorie: Die Herleitung einer gemeinsamen Response-Surrogat-Bewertungsregel, die separate Parameter- und Datenauswahlprobleme in zeilen- und spaltenweise Aggregationen einer einzelnen Gradienten-Interaktionsmatrix transformiert, unterstützt durch eine lokalisierte Shapley-Interpretation.
DualSFT-Algorithmus: Ein praktischer One-Shot-Dual-Bewertungs-Algorithmus, der Parameter- und Datenauswahl gleichzeitig koordiniert und redundante Bewertungsdurchläufe sowie Koordinationslücken in sequenziellen Hybrid-Baselines eliminiert.
Erhaltungsrichtung: Eine korpusfreie Erhaltungsrichtung mittels CWSD, die Vergessen während des eingeschränkten Fine-Tunings effektiv mildert.
Empirische Validierung: Umfassende Experimente an 3B–9B LLMs (Llama-3.2, Gemma-3, Qwen-3.5) über Code-Generierung und mathematisches Schlussfolgern hinweg.

4. Experimentelle Ergebnisse

Die Experimente wurden an Magicoder (Code) und MetaMathQA (Mathematik) mit abgestimmten Budgets (10 % Daten, 5 % Parameter) durchgeführt.

Leistung: DualSFT übertrifft Single-Axis-Baselines (z. B. LESS, S2FT, NanoAdam) und sequenzielle Hybriden (z. B. LESS + S2FT, SPICE + NanoAdam).
- Bei Llama-3.2-3B (Magicoder) erreichte das vollständige DualSFT einen Overall-Score von 47,10 % und übertraf die stärkste sequenzielle Hybridlösung (SPICE + NanoAdam mit 44,71 %) um 2,39 Punkte.
- DualSFT-Varianten führten ihre jeweiligen Vergleichsgruppen konsistent sowohl in der Plastizität (Leistung der Zielaufgabe) als auch in der Stabilität (Beibehaltung allgemeiner Fähigkeiten).
Effizienz: DualSFT reduziert die Fine-Tuning-Kosten. Das vollständige DualSFT erreichte seine Ergebnisse mit 7,4 GPU-Stunden und 28,5 GB Spitzen-Speicherverbrauch für die Auswahl und übertraf sequenzielle Hybriden im Trade-off bei gemeinsamen Einschränkungen.
Ablationsstudien:
- Das Entfernen des Warmup-Schritts beeinträchtigte die Plastizität erheblich.
- Das Entfernen von CWSD beeinträchtigte die Stabilität erheblich.
- Die Verwendung nur von First-Order-Bewertung (Ignorieren der diagonalen Krümmung) verursachte den größten Rückgang im Overall-Score und validiert die Second-Order-Approximation.
Diagnostische Analyse: Die Arbeit bestätigt, dass One-Shot-Bewertung den Großteil der gemeinsamen Struktur erfasst, da eine feste Seiten-Neuauswahl (Neubewertung einer Achse nach Fixierung der anderen) nur marginale Gewinne (<0,12 Punkte) bei deutlich erhöhtem Rechenaufwand erzielt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DualSFT einen Wandel darstellt: weg von der Behandlung von Parameter- und Datenauswahl als unabhängige Heuristiken hin zur Betrachtung als gekoppelte Anpassungsressourcen. Durch die Ableitung beider Signale aus einem einzigen Validierungsverbesserungs-Surrogat erreicht die Methode:

Reduzierung von Redundanz: Beseitigt die Notwendigkeit separater Bewertungsmechanismen und wiederholter bedingter Durchläufe.
Verbesserte Koordination: Synchronisiert die Auswahlachsen vor dem gemeinsamen Update und vermeidet die „Koordinationslücke", bei der unabhängige Auswahl unbestätigte Signale mischen.
Ausgewogene Trade-offs: Erreicht eine günstigere Stabilität-Plastizität-Effizienz-Frontier als bestehende sequenzielle oder Single-Axis-Methoden unter abgestimmten Budgets.

Die Autoren vermerken bescheiden, dass die Methode auf einem lokalen Surrogat beruht, was bedeutet, dass die Score-Genauigkeit nachlassen kann, wenn sich die Optimierung weit vom Warmup-Checkpoint entfernt. Sie schlagen dynamische Neubewertung als zukünftige Richtung für längere Anpassungshorizonte vor, betonen jedoch, dass der One-Shot-Ansatz für die untersuchten Budgets äußerst kosteneffektiv ist.