🤖 machine learning

Cost-Aware Learning

Dieser Beitrag stellt Cost-Aware Learning vor, ein Framework, das die gesamten Trainingskosten durch Berücksichtigung variierender Sampling-Kosten minimiert, den Cost-Aware SGD-Algorithmus mit theoretischen Garantien und eine Methode zur Teilmengenauswahl vorschlägt und diese Erkenntnisse anwendet, um Cost-Aware GRPO zu entwickeln, das den Token-Verbrauch bei der LLM-Richtungs-Optimierung um bis zu 30 % reduziert, während die Leistung erhalten bleibt.

Ursprüngliche Autoren: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues Rezept zu perfektionieren. Ihr Ziel ist es, das Gericht zu probieren, die Gewürze anzupassen und es perfekt schmeckend zu machen (ein Ziel-„Fehler"-Niveau zu erreichen).

In der Welt des Standard-Computertrainings wird angenommen, dass das Probieren jeder Zutat genau die gleiche Menge an Zeit und Aufwand erfordert. Ob Sie eine Prise Salz oder eine ganze Schüssel Suppe probieren, die „Kosten" sind gleich. Also probieren Sie die Dinge einfach zufällig, bis Sie es richtig haben.

Aber in der realen Welt moderner KI (speziell Large Language Models) stimmt das nicht. Manche „Zutaten" (Trainingsdaten) sind billig und schnell zu probieren (kurze Sätze), während andere teuer und langsam sind (lange, komplexe Denkketten). Das Probieren einer langen, komplexen Geschichte kann 100-mal mehr Rechenleistung erfordern als das Probieren einer kurzen.

Diese Arbeit stellt eine neue Art des Kochens vor, die als kostenbewusstes Lernen (Cost-Aware Learning) bezeichnet wird. Anstatt einfach zufällig zu probieren, lernt der Koch (der Algorithmus), intelligent darüber zu sein, was er probiert und wie oft, und wägt den Wert der Information gegen die Kosten des Probierens ab.

Hier ist eine Aufschlüsselung ihres Ansatzes mit einfachen Analogien:

1. Das Problem: Das Dilemma der „teuren Suppe"

Stellen Sie sich vor, Sie haben einen riesigen Topf Suppe mit 1.000 verschiedenen Zutaten.

Zutat A: Ein winziger Salzfleck. Er ist billig zu probieren, sagt Ihnen aber sehr wenig über den Gesamtgeschmack aus.
Zutat B: Ein ganzes gebratenes Huhn. Es ist sehr teuer zu probieren (es dauert lange zu kauen und zu verdauen), sagt Ihnen aber eine enorme Menge über den Geschmack aus.
Zutat C: Eine mittelgroße Karotte. Sie kostet etwas beim Probieren und gibt Ihnen eine gute Menge an Geschmacksinformationen.

Alte Methoden würden Zutaten einfach zufällig auswählen. Das verschwendet Zeit beim zu häufigen Probieren des teuren Huhns oder beim Zeitverschwendung mit dem billigen Salz, wenn Sie wirklich etwas über das Huhn wissen müssen.

2. Die Lösung: „kostenbewusstes SGD" (Der intelligente Probierer)

Die Autoren schlagen eine neue Strategie vor, die als kostenbewusstes stochastisches Gradientenabstiegsverfahren (Cost-Aware Stochastic Gradient Descent, SGD) bezeichnet wird.

Anstatt Zutaten zufällig auszuwählen, verwendet dieser Algorithmus eine Regel des „intelligenten Probierens". Er berechnet für jede Zutat einen Score basierend auf zwei Dingen:

Wie viel Geschmacksinformation sie liefert: (In mathematischen Begriffen die „Gradientennorm" oder wie stark sich der Geschmack ändert, wenn man sie hinzufügt).
Wie viel es kostet, sie zu probieren: (In mathematischen Begriffen die Anzahl der Tokens oder die benötigte Rechenleistung).

Die goldene Regel: Der Algorithmus sagt: „Ich möchte Zutaten probieren, die mir die meiste Geschmacksänderung pro ausgegebenem Dollar geben."

Wenn eine lange, teure Geschichte einen enormen Einfluss auf das Lernen der KI hat, lohnt sich die Kosten.
Wenn eine kurze, billige Geschichte fast keinen Einfluss hat, überspringen Sie sie.
Wenn eine lange Geschichte fast keinen Einfluss hat, verschwenden Sie kein Geld dafür, auch wenn es billig ist, sie zu überspringen.

Sie bewiesen mathematisch, dass diese spezifische Mischung aus „hoher Wertigkeit / niedrigen Kosten" der schnellste Weg ist, das perfekte Rezept zu erhalten, ohne Ihr Budget zu verbrennen.

3. Die „Auswahl von Teilmengen" (Die Menükuratierung)

Manchmal kann selbst der intelligenteste Probierer es sich gar nicht leisten, die teuersten Artikel überhaupt zu probieren. Die Arbeit schlägt einen zweiten Trick vor: Auswahl von Teilmengen (Subset Selection).

Stellen Sie sich vor, Sie entscheiden, das „teure Huhn" komplett von Ihrer Probierkarte zu entfernen. Sie akzeptieren, dass Ihr finales Rezept möglicherweise leicht weniger perfekt ist (ein winziger Teil „Bias"), aber Sie sparen eine massive Menge Geld, indem Sie das Huhn nie probieren. Sie konzentrieren sich nur auf die Karotten und das Salz.

Die Autoren zeigen, dass Sie durch sorgfältige Auswahl, welche teuren Artikel Sie streichen, immer noch ein sehr gutes Rezept für einen Bruchteil der Kosten erhalten können. Es ist wie die Entscheidung, eine vegetarische Version des Gerichts zu machen, um Geld zu sparen, wissend, dass es trotzdem köstlich schmecken wird.

4. Der Test: Der „KI-Koch" (kostenbewusstes GRPO)

Die Autoren nahmen diese Theorien und wandten sie auf das Training von Large Language Models (LLMs) mit einer Methode namens GRPO (Group Relative Policy Optimization) an.

In diesem Kontext:

Die „Kosten" sind die Anzahl der Wörter (Tokens) im Prompt und der Antwort der KI. Lange, komplexe Matheprobleme kosten mehr beim Training als kurze.
Der „Wert" ist, wie sehr die Antwort der KI ihr Verhalten ändert (der „Vorteil").

Sie schufen kostenbewusstes GRPO. Anstatt jede generierte Antwort gleich zu trainieren, priorisiert es Antworten, die:

Hohe Wirkung haben: Die KI hat viel aus dieser Antwort gelernt.
Niedrige Kosten haben: Die Antwort war nicht unnötig lang.

Die Ergebnisse:
Sie testeten dies an zwei KI-Modellen (ein Modell mit 1,5 Milliarden Parametern und ein Modell mit 8 Milliarden Parametern) unter Verwendung von Mathe-Benchmarks.

Das Ergebnis: Sie erreichten die gleiche (oder sogar bessere) Genauigkeit wie die Standardmethode.
Die Einsparungen: Sie verwendeten bis zu 30 % weniger Tokens (Rechenressourcen), um dorthin zu gelangen.
Die Analogie: Es ist wie das Erhalten derselben köstlichen Mahlzeit, aber mit 30 % weniger Essen und 30 % weniger Kochzeit.

Zusammenfassung

Diese Arbeit lehrt uns, dass in der teuren Welt des KI-Trainings „mehr Daten" nicht immer besser sind. Manchmal ist „intelligentere Daten" der Schlüssel. Indem wir jedes Stück Trainingsdaten als mit einem anderen Preisschild und einem anderen Wert behaftet betrachten und nur diejenigen kaufen, die das beste „Preis-Leistungs-Verhältnis" bieten, können wir leistungsstarke KI-Modelle viel schneller und günstiger trainieren, ohne Qualität zu verlieren.

Wichtigste Erkenntnis: Essen Sie nicht einfach alles vom Buffet. Essen Sie die Dinge, die für den Preis, den Sie zahlen, am besten schmecken.

1. Problemformulierung

Das Paper adressiert die Einschränkung der Standardtheorie des Stochastic Gradient Descent (SGD), die typischerweise davon ausgeht, dass die Berechnung des Gradienten für jede Datenstichprobe identische Rechenkosten verursacht. Im modernen maschinellen Lernen, insbesondere bei Large Language Models (LLMs) und Reinforcement Learning from Human Feedback (RLHF), ist diese Annahme falsch. Beispielsweise erfordert die Berechnung eines Policy-Gradienten für eine lange Schlussfolgerungskette (reasoning trace) deutlich mehr FLOPs (Gleitkommaoperationen) als für eine kurze Antwort.

Das Kernproblem:
Gegeben ein Ziel der Form $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$ , wobei jede Komponente $f_i$ eine bekannte, nicht einheitliche Rechenkosten $c_i$ für die Abfrage ihres Gradienten hat, besteht das Ziel darin, einen Punkt $\hat{x}$ zu finden, sodass der erwartete Fehler $E[f(\hat{x}) - f(x^*)] \leq \epsilon$ ist, während die gesamten erwarteten Rechenkosten minimiert werden.

2. Methodik

Die Autoren schlagen einen theoretischen Rahmen und einen praktischen Algorithmus zur Lösung dieses Problems vor und erweitern ihn von der konvexen Optimierung zur Policy-Optimierung bei LLMs.

A. Cost-Aware SGD (Theoretische Grundlage)

Die Autoren leiten eine optimale Stichprobenverteilung $p^*$ her, die die Gesamtkosten minimiert, um einen Zielfehler $\epsilon$ zu erreichen.

Ziel: Minimierung des Produkts aus der Anzahl der Iterationen $T(\epsilon, p)$ und den erwarteten Kosten pro Iteration $C(p)$ .
Herleitung: Durch die Analyse der Konvergenzraten für allgemeine konvexe und stark konvexe Funktionen zeigen sie, dass die Minimierung der Gesamtkosten äquivalent zur Minimierung des Produkts $J(p) = S(p)C(p)$ ist, wobei $S(p)$ das zweite Moment des Gradientenschätzers (Varianz) und $C(p)$ die erwarteten Kosten sind.
Optimale Verteilung: Unter Verwendung der Cauchy-Schwarz-Ungleichung beweisen sie, dass die optimale Stichprobenwahrscheinlichkeit für die Stichprobe $i$ $i$ lautet:
$p^*_i = \frac{G_i / \sqrt{c_i}}{\sum_{j=1}^n G_j / \sqrt{c_j}}$
wobei $G_i$ $G_{i}$ die Lipschitz-Konstante (oder Gradientennorm-Schranke) der Stichprobe $i$ $i$ und $c_i$ $c_{i}$ deren Kosten sind.
- Intuition: Diese Verteilung begünstigt Stichproben mit großen Gradienten (hohe Information) und niedrigen Kosten (günstig zu berechnen). Sie balanciert effektiv das Verhältnis „Information zu Kosten".

B. Teilmengenauswahl (Bias-Kosten-Abwägung)

In Anbetracht dessen, dass selbst die optimale Stichprobenziehung zu teuer sein könnte, wenn hochkostige Stichproben große Gradienten aufweisen, schlagen die Autoren eine Strategie der Teilmengenauswahl vor.

Konzept: Eine Teilmenge hochkostiger Stichproben wird vollständig ausgeschlossen, um das Rechenbudget zu reduzieren, wobei eine kontrollierte Verzerrung (Bias) im Schätzer in Kauf genommen wird.
Formulierung: Dies wird als Min-Kosten-Rucksackproblem modelliert. Das Ziel ist es, eine Teilmenge $\pi$ auszuwählen, die die Stichprobenkosten unter Einhaltung einer Einschränkung für die zulässige Bias-Untergrenze ( $\beta_\pi \leq \Gamma$ ) minimiert.
Lösung: Es wird eine greedy-Näherung vorgeschlagen, die Stichproben mit den niedrigsten Kosten $c_i$ auswählt, bis die Bias-Einschränkung erfüllt ist.

C. Cost-Aware GRPO (Praktische Anwendung)

Die theoretischen Erkenntnisse werden auf Group Relative Policy Optimization (GRPO) angewendet, einen State-of-the-Art-Algorithmus für das Nachtrainieren von LLMs.

Kosten-Definition: Bei GRPO werden die Kosten $c_i$ einer Stichprobe (ein Prompt-Antwort-Paar) als die Gesamtzahl der Tokens in der Sequenz (Prompt + Antwort) definiert, da sich die FLOPs linear mit der Sequenzlänge skalieren.
Gradienten-Proxy: Die Berechnung der exakten Gradientennorm $G_i$ für jede Stichprobe ist rechnerisch prohibitiv. Die Autoren verwenden die Betrag der Advantage ( $|A_i|$ ) als Proxy für $G_i$ . Sie validieren, dass $|A_i|$ eine nahezu perfekte Pearson-Korrelation mit den wahren Gradientennormen aufweist und eine niedrige $\chi^2$ -Divergenz zur optimalen Verteilung zeigt.
Algorithmus:
1. Generierung von Rollouts für einen Batch von Prompts.
2. Berechnung der Advantages und Sequenzlängen.
3. Berechnung der Stichprobenwahrscheinlichkeiten $p^*_i \propto |A_i| / \sqrt{\text{length}_i}$ .
4. Stichprobenziehung von Mini-Batches für Policy-Updates gemäß $p^*$ und Anwendung von Importance Weighting zur Korrektur des Bias.

3. Hauptbeiträge

Formulierung von Cost-Aware Learning: Eine rigorose mathematische Formulierung des Lernens, bei dem die Kosten der Stichproben nicht einheitlich sind, anwendbar sowohl auf konvexe als auch auf stark konvexe Settings.
Optimale Stichprobenstrategie: Herleitung der optimalen Stichprobenverteilung $p^* \propto G_i / \sqrt{c_i}$ , die die Gesamtkosten minimiert, um eine $\epsilon$ -Genauigkeit zu erreichen. Das Paper liefert theoretische obere Schranken und eine passende untere Schranke für dieses Setting.
Algorithmus zur Teilmengenauswahl: Eine Methode zur weiteren Kostenreduktion durch den Ausschluss teurer Stichproben, formuliert als Min-Kosten-Rucksackproblem, das eine geringe Menge an Bias gegen erhebliche Kosteneinsparungen tauscht.
Cost-Aware GRPO: Die erste Anwendung von cost-aware-Prinzipien auf die Policy-Optimierung bei LLMs. Es wird ein praktischer Algorithmus eingeführt, der die Beträge der Advantages als Proxy für Gradientennormen verwendet, um die Token-Effizienz zu optimieren.
Empirische Validierung: Umfassende Experimente an den Modellen Qwen2.5-Math-1.5B und Qwen3-8B, die erhebliche Token-Einsparungen ohne Leistungsverschlechterung demonstrieren.

4. Ergebnisse

Das Paper bewertet die vorgeschlagenen Methoden an mathematischen Reasoning-Benchmarks (AIME, AMC, MATH500, GSM8K).

Token-Effizienz:
- Qwen3-8B: Cost-Aware GRPO erreichte die gleiche Spitzenpräzision wie der Standard-GRPO-Baseline unter Verwendung von 51 % weniger Tokens. Selbst beim Vergleich mit der Baseline, die 99 % ihrer Spitzenleistung erreicht, benötigte CA-GRPO 17 % weniger Tokens.
- Qwen2.5-Math-1.5B: CA-GRPO erreichte die Spitzenpräzision der Baseline unter Verwendung von 28–32 % weniger Tokens und übertraf schließlich die Leistung der Baseline um ca. 5 %.
Robustheit: Die Methode wurde unter verschiedenen Trainingszielen getestet (Standard GRPO, GRPO+Zero-Variance-Filterung und CISPO) und verbesserte konsistent die Token-Effizienz.
Ablationsstudien:
- Die Verwendung der Advantage-Betrag $|A_i|$ als Proxy für Gradientennormen wurde als hochwirksam validiert (Korrelation $\approx 1$ ).
- Die Methode ist gegenüber Rauschen im Proxy bis zu einer bestimmten Varianzschwelle robust.
- Das Glätten der Stichprobenverteilung (Mischung mit Uniform) hilft der Stabilität, doch die reine optimale Verteilung liefert oft die beste Effizienz.

5. Bedeutung

Dieses Paper ist aus mehreren Gründen von Bedeutung:

Neudefinition von Effizienzmetriken: Es verlagert den Fokus der Optimierungseffizienz von der „Anzahl der Schritte" auf die „Gesamtrechenkosten", was der wahre Engpass beim Training von Foundation Models ist.
Skalierbarkeit: Da LLMs längere und komplexere Schlussfolgerungsketten generieren, steigen die Rechenkosten des Trainings. Cost-Aware Learning bietet einen prinzipiellen Weg, dieses Skalierungsgesetz zu mildern, indem „günstige", aber „informativ" Stichproben priorisiert werden.
Praktische Auswirkungen: Die Reduktion von 30–50 % an Tokens, die für die Policy-Optimierung verwendet werden, übersetzt sich direkt in massive Einsparungen bei GPU-Stunden und Energieverbrauch, was fortschrittliches RLHF-Training zugänglicher und nachhaltiger macht.
Theoretische Strenge: Das Paper schließt die Lücke zwischen theoretischen Optimierungsschranken (untere/obere Schranken der Kostenkomplexität) und praktischen Deep-Learning-Anwendungen und bietet ein neues Paradigma für die Datenauswahl in teuren Trainingsregimen.