🤖 machine learning

The Steering Budget: Examples beat Knobs

Dieses Paper argumentiert, dass die Steuerbarkeit generativer Modelle fundamental durch ein in ihren Trainingsdaten inhärentes „Budget“ begrenzt wird, wobei nachgewiesen wird, dass traditionelle „Regler“-Methoden (wie Prompts oder Guidance-Skalen) nur einen Bruchteil dieses Bereichs erschließen können, während das Bereitstellen konkreter Beispiele es Modellen ermöglicht, das volle Spektrum des Potenzials einer Eigenschaft zu erreichen, einschließlich solcher Ziele, die nicht verbal spezifiziert werden können.

Ursprüngliche Autoren: Raj Kumar Rajendran

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raj Kumar Rajendran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Künstler, der alles zeichnen kann, was Sie von ihm verlangen, vom Golden Retriever bis hin zu einer Kristallstruktur. Seit Jahren versuchen Wissenschaftler, diesen Roboter zu steuern, indem sie ihm „Knöpfe“ zum Drehen geben. Man könnte sagen: „Mach es heller“, oder „Lass es wie ein Foto aussehen“, oder „Dreh den Regler für die Führung auf das Maximum“. Es ist, als würde man versuchen, ein Schiff durch das Drehen eines einzigen Ruders zu steuern. Aber es gibt eine frustrierende Grenze: Egal wie fest man am Knopf dreht, der Roboter bewegt sich irgendwann nicht mehr weiter. Er stößt gegen eine Wand. Man möchte das Bild wirklich hell haben, aber der Roboter macht es nur „ein bisschen“ heller und weigert sich dann, weiterzugehen.

Dieses Paper stellt eine einfache, aber revolutionäre Frage: Warum hört der Roboter auf? Liegt es daran, dass der Roboter kaputt ist, oder gibt es ein verborgenes Regelbuch, das ihm gegeben wurde, noch bevor er überhaupt mit dem Zeichnen begann? Die Autoren entdeckten, dass der Roboter nicht kaputt ist; er arbeitet lediglich innerhalb eines strengen „Budgets“, das durch die Daten festgelegt wurde, aus denen er gelernt hat. Sie fanden heraus, dass es zwei Wege gibt, mit diesem Roboter zu kommunizieren: Sagen und Zeigen. „Sagen“ bedeutet, die Knöpfe und Worte zu benutzen, um zu präzisieren, was man möchte. „Zeilen“ bedeutet, dem Roboter einen Stapel von Beispielen zu übergeben und zu sagen: „Erstelle mehr Dinge wie diese hier.“ Die große Überraschung? „Zeigen“ kann Orte erreichen, von denen „Sagen“ nicht einmal träumen kann, und wir können genau berechnen, wie weit jede Methode gehen kann, noch bevor wir den Roboter überhaupt einschalten.

Die Große Wand des „Sagens“ vs. Die Magie des „Zeigens“

Stellen Sie sich das Wissen des Roboters wie eine riesige Bibliothek von Büchern vor. Jedes Buch ist eine spezifische Art von Sache, wie zum Beispiel „Strandszenen“, „verschneite Berge“ oder „Kristallstrukturen“.

Sagen (Der Knopf): Wenn Sie einen Knopf benutzen, stehen Sie innerhalb eines ganz bestimmten Abschnitts der Bibliothek, sagen wir dem „Strand“-Abschnitt. Sie können den Roboter bitten, den Strand sonniger oder den Sand weißer zu machen. Aber Sie sind in diesem einen Abschnitt gefangen. Sie können eine Strandszene nicht einfach durch das Drehen eines Reglers in einen verschneiten Berg verwandeln. Sie sind auf die Variationen beschränkt, die bereits innerhalb des „Strand“-Abschnitts existieren.
Zeigen (Die Beispiele): Wenn Sie Beispiele zeigen, sind Sie nicht an einen Abschnitt gebunden. Sie können dem Roboter eine Mischung aus Büchern überreichen: einige aus dem „Strand“-Abschnitt, einige aus dem „Schnee“-Abschnitt und einige aus dem „Wüsten“-Abschnitt. Sie sagen: „Erstelle mehr Zeug, das so aussieht wie diese Mischung.“ Plötzlich ist der Roboter nicht mehr nur dabei, eine Sache anzupassen; er erkundet die gesamte Bibliothek. Er kann die Helligkeit eines Strandes mit der Textur von Schnee kombinieren, auf eine Weise, wie es ein einzelner Knopf niemals könnte.

Das Paper nennt dies das Budget. Bevor der Roboter überhaupt trainiert wird, setzt das Datenset, aus dem er lernt, eine harte Grenze.

Das „Innerhalb-der-Kategorie“-Budget (Die Reichweite des Sagens): Dies ist der Spielraum, den Sie innerhalb einer einzelnen Kategorie haben. Wenn Sie einen Strand heller haben wollen, ist das Budget die Frage, wie viel heller ein Strand werden kann, basierend auf den Fotos, die der Roboter gesehen hat.
Das „Zwischen-den-Kategorien“-Budget (Die Reichweite des Zeigens): Dies ist der Raum, den Sie nutzen müssen, um zwischen Kategorien zu springen. Dies ist der Unterschied zwischen der durchschnittlichen Helligkeit eines Strandes und der durchschnittlichen Helligkeit eines Kohlebergwerks. Diese Lücke ist oft riesig – viel größer als der Spielraum innerhalb einer einzelnen Kategorie.

Die Autoren fanden heraus, dass für die meisten Dinge, die wir kontrollieren wollen, das „Zwischen-den-Kategorien“-Budget das entscheidende ist. Es ist die massive Lücke zwischen verschiedenen Arten von Dingen. Knöpfe (Sagen) können nur die winzige Bewegungsfreiheit innerhalb einer Kategorie erreichen. Beispiele (Zeigen) können die massiven Lücken zwischen den Kategorien überbrücken.

Der „Knopf“-Mythos und die „Beispiel“-Realität

Man könnte denken: „Wenn ich den Knopf nur fester drehe, wird es dann nicht funktionieren?“ Das Paper sagt: Nein.
Sie haben dies mit zwei sehr unterschiedlichen Robotern getestet: einem, der Bilder zeichnet (wie ein digitaler Künstler), und einem, der Kristallstrukturen entwirft (wie ein Materialwissenschaftler).

Im Kristall-Labor: Sie versuchten, Kristalle mit einer breiteren „Bandlücke“ (einer spezifischen Energieeigenschaft) zu erzeugen. Der „Knopf“ (ein einfaches Tag mit der Aufschrift „hohe Bandlücke“) bewegte die Nadel kaum. Aber als sie dem Roboter Beispiele von Kristallen zeigten, die tatsächlich hohe Bandlücken hatten, sprang der Output des Roboters zehn- bis hundertmal weiter als der Knopf es je könnte.
Im Bild-Labor: Sie versuchten, Bilder „tierähnlicher“ zu machen. Ein starker, gelernter Knopf konnte die Nadel zwar ein wenig bewegen, aber nur, wenn er versehentlich anfing, Bilder zu erzeugen, die ganz anderen Tieren ähnelten (wodurch die Regeln der „Kategorie“ gebrochen wurden). Die „Zeigen“-Methode, die die besten Tierkategorien mischte, bewegte die Nadel dreimal weiter als der beste Knopf.

Das Paper schließt die Idee explizit aus, dass „bessere Knöpfe“ das Problem lösen würden. Die Autoren argumentieren, dass das Limit kein Fehler im Design des Roboters ist, sondern ein fundamentales Gesetz der Daten. Wenn die Daten keinen großen Unterschied zwischen den Kategorien aufweisen, kann ein Knopf gut funktionieren (wie etwa ein Bild etwas heller zu machen). Aber wenn das Ziel erfordert, zwischen verschiedenen Arten von Dingen zu springen, ist ein Knopf strukturell dazu unfähig.

Warum das wichtig ist: Das „Ich weiß es, wenn ich es sehe“-Problem

Hier ist der coolste Teil. Manchmal wissen Experten genau, was sie wollen, können es aber nicht erklären.
Stellen Sie sich einen Filmeditor vor, der sich hundert Takes einer Szene ansieht und die zehn besten auswählt. Er kann nicht sagen, warum diese zehn perfekt sind. Er „weiß“ es einfach. Wenn Sie ihn bitten, das „Gefühl“ dem Roboter zu beschreiben, sagen Sie vielleicht: „Mach es emotionaler“, aber der Roboter wird nur ein generisches trauriges Gesicht erzeugen.

Sagen scheitert hier: Sie können dem Roboter kein Wort für ein Gefühl geben, das Sie selbst nicht beschreiben können.
Zeigen gewinnt hier: Sie übergeben dem Roboter einfach die zehn Clips, die Ihnen gefallen haben. Sie müssen das „Warum“ nicht erklären. Der Roboter sieht das Muster in dieser Mischung aus zehn Clips und sagt: „Ah, ich verstehe das Muster. Ich werde mehr von dem erstellen.“

Das Paper zeigt, dass „Zeigen“ diese „unbenennbaren“ Ziele erreichen kann, weil es das Ziel nicht mit Worten definieren muss. Es benötigt nur das Muster. Es kann sogar zwei gegensätzliche Dinge gleichzeitig mischen – wie „saubere Fahrzeuge“ und „sauberes Essen“ – was ein einzelner Knopf normalerweise nicht schafft, da er oft nur ein matschiges, verwirrendes Durchschnittsprodukt aus beidem liefert.

Das Urteil: Erst messen, dann wählen

Das Paper sagt nicht einfach nur „Beispiele sind besser“. Es gibt Ihnen ein Rezept, um zu wissen, wann Sie sie verwenden sollten.
Bevor Sie überhaupt mit der Generierung beginnen, können Sie ein schnelles „Audit“ Ihrer Daten durchführen. Sie können das „Budget“ berechnen, um zu sehen, wie viel der Veränderung aus der Bewegung innerhalb einer Kategorie (Spielraum) versus zwischen den Kategorien (die großen Sprünge) resultiert.

Wenn das „Zwischen“-Budget klein ist: Ist ein Knopf völlig in Ordnung. Sie müssen keine Beispiele zeigen.
Wenn das „Zwischen“-Budget riesig ist: Müssen Sie Beispiele zeigen. Ein Knopf wird Sie niemals dorthin bringen.

Die Autoren haben dies an Bildern und Kristallen getestet, und die Mathematik hat perfekt gehalten. Sie haben sogar gezeigt, dass wenn man versucht, einen Roboter darauf zu „tunen“, in einer Sache perfekt zu sein (wie z. B. alles „ästhetisch“ aussehen zu lassen), man oft die gesamte Vielfalt verliert und bei einem langweiligen, repetitiven Roboter landet. Das liegt daran, dass Tuning auf ein Bild nach dem anderen arbeitet und dadurch die Vielfalt schrumpft. „Zeigen“ durch das Mischen verschiedener Kategorien ist der einzige Weg, um diese Vielfalt lebendig zu halten.

Kurz gesagt: Das Paper lehrt uns, dass wir beim Steuern einer generativen KI nicht einfach nur an den Reglern drehen sollten. Wir müssen zuerst die Landkarte der Daten betrachten. Wenn das Ziel weit entfernt ist, brauchen wir kein besseres Lenkrad; wir müssen dem Roboter die Karte zeigen und ihn den besten Weg wählen lassen. Und manchmal ist der beste Weg einer, den wir nicht einmal benennen können, sondern nur zeigen können.

Technisches Resümee: Das Steuerungsbudget: Beispiele schlagen Regler

Problemstellung

Generative Modelle werden typischerweise durch „Regler“ gesteuert – Prompts, Guidance-Skalen oder Eigenschafts-Tags. Praktiker beobachten jedoch eine harte Obergrenze: Das Erzwingen dieser Steuerungen bis zu ihrem Limit scheitert oft daran, eine Zielvariable (z. B. Bildhelligkeit, Bandlücke eines Kristalls) in dem gewünschten Maße zu verschieben. Die Arbeit postuliert, dass diese Einschränkung kein Mangel in der Architektur oder dem Trainingsprozess des Modells ist, sondern eine strukturelle Beschränkung, die durch die Trainingsdaten selbst gesetzt wird.

Das Kernproblem besteht darin, zwischen zwei Arten von Steuerungsoperationen zu unterscheiden:

Sagen (Telling): Ein Ziel über einen Prompt oder ein Tag beschreiben (z. B. „heller Hund“). Dies ist eine konjunktive Operation, welche die Ausgabeverteilung durch die Schnittmenge von Constraints innerhalb einer spezifischen Kategorie verengt.
Zeigen (Showing): Eine Menge an Beispielen bereitstellen und darum bitten: „Mehr wie diese“. Dies ist eine disjunktive Operation, welche diverse Instanzen vereinigt, wodurch das Modell Ziele erfassen kann, die nicht in Worten artikulierbar sind oder die eine Kombination gegensätzlicher Eigenschaften erfordern.

Die Arbeit argumentiert, dass die Lücke zwischen dem, was „Sagen“ erreichen kann, und dem, was „Zeigen“ erreichen kann, nicht zufällig ist, sondern ein festes Budget darstellt, das durch die Varianzstruktur der Trainingsdaten bestimmt wird, noch bevor das Modell überhaupt trainiert wird.

Methodik

Theoretischer Rahmen: Das Budget

Die Autoren definieren den Ausgaberaum eines generativen Modells als in Bins ( $B$ ) sortiert basierend auf einem „billigen“ Label $P$ (z. B. Bildklasse, Kristallchemie). Eine „teure“ Eigenschaft $L$ (z. B. Ästhetik-Score, Bandlücke) variiert innerhalb und zwischen diesen Bins.

Die Gesamtvarianz von $L$ in den Trainingsdaten ( $J$ ) wird mithilfe der Totalvarianz-Regel in zwei distinkte Budgets zerlegt:

Innerhalb-Bin-Budget ( $T$ ): Die durchschnittliche Varianz von $L$ innerhalb eines einzelnen Bins. Dies stellt den Spielraum dar, der für das Sagen zur Verfügung steht. Da das Sagen durch die Umgewichtung von Ausgaben innerhalb eines festen Bins operiert, ist es strukturell auf dieses Budget beschränkt.
Zwischen-Bin-Budget ( $E$ ): Die Varianz der Mittelwerte von $L$ über verschiedene Bins hinweg. Dies repräsentiert den Spielraum für das Zeigen. Das Zeigen operiert durch die Änderung der Mischung der Bins (das „Rezept“ $P$ ), aus denen der Batch gezogen wird, und ermöglicht so den Zugriff auf dieses Budget.

Die Gesamtvarianz ist exakt:
$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Innerhalb)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Zwischen)}}$
wobei $w_b$ der Anteil des Bins ist, $v_b$ die Varianz innerhalb des Bins und $g_b$ der Mittelwert des Bins.

Die Reichweite von Operationen

Die Arbeit leitet ab, dass die maximale Verschiebung, die eine Operation im Mittel von $L$ erreichen kann, durch $\sqrt{\chi^2} \times \text{Budget}$ begrenzt ist, wobei $\chi^2$ die Abweichung von der ursprünglichen Verteilung misst.

Sagen: Auf $T$ beschränkt. In der Praxis realisieren Regler (wie Guidance-Skalen) ein kleines $\chi^2$ (nahe 1), was ihre Reichweite auf etwa $T$ begrenzt.
Zeigen: Greift auf $E$ zu. Durch Konstruktion eines Rezepts, das signifikant von der ursprünglichen Datenverteilung abweicht, kann das Zeigen ein viel größeres $\chi^2$ (oft $\sim 100$ ) realisieren, was es ermöglicht, den Mittelwert weit über die Reichweite eines jeden Reglers hinaus zu verschieben.

Empirische Validierung

Die Autoren testen diese Behauptungen in zwei unverbundenen Domänen:

Bilder: Ein Diffusion Transformer (DiT), trainiert auf ImageNet. Die Bins sind ImageNet-Klassen; die Targets sind Helligkeit, Ästhetik-Scores und CLIP-Inhalts-Scores.
Kristalle: Ein Generator, trainiert auf einer Materialdatenbank (Alexandria). Die Bins sind chemische Zusammensetzungen; die Targets sind Bandlücke, Stabilität und Dichte.

Sie führen ein „billiges Audit“ auf den Trainingsdaten durch, um $T$ und $E$ zu berechnen, ohne Samples zu generieren, und verifizieren anschließend, ob reale Modelle diesen Budgets entsprechen.

Zentrale Beiträge

Die Budget-Differenzierung: Eine präzise, quantitative Beschreibung, die die Steuerbarkeit einer Eigenschaft in einen „Sagen“-Teil (innerhalb des Bins) und einen „Zeigen“-Teil (zwischen den Bins) aufteilt. Diese Aufteilung ist allein aus den Trainingsdaten berechenbar, noch vor dem Modelltraining.
Die AND/OR-Beobachtung: Eine Formalisierung, dass „Sagen“ konjunktiv (Schnittmenge/Verengung) ist, während „Zeigen“ disjunktiv (Vereinigung/Diversität) ist. Dies erklärt, warum das Zeigen Ziele erreichen kann, die „ODER“-Bedingungen beinhalten oder implizite Präferenzen erfordern, die nicht benannt werden können.
Einheitliche Sicht auf Fehlermodi: Die Arbeit rahmt vier bekannte Probleme des generativen Modellierens – Mode Collapse, die Alignment Tax, Reward Hacking und das Versagen der kompositorischen Generalisierung – als einen einzigen strukturellen Mismatch um: der Versuch, ein „Zeigen“-Problem (das eine Sammlungsebene-Verteilung erfordert) mit „Sagen“-Methoden (Optimierung pro Output) zu lösen.
Prädiktiver Rahmen: Die Fähigkeit, a priori vorherzusagen, ob ein Ziel durch Regler erreichbar ist oder Beispiele erfordert. Wenn der Anteil zwischen den Bins ( $E/(E+T)$ ) hoch ist, sind Beispiele notwendig; wenn niedrig, genügen Regler.
Rezept zur Steuerung: Eine praktische Methode zur Konstruktion des optimalen „Rezepts“ (Bin-Mischung), um ein Ziel zu treffen. Für Durchschnittsziele konzentriert sich das Rezept auf den jeweils besten Bin; für Zielvorgaben bezüglich Streuung/Abdeckung mischt es Bins, um die Pareto-Front abzudecken.

Ergebnisse

1. Die Aufteilung ist exakt und überträgt sich

Exaktheit: Die Zerlegung der Varianz in $T$ und $E$ hielt in beiden Domänen exakt stand.
Übertragbarkeit: Für Eigenschaften, die das Modell getreu reproduziert (z. B. Kristall-Dichte, Bildhelligkeit), sagte das aus den Trainingsdaten berechnete Budget das Verhalten des Modells genau voraus. Für Eigenschaften, die das Modell nur schwer reproduziert (z. B. Kristall-Stabilität), war das Daten-Audit ein schlechter Prädiktor, was ein direktes Audit der Modellausgaben erforderlich machte.

2. Beispiele schlagen Regler (wenn das Budget es verlangt)

Größenordnung: Im Kristall-Bereich, wo der Anteil zwischen den Bins hoch war (z. B. 0,98 für die Bandlücke), bewegte die Wahl der Chemikalien (Zeigen) das Target 6,8-mal weiter als der stärkstmögliche innerhalb der Chemie wirkende Regler.
Grenzen der Regler: Selbst bei Verwendung der stärksten Regler (z. B. „Best-of-12“-Sampling oder gelernte Soft-Prompts) konnten sie die Reichweite des Zeigens bei High-Between-Bin-Targets nicht erreichen.
Ausnahmen: Bei Low-Between-Bin-Targets (z. B. Bildhelligkeit, wo $E/(E+T) \approx 0,17$ ) war ein starker gelernter Regler tatsächlich leistungsfähiger als einfaches Bin-Mixing, was die Vorhersage bestätigt, dass Regler ausreichen, wenn die Varianz des Targets primär innerhalb der Bins liegt.

3. Expressivität und Abdeckung

Konjunktive Ziele: Wenn nach einem Batch gefragt wurde, der zwei gegensätzliche Eigenschaften abdeckt (z. B. „saubere Fahrzeuge“ UND „sauberes Essen“), führten „Sagen“ (Prompting) oder das Komponieren von Bedingungen zu einem „matschigen Mittelmaß“ (Chimären). Nur Zeigen (Mischen eines Fahrzeug-Bins und eines Essens-Bins) produzierte echte Instanzen von beidem.
Implizite Steuerung: Das Framework steuerte erfolgreich auf „Geschmäcker“ zu, die Experten zwar demonstrieren, aber nicht benennen konnten (z. B. einen spezifischen Ästhetik-Stil), indem Beispiele genutzt wurden, um die Bin-Mischung zu inferieren, sofern das „billige“ Schlüsselmerkmal (Klassen-Label) die relevanten Bins unterscheiden konnte.

4. Trainingseffekte

Die Arbeit zeigt, dass Standard-Fine-Tuning (Filtering, RLHF) das Budget vorhersagbar umgestaltet. Wenn das Fine-Tuning jedoch zu aggressiv ist und das Modell die Trainingsverteilung vollständig verlässt, greift das datenseitige Budget nicht mehr, und das Modell muss direkt auditiert werden.

Bedeutung und Ansprüche

Die Arbeit behaupten, dass das „Steuerungsbudget“ ein fundamentales, modellagnostisches Verständnis der generativen Steuerung bietet:

Vorhersagbarkeit: Praktiker können das Budget in den Trainingsdaten messen, um im Voraus zu wissen, ob sie vom Prompting zum exemplarbasierten Steuern wechseln müssen.
Strukturelle Erklärung: Es erklärt, warum Optimierung pro Output (der Standard in RLHF und Fine-Tuning) unweigerlich zu einem Verlust der Varianz (Mode Collapse) führt, da es die Streuung zwischen den Bins ( $E$ ) kollabieren lässt, welche die einzige Quelle für Diversität auf Sammlungsebene ist.
Expressivität: Es validiert, dass „Zeigen“ der einzige Mechanismus ist, der in der Lage ist, auf Ziele zuzusteuern, die inhärent disjunktiv oder implizit sind, da diese Ziele im Zwischen-Bin-Budget leben, auf das „Sagen“ keinen Zugriff hat.

Die Autoren betonen, dass dies keine neue Generierungstechnik ist, sondern eine quantitative Beschreibung der Grenzen und Fähigkeiten bestehender Techniken (Prompts vs. Beispiele), die direkt aus den statistischen Eigenschaften der Daten abgeleitet wurde.