🤖 machine learning

The Steering Budget: Examples beat Knobs

Dit artikel betoogt dat de controleerbaarheid van generatieve modellen fundamenteel wordt beperkt door een "budget" dat inherent is aan hun trainingsdata, waarbij wordt aangetoond dat hoewel traditionele "draaiknop"-methoden (zoals prompts of guidance scales) slechts toegang krijgen tot een fractie van dit bereik, het verstrekken van concrete voorbeelden modellen in staat stelt om het volledige spectrum van het potentieel van een eigenschap te bereiken, inclusief doelen die niet verbaal gespecificeerd kunnen worden.

Oorspronkelijke auteurs: Raj Kumar Rajendran

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raj Kumar Rajendran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotkunstenaar hebt die alles kan tekenen wat je vraagt, van een golden retriever tot een kristalstructuur. Jarenlang hebben wetenschappers geprobeerd deze robot te besturen door hem "knoppen" te geven om aan te draaien. Je zou kunnen zeggen: "Maak het helderder," of "Maak het een foto," of "Draai de sturende knop naar het maximum." Het is alsoat je een schip probeert te sturen door aan een enkele roerblad te draaien. Maar er is een frustrerende limiet: hoe hard je de knop ook draait, de robot stopt uiteindelijk met bewegen. Hij loopt tegen een muur aan. Je wilt dat de afbeelding echt helder is, maar de robot maakt hem slechts "een beetje" helderder en weigert daarna verder te gaan.

Dit artikel stelt een simpele maar revolutionaire vraag: Waarom stopt de robot? Is het omdat de robot kapot is, of is er een verborgen regelboek aan hem gegeven voordat hij ooit begon met tekenen? De auteurs ontdekten dat de robot niet kapot is; hij werkt simpelweg binnen een strikt "budget" dat is vastgesteld door de data waar hij van heeft geleerd. Ze ontdekten dat er twee manieren zijn om met deze robot te praten: Vertellen en Tonen. "Vertellen" is het gebruiken van de knoppen en woorden om te verfijnen wat je wilt. "Tonen" is het aan de robot overhandigen van een stapel voorbeelden en zeggen: "Maak meer dingen zoals deze." De grote verrassing? "Tonen" kan plekken bereiken waar "Vertellen" niet eens van kan dromen, en we kunnen exact berekenen hoe ver elke methode kan gaan nog voordat we de robot aanzetten.

De Grote Muur van "Vertellen" versus de Magie van "Tonen"

Denk aan de kennis van de robot als een gigantische bibliotheek vol boeken. Elk boek is een specifiek type ding, zoals "Strandscènes," "Sneeuwbergen" of "Kristalstructuren."

Vertellen (De Knop): Wanneer je een knop gebruikt, sta je binnen één specifieke sectie van de bibliotheek, zeg de sectie "Strand." Je kunt de robot vragen om de strandzon zonniger te maken of het zand witter. Maar je zit vast in die ene sectie. Je kunt een strandscène niet magisch in een sneeuwgebergte veranderen door alleen aan een draaiknop te draaien. Je bent beperkt tot de variaties die al binnen de "Strand"-sectie bestaan.
Tonen (De Voorbeelden): Wanneer je voorbeelden laat zien, zit je niet vast in één sectie. Je kunt de robot een mix van boeken geven: een paar uit de "Strand"-sectie, een paar uit de "Sneeuw"-sectie en een paar uit de "Woestijn"-sectie. Je zegt: "Maak meer dingen die op deze mix lijken." Plotseling is de robot niet alleen maar iets aan het bijsturen; hij verkent de hele bibliotheek. Hij kan de helderheid van een strand combineren met de textuur van sneeuw op een manier die een enkele knop nooit zou kunnen.

Het artikel noemt dit het Budget. Voordat de robot zelfs maar getraind wordt, stelt de data waar hij van leert een harde limiet aan hoeveel hij kan veranderen.

Het "Binnen-de-categorie" Budget (De reikwijdte van Vertellen): Dit is de ruimte die je hebt om te wiebelen binnen één specifieke categorie. Als je een strand zonniger wilt maken, is het budget hoe zonnig een strand kan worden op basis van de foto's die de robot heeft gezien.
Het "Tussen-de-categorieën" Budget (De reikwijdte van Tonen): Dit is de ruimte die je hebt om tussen categorieën te springen. Dit is het verschil tussen de gemiddelde helderheid van een strand en de gemiddelde helderheid van een kolenmijn. Deze kloof is vaak enorm — veel groter dan de bewegingsruimte binnen een enkele categorie.

De auteurs ontdekten dat voor de meeste dingen die we willen controleren, het "Tussen-de-categorieën" budget de belangrijkste factor is. Het is de enorme kloof tussen verschillende soorten dingen. Knoppen (Vertellen) kunnen alleen de kleine bewegingsruimte binnen een categorie bereiken. Voorbeelden (Tonen) kunnen de enorme gaten tussen categorieën overbruggen.

De "Knop" Mythe en de "Voorbeeld" Realiteit

Je denkt misschien: "Als ik de knop maar harder aandraai, zal het dan niet werken?" Het artikel zegt: Nee.
Ze testten dit met twee zeer verschillende robots: één die afbeeldingen tekent (zoals een digitale kunstenaar) en één die kristalstructuren ontwerpt (zoals een materiaalkundige).

In het Kristallab: Ze probeerden kristallen te maken met een bredere "bandgap" (een specifieke energie-eigenschap). De "knop" (een eenvoudige tag die "hoge bandgap" aangeeft) bewoog de naald nauwelijks. Maar toen ze de robot voorbeelden lieten zien van kristallen die daadwerkelijk een hoge bandgap hadden, sprong de output van de robot tientallen tot honderden keren verder dan de knop ooit zou kunnen.
In het Beeldlab: Ze probeerden afbeeldingen er meer "dierlijk" uit te laten zien. Een sterke, geleerde knop kon de naald een beetje bewegen, maar alleen als de afbeeldingen per ongeluk begonnen te lijken op totaal andere dieren (waardoor de regels van de "categorie" werden doorbroken). De "Tonen"-methode, die de beste dierencategorieën mengde, bewoog de naald 3 keer verder dan de beste knop.

Het artikel sluit expliciet de gedachte uit dat "betere knoppen" dit zullen oplossen. Ze stellen dat de limiet geen fout is in het ontwerp van de robot, maar een fundamentele wet van de data. Als de data geen groot verschil tussen categorieën heeft, kan een knop prima werken (zoals een afbeelding iets helderder maken). Maar als het doel vereist om tussen verschillende soorten dingen te springen, is een knop structureel niet in staat dat te doen.

Waarom dit ertoe doet: Het "Ik weet het wel als ik het zie" Probleem

Dit is het coolste deel. Soms weten experts wat ze willen, maar kunnen ze het niet uitleggen.
Stel je een filmeditor voor die honderd takes van een scène bekijkt en de tien beste kiest. Ze kunnen niet uitleggen waarom die tien perfect zijn. Ze "weten" het gewoon. Als je hen vraagt de "vibe" aan een robot te beschrijven, zeggen ze misschien: "Maak het emotioneler," maar de robot zal alleen een generiek verdrietig gezicht maken.

Vertellen faalt hier: Je kunt de robot geen woord geven voor een gevoel dat je zelf niet kunt beschrijven.
Tonen wint hier: Je overhandigt de robot gewoon de tien clips die je leuk vond. Je hoeft niet uit te leggen waarom. De robot kijkt naar de mix van die tien clips en zegt: "Ah, ik zie het patroon. Ik zal meer van dat maken."

Het artikel laat zien dat "Tonen" deze "onbenoembare" doelen kan bereiken omdat het niet de opdracht krijgt om het doel met woorden te definiëren. Het heeft alleen de patronen nodig. Het kan zelfs twee tegenovergestelde dingen tegelijk mengen — zoals "schone voertuigen" en "schoon voedsel" — wat een enkele knop meestal niet kan zonder een modderig, verwarrend gemiddelde van beide te geven.

Het Oordeel: Meet eerst, kies dan

Het artikel zegt niet alleen "Voorbeelden zijn beter." Het geeft je een recept om te weten wanneens je ze moet gebruiken.
Voordat je überhaupt begint met genereren, kun je een snelle "audit" uitvoeren van je data. Je kunt het "Budget" berekenen om te zien hoeveel van de verandering voortkomt uit een categorie (bewegingsruimte) versus tussen categorieën (de grote sprongen).

Als het "Tussen"-budget klein is: Is een knop prima. Je hoeft geen voorbeelden te tonen.
Als het "Tussen"-budget enorm is: Moet je voorbeelden tonen. Een knop zal je daar nooit krijgen.

De auteurs testten dit op afbeeldingen en kristallen, en de wiskunde klopte perfect. Ze toonden zelfs aan dat als je probeert een robot te "tunen" om perfect te zijn in één ding (zoals alles "esthetisch" maken), je vaak de variëteit verliest en eindigt met een saaie, repetitieve robot. Dit komt omdat tunen werkt per afbeelding, waardoor de variatie krimpt. "Tonen," door verschillende categorieën te mengen, is de enige manier om die variatie levend te houden.

Kortom, het artikel leert ons dat we, om een generatieve AI aan te sturen, niet alleen aan de knoppen moeten draaien. We moeten eerst naar de kaart van de data kijken. Als de bestemming ver weg is, hebben we geen beter stuur nodig; we moeten de robot de kaart laten zien en hem de beste route laten kiezen. En soms is de beste route er een die we niet eens kunnen benoemen, alleen kunnen tonen.

Technische Samenvatting: Het Stuur-budget: Voorbeelden verslaan Knoppen

Probleemstelling

Generatieve modellen worden doorgaans gestuurd met behulp van "knoppen"—prompts, guidance scales of eigenschapstags. Echter, beoefenaars observeren een hard plafond: het op de limiet duwen van deze controles faalt vaak in het verplaatsen van een doel-eigenschap (bijv. helderheid van een afbeelding, bandgap van een kristal) naar de gewenste mate. Het artikel stelt dat deze beperking geen tekortkoming is van de architectuur of het trainingsproces van het model, maar een structurele beperking die wordt bepaald door de trainingsdata zelf.

De kern van het probleem is het onderscheid tussen twee soorten sturingsoperaties:

Vertellen (Telling): Een doel beschrijven via een prompt of tag (bijv. "heldere hond"). Dit is een conjunctieve operatie die de output-distributie vernauwt door constraints binnen een specifieke categorie te snijden.
Tonen (Showing): Een set voorbeelden verstrekken en vragen om "meer zoals deze". Dit is een disjunctieve operatie die diverse instanties verenigt, waardoor het model in staat is om doelen te vatten die niet in woorden kunnen worden uitgedrukt of die het combineren van tegenovergestelde eigenschappen vereisen.

Het artikel betoogt dat de kloof tussen wat "vertellen" kan bereiken en wat "tonen" kan bereiken niet incidenteel is, maar een vast budget vormt dat wordt bepaald door de variantiestructuur van de trainingsdata nog voordat het model wordt getraind.

Methodologie

Theoretisch Kader: Het Budget

De auteurs definiëren de outputruimte van een generatief model als zijnde ingedeeld in bins ( $B$ ) op basis van een "goedkope" label $P$ (bijv. afbeeldingklasse, kristalchemie). Een "dure" eigenschap $L$ (bijv. esthetische score, bandgap) varieert binnen en tussen deze bins.

De totale variantie van $L$ in de trainingsdata ( $J$ ) wordt met behulp van de Wet van de Totale Variantie gedecomposeerd in twee afzonderlijke budgetten:

Binnen-bin Budget ( $T$ ): De gemiddelde variantie van $L$ binnen een enkele bin. Dit vertegenwoordigt de ruimte die beschikbaar is voor vertellen. Omdat vertellen werkt door outputs binnen een vaste bin te herwegen, is het structureel beperkt tot dit budget.
Tussen-bin Budget ( $E$ ): De variantie van de gemiddelden van $L$ over verschillende bins. Dit vertegenwoordigt de ruimte voor tonen. Tonen werkt door de mix van bins (het "recept" $P$ ) waaruit de batch wordt getrokken te veranderen, waardoor het toegang krijgt tot dit budget.

De totale variantie is exact:
$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Binnen)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Tussen)}}$
waarbij $w_b$ het aandeel van de bin is, $v_b$ de variantie binnen de bin, en $g_b$ het gemiddelde van de bin.

Het Bereik van Operaties

Het artikel leidt af dat de maximale verschuiving die een operatie kan bereiken in het gemiddelde van $L$ wordt begrensd door $\sqrt{\chi^2} \times \text{Budget}$ , waarbij $\chi^2$ de afwijking van de oorspronkelijke distributie meet.

Vertellen: Beperkt tot $T$ . In de praktijk realiseren knoppen (zoals guidance scales) een kleine $\chi^2$ (nabij 1), wat het bereik beperkt tot ongeveer $T$ .
Tonen: Krijgt toegang tot $E$ . Door een recept te construeren dat afwijkt van de datadistributie, kan tonen een veel grotere $\chi^2$ realiseren (vaak $\sim 100$ ), waardoor het gemiddelde ver voorbij het bereik van elke knop kan verplaatsen.

Empirische Validatie

De auteurs testen deze claims in twee ongerelateerde domeinen:

Afbeeldingen: Een diffusion transformer (DiT) getraind op ImageNet. De bins zijn ImageNet-klassen; de doelen zijn helderheid, esthetische score en CLIP content scores.
Kristallen: Een generator getraind op een materiaaldatabase (Alexandria). De bins zijn chemische composities; de doelen zijn bandgap, stabiliteit en dichtheid.

Zij voeren een "goedkope audit" uit op de trainingsdata om $T$ en $E$ te berekenen zonder samples te genereren, en verifiëren vervolgens of echte modellen zich aan deze budgetten houden.

Belangrijkste Bijdragen

Het Budgetonderscheid: Een precieze, kwantitatieve account die de stuurbaarheid van een eigenschap splitst in een "vertel"-deel (binnen-bin) en een "toon"-deel (tussen-bin). Deze splitsing is berekenbaar uit de trainingsdata alleen, vóór de training van het model.
De AND/OR Observatie: Een formalisering dat "vertellen" conjunctief is (doorsnijding/vernauwing) terwijl "tonen" disjunctief is (unie/diversiteit). Dit verklaart waarom tonen in staat is om doelen te bereiken die betrokken bij "of"-condities of impliciete voorkeuren die niet in woorden te vatten zijn.
Verenigend Perspectief op Foutmodi: Het artikel herkadert vier bekende generatieve modelleringsproblemen—mode collapse, de alignment tax, reward hacking en het falen van compositionele generalisatie—als één enkele structurele mismatch: het proberen op te lossen van een "toon"-probleem (dat collectie-niveau spreiding vereist) met behulp van "vertel"-methoden (per-output optimalisatie).
Predictief Framework: De mogelijkheid om a priori te voorspellen of een doel bereikbaar is met knoppen of dat voorbeelden nodig zijn. Als het tussen-bin aandeel ( $E/(E+T)$ ) hoog is, zijn voorbeelden noodzakelijk; als het laag is, volstaan knoppen.
Recept voor Sturing: Een praktische methode voor het construeren van het optimale "recept" (bin-mix) om een doel te raken. Voor gemiddelde doelen concentreert het recept zich op de enkele beste bin; voor spreidings-/dekkingdoelen mengt het bins om de Pareto-front te dekken.

Resultaten

1. De Splitsing is Exact en Draagt Over

Exactheid: De decompositie van variantie in $T$ en $E$ hield exact stand in beide domeinen.
Overdracht: Voor eigenschappen die het model getrouw reproduceert (bijv. kristaldichtheid, beeldhelderheid), voorspelde het op de data berekende budget de gedragingen van het model accuraat. Voor eigenschappen waar het model moeite mee heeft om te reproduceren (bijv. kristalstabiliteit), was de data-audit een slechte voorspeller, wat een directe audit van modeloutputs noodzakelijk maakte.

2. Voorbeelden Verslaan Knoppen (Wanneer het Budget Dat Vereist)

Magnitude: In het kristaldomein, waar het tussen-bin aandeel hoog was (bijv. 0,98 voor bandgap), zorgde het kiezen van chemieën (tonen) ervoor dat het doel 6,8 keer verder bewoog dan de sterkst mogbare binnen-chemie knop.
Knoplimieten: Zelfs wanneer de sterkst mogelijke knoppen werden gebruikt (bijv. "best-of-12" sampling of geleerde soft-prompts), konden zij het bereik van tonen op high-between-bin targets niet evenaren.
Uitzonderingen: Op low-between-bin targets (bijv. beeldhelderheid, waar $E/(E+T) \approx 0,17$ ), presteerde een sterke geleerde knop wel beter dan eenvoudige bin-mixing, wat de voorspelling van het budget bevestigt dat knoppen volstaan wanneer de variantie van de target voornamelijk binnen de bins ligt.

3. Expressiviteit en Dekking

Conjunctieve Doelen: Wanneer gevraagd werd om een batch die twee tegenovergestelde eigenschappen dekt (bijv. "schone voertuigen" EN "schoon voedsel"), resulteerden "vertellen" (prompting) of het componeren van condities in een "modderig midden" (chimera's). Alleen tonen (het mengen van een voertuig-bin en een voedsel-bin) produceerde genuanteerde instanties van beide.
Impliciete Sturing: Het framework slaagde erin om te sturen naar "smaken" die experts wel konden demonstreren maar niet konden benoemen (bijv. een specifieke esthetische stijl) door voorbeelden te gebruiken om de bin-mix af te leiden, mits de goedkope sleutel (klasse-label) de relevante bins kon onderscheiden.

4. Trainings-effecten

Het artikel demonstreert dat standaard fine-tuning (filtering, RLHF) het budget voorspelbaar hervormt. Echter, als fine-tuning te agressief is en het model de trainingsdistributie volledig verlaat, is de budgetzijde van de data niet langer van toepassing en moet het model direct geaudit worden.

Betekenis en Claims

Het artikel claimt dat de "Steering Budget" een fundamenteel, model-agnostisch begrip biedt van generatieve sturing:

Voorspelbaarheid: Beoefenaars kunnen het budget meten op de trainingsdata om vooraf te weten of ze moeten overstappen van prompting naar exemplar-gebaseerde sturing.
Structurele Verklaring: Het verklaart waarom per-output optimalisatie (de standaard in RLHF en fine-tuning) onvermijdelijk leidt tot een verlies van variëteit (mode collapse), omdat het de tussen-bin spreiding ( $E$ ) doet instorten, wat de enige bron is van collectie-niveau diversiteit.
Expressiviteit: Het valideert dat "tonen" de enige mechanisme is die in staat is om te sturen naar targets die inherent disjunctief of impliciet zijn, aangezien deze targets in het tussen-bin budget leven waar "vertellen" geen toegang toe heeft.

De auteurs benadrukken dat dit geen nieuwe generatietechniek is, maar een kwantitatieve account van de limieten en mogelijkheden van bestaande technieken (prompts vs. voorbeelden), afgeleid direct van de statistische eigenschappen van de data.