📈 economics

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

Dit artikel vestigt een hanteerbaar kader voor de analyse van de strategische afwegingen tussen Supervised Fine-Tuning en In-Context Learning voor de personalisatie van LLM's onder congestie van middelen, waarbij wordt onthuld dat het aanbieden van beide methoden altijd winstgevend is voor platforms, terwijl de evenwichtkeuzes van gebruikers een niet-monotone gevoeligheid vertonen voor de kwaliteit van de pretraining en de taakcomplexiteit.

Oorspronkelijke auteurs: Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lastige puzzel probeert op te lossen, maar in plaats van het alleen te doen, heb je een super slimme robotvriend die bijna elk boek in de bibliotheek heeft gelezen. Deze robot is een Large Language Model (LLM). Hij is geweldig in algemene kennis, maar soms loopt hij vast op zeer specifieke taken, zoals het analyseren van een zeldzame medische conditie of het decoderen van een specifieke financiële trend. Om de robot te helpen, kun je hem een "spiekbriefje" met voorbeelden direct in het gesprek geven (dit wordt In-Context Learning of ICL genoemd). Het is snel en makkelijk, zoals het fluisteren van een hint naar een vriend. Of je kunt de tijd nemen om de hersenen van de robot specifiek voor jouw taak te hertrainen met een enorme dataset (dit wordt Supervised Fine-Tuning of SFT genoemd). Dit is krachtig en maakt de robot een echte expert, maar het is zwaar, traag en kost veel energie.

Stel je nu voor dat miljoenen mensen tegelijkertijd deze robots proberen te gebruiken op een enkel, gedeeld computernetwerk. Als iedereen tegelijkertijd probeert de hersenen van de robot te hertrainen, raakt het netwerk verstopt, zoals een snelweg tijdens de spits. Iedereen moet langer wachten, en de kosten voor het gebruiken van de dienst lopen op. Dit paper stelt een fascinerende vraag: wanneer je deel uitmaakt van deze drukke digitale snelweg, moet je dan een hint fluisteren (ICL) of de hersenen hertrainen (SFT)? Verandert het feit dat anderen ook een keuze maken wat het beste is voor jou? De auteurs behandelen dit als een groot strategisch spel waarbij jouw keuze invloed heeft op het verkeer voor iedereen, en ze gebruiken wiskunde om de perfecte balans te vinden tussen het krijgen van een geweldig antwoord en niet vaststaan in een digitale file.

Het Grote Robotdebat: Hinten Fluisteren versus Hersenen Herbedraden

Dus, je hebt een miljoen gebruikers, een beperkte hoeveelheid computerkracht en twee manieren om een slimme AI beter voor je te laten werken. De auteurs van dit paper hebben een wiskundig model gebouwd om te zien hoe dit verloopt. Ze hebben niet alleen gegokt; ze creëerden een "continuüm" van gebruikers (denk aan een constante, vloeiende stroom mensen in plaats van slechts een paar individuen) en observeerden hoe zij zich gedroegen wanneer ze moesten kiezen tussen het lichte In-Context Learning (ICL) en het zware Supervised Fine-Tuning (SFT).

Hier is de twist: de "beste" keuze is niet voor iedereen hetzelfde. Het hangt af van twee belangrijke zaken: hoeveel de robot al weet over jouw specifieke onderwerp (pretraining coverage) en hoe duidelijk het signaal is in je gegevens (signal-to-noise ratio).

De "Goldilocks"-zone van personalisatie
Het paper stelt vast dat als de pre-training van de robot jouw onderwerp al goed dekt, en je gegevens duidelijk zijn, SFT (het zware hertrainen) de winnaar is. Het is als het inhuren van een specialist om je auto te repareren; als je de juiste gereedschappen en een duidelijk probleem hebt, kunnen ze het perfect oplossen. Echter, als de robot heel weinig weet over jouw onderwerp, of je gegevens zijn rommelig en ruisachtig, dan wint ICL (het fluisteren van hints) het juist. Waarom? Omdat proberen de robot te hertrainen op een onderwerp waar hij niets van weet, met rommelige gegevens, is als proberen een vis te leren om in een boom te klimmen. Je zou de robot alleen maar in de war kunnen brengen en het erger kunnen maken. In die gevallen is het veiliger om gewoon een paar voorbeelden in de chat te geven en hem zijn best te laten doen met wat hij al weet.

De Verrassing van de File
Het meest verrassende deel van het verhaal is hoe "congestie" (de file) de regels verandert. De auteurs ontdekten dat de relatie tussen hoe goed de robot is en hoeveel verkeer hij veroorzaakt, geen rechte lijn is.

Betere pre-training helpt meestal: Als de robot begint met een beter brein (hogere precisie), gebruiken mensen minder computerkracht en wordt de file kleiner.
Maar meer dekking kan files veroorzaken: Als de robot leert over meer onderwerpen (bredere dekking), kan dit in sommige situaties de file zelfs erger maken. Het is alsocht als een snelweg die plotseling meer rijstroken toevoegt; mensen kunnen besluiten om meer te gaan rijden omdat de weg er makkelijker uitziet, wat uiteindelijk voor een nieuwe vorm van gridlock zorgt.
Moeilijkere taken kunnen de weg vrijmaken: Als een taak echt moeilijk en ruisachtig is, kunnen mensen misschien helemaal afzien van het personaliseren van de robot om de kosten te vermijden, wat de file juist vermindert!

Het Dilemma van het Platform
Ten slotte kijkt het paper naar het bedrijf dat de AI-service beheert (het platform). Ze willen winst maken, dus ze stellen prijzen vast. De auteurs bewijzen iets contra-intuïtiefs: Het aanbieden van beide opties (SFT en ICL) schaadt de winst van het platform nooit. Zelfs als het toevoegen van SFT de totale belasting van de servers verhoogt, geeft het gebruikers meer keuzes. Sommige gebruikers zullen overschakelen naar de zware SFT-optie wanneer deze goedkoop is, wat de vraag vergroot, terwijl anderen bij ICL blijven. Het platform kan altijd een prijspunt vinden waarop ze de meeste winst maken, ongeacht of ze één of beide methoden aanbieden. Sterker nog, de gegevens laten zien dat het aantal platforms dat zowel SFT als ICL aanbiedt is gestegen van 9,5% in 2021 naar 71,4% in 2025, wat suggereert dat de markt zich precies beweegt naar waar de wiskunde voorspelt dat het zou moeten gaan.

Het Bewijs in de Pudding
Om te controleren of hun wiskunde niet slechts mooie theorie was, hebben de auteurs een model genaamd GPT-2 getest op eenvoudige wiskundeproblemen (lineaire regressie).

Ze ontdekten dat wanneer ze het model meer voorbeelden gaven (ICL), de fout niet meer verbeterde na een bepa zeker punt, waarbij een "plafond" werd bereikt door de onderdelen van het probleem die het model nog niet eerder had gezien.
Ze zagen ook de "omslag" die ze voorspelden: met zeer weinig voorbeelden was ICL beter; met honderden voorbeelden nam SFT het stokje over.
Ze controleerden zelfs echte gegevens van 21 grote AI-bedrijven en bevestigden dat de trend naar het aanbieden van beide methoden echt is en groeit.

Kortom, dit paper vertelt ons dat het personaliseren van AI niet alleen gaat over het kiezen van het "beste" instrument; het is een complexe dans tussen wat de AI al weet, hoe rommelig je gegevens zijn, en hoe druk de digitale snelweg is. De "juiste" keuze hangt af van het hele systeem, niet alleen van jouw eigen behoeften. En voor de bedrijven die de show draaien? Een menu aan opties aanbieden is altijd de slimste zet.

Technische Samenvatting: Supervised Fine-Tuning versus In-Context Learning onder Congestie

Probleemstelling

Large Language Models (LLM's) hebben AI-diensten gerevolutioneerd, maar er bestaat een kritieke economische spanning tussen personalisatie en de schaarste aan middelen. Hoewel personalisatie (via Supervised Fine-Tuning, SFT, of In-Context Learning, ICL) de prestaties van modellen voor domeinspecifieke taken verbetert, verbruikt het gedeelde computationele middelen. Wanneer duizenden gebruikers tegelijkertijd modellen personaliseren op gedeelde infrastructuur, ontstaat er congestie: de keuze van de methode en de omvang van de steekproef door elke gebruiker beïnvloedt niet alleen hun eigen kosten, maar ook de wachttijden en latentie voor anderen.

Het artikel behandelt drie primaire vragen:

Algoritmekeuze: Hoe moeten gebruikers in afwezigheid van congestie kiezen tussen SFT en ICL op basis van statistische primitieven?
Evenwichtsgedrag: Hoe ruilen gebruikers in een scenario met gedeelde, beperkte middelen personalisatiekwaliteit af tegen congestiekosten in evenwicht?
Platformontwerp: Hoe moeten platforms hun servicemenu's ontwerpen (het aanbieden van SFT, ICL, of beide) en hun prijsstrategieën bepalen wanneer middelen schaars zijn?

Bestaande literatuur leunt vaak op schaalwetten of gestileerde gedragsveronderstellingen, waarbij het cruciale verschil tussen personalisatie-algoritmen en de strategische interacties op de schaal van miljoenen gebruikers wordt gemist. Dit artikel beoogt de kloof tussen statistische leertheorie en congestie-economie te overbruggen.

Methodologie

De auteurs ontwikkelen een hanteerbaar kader dat statistische modellering van LLM's combineert met een speltheoretisch model van een continuüm aan gebruikers.

1. Statistische Modellen van Personalisatie

Het artikel modelleert LLM-personalisatie als een lineair regressieprobleem.

Pretraining: Geabstraheerd als het leren van een a priori verdeling over taakparameters $\theta$ uit een dataset van omvang $N$ . Het gepretrainde model komt overeen met een geleerde a priori gemiddelde $\theta_{pre}$ en covariantie $\Sigma_{pre}$ .
In-Context Learning (ICL): Gemodelleerd als benaderende Bayesiaanse inferentie. Het model actualiseert zijn overtuiging over de doeltaak $\theta^*$ door de geleerde a priori te conditioneren op $N$ personalisatiesamples die in de prompt worden meegegeven, zonder de parameters bij te werken.
Supervised Fine-Tuning (SFT): Gemodelleerd als een geregulariseerde estimator die modelparameters actualiseert met behulp van taakspecifieke data, uitgaande van de gepretrainde initialisatie. Dit brengt hogere computationele kosten met zich mee (FLOPs en geheugen), maar maakt adaptatie mogelijk buiten de gepretrainde subspace.

De auteurs leiden gesloten uitdrukkingen af voor de gemiddelde kwadratische fout (MSE) van beide methoden, waarbij fouten worden ontleed in componenten die afkomstig zijn van pretraining, dataruis en algoritme-specifieke onzekerheid.

2. Continuüm Gebruikersmodel (LLM-Serving Congestion Game)

De interactie wordt gemodelleerd als een LLM-Serving Congestion Game (LSCG) met een continuüm aan gebruikers.

Gebruikerstypen: Gebruikers worden gekenmerkt door een type $t$ dat de statistische eigenschappen van hun doeltaak en het gepretrainde model samenvat (bijv. dimensie $d$ , pretraining coverage $r$ , signaal-ruisverhoudingen).
Acties: Elke gebruiker kiest een personalisatie-algoritme $a \in \{ICL, SFT\}$ en een aantal samples $\tilde{N}$ .
Kostenfunctie: De totale kosten van een gebruiker bestaan uit de leerfout (statistische prestatie) en de bronkosten. De bronkosten omvatten een geldprijs per eenheid aan middelen en een door congestie veroorzaakte tijdskost $h(R)$ , waarbij $R$ de geaggregeerde vraag naar middelen is.
Evenwicht: Het artikel definieert een Nash-evenwicht in deze continuüm-setting, waarbij bijna elke gebruiker zijn kosten minimaliseert gegeven het geaggregeerde congestieniveau, en het congestieniveau consistent is met het geaggregeerde gedrag van alle gebruikers.

Belangrijkste Bijdragen en Resultaten

1. Statistische Afwegingen: SFT versus ICL

De analyse levert een precieze drempelwaarde op voor wanneer SFT domineert over ICL, gestuurd door pretraining coverage ( $R = r/(d-r)$ ) en de signaal-ruisverhouding (SNR) van de personalisatiedata in de onbedekte subspace ( $\kappa$ ).

Bevinding: ICL is optimaal wanneer de pretraining coverage laag is en de data ruizig of beperkt is. In dit regime vermijdt de conservatieve aard van ICL (het enkel updaten binnen de gepretrainde subspace) de hoge variantie van SFT die probeert te leren in slecht ondersteunde richtingen.
Bevinding: SFT domineert wanneer de pretraining coverage hoog is en de data informatief is. SFT kan de fout reduceren in richtingen die niet door pretraining worden gedekt, terwijl ICL een vaste onvermijdelijke bias in die richtingen ondervindt.
Validatie: Experimenten met GPT-2 op lineaire regressietaken bevestigen dat de ICL-fout een plateau bereikt bij een bias die wordt bepaald door onbedekte dimensies, terwijl de SFT-fout blijft afnemen met de omvang van de steekproef.

2. Evenwichts-congestiedynamiek

Het artikel bewijst de existentie en uniciteit van het evenwichtsniveau van de congestie $R^*$ . Cruciaal is dat de relatie tussen systeemparameters en congestie niet-monotoon is:

Pretraining Precisie: Een hogere precisie ( $\pi$ ) vermindert de congestie altijd, omdat gebruikers minder afhankelijk zijn van dure online personalisatie.
Pretraining Coverage: Het vergroten van de coverage ( $r$ ) kan in intermediaire regimes de congestie verhogen. Naarmate de coverage expandeert, kunnen gebruikers overschakelen van ICL naar SFT (extensieve marge) of de steekproefomvang vergroten (intensieve marge) om de nieuw gedekte dimensies te exploiteren, wat de geaggregeerde vraag tijdelijk doet stijgen.
Taakmoeilijkheid: Moeilijkere taken (hoge ruis) kunnen de congestie verminderen door gebruikers ervan af te schrikken om überhaupt te personaliseren.
SFT Kosten: Het verhogen van de bronkosten van SFT kan aanvankelijk de congestie verhogen (naarmate gebruikers hun gebruik intensiveren voordat ze overschakelen) voordat het uiteindelijk de congestie vermindert naarmate gebruikers substitueren naar ICL.

3. Platformstrategie en Winstgevendheid

Het artikel analyseert de Stackelberg-strategie van het platform (het vaststellen van prijs $p$ om winst te maximaliseren).

Beprijzing: Het evenwichtsniveau van de congestie is dalend ten opzichte van de eenheidsprijs van de middelen. De winstmaximaliserende prijs is eindig onder regulaire condities.
Menudesign: De auteurs bewijzen dat het aanbieden van zowel SFT als ICL de maximale winst van het platform nooit verlaagt in vergelijking met het aanbieden van enkel ICL. Hoewel het toevoegen van SFT de potentie voor hogere geaggregeerde bronconsumptie (en dus congestie) vergroot, stelt het het platform in staat om surplus te verzilveren bij gebruikers die de voorkeur geven aan de hoogwaardige, kostbare optie.
Empirisch Bewijs: Een review van 21 grote AI-platforms laat zien dat het aandeel dat zowel SFT als ICL aanbiedt is gestegen van 9,5% in 2021 naar 71,4% in 2025, wat consistent is met de theoretische voorspelling dat diversiteit in personalisatieopties winstgevend is.

Betekenis en Claims

Het artikel claimt een bijdrage te leveren aan de opkomende AI-economische literatuur door een gedragsmatig onderbouwd model te ontwikkelen dat verder gaat dan prijzen per token om te vatten hoe algoritmische kenmerken strategische interacties vormgeven.

Theoretische Vernieuwing: Het verbindt klassieke congestiespeltheorie (peak-load pricing) met de specifieke statistische eigenschappen van LLM's. In tegen tegenstelling tot traditionele infrastructiecongestie die wordt gedreven door fysieke netwerkbeperkingen, benadrukt dit artikel een nieuwe bron van congestie die wordt gedreven door de algoritmische eigenschappen van personalisatiemethoden (bijv. hoe SFT en ICL verschillen in de intensiteit van de middelen en foutreductie).
Praktische Relevantie: Het framework verklaart de snelle adoptie van SFT API's door grote platforms, ondanks de extra complexiteit en belasting. Het biedt een theoretische rechtvaardiging voor waarom platforms een menu van personalisatieopties moeten aanbieden in plaats van één gestandaardiseerde methode.
Beleidsimplicaties: De niet-monotone aard van congestie suggereert dat het simpelweg verbeteren van pretraining-modellen of het vergroten van middelen de congestie niet lineair zal verminderen; platformontwerp moet rekening houden met hoe gebruikers tussen algoritmen en steekproefomvang schakelen als reactie op deze veranderingen.

De auteurs valideren hun theoretische voorspellingen met behulp van GPT-2 experimenten en industriële data, waarmee zij aantonen dat de lineaire benadering van LLM-gedrag effectief de kernafwegingen tussen SFT en ICL in een gecongesteerde omgeving kan vangen.