🤖 machine learning

On the Power of Foundation Models

Dit artikel maakt gebruik van categorietheorie om aan te tonen dat hoewel prompt-gebaseerd leren strikt beperkt is tot representeerbare taken, een voldoende krachtig fundamenteel model met fine-tuning theoretisch elke downstream-taak binnen de categorie die door zijn pretext-taak wordt gedefinieerd kan oplossen en kan generaliseren naar ongezichten objecten via structurele mapping.

Oorspronkelijke auteurs: Yang Yuan

Gepubliceerd 2026-04-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Kan een Super-brein Alles Doen?

Stel je een student voor die elk boek in het universum heeft gelezen, oneindig veel tijd heeft om te studeren en nooit een fout maakt op zijn oefentoetsen. De auteurs stellen een simpele vraag: Als deze student perfect is in zijn oefentoetsen, kan hij dan automatisch elk nieuw probleem oplossen dat je hem voorschotelt?

In de wereld van AI is deze "student" een Foundation Model (zoals die achter ChatGPT of beeldgeneratoren). De "oefentoetsen" worden pretext-taken genoemd (bijvoorbeeld: het voorspellen van het volgende woord in een zin, of raden hoe een afbeelding is gedraaid).

Het artikel betoogt dat bestaande theorieën (over hoeveel data je hebt of hoe groot de computer is) dit niet kunnen beantwoorden. In plaats daarvan gebruiken de auteurs een tak van de wiskunde genaamd Categorietheorie (denk hieraan als de "grammatica van structuren") om uit te zoeken wat deze modellen wel en niet kunnen.

Ze vonden twee hoofdregels over hoe deze modellen nieuwe dingen leren:

Regel #1: De "Prompt"-limiet (De Bibliotheekpas-analogie)

Het Scenario: Je wilt dat het model een nieuwe klus doet (zoals katten herkennen op foto's), maar je wilt het niet opnieuw trainen. Je geeft het gewoon een specifieke instructie of "prompt" (zoals een bibliotheekpas die zegt: "Vind katten").

De Bevinding: Het model kan de nieuwe klus alleen oplossen als de klus al "verborgen" zit in de structuur van zijn oorspronkelijke training.

De Analogie: Stel je het model voor als een Bibliotheek.

De Pretext-taak (training) is hoe de bibliotheek zijn boeken heeft georganiseerd. Als de bibliotheek boeken alleen heeft georganiseerd op "Kleur", dan zijn de boeken gesorteerd op Rood, Blauw en Groen.
Prompt Tuning is alsof je de bibliothecaris vraagt: "Kun je een boek voor me vinden over Geschiedenis?"
Het Resultaat: Als de bibliotheek alleen op Kleur was georganiseerd, kan de bibliothecaris geen boek over Geschiedenis vinden, zelfs niet als hij het beste geheugen ter wereld heeft. De categorie "Geschiedenis" bestaat simpelweg niet in de structuur van de bibliotheek.
Het Bewijs uit het Artikel: De auteurs bewijzen dat als de trainingstaak (zoals het raden van afbeeldingsrotaties) het model alleen leert over "draaien", het model niet via prompts complexe taken kan uitvoeren zoals "segmenteren" (uitsnijden) van objecten, omdat het concept van "uitsnijden" niet in de structuur van de bibliotheek was ingebouwd.

Conclusie: Als je het model alleen leert schaken, kun je het niet zomaar "prompten" om voetbal te spelen. De nieuwe taak moet representeerbaar zijn door de oude structuur.

Regel #2: De "Fine-Tuning"-kracht (De Meestersleutel-analogie)

Het Scenario: Je bent bereid het model een beetje nieuwe training te geven (Fine-Tuning) met een kleine dataset voor de nieuwe klus.

De Bevinding: Dit is veel krachtiger. Als het model tijdens de initiële training de "structuur" van de wereld goed genoeg heeft geleerd, kan het elke nieuwe taak leren, mits je het voldoende middelen (data en rekenkracht) geeft om de punten te verbinden.

De Analogie: Stel je het model voor als een Meestersleutel die is geslepen om te passen in de sloten van een specifiek gebouw (de Pretext-taak).

Fine-Tuning is alsof je die Meestersleutel neemt en hem lichtjes vijlt om te passen in een nieuwe deur in een ander gebouw.
Het Resultaat: Zolang de Meestersleutel de essentie van de sloten van het eerste gebouw heeft vastgelegd, kun je hem herschikken om bijna elke deur in de wereld te openen.
Het Bewijs uit het Artikel: De auteurs tonen aan dat als het model "ideaal" is (de trainingstructuur perfect heeft geleerd), het alle benodigde informatie bevat om elke downstream-taak op te lossen. De trainingdata voor de nieuwe taak fungeert gewoon als een gids om het model te laten zien hoe het die informatie moet herschikken.

Conclusie: Fine-tuning is niet beperkt door de "representeerbaarheid" van de prompt. Als de basis sterk is, kan het model worden aangepast aan bijna alles.

Regel #3: De "Magische Brug" (De Vertaler-analogie)

Het Scenario: Wat gebeurt er als we verschillende soorten modellen combineren, zoals een dat tekst begrijpt en een dat afbeeldingen begrijpt (Multimodaal Leren)?

De Bevinding: Het artikel presenteert een "Generalisatietheorema". Het stelt dat als je een perfecte brug bouwt (een wiskundige mapping) tussen twee verschillende werelden (bijvoorbeeld Tekst en Afbeeldingen), de structuur van de ene wereld behouden blijft in de andere.

De Analogie: Stel je een Woordenboek voor dat "Tekst" perfect vertaalt naar "Afbeeldingen".

In de Tekst-wereld heb je het concept van een "Avocado-stoel" (een stoel in de vorm van een avocado). Dit object bestaat misschien niet in de echte wereld, en er bestaat geen foto ervan in je trainingsdata.
Echter, omdat de Tekst-wereld een logische structuur heeft waarin "Avocado" en "Stoel" kunnen worden gecombineerd, en je Woordenboek (het model) die structuur perfect behoudt bij het vertalen naar de Afbeeldingen-wereld...
Het Resultaat: Kan het model een perfecte afbeelding van een Avocado-stoel "hallucineren" of genereren, zelfs al heeft het er nooit een gezien. Het heeft de afbeelding niet onthouden; het begreep de relatie tussen de woorden en paste die structuur toe op de wereld van afbeeldingen.

Het Bewijs uit het Artikel: Dit verklaart waarom modellen zoals DALL-E 2 of CLIP afbeeldingen kunnen maken van dingen die niet bestaan in hun trainingssets. Ze kopiëren niet alleen; ze gebruiken de structurele logica van taal om nieuwe afbeeldingen te bouwen.

Samenvatting van de Claims van het Artikel

Prompten is Beperkt: Je kunt een model alleen dingen laten doen die al "ingebouwd" zijn in de manier waarop het is getraind. Als de training het de structuur van de nieuwe taak niet heeft geleerd, werkt een simpele prompt niet.
Fine-Tuning is Krachtig: Als je bereid bent wat extra training te doen, kan een model dat een goede structuur heeft geleerd worden aangepast om bijna elke taak op te lossen.
Structuur Creëert Nieuwe Dingen: Door de structuur van één domein (zoals tekst) perfect af te beelden op een ander (zoals afbeeldingen), kunnen modellen dingen genereren die nog nooit hebben bestaan (zoals een avocado-stoel), omdat ze de logische regels van de structuur volgen, en niet zomaar foto's onthouden.

De auteurs benadrukken dat ze het niet hebben over specifieke netwerkgroottes of hoeveelheden data, maar over de logische structuur van de taken zelf. Ze gebruiken wiskunde om te bewijzen dat de "vorm" van de trainingstaak de "vorm" dicteert van wat het model uiteindelijk kan doen.

1. Probleemstelling

Het paper adresseert een fundamentele vraag in het tijdperk van foundation modellen: Gegeven oneindig hoogwaardige data, oneindige rekenkracht en een oneindig groot model met een perfect trainingsalgoritme (dat nul generalisatiefout op de pretext-taak garandeert), kan zo'n model dan elke downstream-taak oplossen?

Bestaande theorieën van deep learning (representatie, optimalisatie en generalisatie) zijn ontoereikend om dit te beantwoorden omdat ze doorgaans specifieke data-distributies, netwerkarchitecturen of eindige resources veronderstellen. De auteurs betogen dat de beperking niet gaat over het leervermogen van het model, maar eerder over de structurele representatie van de taken zelf. Het kernprobleem is het bepalen welke downstream-taken oplosbaar zijn door een foundation model, uitsluitend gebaseerd op de structuur die wordt geïnduceerd door zijn pretext-taak.

2. Methodologie: Een Categorisch Kader

De auteurs maken gebruik van Categorietheorie als primaire wiskundige machinerie om foundation modellen te analyseren. Deze benadering maakt een "model-ongevoelig" perspectief mogelijk, met focus op de structurele relaties tussen datapunten in plaats van specifieke neurale netwerkarchitecturen of verliesfuncties.

Belangrijkste Gedefinieerde Concepten:

Foundation Model Geïnduceerde Categorie ( $C_f$ ): Een foundation model $f: D \to H$ $f : D \to H$ (data afbeelden naar representaties) induceert een categorie waar:
- Objecten: Datapunten modulo representatie-equivalentie (d.w.z. $X \sim X'$ als $f(X) = f(X')$ ).
- Morfismen: Gedefinieerd door een "data-ongevoelige readout" $k_f$ en samenstellingskaarten afgeleid van de operaties van de pretext-taak (bijvoorbeeld translatie in de feature-ruimte voor contrastief leren, of token-aanhechting voor taalmodellen).
Yoneda-Embedding ( $h_C$ ): Het paper maakt gebruik van het Yoneda-Lemma om de representatie van het model $f(X)$ te interpreteren als een representabele functor $h_C(X) = \text{Hom}_C(X, \cdot)$ . Dit mapt de interne feature-ruimte af op een categorie van functors ( $C^\vee$ ), en codeert effectief de structurele relaties van de data.
Taakrepresentatie: Downstream-taken worden gedefinieerd als functors $T \in C^\vee$ . Een taak oplossen betekent dat het model een output kan produceren die isomorf is aan $T(X)$ .

3. Belangrijkste Bijdragen en Resultaten

Het paper stelt drie hoofdstellingen vast met betrekking tot de capaciteiten van foundation modellen onder twee adaptatiestrategieën: Prompt Tuning en Fine Tuning.

A. De Grenzen van Prompt Tuning (Stelling 3)

Resultaat: Een foundation model kan een downstream-taak $T$ oplossen met prompt tuning dan en slechts dan als de taak $T$ representabel is in de categorie die wordt geïnduceerd door de pretext-taak.
Implicatie: Prompt tuning is strikt beperkt door de structurele rijkdom van de pretext-taak. Als de pretext-taak (bijvoorbeeld rotatievoorspelling) slechts een eenvoudige groepsstructuur induceert, kan het model complexe downstream-taken (bijvoorbeeld semantische segmentatie) niet oplossen via prompts alleen, ongeacht de modelgrootte.
Corollarium 1: Specifiek garanderen pretext-taken voor rotatievoorspelling niet het vermogen om content-niveau taken zoals classificatie of segmentatie op te lossen via prompting, aangezien de geïnduceerde categorie de nodige structurele complexiteit mist.

B. De Kracht van Fine Tuning (Stelling 5)

Resultaat: In tegenstelling tot prompt tuning heeft fine tuning geen dergelijke structurele beperking. Als een foundation model de minimale vereiste kracht heeft om de pretext-taak op te lossen (tot op symmetrie) en voldoende resources (data en rekenkracht) krijgt voor de downstream-taak, kan het theoretisch elke downstream-taak oplossen die binnen de categorie $C^\vee$ is gedefinieerd.
Mecanisme: Fine tuning stelt het model in staat een extensiefunctie te leren (via de Yoneda-extensiestelling) die de voorgeprogrammeerde representatieruimte afbeeldt op de specifieke doeltaakruimte.
Betekenis: Dit suggereert dat de "bottleneck" van foundation modellen niet de fine-tuning-capaciteit zelf is, maar de kwaliteit van de pretext-taak. Een rijke pretext-taak creëert een rijke categorie $C$ , wat op zijn beurt de ruimte van oplosbare downstream-taken uitbreidt.

C. Generalisatie en Multimodaal Leren (Stelling 6 & 7)

Resultaat: Het paper presenteert een Generalisatiestelling voor Structureel Leren. Als er een "feature-gealigneerde functor" bestaat tussen twee categorieën (bijvoorbeeld Tekst en Afbeelding), wordt de structurele informatie van de broncategorie behouden in de feature-ruimte van de doelcategorie.
Toepassing op "Ongeziene" Objecten: Dit verklaart hoe modellen zoals CLIP of DALL-E 2 objecten kunnen genereren of herkennen die niet in de trainingsdata aanwezig waren (bijvoorbeeld een "avocado-stoel"). Het model leert de structurele relaties (morfismen) tussen tekst- en afbeeldingscategorieën. Als de tekst "avocado-stoel" een geldige samenstelling is in de tekstcategorie, dan mapt de feature-gealigneerde functor deze structuur af op een corresponderend (mogelijk ongezien) object in de afbeeldingscategorie.
Compositiestelling (Stelling 7): Dit kader breidt zich uit tot ketens van categorieën, en verklaart hoe multimodale modellen verschillende domeinen kunnen verbinden (bijvoorbeeld Taal A $\to$ Taal B $\to$ Afbeelding) door functors te compositeren.

4. Betekenis en Impact

Verschuiving van Data/Architectuur naar Structuur: Het paper verlegt de theoretische focus van datahoeveelheid of netwerkdiepte naar de algebraïsche structuur van de taken. Het stelt dat de "kracht" van een foundation model wordt bepaald door de categorie die het induceert, en niet alleen door het aantal parameters.
Theoretische Rechtvaardiging voor Pretext-ontwerp: Het biedt een rigoureus wiskundig kader voor Zelftoezichtend Leren (SSL). Het verklaart waarom bepaalde pretext-taken beter werken dan anderen: ze induceren categorieën met rijkere morfismen, waardoor een bredere reeks downstream-taken mogelijk wordt.
Verklaring van "Zero-Shot" Capaciteiten: Het op Yoneda gebaseerde kader biedt een formele verklaring voor hoe foundation modellen generaliseren naar ongeziene concepten (compositie-generatie) door ze te behandelen als structurele composities binnen een categorie, in plaats van louter statistische correlaties.
Onderscheid tussen Prompting en Fine-tuning: Het verduidelijkt de theoretische grens tussen prompt engineering (beperkt door representabiliteit) en fine-tuning (alleen beperkt door resources en de rijkdom van de voorgeprogrammeerde categorie).

Conclusie

Het paper betoogt dat met oneindige resources het vermogen van een foundation model om taken op te lossen fundamenteel wordt beperkt door de categorische structuur die tijdens pretraining wordt geleerd. Waar prompt tuning beperkt is tot taken die structureel representabel zijn binnen deze categorie, kan fine tuning elke taak binnen die structurele ruimte ontsluiten. Bovendien toont het kader aan dat multimodaal leren in wezen de alignering van functors tussen verschillende categorieën is, wat het genereren en herkennen van nieuwe, ongeziene objecten mogelijk maakt via structurele compositie.