A Theory of LLM Information Susceptibility

✨

Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Each language version is independently generated for its own context, not a direct translation.

De Kernvraag: Kan een slimme assistent je oneindig slimmer maken?

Stel je voor dat je een team hebt dat een moeilijk probleem moet oplossen, zoals het oplossen van een wiskundetoets of het spelen van Tetris. Je hebt twee manieren om dit team te laten werken:

De Basis: Je geeft het team gewoon meer tijd en rekenkracht (meer "budget"). Ze proberen meer oplossingen en kiezen de beste.
De LLM-Methode: Je voegt een super-slimme AI-assistent (een Large Language Model of LLM) toe. Deze leest de oplossingen van het team en zegt: "Nee, deze is beter, kies die."

De vraag die de auteurs van dit paper stellen is: Als je oneindig veel tijd en rekenkracht hebt, maakt die slimme AI-assistent het team dan sneller slimmer?

Het antwoord van de auteurs is verrassend: Nee, niet als de AI-assistent altijd dezelfde is.

De Analogie: De Vaste Chef en de Koks

Om dit te begrijpen, gebruiken we een keuken-analogie:

Het Budget (Rekenkracht): Dit is het aantal koks dat je in de keuken hebt. Hoe meer koks, hoe meer recepten ze kunnen proberen.
De Basisstrategie: Je koks proberen van alles. Als je 100 koks hebt, proberen ze 100 varianten van een gerecht.
De LLM (De Vaste Chef): Je hebt één vaste, zeer ervaren chef die naar de 100 gerechten kijkt en er één uitkiest.

De Theorie van de "Gevoeligheid" (Susceptibility):
De auteurs zeggen dat als je de keuken enorm groot maakt (bijvoorbeeld 1.000.000 koks), de basisstrategie (de koks zelf) al bijna het perfecte gerecht zal vinden. De vaste chef kan dan nog wel iets verbeteren, maar hij kan niet zorgen dat het team sneller verbetert naarmate je meer koks toevoegt.

Waarom? Omdat de chef een vast recept heeft. Hij kan geen nieuwe ingrediënten uit het niets halen. Als de koks al alle mogelijke goede combinaties hebben geprobeerd, kan de chef alleen maar kiezen uit wat er al is. Hij kan de "gevoeligheid" van het team voor extra koks niet verhogen. Het team wordt wel beter, maar niet sneller beter dan zonder de chef.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest in verschillende werelden:

Tetris: Een spelletje waarbij je blokken moet stapelen.
Wiskunde: Het oplossen van moeilijke opgaven.
Feiten: Het weten welke landen groter zijn dan andere.

Het Resultaat:
In alle gevallen zagen ze hetzelfde patroon:

Bij weinig rekenkracht (weinig koks) is de AI-assistent heel nuttig. Hij helpt het team om niet op domme fouten te vallen.
Maar zodra je genoeg rekenkracht hebt (veel koks), stopt de AI-assistent met het versnellen van de vooruitgang. De lijn van "prestatie versus rekenkracht" loopt niet steiler omhoog door de AI. De AI zit in een gevoeligheidsmuur.

De Oplossing: De "Nest" (Nested Architectures)

Dit klinkt misschien somber: "Dus AI kan ons niet oneindig verbeteren?"
Nee, er is een uitweg! De auteurs zeggen dat je de structuur van je team moet veranderen.

Stel je voor dat je niet één vaste chef hebt, maar dat elke kok zijn eigen chef wordt naarmate het team groter wordt.

Als je 10 koks hebt, heb je een kleine chef.
Als je 1.000 koks hebt, heb je een nog slimmere chef die specifiek is getraind voor die grote groep.

Dit noemen ze een "genest" (nested) systeem.
In hun experimenten met wiskundepuzzels zagen ze dat als de "generator" (de koks) en de "selector" (de chef) samen groeien (beide slimmer worden naarmate je meer rekenkracht hebt), ze de muur kunnen doorbreken.

De Metafoor:

Vaste AI: Een bril die je altijd op hebt. Hij helpt je beter te zien, maar als je ogen zelf al perfect zijn, helpt de bril niet meer om sneller te zien.
Geneste AI: Een bril die zichzelf verbetert naarmate je ogen sterker worden. De bril past zich aan aan je groei. Dan kun je wel oneindig blijven verbeteren.

Waarom is dit belangrijk?

Voor bedrijven: Als je een AI-systeem bouwt dat veel rekenkracht gebruikt, is het misschien een verspilling om een vaste AI-laag toe te voegen die de groei niet versnelt. Je kunt beter je rekenkracht steken in het verbeteren van de basis (meer koks, betere zoektochten).
Voor de toekomst van AI: Als we willen dat AI zichzelf oneindig verbetert (zichzelf "evolueert"), kan een systeem dat zichzelf gebruikt met een vaste structuur niet werken. Het moet een systeem zijn waarbij de onderdelen samen groeien. Alleen dan kan de AI echt "open-ended" (oneindig) slimmer worden.

Samenvatting in één zin

Een vaste AI-assistent kan je helpen bij kleine taken, maar hij kan je niet oneindig sneller maken als je al veel rekenkracht hebt; om echt oneindig te groeien, moet je hele systeem meegroeien, net als een plant die niet alleen groeit, maar ook zijn eigen wortels en bladeren versterkt.

Each language version is independently generated for its own context, not a direct translation.

Titel: Een Theorie van LLM Informatiegevoeligheid (LLM Information Susceptibility)

Auteurs: Zhuo-Yang Song en Hua Xing Zhu (Peking University)
Datum: 24 maart 2026 (Preprint)

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker geïntegreerd als optimalisatiemodules in agentische systemen (bijv. voor zoeken, plannen en verifiëren). Hoewel empirisch succes vaak wordt geboekt, ontbreekt er een fundamenteel theoretisch kader om de grenzen van deze door LLM's bemiddelde verbetering te begrijpen.

De centrale vraag is: Kan een vaste LLM-laag de asymptotische prestaties van een strategie verbeteren wanneer de rekenkracht (budget) onbeperkt toeneemt? Bestaande werken focussen vaak op specifieke prompting-technieken of trainingsschema's, maar er is geen algemene theorie die voorspelt wanneer LLM-interventie nuttig is en wanneer het zijn nut verliest in hoge-rekenkracht-scenario's.

2. Methodologie en Theoretisch Kader

De auteurs introduceren een theorie gebaseerd op concepten uit de statistische fysica, specifiek lineaire respons-theorie.

Definitie van Gevoeligheid (Susceptibility):
Het systeem wordt gemodelleerd als een agent die een strategie-set $P_B$ genereert onder een rekenbudget $B$ om een nuttigheidsfunctie $J$ te maximaliseren. De "gevoeligheid" ( $\chi$ ) wordt gedefinieerd als de afgeleide van de prestaties ten opzichte van het budget: $\partial J / \partial B$ .
De Hypothese:
De kernhypothese stelt dat voor een vaste LLM (waarbij de parameters en architectuur niet veranderen met het budget), de gevoeligheid van de door de LLM afgeleide strategie-set ( $P'_B$ ) de gevoeligheid van de basisstrategie ( $P_B$ ) niet kan overtreffen in de limiet van een groot budget:
$\lim_{B \to \infty} \left\langle \frac{\partial J(P_B)}{\partial B} \right\rangle \geq \lim_{B \to \infty} \left\langle \frac{\partial J(P'_B)}{\partial B} \right\rangle$
Dit impliceert dat een vaste LLM de asymptotische schaalverhouding niet kan verbeteren; hij kan de prestaties wel verhogen (constante offset), maar niet de snelheid waarmee prestaties groeien met extra rekenkracht.
Relatieve Gevoeligheid ( $\alpha$ ):
Voor een enkel budgetvariabele wordt dit uitgedrukt als een relatieve gevoeligheid $\alpha$ . De theorie voorspelt dat $\alpha \leq 1$ wanneer het budget voldoende groot is.
Meerdere Budgetvariabelen:
De theorie wordt uitgebreid naar multi-variabele systemen. Als de architectuur genest is (waarbij componenten zoals een generator en een selector samen schalen met het budget), kan de totale gevoeligheid $\alpha_{total}$ groter dan 1 worden, mits er een positieve koppeling tussen de componenten bestaat.

3. Experimentele Validatie

De theorie werd getest in vier structureel verschillende domeinen met modellen uit de Qwen-serie (van 7B tot ~200B parameters):

Tetris (Combinatorisch Spel):
- Setup: Beam search (basis) vs. LLM die de top-3 kandidaten selecteert.
- Resultaat: De gevoeligheid van de LLM-strategie was consistent lager dan die van de beam search (gemiddelde helling 0.5 vs 1.4). De prestatiekloof groeide met het budget, ongeacht prompt-engineering of beloningsfuncties.
AIME Wiskunde (Redeneren):
- Setup: Generator maakt $k$ oplossingen, basis gebruikt meerderheidsstemming (majority vote), LLM-gebaseerde selector kiest één antwoord.
- Resultaat: Bij lage $k$ ( $\leq 5$ ) presteerde de LLM beter ( $\alpha > 1$ ). Bij hoge $k$ ( $\geq 12$ ) daalde $\alpha$ onder de 1, wat aangeeft dat de meerderheidsstemming statistisch robuuster wordt dan de vaste LLM-selector.
0/1 Knapsack (Optimalisatie):
- Resultaat: De LLM fungeerde hier als een "identity mapping" (pass-through), waarbij de prestatiekloof minimaal was, wat consistent is met de theorie ( $\alpha \leq 1$ ).
Wereldkennis Ranking:
- Resultaat: Bij lage signaal-ruisverhouding (laag budget) had de LLM een voordeel door wereldkennis. Bij hoge signaal-ruisverhouding (hoog budget) domineerde het algoritmische basisysteem.

4. Belangrijkste Bijdragen en Resultaten

De "Susceptibility Bound": Er is een empirisch en theoretisch bewezen grens aan de mate waarin een vaste LLM de schaalverhouding van prestaties kan verbeteren. In het regime van hoge rekenkracht kan een vaste laag de asymptotische respons niet verhogen.
De Overgangspunt: De studie identificeert een kritiek punt (bijv. $k \approx 12$ in AIME) waar de relatieve gevoeligheid $\alpha$ onder de 1 daalt. Dit markeert het moment waarop de basisstrategie (zoals meerderheidsstemming of beam search) statistisch superieur wordt aan de LLM-interventie.
Geneste Architecturen als Oplossing: De theorie toont aan dat om de gevoeligheidsgrens te doorbreken ( $\alpha > 1$ ), de architectuur genest moet zijn. Als de selector en de generator co-schalen (beide worden groter naarmate het budget toeneemt), kan de totale gevoeligheid de 1 overstijgen. Dit opent een responskanaal dat niet beschikbaar is voor vaste configuraties.
Robuustheid: De bevindingen bleken robuust over verschillende prompt-varianten (minimal, chain-of-thought, expert), beloningsfuncties en modelgroottes.

5. Betekenis en Implicaties

Ontwerp van AI-systemen: Voor toepassingen met hoge rekenkracht is het inefficiënt om te vertrouwen op een vaste LLM-wrapper om prestaties te versterken. In plaats daarvan moet de focus liggen op het verbeteren van de basisstrategie-generatie (zoals betere zoekalgoritmen) of het implementeren van geneste, co-schalingssystemen.
Open-eindige Zelf-evolutie: De paper suggereert dat een LLM die probeert zichzelf te verbeteren met een vaste interne laag fundamenteel beperkt is (het feedback-lusje verzadigt). Voor echte, open-eindige zelf-evolutie is een geneste architectuur een noodzakelijke structurele voorwaarde, waarbij de capaciteit van componenten meegroeit met de complexiteit.
Interdisciplinaire Toepassing: Het werk demonstreert dat tools uit de statistische fysica (zoals gevoeligheid en lineaire respons) een voorspellend raamwerk kunnen bieden voor het ontwerp van complexe agentische systemen, verder dan louter empirische observaties.

Conclusie:
De paper concludeert dat een vaste LLM-laag nuttig kan zijn in lage- tot middelhoge-budgetscenario's, maar dat de wetten van informatiegevoeligheid verhinderen dat deze de asymptotische schaalverhouding verbetert. Om de grenzen van computationele optimalisatie te doorbreken, moeten architecturen dynamisch worden aangepast via co-schaling van componenten, wat een fundamentele voorwaarde is voor toekomstige systemen met open-eindige zelf-improvement.