Technische Samenvatting: Gesloten Kennisdynamiek

Probleemstelling

Moderne AI-systemen, inclusief Large Language Models (LLM's) die gebruikmaken van zelfverfijning, Reinforcement Learning (RL)-agenten en autonome ontdekkingssystemen, vertrouwen steeds vaker op gesloten feedbackloops. Een alomtegenwoordig empirisch patroon in deze domeinen is verzadiging: de initiële snelle verbeteringen in prestaties of kwaliteit nemen af over opeenvolgende iteraties, wat leidt tot het stabiliseren van het systeem binnen een lokale "attractor" of een bassin van aantrekking.

Het centrale probleem dat wordt aangepakt is tweeledig:

1. Begrip van Verzadiging: Wat reguleert de langetermijndynamiek van deze systemen, en waarom verdwijnen marginale winsten?
2. Definiëren van Ontsnapping: Onder welke omstandigheden kan een verzadigd systeem voorbij zijn huidige attractor bewegen? Specifiek zoekt het artikel naar een onderscheid tussen loutere staat-perturbatie (beweging binnen een bassin), structurele verandering (het wijzigen van de update-wet) en kwaliteitsverbeterende ontsnapping (het verlaten van het bassin om een superieure oplossing te bereiken).

Bestaande theorieën (contractie-afbeeldingen, Bayesiaanse optimalisatie, dynamische systemen) bieden gedeeltelijke antwoorden binnen specifieke domeinen, maar missen een gedeelde operationele interface om staat-beweging te onderscheiden van structurele verschuivingen of om de benodigde informatie voor ontsnapping te kwantificeren.

Methodologie

De auteurs stellen een driedelig operationeel framework voor om gesloten kennisdynamiek te modelleren, waarbij observeerbare staten worden gescheiden van de onderliggende structuur.

1. Het driedelige model

• Niveau 1: Kennisrepresentatie ($x_t$): De observeerbare staat (bijv. een tekstconcept, beleid of hypothese).
• Niveau 2: Transitiedynamiek ($K_\theta$): De Markov-kernel die de evolutie van de staat regelt. Afhankelijk van een structurele parameter $\theta$ en feedback $\omega$, is de volgende staat $x_{t+1} \sim K_\theta^\omega(\cdot | x_t)$. De interne loop-kernel $K_\theta^{int}$ wordt afgeleid door integratie over interne feedback.
• Niveau 3: Onderliggende Structuur ($\theta$): Een expliciete structurele parameter die de update-wet definieert. Een structurele interventie werkt $\theta$ bij (bijv. het veranderen van een verifieerder of zoekprior). Cruciaal is dat structurele verandering niet wordt gedefinieerd door de waarde van de parameter zelf, maar door een observationele equivalentieklasse: een verandering is pas structureel als deze een detecteerbaar verschil produceert in de transitie-kernel op vooraf gespecificeerde probe-staten.

2. Verzadigingsanalyse (Vaste $\theta$)

Het artikel analyseert het regime waarin $\theta$ constant blijft.

• Lyapunov Drift Conditie: De auteurs passen een algemene drift-conditie toe: $E[V(x_{t+1}) | x_t] \le \rho V(x_t) + \sigma$.
• Resultaat: Onder condities van contractie-plus-ruis nadert het systeem een begrensde stabiliteitsregio. De verwachte afstand tot de attractor neemt exponentieel af, maar wordt beperkt door een door ruis gecontroleerde residuele vloer ($\sigma / (1-\rho)$). Dit verklaart waarom iteratieve zelfverfijning uiteindelijk stagneert: het systeem convergeert naar een "zachte attractor" waar verdere verbetering wordt beperkt door stochastische ruis in plaats van een gebrek aan inspanning.

3. Ontsnappingsanalyse (Structurele Interventie)

Ontsnapping wordt gedefinieerd als het verlaten van een vooraf gespecificeerd bassin $B(x^*_\theta, c)$. Het artikel onderscheidt twee mechanismen:

• Metrische Ontsnappingsconditie: Voor een interventie om een eenstaps verwachte ontsnapping te induceren, moet de geïnduceerde verschuiving in de attractor ($\Delta = d(x^*_\theta, x^*_{\theta'})$) groter zijn dan een drempelwaarde die bepaald wordt door de oude bassinradius, de nieuwe contractiesnelheid en externe ruis.
• Informatie-theoretische Drempel: Om de waarschijnlijkheid van ontsnapping met een marge $\eta$ te vergroten, moet de door de interventie geïnduceerde transitiewet verschillen van de wet zonder interventie door een specifieke baseline-relatieve Kullback-Leibler (KL) divergentie ($KL(P_z || P_0) \ge 2\eta^2$).
• Verduidelijking over Wederzijdse Informatie: De auteurs tonen expliciet aan dat Conditionele Wederzijdse Informatie (CMI) onvoldoende is om ontsnapping te certificeren. CMI meet variatie onder interventie-geconditioneerde updates, terwijl ontsnapping een verschuiving vereist ten opzichte van de baseline zonder interventie.

Belangrijkste Bijdragen

1. Operationeel Framework: Een verenigd model dat observeerbare representaties, transitie-kernels en onderliggende structuren scheidt, waardoor structurele verandering falsifieerbaar wordt via vooraf gespecificeerde kernel-verschillen.
2. Verzadigingsdiagnostiek: Een afleiding van de "exponentiële-plus-vloer" signatuur voor verzadigde systemen, die klassieke Lyapunov-drift koppelt aan de geobserveerde afnemende meeropbrengsten in LLM-zelfverfijning en RL.
3. Kwantitatieve Ontsnappingscondities:
   • Een metrische voldoende voorwaarde voor attractor-verplaatsing.
   • Een baseline-relatieve KL-grens die het benodigde informatiebudget vaststelt om de ontsnappingskans te vergroten.
   • Een theoretische scheiding die aantoont waarom CMI alleen ontsnapping niet kan voorspellen.
4. Cross-Domein Validatie: Toepassing van deze diagnostiek op LLM-codeherstel, sparse-reward RL en Bayesiaanse optimalisatie met behulp van gematchte continuatie-controles.

Experimentele Resultaten

Het artikel evalueert het framework over drie domeinen met behulp van "gematchte continuatie-controles" (het vergelijken van externe feedback tegenover voortgezette interne iteratie).

1. LLM Codeherstel

• Setup: LLM's proberen bugs te herstellen via recursieve zelfverfijning (Fase 1) tot verzadiging optreedt. Fase 2 introduceert verschillende typen feedback.
• Bevindingen:
  • Generieke feedback (bijv. "fix de fout") veroorzaakte code-dislocatie maar nul effectieve ontsnapping (geen kwaliteitsverbetering).
  • Doelgerichte foutfeedback (specifiek gericht op de bug) verbeterde de succesratio aanzienlijk (bijv. van 0,143 naar 0,469).
  • Diagnostische feedback (identificatie van de grondoorzaken) bereikte perfect herstel (1,0 succesratio) in alle trajecten.
  • Conclusie: Loutere dislocatie is onvoldoende; feedback moet uitgelijnd zijn met de taak-specifieke foutgrens om kwaliteitsverbeterende ontsnapping te induceren.

2. Reinforcement Learning (MiniGrid)

• Setup: PPO-agenten verzadigden op nul succes bij een compositionele taak (pak sleutel $\to$ open deur $\to$ doel).
• Bevindingen:
  • Voortzetings-PPO training zonder feedback (alleen PPO) slaagde er niet in het verzadigde regime te verlaten (0% succes).
  • Zwakke feedback (weinig demonstraties) was onvoldoende.
  • Sterke, doelgerichte feedback (behavioral cloning met expert-trajecten) verplaatste het beleid onmiddellijk naar een succesvol regime (tot 70% succes), wat standhield zelfs nadat de sparse-reward PPO training werd hervat.
  • Conclusie: Externe informatie kan het beleid naar een nieuw bassin verplaatsen dat door interne optimalisatie alleen niet bereikt kan worden.

3. Bayesiaanse Optimalisatie

• Setup: BO-agenten die vastzaten in lokale minima. Fase 2 injecteerde observaties om ontsnapping te testen.
• Bevindingen:
  • Het heropenen van het zoekdomein zonder feedback leverde bijna nul ontsnapping op.
  • Doelgerichte feedback (observaties nabij het globale optimum) induceerde hoge ontsnappingspercentages met weinig observaties.
  • Generieke feedback vereiste aanzienlijk meer informatie om ontsnapping te bereiken en bleef op complexe landschappen (Hartmann-6) ineffectief, zelfs bij hogere budgetten.
  • Conclusie: Uitlijning verschuift de informatie-ontsnappingsfrontier; taak-uitgelijnde feedback vereist minder informatie om actieve verificatie en ontsnapping te induceren.

Betekenis en Claims

Het artikel claimt een gemeenschappelijke meet- en interventie-taal te bieden voor heterogene gesloten-lus systemen. De betekenis ligt in:

• Operationalisering van Structurele Verandering: Voorbij theoretische definities gaan naar een falsifieerbare test gebaseerd op kernel-verschillen op probe-staten.
• Ontkoppeling van Iteratie en Verbetering: Aantonen dat extra interne iteraties (zelfverfijning, RL-stappen) een attractor niet kunnen verplaatsen; alleen structurele interventies die de onderliggende wet wijzigen, kunnen dat doen.
• Verfijning van Informatiemetrieken: Het corrigeren van de afhankelijkheid van Wederzijdse Informatie voor ontsnappingsanalyse door vast te stellen dat baseline-relatieve KL-divergentie de relevante metriek is om de ontsnappingskans te vergroten.
• Praktische Diagnostiek: Een framework bieden om te diagnosticeren waarom een systeem vastzit (ruisvloer versus structurele beperking) en welk type externe input (uitlijning versus volume) nodig is om te ontsnappen.

De auteurs blijven bescheiden en merken op dat de huidige experimenten de fenomenologie van verzadiging en ontsnapping ondersteunen, maar nog niet direct de structurele discrepantie $\delta_{\mu,\nu}$ of de numerieke KL-drempels in realtime schatten. Het framework wordt gepresenteerd als een instrument voor het ontwerpen van betere interventies en diagnostiek, eerder dan een volledige classificatie van alle mogelijke dynamische gedragingen.