Technische Samenvatting: State Representatie en Terminatie voor Recursieve Redeneersystemen

1. Probleemstelling

Recursieve redeneersystemen – waaronder iteratieve retrieval-augmented generation, agent-actie-observatielussen, tree-of-thought redenering en continu leren – werken door te wisselen tussen het verwerven van nieuwe bewijzen en het verfijnen van een opgebouwde interne staat. Ondanks hun diversiteit lijden deze systemen momenteel aan twee kritieke ontwerpgaten:

1. Impliciete State Representatie: Huidige systemen stellen redeneerstaten vaak voor als vluchtige tekstsporen of verborgen activeringen. Dit gebrek aan gestructureerde, persistente staat verhindert dat het systeem expliciet bijhoudt welke claims worden ondersteund, welke in conflict zijn en welke vragen onopgelost blijven. Bijgevolg hopen zich ongedetecteerde tegenstrijdigheden op en kan het systeem niet bepalen welke informatie nog ontbreekt.
2. Exogene Terminatiecriteria: Terminatie wordt doorgaans opgelegd door vaste limieten (bijvoorbeeld maximale diepte, tokenbudget of aantal iteraties) in plaats van afgeleid te worden uit de interne dynamiek van het systeem. Dit leidt tot karakteristieke faalmodi: voortijdig stoppen bij complexe taken, redundante verwerking bij eenvoudige taken en "gehallucineerde" verbeteringen waarbij zelfverfijning de prestaties verslechtert door een gebrek aan convergentiesignalen.

Het artikel betoogt dat zonder een expliciete staat en een endogeen terminatiecriterium, recursieve systemen niet betrouwbaar kunnen detecteren wanneer ze een oplossing hebben gevonden of wanneer verdere iteratie voordelig is.

2. Methodologie

2.1. Epistemische State Graph

Om het gat in state representatie aan te pakken, stellen de auteurs de Epistemische State Graph ($S$) voor, een gestructureerde graaf gedefinieerd als een tuple $(V, E, \ell, c, w)$:

• Knopen ($V$): Gepartitioneerd in Claim-knopen (geëxtraheerde feiten), PartialAnswer-knopen (huidige beste antwoorden) en OpenQuestion-knopen (geïdentificeerde maar onopgeloste afhankelijkheden).
• Randen ($E$): Getypeerde gerichte randen die Supports (evidentiële onderbouwing), Requires (logische afhankelijkheid van onopgeloste bewijzen) en Contradicts (inconsequentie) voorstellen.
• Attributen: Knopen en randen zijn gewogen op vertrouwen ($c$ en $w$) en gecodeerd met attribuutvectoren ($\ell$).
• Embedding: Om wiskundige analyse te faciliteren, wordt de discrete graaf ingebed in een Euclidische ruimte met vaste dimensie ($\mathbb{R}^d$) via een gladde afbeelding $\phi$. Dit stelt de redeneeroperatoren in staat om als differentieerbare functies te worden behandeld, waardoor het gebruik van calculus-gebaseerde convergentieanalyse mogelijk wordt.

2.2. Expansie- en Consolidatieoperatoren

De dynamiek van het systeem worden geformaliseerd via twee operatoren die werken op de ingebedde staat $\theta_t$:

• Expansie ($P_e$): Integreert nieuw extern bewijs $e$. In de context van de graaf voegt dit nieuwe claim-knopen toe, koppelt deze via getypeerde randen en lost open vragen op.
• Consolidatie ($Q$): Verfijnt de staat uitsluitend met bestaande informatie. Dit omvat het oplossen van tegenstrijdigheden (verlagen van het gewicht van claims met lager vertrouwen), het samenvoegen van redundante knopen en het verschuiven van gewicht naar het beste deeltijds antwoord.
• Dynamiek: Het systeem evolueert via $\theta_{t+1} = Q(P_{e_t}(\theta_t))$, waarbij $e_t$ wordt bemonsterd uit een verdeling die afhankelijk is van de huidige staat.

2.3. Order-Gap Terminatiecriterium

De kerninnovatie voor terminatie is de Order-Gap ($\Omega$), die de niet-commutativiteit van de expansie- en consolidatieoperatoren meet.

• Definitie: $\Omega(\theta; e) = \|Q(P_e(\theta)) - P_e(Q(\theta))\|$.
  • $Q(P_e(\theta))$: De werkelijke systeemtrajectorie (expanderen en dan consolideren).
  • $P_e(Q(\theta))$: Een hypothetische trajectorie waarbij consolidatie plaatsvindt vóór expansie.
• Logica: Als de volgorde van bewerkingen de uitkomst significant verandert (grote $\Omega$), is het systeem gevoelig voor nieuw bewijs en heeft het zich nog niet gevestigd. Als de volgorde er niet toe doet (kleine $\Omega$), is verdere iteratie onwaarschijnlijk om het resultaat materieel te veranderen.
• Stopregel: Iteratie stopt wanneer een gewogen gemiddelde van de order-gap, $\hat{\Omega}_{t,w}$, onder een drempelwaarde $\epsilon$ daalt.

2.4. Niet-Degeneratie Analyse

Het artikel biedt een theoretisch garantie (Stelling 5.2) dat het criterium informatief is. Het vestigt een lokale niet-degeneratievoorwaarde voor de gelineariseerde commutator-Gramiaan ($G_{\theta^*}$). De voorwaarde stelt dat de order-gap niet algebraïsch nul is (d.w.z. een geldig signaal) dan en slechts dan als de doorsnede van de kernen van de gelineariseerde commutatoren voor alle mogelijke bewijsitems triviaal is. Dit zorgt ervoor dat een kleine order-gap ware convergentie weerspiegelt in plaats van een wiskundig artefact.

3. Belangrijkste Bijdragen

1. Epistemische State Graph: Een formele, gestructureerde representatie voor redeneerstaten die expliciet claims, conflicten, afhankelijkheden en vertrouwen bijhoudt, waardoor principiële expansie en consolidatie mogelijk worden.
2. Operator Framework: Een rigoureuze definitie van expansie- en consolidatieoperatoren op een gladde Euclidische embedding van de staatgraaf, wat dynamische analyse faciliteert.
3. Order-Gap Terminatie: Een nieuw, endogeen stopcriterium afgeleid uit de operatorstructuur van het systeem. Het meet de gevoeligheid van de staat voor de volgorde van bewerkingen.
4. Niet-Degeneratie Stelling: Een noodzakelijke en voldoende voorwaarde (Stelling 5.2) die karakteriseert wanneer de gelineariseerde order-gap niet-degeneraat is in de buurt van een vast punt, waardoor wordt gegarandeerd dat het criterium niet hol is.
5. Generaliseerbaarheid: Een demonstratie dat dit framework van toepassing is op diverse architecturen, waaronder recursieve taalsystemen, agentlussen, tree-of-thought redenering, bewijsvoering en continu leren.

4. Resultaten en Illustratie

Het artikel presenteert geen grootschalige empirische benchmarks, maar biedt een gesloten-formule 2-dimensionaal synthetisch voorbeeld om de interne consistentie van de dynamiek en de order-gap-formule te verifiëren.

• Opzet: Een statvector $(c, u)$ die vertrouwen en onzekerheid voorstelt, met analytisch gedefinieerde expansie- en consolidatieoperatoren.
• Observatie: De order-gap $\Omega$ blijkt groot te zijn wanneer het vertrouwen laag is en de onzekerheid hoog (regimes waar nieuw bewijs belangrijk is) en verdwijnt naarmate het vertrouwen naar 1 nadert of de onzekerheid is uitgeput.
• Trajectorie: Een gesimuleerde run met vijf bewijsitems toont aan dat de gewogen order-gap correct identificeert wanneer relevant bewijs is verwerkt en wanneer het systeem zich heeft gevestigd, wat vroegtijdig stoppen mogelijk maakt in vergelijking met een vast budget.
• Coverage Check: Het voorbeeld illustreert een faalmodus waarbij de order-gap dicht bij nul blijft, niet omdat het systeem convergeerde, maar omdat de bewijsverdeling faalde om kritieke open vragen te dekken (schending van de niet-degeneratievoorwaarde).

5. Betekenis en Scope

Het artikel claimt het eerste unified framework te bieden dat state representatie en terminatie behandelt als expliciete, gekoppelde ontwerpkeuzes in recursief redeneren.

• Lokaal vs. Globaal: De auteurs zijn expliciet dat de niet-degeneratiestelling een lokale voorwaarde is in de buurt van het vaste punt. Het garandeert geen globale convergentie noch begrenst het de fout van het uiteindelijke antwoord. Garantieën voor globale convergentie worden opgemerkt als vereiste voor aanvullende aannames (Lipschitz-constanten, ruisgrenzen) die in toekomstig werk moeten worden ontwikkeld.
• Praktische Impact: Het framework biedt een mechanisme om willekeurige stopregels te vervangen door een signaal afgeleid van de eigen trajectorie van het systeem. Het suggereert dat door de staat expliciet te maken en de niet-commutativiteit van operatoren te meten, systemen redundante berekening kunnen vermijden en kunnen detecteren wanneer verdere verfijning zinloos of schadelijk is.
• Toekomstige Richtingen: Het artikel schetst directe uitbreidingen, waaronder het verbinden van de niet-degeneratievoorwaarde met antwoordfout via concentratieargumenten en empirische evaluatie op long-context QA-benchmarks.

Kortom, het artikel stelt dat recursieve redeneersystemen moeten overstappen van impliciete, op tekst gebaseerde staten naar expliciete, op graaf gebaseerde epistemische staten, en van terminatie op basis van vast budget naar dynamische, op order-gap gebaseerde stopcriteria om robuuste en efficiënte inferentie te bereiken.