On Multi-Step Theorem Prediction via Non-Parametric Structural Priors

Deze paper introduceert een trainingsvrije aanpak voor meerstaps stellingvoorspelling die gebruikmaakt van Theorem Precedence Graphs om structurele drift te overwinnen en zo 89,29% nauwkeurigheid bereikt op de FormalGeo7k-benchmark, wat de prestaties van bestaande ICL-baselines overtreft en die van gesuperviseerde modellen evenaart.

De kern

🧠 De Wiskundige Reis: Hoe een AI een bewijs vindt zonder te studeren

Stel je voor dat je een gigantische bibliotheek binnenstapt met duizenden boeken over meetkunde. Je doel is om een heel moeilijk raadsel op te lossen door een reeks stappen te zetten, waarbij elke stap een nieuw boek (een stelling) gebruikt dat logisch voortvloeit uit de vorige.

Dit is wat automatisch redeneren is. Maar hier is het probleem: als je gewoon vraagt aan een slimme computer (een Large Language Model of LLM) om dit te doen, raakt hij vaak de weg kwijt.

📉 Het Probleem: "Structuur-Drift" (De Verloren Toerist)

In het verleden probeerden wetenschappers de computer te "leren" door hem duizenden voorbeelden te laten zien (zoals een student die jarenlang studeert). Maar wat als de bibliotheek morgen nieuwe boeken krijgt? Dan moet de student opnieuw beginnen.

De auteurs van dit paper ontdekten iets interessants: als ze de computer gewoon lieten werken zonder training (alleen met voorbeelden in de chat), ging het goed bij simpele raadsels. Maar zodra de oplossing lang werd (meer dan 5 of 6 stappen), zakte de prestatie dramatisch in.

Ze noemen dit "Structural Drift" (Structuur-Drift).

• De Analogie: Stel je voor dat je een toerist bent in een enorme stad. Bij de eerste straten (stap 1) weet je nog waar je heen moet. Maar na een paar uur lopen (stap 6) ben je zo verdwaald dat je in elke richting kunt lopen, ook in de verkeerde. Je loopt in cirkels of belandt in een doodlopende straat. De computer "vergeet" de logische volgorde en probeert willekeurige dingen, waardoor het bewijs mislukt.

💡 De Oplossing: De "Wegwijzer-kaart" (Pri-TPG)

In plaats van de computer te dwingen alles uit zijn hoofd te leren, bedachten de auteurs een slimme truc: geen training, maar een slimme kaart.

Ze noemen hun methode Pri-TPG. Laten we het zien als een reisplanner:

1. De Historische Kaart (Theorem Precedence Graph):
   Stel je voor dat je een kaart tekent van hoe andere mensen eerder dit raadsel hebben opgelost. Je ziet dat je altijd eerst brug A moet bouwen voordat je brug B kunt bouwen.

   • De computer maakt een gericht netwerk (een grafiek) van deze regels. Het is als een treinnetwerk: je kunt niet zomaar van station A naar station Z springen; je moet de lijnen volgen. Dit zorgt ervoor dat de computer alleen de logische routes bekijkt.

2. De Slimme Zoektocht (Retrieval):
   Als er een nieuw raadsel komt, kijkt de computer niet naar de hele bibliotheek, maar zoekt hij naar soortgelijke oude raadsels.

   • Analogie: Het is alsof je een detective bent. Je hebt een nieuwe moordzaak. In plaats van elke verdachte in de stad te ondervragen, kijk je eerst naar de dossiers van eerdere, vergelijkbare moorden. Welke verdachten kwamen daar vaak voor? Die houd je in de gaten.

3. De Controleur (Symbolic Executor):
   De computer (de planner) zegt: "Ik denk dat stap 3 goed is." Maar voordat hij verder gaat, laat hij een strenge controleur (een wiskundige robot) controleren of die stap echt klopt.

   • Als de controleur zegt: "Nee, dat kan niet," dan stopt de computer direct en probeert hij een andere route. Dit voorkomt dat je urenlang een verkeerde weg oploopt.

🚀 Wat leverde dit op?

Het resultaat is verbazend goed.

• Zonder training: De computer heeft nooit een lesje gehad. Hij gebruikt alleen zijn algemene kennis en deze slimme "wegwijzer-kaart".
• Prestaties: Op de test (FormalGeo7k) haalde hun methode 89% succes.
  • De oude methode (zonder kaart) zakte naar bijna 0% bij moeilijke raadsels.
  • Zelfs de beste methoden waarbij de computer wel jarenlang had gestudeerd, werden hiermee verslagen of gelijkgetrokken.

🌟 De Kernboodschap

Deze paper bewijst dat je niet altijd een enorme hoeveelheid training nodig hebt om een AI slim te maken. Soms is het beter om de AI te geven een goede structuur en een kaart (de "non-parametrische prior").

• Vroeger: "Leer alles uit je hoofd en probeer het dan." (Dit werkt niet bij lange reeksen).
• Nu: "Hier is een kaart van de logische volgorde, hier is een lijst met de beste opties, en hier is een controleur die checkt of je niet dwaalt. Ga maar aan de slag."

Het is alsof je iemand niet laat zwemmen in de oceaan zonder zwemband, maar je geeft hem een zwemband, een kompas en een reddingsboot die direct ingrijpt als hij dreigt te verdrinken. Zo kan de AI zelfs de moeilijkste meetkundige raadsels oplossen zonder ooit een schoolbank te hebben gezien.

Technische samenvatting

Titel: Multi-stap theoremapredictie via niet-parametrische structurele priors

1. Het Probleem

De kernuitdaging in dit onderzoek is multi-stap theoremapredictie binnen het domein van geautomatiseerd redeneren, specifiek voor meetkunde (Geometry Problem Solving - GPS).

• Beperkingen van bestaande methoden: Bestaande neurale-symbolische benaderingen vertrouwen zwaar op toezicht-gebaseerde, parametrische modellen. Deze modellen hebben moeite om te generaliseren naar veranderende bibliotheken met stellingen en vereisen kostbare hertraining bij nieuwe stellingen.
• Het "Structural Drift"-probleem: De auteurs identificeren een kritiek knelpunt bij het gebruik van In-Context Learning (ICL) met Large Language Models (LLMs). Naarmate de redeneerdiepte toeneemt (het aantal benodigde stappen), degradeert de prestatie van standaard ICL drastisch en stort deze soms in tot bijna nul. Dit wordt veroorzaakt door het onvermogen van LLMs om latente topologische afhankelijkheden te herstellen, wat leidt tot ongeordende exploratie en cumulatieve fouten. LLMs genereren vaak geldige stellingen die in de context van de huidige bewijstap niet toepasbaar zijn.

2. Methodologie: Pri-TPG

De auteurs stellen Pri-TPG (Prior-guided multi-step theorem prediction via Theorem Precedence Graphs) voor. Dit is een trainingsvrij (training-free) neurale-symbolisch framework dat LLMs fungeert als gestructureerde planners zonder gradiënt-basering optimalisatie.

Het framework bestaat uit drie hoofdblokken:

• A. Theorem Precedence Graphs (TPG):
  In plaats van stellingen te kiezen als een ongeordende classificatie, wordt een gerichte graaf $G = (V, E)$ geconstrueerd.

  • Knooppunten: Vertegenwoordigen stellingen.
  • Richtingen: Een rand $(u \to v)$ bestaat als de conclusie van stelling $u$ een noodzakelijke preconditie is voor het toepassen van stelling $v$.
  • Deze graaf encodeert temporele afhankelijkheden uit historische oplossingspaden en fungeert als een expliciete structurele prior die de zoekruimte beperkt.

• B. Query-Adaptieve Prior via Multimodaal Retrieval:
  Om de graaf dynamisch aan te passen aan het specifieke probleem, gebruikt het systeem een retrieval-augmented strategie:

  • Een multimodale encoder (tekst, diagram, symbolische staat) zoekt de $K$ meest vergelijkbare problemen in een database.
  • De TPG's van deze vergelijkbare problemen worden samengevoegd tot een query-specifieke graaf ($G_q$).
  • Dit creëert een kandidaatset van stellingen die relevant zijn voor de context van het huidige probleem.

• C. State-Aware Prior via Symbolische Validatie:
  Het proces is iteratief en niet-lineair. In elke stap $t$:

  1. Symbolische Pruning: Een symbolische solver verifieert welke kandidaat-stellingen toepasbaar zijn op basis van de huidige symbolische staat ($S_t$). Ongebruikelijke stappen worden verwijderd.
  2. Structurale Lokalisatie: De zoekruimte wordt verder beperkt tot alleen de afstammelingen van de vorige stap in de graaf $G_q$.
  3. Prioritering: Een scoringsfunctie ($\Psi$) combineert:
     • Doel-uitlijning: Semantische gelijkenis met het einddoel.
     • Grafische structuur: Voorkeur voor directe afstammelingen in de TPG.
     • Geschiedenis: Strafpunten voor reeds gebruikte stellingen om lussen te voorkomen.
  4. LLM Planning: De LLM selecteert de meest veelbelovende stap uit deze gefilterde en geprioriteerde lijst.

3. Belangrijkste Bijdragen

1. Identificatie van Structural Drift: De auteurs tonen aan dat standaard ICL faalt bij complexe, multi-stap redeneringen door het gebrek aan structurele priors, wat leidt tot een exponentiële groei van de zoekruimte en foutaccumulatie.
2. Pri-TPG Framework: Een niet-parametrische aanpak die historische oplossingspaden omzet in een Theorem Precedence Graph. Dit biedt trainingsvrije, context-gevoelige richtlijnen voor theoremapredictie.
3. Empirische Prestaties: Het framework bereikt state-of-the-art resultaten zonder dat het model zelf getraind hoeft te worden op de taak, wat de generalisatie naar nieuwe stellingbibliotheken mogelijk maakt.

4. Resultaten

De methoden zijn getest op de FormalGeo7k benchmark (en andere datasets zoals Geometry3K en GeoQA).

• Algemene Prestaties: Pri-TPG (met GPT-5.2) bereikte een nauwkeurigheid van 89,29%.
  • Dit is aanzienlijk beter dan de beste LLM-only baseline (Claude 4.5 Sonnet: 75,79%).
  • Het presteert zelfs beter dan de beste trainingsgebaseerde neurale-symbolische solver (FGeo-HyperGNet: 88,36%).
• Prestaties per Moeilijkheidsgraad:
  • Bij eenvoudige tot gemiddelde problemen (L1-L3) bereikt het systeem bijna perfecte scores (>96%).
  • Bij complexe problemen (L5-L6) blijft het robuust, terwijl standaard ICL volledig instort (nabij 0% nauwkeurigheid bij L5/L6).
• Ablatie Studies:
  • Het verwijderen van de symbolische feedback (single-pass) zorgt voor een catastrofale daling in prestaties (van 84% naar 34%), wat aantoont dat iteratieve validatie essentieel is.
  • Het toevoegen van TPG aan retrieval (RAG) verbetert de prestaties aanzienlijk, wat aantoont dat alleen kandidaten ophalen niet genoeg is; de volgorde en afhankelijkheid (structuur) zijn cruciaal.
• Robuustheid: De methode werkt consistent goed over verschillende LLM-achtergronden (van GPT-5 mini tot Gemini 3.0 Pro), wat aangeeft dat het framework een algemeen redeneer-skelet biedt.

5. Betekenis en Impact

• Schaalbaarheid: Door de zoekruimte te reduceren van $O(|L|)$ naar $O(|L_{qt}|)$ (waarbij $|L_{qt}| \ll |L|$), lost Pri-TPG het "zoek-diepte knelpunt" op dat traditionele symbolische solvers en LLMs parten speelt.
• Trainingsvrije Adaptatie: Het systeem kan direct worden toegepast op nieuwe stellingbibliotheken zonder dure hertraining, wat het ideaal maakt voor dynamische educatieve omgevingen.
• Paradigmaverschuiving: Het paper suggereert dat expliciete topologische priors (structuur) belangrijker zijn dan alleen semantisch begrip voor succesvol symboolredeneren. Het combineert de flexibiliteit van LLMs met de strikte correctheid van symbolische systemen.
• Toekomstperspectief: Hoewel het systeem zeer effectief is, blijft het uitdaging voor uiterst lange redeneerketens (L6) waar globale consistentie vereist is. De auteurs zien de integratie van diepte-afhankelijke priors als een belangrijke richting voor toekomstig werk.

Kortom, dit paper toont aan dat het combineren van retrieval-gebaseerde structurele priors met iteratieve symbolische validatie een krachtige, trainingsvrije route biedt om de beperkingen van LLMs in formeel redeneren te overwinnen.