Technische Samenvatting: PEARL – Auditeerbare Reparatie voor Wetenschappelijke Redeneergraafextractie

Probleemstelling

Scientific Reasoning Graph Extraction (SRGE) beoogt gestructureerde links te herstellen tussen observaties, bewijsvoering, intermediaire claims en op papierniveau gelegen conclusies uit wetenschappelijke literatuur. Hoewel Large Language Models (LLMs) grafiekachtige verklaringen kunnen genereren met semantisch bruikbare knopen en randen, voldoen hun ruwe outputs vaak niet aan de strikte standaarden die vereist zijn voor betrouwbare wetenschappelijke workflows. Veelvoorkomende foutmodi omvatten defecte syntaxis (bijv. ongeldige DOT), afdwalende randlabels, incorrect georiënteerde wortels, ontbrekende eindpunten en zwakke bronankers.

Huidige benaderingen kampen met een dilemma: als parsen, repareren en evalueren worden samengevoegd, kunnen pipelines ofwel bruikbaar grafiekmateriaal verwerpen, ofwel stilletjes grafieken regenereren die niet langer de oorspronkelijke modeloutput weerspiegelen. Er is een gebrek aan een framework dat ruwe LLM-responses behandelt als voorwaardelijk structureel materiaal voor reparatie in plaats van als vertrouwde artefacten, waarbij de semantische geldigheid gekoppeld is aan gematchte judge-feedback en her-evaluatie.

Methodologie: Het PEARL-framework

PEARL (Peircean Extraction via Abstraction and Repair Layer) is een training-vrij framework ontworpen om ruisgevoelige LLM-grafiekresponses om te zetten in auditeerbare, semantisch geldige redeneergrafieken. Het ontkoppelt structurele toelaatbaarheid van semantische geldigheid via een gefaseerde pipeline:

1. Bron-gereferenceerd Grafiekcontract

PEARL definieert een gerichte redeneergraaf $\mathcal{G}=(p, \mathcal{V}, \mathcal{E}, r)$ waarbij:

• Knopen een lokale identifier, natuurlijke taaltekst en een bron-referentietupel $(x, y, z)$ bevatten die wijzen naar specifieke zinnen, standpunten of meningen in het bronpapier.
• Randen getypeerd zijn met een gesloten Peircean-taxonomie: $\{ded-rule, ded-case, ind-common, ind-case, abd-phen, abd-know\}$.
• Constraints vereisen gesloten randlabels, bekende eindpunten, geen zelflussen en een enkele terminale wortel. Een "redeneereenheid" wordt gedefinieerd als een doelknoop met geldige inkomende Peircean-randen die een coherent patroon vormen.

2. Tolerantiebewuste Structurele Materialisatie (Fase 1)

De pipeline extraheert grafiekachtige regio's uit ruwe responses en probeert een strikte DOT-parsing. Als dit faalt, wordt een syntaxis-tolerante herstelroute aangeroepen die DOT-achtige vormen, losse delimiters en expliciete XML/plist-velden accepteert, mits de corresponderende knopen en randen aanwezig zijn in de respons-oppervlakte. Cruciaal is dat deze fase geen ontbrekende wetenschappelijke knopen verzint, ontbrekende randen synthetiseert of gedeeltelijk gespecificeerde claims voltooit. De output wordt genormaliseerd naar een canonieke grafiekrepresentatie, waarbij opslagsteigers (bijv. engineering aggregation roots) worden gescheiden van het evaluatiezicht.

3. Deterministische Schema-reparatie

Voordat semantische beoordeling plaatsvindt, past PEARL deterministische reparaties toe om schema-corruptie aan te pakken:

• Het canonicaliseren van edge-label aliassen naar de gesloten Peircean-taxonomie.
• Het de-dupliceren van elementen en het verwijderen van ongeldige eindpunten/zelflussen.
• Het repareren van de wortel-oriëntatie op basis van vaste priorititeitsregels.
• Het registreren van elke operatie als audit-metadata.
  Indien het voldoen aan structurele constraints ongeziene inferentie vereist, registreert de pipeline een getypeerde fout in plaats van het als een semantische correctie te behanden.

4. Judge-Feedback Semantische Reparatie (Fase 2)

Deze fase opereert op de vrijgegeven bron-grafiek en de gematchte paper-bewijsvoering:

• Evaluatie: Het systeem voert een bron-evaluatie uit om Content Grounding (CG) en Reasoning Edge Accuracy (REA) te verkrijgen, samen met lokale judge-beslissingen over redeneereenheden.
• Stem-gestuurde Reparatie: Meerderheids-correcte redeneerankers worden behouden als de ruggengraat van de grafiek. Afgewezen eenheden (edge-types, redeneerstappen of wortels) worden gerepareerd op basis van gematchte lokale judge-feedback.
• Her-evaluatie: De gerepareerde grafiek wordt opnieuw geëvalueerd onder hetzelfde protocol. Alleen onveranderde, eerder geaccepteerde redeneringen behouden schone stemmen; alle gerepareerde componenten moeten opnieuw worden beoordeeld.

5. Finale Gate en Provenance-audit

Een kandidaat wordt strikt geaccepteerd als deze voldoet aan de finale gate: CG = 1.0 en REA = 1.0.

• Samples die deze gate niet halen, ontvangen getypeerde residuele labels in plaats van te worden verworpen.
• Provenance wordt apart geaudit met behulp van token F1 en node-to-span containment scores tegen het bronpapier.
• MiniCheck wordt gebruikt als een externe aanvulling voor source-grounding diagnostiek, maar is niet de strikte acceptatie-gate.

Belangrijkste Bijdragen

1. Training-vrij Materialisatie-framework: PEARL definieert een methode om heterogene LLM-grafiekresponses om te zetten in auditeerbare artefacten onder een gesloten Peircean-schema zonder fine-tuning.
2. Judge-Feedback Reparatiemechanisme: Het introduceert een reparatieproces voor semantische correctheid waarbij afgewezen lokale inferentiestappen, edge-types en terminale wortels worden gecorrigeerd via gelogde lokale operaties en opnieuw worden geëvalueerd, wat ongecontroleerde volledige grafiek-regeneratie voorkomt.
3. Empirische Validatie: Het framework wordt geëvalueerd op de ARCHE-benchmark over vijf verschillende LLM-archieven, waarbij substantiële verbeteringen in strikte semantische geldigheid en de release van grafiekoutputs geschikt voor research-agent workflows worden aangetoont.

Experimentele Resultaten

De evaluatie werd uitgevoerd op 350 rijen (5 modellen $\times$ 70 papers elk) uit de ARCHE-benchmark, bestaande uit Claude Sonnet 4.5, Gemini 3.1 Pro Preview, GPT-5.2, Grok 4.1 Thinking, en Qwen3.5-397B-A17B.

• Strict Gate Passes: De LLM-baseline behaalde 0/350 passes. PEARL verbeterde dit naar 300/350.
• Metric Verbeteringen:
  • Gemiddelde Content Grounding (CG) verbeterde van 0.827 naar 0.896.
  • Gemiddelde Reasoning Edge Accuracy (REA) verbeterde significant van 0.339 naar 0.906.
• Modelprestaties: GPT-5.2 behaalde de hoogste prestaties, waarbij de strict gate werd bereikt op 68/70 rijen met een finale REA van 1.000. Andere modellen vertoonden variërende mate van verbetering, waarbij alle modellen van nul baseline-passes naar ten minste 53 passes gingen.
• Residuele Analyse: Van de 50 rijen die de gate niet haalden, was de primaire oorzaak de afwezigheid van een betrouwbaar reparatie-anker (31 rijen), gevolgd door finale metric gate-fouten (13 rijen). Dit geeft aan dat de bottleneck vaak ligt bij de upstream source-link recovery in plaats van bij het reparatiemechanisme zelf.
• Ablatie-studies: Het verwijderen van wortelconstructie of iteratieve feedback verminderde de pass-rates aanzienlijk (bijv. "Root only" behaalde 102/350 passes versus 300/350 voor volledige PEARL), wat bevestigt dat lokale redeneerfouten naar boven propageren en niet enkel door wortel-reparatie kunnen worden opgelost.

Betekenis en Claims

Het artikel claimt dat PEARL een noodzakelijke "betrouwbaarheidslaag" biedt voor research-agent en AI-wetenschapper workflows die inspecteerbare redeneersporen vereisen. Door ruwe LLM-outputs te behandelen als voorwaardelijk materiaal voor reparatie in plaats van als vertrouwde artefacten, zorgt PEARL ervoor dat:

• Grafiekoutputs niet alleen syntactisch parseerbaar zijn, maar ook semantisch geldig volgens een strikte gate.
• Het reparatieproces een audit trail behoudt, waarbij onderscheid wordt gemaakt tussen structurele normalisatie en semantische correctie.
• Het framework het "silent regeneration" probleem voorkomt, waarbij een pipeline een grafiek kan produceren die niet langer de oorspronkelijke output van het model weerspiegelt.

De auteurs benadrukken dat hoewel PEARL de bruikbaarheid van door LLM gegenereerde redeneergrafieken aanzienlijk verbetert, het momenteel beperkt is tot het ARCHE Peircean-schema en tekstuele archieven. Portabiliteit naar nieuwe schema's of multimodale bewijsvoering zou herziene validators en bewijscontroles vereisen. De studie concludeert dat grafiekachtige LLM-outputs een geauditeerde reparatie vereisen voordat ze veilig kunnen worden geïntegreerd in praktische wetenschappelijke extractie workflows.