Technische Samenvatting: paper.json – Een Coördinatieconventie voor door LLM-agenten uitvoerbare Papers

1. Probleemstelling

Grote Taalmodellen (LLM) fungeren steeds vaker als primaire lezers van academische literatuur, met als taak sub-claims te extraheren, reproduceerbaarheidsstappen te identificeren en het onderzoeksgebied te generaliseren. Echter, standaard op proza gebaseerde papers creëren systematische informatiehiaten die leiden tot terugkerende agent-fouten:

• Granulariteitsmismatch: Agents worstelen om specifieke sub-claims te onderscheiden van nuanceringen, context of gerelateerd werk, wat leidt tot citatiehallucinaties op het niveau van sub-papers.
• Scope-overextensie: Agents generaliseren bevindingen vaak verder dan wat is getest (bijvoorbeeld ervan uitgaande dat een methode werkt op alle datasets terwijl er slechts één is gebruikt), omdat de "negatieve ruimte" van wat een paper niet claimt zelden expliciet is.
• Reproduceerbaarheidsambiguïteit: Agents kunnen de exacte shell-opdrachten die nodig zijn om figuren te reproduceren niet betrouwbaar identificeren, omdat methodesecties processen beschrijven in plaats van woord voor woord uitvoerbare instructies te bieden.
• Definitie-drift: Agents reconstrueren definities uit context in plaats van door auteurs geschreven formele definities op te halen, wat leidt tot stille vocabulairefouten die zich voortplanten door downstream-analyses.

Bestaande oplossingen zoals JATS, RO-Crate, uitvoerbare notebooks en Web-annotaties adresseren aanverwante problemen, maar falen in het bieden van een lichtgewicht, zelfstandig mechanisme dat samen met de paper reist om specifieke claims te koppelen aan opdrachten en definities zonder toegang tot externe platformen of complexe rendering te vereisen.

2. Methodologie: De paper.json-conventie

De paper stelt paper.json voor, een begeleidend JSON-bestand dat co-locaal is met de PDF-bron. Het fungeert als een coördinatieconventie in plaats van een nieuwe technologie, ontworpen om stapsgewijs te worden geadopteerd zonder de voor mensen leesbare output te wijzigen.

De conventie rust op vijf kerncomponenten (D1–D4 en C1–C5):

• D1: Het Begeleidende Bestand: Een machineleesbaar JSON-bestand met stabiele ID's voor claims, definities, stellingen en reproduceerbaarheidsopdrachten. Het vereist slechts een JSON-parser om te lezen, waardoor de noodzaak voor PDF-extractie of LaTeX-rendering wordt geëlimineerd.
• D2: Expliciete Niet-claims: Een dedicated sectie (zowel in JSON als in proza) die opsomt wat de paper niet stelt. Dit richt zich op "plausibele mislezingen" en hallucinatoire extensies, en biedt agents een checklist om inferenties tegen te valideren.
• D3: Uitvoerbare Reproduceerbaarheid: Elke figuur en tabel is gekoppeld aan een exacte, woord voor woord shell-opdracht in het reproducibility.commands-array. Dit verschuift reproduceerbaarheid van een eigenschap van een codebase naar een eigenschap van de paper zelf.
• D4: Dubbelvormige Stellingen: Stellingen worden geformuleerd in zowel natuurlijke taal als een gestructureerd notatieblok (ASCII/Unicode-wiskunde) dat zonder LaTeX-rendering kan worden geparseerd.
• Stabiele Identificatoren (C1, C5): Claims krijgen stabiele ID's toegewezen (bijvoorbeeld C1, C2) en definities krijgen ID's toegewezen (bijvoorbeeld D1). Deze ID's moeten woord voor woord voorkomen in de brontekst, waardoor agents specifieke sub-claims of definities direct kunnen opvragen in plaats van ze uit proza te reconstrueren.

Validatie en Compliance:
De paper bevat een Python-validator zonder afhankelijkheden (validator.py) en een JSON-schema (schema.json). De validator zorgt voor structurele compliance: het bevestigt dat elke in paper.json gedeclareerde ID in de brontekst voorkomt en dat er geen ID's in de bron bestaan zonder declaratie. Minimale levensvatbare compliance (C4) vereist alleen het paper.json-bestand naast de PDF, bereikbaar met de hand in minder dan een uur.

3. Belangrijkste Bijdragen

• Een Lichtgewicht Coördinatieconventie: Een schema dat LLM-agenten in staat stelt om op het niveau van sub-claims en specifieke opdrachten met papers te interageren zonder platformspecifieke integraties te vereisen.
• Expliciete Negatieve Constraints: De introductie van een "claimt-niet"-sectie om hallucinaties van scope-overextensie actief te voorkomen.
• Woord voor woord Reproduceerbaarheid: Een mechanisme om figuren direct te koppelen aan uitvoerbare opdrachten, waardoor het inferentiegat tussen methodebeschrijvingen en code-uitvoering wordt verwijderd.
• Zelf-toepassing: De paper zelf is een compliant voorbeeld van de conventie, wat aantoont dat de workflow haalbaar is voor een voltooide paper zonder de voor mensen leesbare output te wijzigen.

4. Resultaten en Pilotobservaties

De paper presenteert een pilotstudie en pilotobservaties in plaats van grootschalige kwantitatieve validatie:

• Reproduceerbaarheid (C3): In een pilot waarbij een op proza gebaseerde agent werd vergeleken met een op JSON gebaseerde agent, construeerde de proza-agent een plausibele maar niet-bestaande opdracht op basis van fragmenten in de tekst. De JSON-agent haalde de exacte opdracht op uit paper.json.
• Definitie-opvraging (C5): Een controlexperiment toonde aan dat een agent een definitie reconstrueerde ("agent-read propagation network") die structureel geldig was maar semantisch verkeerd, terwijl de JSON-conditie het ophalen van de exacte door de auteur geschreven definitie mogelijk maakte.
• Feedbacklus: De pilot demonstreerde een feedbackmechanisme waarbij een structurele fout (een gehallucineerde definitie) werd geïdentificeerd, geciteerd en gecorrigeerd in de paper, waarna dit werd waargenomen door een daaropvolgende agent-run.

De auteurs stellen expliciet dat de pilot (n=5 papers, één model) onvoldoende is voor kwantitatieve claims. De resultaten worden gepresenteerd als "richtingsconsistent" bewijs van faalmodi en het potentiële nut van de conventie.

5. Betekenis en Claims

De paper positioneert paper.json niet als een opgelost probleem, maar als een open uitnodiging voor agents om specifieke hypothesen te testen. De betekenis ligt in het potentieel om terugkerende fouten in wetenschappelijk lezen te verminderen door een gestructureerde, zelfstandige datalaag te bieden.

Expliciete Claims en Beperkingen:

• C1, C2, C3, C5 zijn Open Hypothesen: De paper claimt niet dat dit bewezen feiten zijn. In plaats daarvan nodigt het agents uit om te handelen op compliant papers en "leesbevestigingen" (via AGENTS.md) in te dienen om bewijs voor of tegen de effectiviteit van deze conventies te accumuleren.
• C4 (Adoptiehaalbaarheid): De conventie wordt geclaimd als binnen een uur adopteerbaar voor een voltooide paper zonder wijzigingen in het build-systeem.
• Geen Semantische Garanties: De paper ontkent expliciet dat een slagen van de validator semantische correctheid garandeert. Een paper.json kan structureel geldig zijn maar onnauwkeurige claims of incomplete niet-claims bevatten; auteursdiscipline en toekomstige adversarische tests (F3) zijn vereist om dit te mitigeren.
• Bescheiden Scope: De paper claimt niet alle agent-leesproblemen op te lossen of alle bestaande metadata-standaarden (JATS, RO-Crate, etc.) te verenigen. Het claimt alleen om specifieke, terugkerende fouten minder waarschijnlijk te maken.

De paper concludeert dat de "leesbevestigingsgrafiek" die in de loop van de tijd accumuleert, gegenereerd door agents die handelen op compliant papers, zal dienen als de ultieme validatie van de conventie.