Technische Samenvatting: LEDGER – Schalen van Agentic Document Editing met Dependency-aware Graph Retrieval

Probleemstelling

Agentic document editing vertegenwoordigt een paradigmaverschuiving waarbij gebruikers hoogwaardige instructies in natuurlijke taal geven (bijv. "pas de toon van Sectie 4 aan" of "werk terminologie bij"), waarna een AI-agent een concreet plan maakt en wijzigingen uitvoert. Echter, in tegenstelling tot code, missen natuurlijke taal-documenten formele semantiek, uitvoerbare structuren of compiler-niveau garanties. Dit creëert een fundamentele context engineering-uitdaging: het handhaven van consistentie over lange, gestructureerde documenten.

De kernproblematiek ligt bij "losse afhankelijkheden" (loose dependencies). Een eenvoudige bewerking, zoals het hernoemen van een term of het wijzigen van een figuuronderschrift, vereist vaak het bijwerken van meerdere oppervlaktevormen, het afstemmen van stilistische keuzes in aangrenzende paragrafen en het corrigeren van downstream-verwijzingen die geen expliciete citaties missen. Huidige benaderingen kampen met een spanning tussen:

1. Full-document verwerking: Het aanbieden van het volledige document als context waarborgt consistentie, maar brengt prohibitieve token-kosten en latentie met zich mee, wat modellen vaak afleidt van relevante regio's (het "lost in the middle"-fenomeen).
2. Retrieval-gebaseerde bewerking: Het selecteren van een subset van de context verbetert de efficiëntie, maar leunt doorgaans op topische gelijkenis (embeddings), waardoor kritieke structurele afhankelijkheden zoals expliciete kruisverwijzingen, impliciete pronomen-afhankelijkheden of downstream semantische impact worden gemist.

Methodologie: Het LEDGER-framework

LEDGER (Lightweight Explicit Dependency Graph for Efficient Retrieval) pakt deze flessenhals aan door een dependency-aware semantische graaf te construeren die de documentstructuur expliciet modelleert. Het framework bestaat uit drie geïntegreerde componenten:

1. Semantische Graaf Constructie

Het systeem zet een document $D$ om in een graaf $G=(V, E)$, waarbij knopen documenteenheden (secties, paragrafen, figuren, vergelijkingen) vertegenwoordigen en randen vier specifieke typen afhankelijkheden coderen:

• CONTAINS ($E_{CON}$): Hiërarchische relaties afgeleid van de directe DOM-boomstructuur.
• REFERENCES ($E_{REF}$): Expliciete citaties (bijv. "Figuur 2"). Extractie waarborgt minimaliteit, ondubbelzinnigheid en validatie tegen bestaande identifiers.
• DEPENDS ($E_{DEP}$): Impliciete afhankelijkheden waarbij een eenheid steunt op definities, aannames of concepten die elders zijn geïntroduceerd (bijv. "dit resultaat"). Dit wordt bepaald via counterfactual testing-protocollen om noodzakelijkheid en richting te verifiëren.
• RELATED ($E_{REL}$): Semantische relaties tussen topisch gerelateerde inhoud, geïdentificeerd via cosine similarity van embeddings (drempelwaarde $\theta=0.7$).

2. Dependency-Aware Context Retrieval

Voor een gegeven bewerkingsverzoek voert LEDGER een graaf-traversal uit om een context $C_{context}$ te extraheren die $O(1)$ is in omvang ten opzichte van de documentlengte:

• Target Identificatie: Lokaliseert de specifieke knopen die bewerkt moeten worden.
• Dependency Expansie: Doorloopt de graaf om upstream-afhankelijkheden (waar het doel op steunt) en downstream-impacts (wat afhankelijk is van het doel) op te nemen.
• Prioriteitsscoring: Knopen worden geprioriteerd op basis van de kritikaliteit van de randen: REFERENCES > DEPENDS > CONTAINS > RELATED.
• Budget-geconstreerde Packing: Knopen worden gulistisch geselecteerd totdat een token-budget is bereikt, wat ervoor zorgt dat alle kritieke afhankelijkheden worden opgenomen terwijl irrelevante inhoud wordt uitgesloten.

3. Consistentie Verificatie

Nadat wijzigingen zijn toegepast, valideert het systeem structurele invarianten:

• Referentie Integriteit: Garandeert dat alle uitgaande verwijzingen naar bestaande doelen wijzen.
• Terminologie Consistentie: Controleert of sleuteltermen in gewijzigde knopen overeenkomen met afhankelijke knopen.
• Semantische Coherentie: Herrekent embeddings om significante semantische drift in gerelateerde inhoud te detecteren.
  De graaf wordt vervolgens incrementeel bijgewerkt om de nieuwe documentstatus te reflecteren.

Belangrijkste Bijdragen

1. Dependency-Aware Framework: Een innovatieve benadering die expliciete semantische grafen toepast op documentbewerking, waarbij de context engineering-flessenhals wordt opgelost door getypeerde dependency-extractie en graaf-gestuurde retrieval.
2. Curated Benchmark: Een dataset van 1.900 testgevallen verspreid over zes bewerkingsscenario's (lokale verfijning, cross-reference updates, structurele reorganisatie, content toevoeging, iteratieve bewerking en schaalbaarheidstests) over diverse documenttypen en complexiteitsniveaus.
3. Bewijs voor Reasoning Substitutie: Empirische demonstratie dat expliciete structurele sturing kan fungeren als vervanging voor dure interne redenering, wat een ontwerpprincipe vestigt voor efficiënte agentic systemen.

Experimentele Resultaten

Het framework werd geëvalueerd op 1.900 testgevallen met behulp van zes state-of-the-art modellen (Claude 4.5 Haiku/Sonnet/Opus, GPT-4.1/5/5.2).

• Verbetering van Consistentie: LEDGER verbeterde de consistentie van een baseline van 56% naar 76% over alle modellen en scenario's. De algemene pass rate steeg van 41% naar 78%.
• Token Efficiëntie: LEDGER verminderde het tokengebruik met ongeveer 85% vergeleken met volledige document-regeneratie, waarbij een constant gemiddelde van ~1.500 tokens per bewerking werd behouden, ongeacht de documentgrootte (5K tot 100K tokens).
• Reasoning Substitutie: Opvallend genoeg behaalde LEDGER met lage reasoning effort een prestatie (80% consistentie) die gelijk was aan of de baseline met hoge reasoning effort (57% consistentie) evenaarde of overtrof, terwijl er minder tokens werden gebruikt. Dit suggereert dat expliciete dependency-representaties de behoefte aan kostbare interne deliberatie gedeeltelijk kunnen vervangen.
• Schaalbaarheid: Terwijl het baseline tokengebruik lineair schaalt met de documentlengte, behoudt LEDGER een constant tokengebruik, wat een $O(1)$ retrieval-complexiteit demonstreert ten opzichte van de documentgrootte.
• Ablatie Studies: Het verwijderen van dependency-tracking verminderde de consistentie met 14 procentpunten, wat bevestigt dat expliciete structurele randen de primaire drijfveer zijn voor de prestatiewinst.

Betekenis en Claims

Het artikel claimt dat LEDGER een nieuw ontwerpprincipe vaststelt voor agentic systemen die opereren op gestructureerde data: expliciete dependency-representaties kunnen dure interne redenering vervangen.

Door de last van consistentie te verschuiven van de interne redeneercapaciteit van het model naar een externe, gestructureerde graafgeheugen, bereikt LEDER:

• Schaalbaarheid: Het mogelijk maken van efficiënte bewerking van zeer lange documenten zonder lineaire groei in token-kosten.
• Robuustheid: Het handhaven van hoge consistentie, zelfs met kleinere modellen of lagere reasoning-instellingen.
• Generaliseerbaarheid: De randstructuur (verwijzingen, afhankelijkheden, containment) sluit natuurlijk aan bij andere gestructureerde artefacten, wat wijst op potentiële uitbreidingen naar code-refactoring en softwareonderhoud.

De auteurs positioneren LEDGER niet als een vervanging voor menselijke redacteurs, maar als een ondersteunend instrument dat menselijk toezicht versterkt door de mechanische consistentiecontroles af te handelen die momenteel een flessenhals vormen in agentic document editing.