Technische Samenvatting: AUDITFLOW

Probleemstelling

Gestructureerde verificatie van financiële audits vormt een aanzienlijke uitdaging voor Large Language Model (LLM) agenten. In tegenstelling tot standaard tekstgebaseerde taken, hangt de juistheid bij financiële auditing af van gestructureerd bewijs in plaats van enkel natuurlijke taal. Een agent moet gerapporteerde feiten koppelen aan specifieke taxonomische concepten, complexe berekenings- of dimensionaliteitsrelaties doorlopen, verwachte waarden herberekenen en auditregels toepassen.

Huidige benaderingen falen vaak omdat ze vertrouwen op de LLM voor de uiteindelijke interpretatie, rekenkundige operaties of regeltoepassing. Benchmarks zoals FinAuditing laten zien dat zelfs de sterkst geëvalueerde modellen slechts 13,86% nauwkeurigheid behalen op taken met numerieke consistentie. De kern van de moeilijkheid ligt in het feit dat juistheid niet in een enkele zin is opgeslagen, maar voortkomt uit de interactie tussen gerapporteerde feiten en de structurele beperkingen die hen beheersen. Bestaande tool-augmented of multi-agent frameworks laten de last van verificatie vaak binnen het taalmodel, dat moeite heeft met deterministische rekenkunde en strikte naleving van regels.

Methodologie: AUDITFLOW

De auteurs stellen AUDITFLOW voor, een graph-grounded multi-agent framework ontworpen om adaptieve zoekopdrachten (behandeld door LLM-agenten) te scheiden van deterministische verificatie (behandeld door een symbolische omgeving).

1. Dual-Graph Symbolische Omgeving

AUDITFLOW construeert een symbolische omgeving ($E$) bestaande uit twee onderling verbonden grafen:

• Statische Regulatieve Graaf ($G^y_T$): Codeert de US-GAAP taxonomie. Knopen vertegenwoordigen concepten met metadata (labels, definities, datatypen), en randen coderen presentatie-, berekenings- en dimensionaliteitsrelaties.
• Dynamische Filing Graaf ($G_F$): Codeert de specifieke XBRL-filing. Knopen vertegenwoordigen gerapporteerde feiten, contexten, periodes en eenheden.
• Bridge Edges: Verbinden gerapporteerde feiten in de filing graaf met hun beheersende taxonomische concepten in de statische graaf, waardoor het systeem kan navigeren van een specifiek getal naar de regulatieve beperkingen en weer terug.

2. Getypeerde Actie-Observatie Interface

Agenten interageren met deze omgeving via getypeerde, deterministische tools in plaats van vrije vorm graafoperaties. De tools zijn gecategoriseerd in:

• Retrieval (Ophalen): Ophalen van conceptmetadata, feiten en contexten.
• Traversal (Navigatie): Navigeren door berekeningsbomen en dimensionaliteitsstructuren.
• Forensic (Forensisch): Vergelijken van feiten over periodes, dimensies en grootteordes.
• Deterministic Checkers (Deterministische Controleurs): Uitvoeren van terminale regel-specifieke controles (bijv. tekenconsistentie, consistentie van de berekeningsboom, dimensionaliteit-aggregatie). Deze controleurs leveren gestructureerde observaties terug (oordelen, verwachte waarden, ondersteunende feiten) die de LLM niet kan overrulen.

3. Drie-Agent Audit Protocol

Het framework hanteert een gespecialiseerde multi-agent workflow:

• Compliance Auditor ($A_1$): Hanteert een "specificatie-eerst" benadering. Het begint vanuit de taxonomische metadata en regels, en controleert vervolgens de gerapporteerde feiten tegen de beperkingen. Het gebruikt statische taxonomische tools.
• Forensic Auditor ($A_2$): Hanteert een "bewijs-eerst" benadering. Het begint vanuit gerapporteerde feiten, voert periode-vergelijkingen en dimensionaliteits-analyses uit, en bevestigt de resultaten vervolgens met dezelfde deterministische controles. Het gebruikt zowel statische als dynamische tools.
• Senior Auditor ($A_s$): Beoordeelt de rapportages van $A_1$ en $A_2$. Als zij het eens zijn, gaat het systeem verder. Als zij het oneens zijn, identificeert de Senior Auditor de bron van het conflict (bijv. ontbrekende feiten, verkeerde periode) en geeft gerichte feedback, waardoor de junioren worden teruggestuurd voor verder onderzoek. De Senior Auditor beheert de interactie, maar vervangt de deterministische tools niet.

4. Evidential Aggregation (Bewijsaggregatie)

Het definitieve oordeel is geen simpele stemming, maar het result van evidentieel redeneren (Dempster-Shafer theorie). Elk rapport van de junior auditors wordt in kaart gebracht naar een massafunctie over de hypothesen {Violation (Schending), Consistent, Ignorance (Onwetendheid)}. Deze massa's worden gefuseerd om een definitief oordeel te produceren, een verwachte waarde, een bewijstraject en een betrouwbaarheidsscore ($\tau$), die de hoeveelheid onopgelost bewijs meet.

Belangrijkste Bijdragen

1. Definitie van Graph-Grounded Verificatie: Het artikel definieert een nieuwe taakformulering waarbij het antwoord afhangt van filing-feiten, taxonomische beperkingen, numerieke controles en inspecteerbaar bewijs, in plaats van enkel tekstgeneratie.
2. AUDITFLOW Framework: Een dual-graph, multi-agent systeem dat de kennis van de US-GAAP taxonomie verbindt met de filing-specifieke bewijslast, en beide blootstelt via getypeerde deterministische tools.
3. Scheiding van Search-Computation: De auteurs demonstreren dat het scheiden van de rol van de LLM (het leiden van de zoekopdracht) van de rol van de omgeving (het uitvoeren van deterministische controles) cruciaal is voor betrouwbare audit-verificatie.

Experimentele Resultaten

Het framework werd geëvalueerd op een subset van 67 instanties van de FinAuditing FinMR taak, die drie Data Quality Committee (DQC) regelfamilies dekt.

• Prestaties: Onder GPT-5.5 behaalde AUDITFLOW een joint audit nauwkeurigheid van 82,09%, waarmee het de sterkste baseline (Single Agent) met 14,93 procentpunt versloeg. Het presteerde ook beter dan retrieval-gebaseerde methoden (GraphRAG, TreeRAG) en bestaande benchmarks (FinAuditing, Herculean) over alle geteste backbones (GPT-4o, Claude Sonnet 4.6, Qwen-397B).
• Robuustheid: Het systeem behield een hoge nauwkeurigheid (80,60%) over verschillende sterke backbone-modellen, wat aangeeft dat de effectiviteit van het framework niet gebonden is aan één specifiek propriëtair model.
• Ablatie-studies:
  • Deterministic Checks: Het verwijderen van de deterministische controles van de symbolische omgeving deed de nauwkeurigheid kelderen van 82,09% naar 17,91%, wat bewijst dat de LLM de verificatiestap niet betrouwbaar kan vervangen.
  • Required-Tool Gate: Het verwijderen van de gate die agenten dwingt specifieke controles te voltooien voordat ze afronden, verhoogde het aantal ongeldige outputs van 1,49% naar 17,91%.
  • Evidential Aggregation: Het verwijderen van de fusiestap verminderde de nauwkeurigheid tot 77,61%.

Betekenis en Claims

Het artikel stelt dat betrouwbare audit-agenten gebouwd moeten worden rondom uitvoerbare gestructureerde omgevingen in plaats van enkel tekstuele redenering. De primaire bijdrage is de demonstratie dat hoewel LLM's effectief zijn in het navigeren door complexe informatieruimtes (search), ze onbetrouwbaar zijn bij het uitvoeren van de uiteindelijke, dragende verificatiestappen (computation).

De auteurs claimen dat AUDITFLOW de "verificatiekloof" in financiële AI succesvol aanpakt door:

1. Rekenkundige operaties en regeltoepassing te delegeren aan deterministische tools.
2. Multi-agent protocollen te gebruiken om bewijs te verkennen vanuit complementaire perspectieven.
3. Inspecteerbare bewijstrajecten en betrouwbaarheidsscores te bieden, waardoor het auditproces transparant en controleerbaar wordt.

Het artikel concludeert dat dit ontwerppatroon — het scheiden van search van computation in een symbolische omgeving — essentieel is voor domeinen met een hoog risico waar juistheid afhangt van gestructureerde beperkingen in plaats van semantische plausibiliteit.