Neuro-Symbolic Financial Reasoning via Deterministic Fact Ledgers and Adversarial Low-Latency Hallucination Detector

Dit paper introduceert VeNRA, een neuro-symbolisch agent-systeem dat de betrouwbaarheid van financiële redenering garandeert door probabilistische tekstretrieval te vervangen door een strikt getypeerd Universal Fact Ledger en een gespecialiseerd Sentinel-model dat hallucinaties forensisch detecteert via geadvanceerde adversarial training.

De kern

Stel je voor dat je een zeer belangrijke financiële rapportage moet controleren, bijvoorbeeld voor een grote bank of een beursgenoteerd bedrijf. Je wilt absoluut zeker weten dat elk cijfer klopt. Als je een fout maakt, kan dat miljoenen kosten of zelfs leiden tot juridische problemen.

In de wereld van kunstmatige intelligentie (AI) proberen we vaak een slimme "chatbot" (een Large Language Model of LLM) te gebruiken om deze cijfers uit documenten te halen en te berekenen. Maar dit werkt vaak slecht, en hier is waarom, verteld in een simpel verhaal:

Het Probleem: De Dromerige Rekenmachine

Stel je voor dat je een AI vraagt: "Wat is de winst van bedrijf X in 2023?"

1. De Verwarde Zoeker: De AI kijkt in een enorme bibliotheek met documenten. Omdat de AI zoekt op "betekenis" en niet op "exacte cijfers", kan het verwarren. Het denkt dat "Net Winst" (Net Income) hetzelfde is als "Net Omzet" (Net Sales), omdat ze in de tekst vaak dicht bij elkaar staan. Het is alsof je in een supermarkt zoekt naar "melk", maar de AI pakt per ongeluk een doos "yoghurt" omdat ze beide in het koelvak staan.
2. De Dromerige Rekenaar: Zelfs als de AI de juiste tekst vindt, is het geen echte rekenmachine. Het is een "woordvoorspeller". Het probeert te raden welk getal er logisch zou moeten volgen. Het kan zeggen: "De winst was 50 miljoen," terwijl het in werkelijkheid 49 miljoen was. Het klinkt plausibel, maar het is wiskundig fout.

In de financiële wereld is 99% nauwkeurigheid niet goed genoeg. Als je 1% fouten maakt, is het hele systeem onbetrouwbaar. Je hebt 100% zekerheid nodig.

De Oplossing: VeNRA (De Slimme Controleur)

De auteurs van dit papier hebben een nieuw systeem bedacht genaamd VeNRA. Ze noemen het een "Neuro-Symbolic" systeem. Laten we dat vergelijken met een superstrakke fabriek met drie specifieke werknemers:

1. De Architect (De Strikte Boekhouder)

In plaats van dat de AI direct antwoorden verzint, werkt deze AI als een architect die alleen Python-code schrijft.

• Het Geheugen (UFL): Alle documenten worden eerst omgezet in een superstrakke, digitale tabel (een "Fact Ledger"). Denk hierbij aan een Excel-spreadsheet waar elke cel een strikt type heeft (bijv. "Dit is een bedrag in dollars", "Dit is een datum").
• De Twee Sloten (Double-Lock): Voordat een getal in deze tabel komt, moet het twee controles passeren:
  • Slot 1: Het getal moet letterlijk uit de tekst komen (geen uitvindingen).
  • Slot 2: Het moet passen bij de naam van het getal (geen verwisseling van "winst" met "omzet").
• De Taak: De AI mag niet rekenen. Hij schrijft alleen de code: "Haal het getal uit cel A1, haal het getal uit cel B1, en trek ze van elkaar af." De computer (Python) doet het daadwerkelijke rekenwerk. Zo is het rekenen altijd 100% correct.

2. De Veiligheidscontroleur (De Sentinel)

Zelfs als de code goed is, kan er iets mis zijn gegaan bij het ophalen van de gegevens. Daarom hebben ze een tweede AI nodig: De Sentinel.

• Dit is een kleinere, supersnelle AI (een "SLM").
• Zijn enige taak is: "Kijk naar de vraag, kijk naar de code die de Architect schreef, en kijk naar de bron. Klopt het verhaal?"
• Het Trucje: Normaal gesproken denkt een AI eerst lang na en geeft dan een antwoord. Dat duurt te lang voor financiële systemen. De Sentinel is getraind om eerst het oordeel te geven (bijv. "OK" of "Fout") en pas daarna de uitleg. Dit is als een politiemotorist die eerst "Stop!" roept en pas daarna uitlegt waarom je snelheidsovertreding hebt gemaakt. Hierdoor is hij extreem snel.

3. De Oefenmeester (Adversarial Simulation)

Hoe train je zo'n controleur om fouten te zien die heel subtiel zijn?

• Normale AI-training gebruikt vaak "gemaakte" fouten (bijv. een AI die een verhaal verzint).
• Maar in de echte wereld zijn fouten vaak mechanisch: "Ik heb per ongeluk het cijfer van 2022 gebruikt in plaats van 2023" of "Ik heb 'miljoen' gelezen als 'miljard'".
• De auteurs hebben een "Saboteur" bedacht. Deze computer neemt perfecte, echte financiële rapporten en programmeert er bewust kleine fouten in. Hij versnelt de kolommen in tabellen, verwisselt jaartallen en verandert eenheden.
• De Sentinel leert op deze "vergiftigde" data. Hij leert niet om te dromen, maar om forensisch te kijken naar mechanische fouten, net als een detective die een nepbrief ontmaskert.

Waarom is dit zo belangrijk?

Vroeger dachten mensen: "Als we maar een grotere en duurdere AI gebruiken, wordt hij slimmer en maakt hij minder fouten."
Dit papier zegt: "Nee, dat werkt niet voor rekenwerk."

In plaats van een grotere "dromer" te maken, hebben ze een systeem gebouwd:

1. De AI doet alleen het taalgedeelte (zoals een secretaris).
2. Een computer doet het rekenen (zoals een rekenmachine).
3. Een snelle controleur kijkt of alles logisch klopt (zoals een auditor).

Samenvatting in één zin

VeNRA is een systeem dat financiële AI betrouwbaar maakt door de "dromerige" AI te dwingen om alleen code te schrijven voor een rekenmachine, en door een snelle, getrainde controleur te gebruiken die speciaal is getraind op het opsporen van de meest subtiele, menselijke typefouten in cijfers.

Het is alsof je een team hebt waar niemand mag gokken; iedereen moet zijn werk kunnen bewijzen met een stempel op een formulier.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Neuro-Symbolic Financial Reasoning via Deterministic Fact Ledgers and Adversarial Low-Latency Hallucination Detector" in het Nederlands.

Titel: Neuro-Symbolische Financiële Redenering via Deterministische Fact Ledgers en Adversariale Laag-Latentie Hallucinatie-detectie

Auteur: Pedram Agand (FactAI Lab, Vancouver)

---

1. Het Probleem: Stochastische Onnauwkeurigheid in Financiële AI

Huidige Retrieval-Augmented Generation (RAG) systemen falen in hoog-risico domeinen zoals financiële auditing vanwege twee fundamentele beperkingen:

1. Aritmetische incompetentie van LLM's: Grootte Taalmodellen (LLM's) zijn probabilistische next-token voorspellers, geen rekenmachines. Ze simuleren de syntaxis van berekeningen zonder de wiskundige invarianten te behouden, wat leidt tot plausibele maar feitelijke onjuiste cijfers.
2. Semantische conflatie bij vectorretrieval: Dichte vectorretrieval (zoals bij RAG) baseert zich op distributieve semantiek. Dit zorgt ervoor dat wiskundig tegenovergestelde termen (bijv. "Netto Winst" vs. "Netto Verlies") of termen met identieke context maar verschillende betekenissen (bijv. "Kort" vs. "Lang") dicht bij elkaar in de vectorruimte worden gemapt. Dit leidt tot catastrofale retrieval-fouten.

In financiële domeinen resulteert een nauwkeurigheidspercentage van 99% in 0% operationeel vertrouwen als de 1% fout een tekeninversie op een balans of een tijdsgerelateerde hallucinatie bevat. Bestaande oplossingen (zoals het gebruik van grotere modellen of generatieve benchmarks zoals HaluEval) zijn ontoereikend vanwege hoge latentie en het gebrek aan realistische "ecologische fouten" (mechanische fouten in plaats van linguïstische verzinsels).

---

2. Methodologie: Het VeNRA Framework

De auteurs introduceren VeNRA (Verifiable Numerical Reasoning Agent), een neuro-symbolische architectuur die de RAG-paradigma verschuift van het ophalen van probabilistische tekst naar het ophalen van deterministische variabelen.

A. Universele Fact Ledger (UFL) en Double-Lock Grounding

In plaats van ongestructureerde tekst te gebruiken, parseert VeNRA documenten (zoals 10-K rapporten) deterministisch naar een Universal Fact Ledger (UFL), een sterk getypeerde database.

• Deterministische Ingestion: Gebruik van "Trailing-Buffer Semantic Chunking" om referenties over chunk-grenzen heen te behouden en "Deterministic Table Melting" (Pandas-routines) om tabellen zonder LLM's te extraheren.
• Double-Lock Grounding: Elke geëxtraheerde waarde moet twee sloten doorlopen:
  1. Mechanische Quote Grounding: De geëxtraheerde waarde moet exact overeenkomen met een sub-string in de bron (via exacte, gedeeltelijke of vage matching).
  2. Semantische Metric Grounding: De naam van de metric moet semantisch overlappen met de bron; dit voorkomt "Phantom Metrics" (waarbij een reëel getal aan een verzonnen naam wordt gekoppeld).

B. Schema-Gedreven Cognitive Offloading

De LLM fungeert uitsluitend als een Code Architect. Het genereert deterministische Python-code om de variabelen uit de UFL te verwerken.

• Type-scheiding: De LLM classificeert feiten als ACTUAL, LIMIT of FORMULA. Bij formules wordt de numerieke waarde op None gezet, waardoor de code-agent gedwongen wordt de tekstuele beschrijving te lezen in plaats van te rekenen met een onvolledig getal.
• Hybride Lexicale-Semantische Retrieval: Een "Lexical Gate" filtert vectorretrieval-candidaten. Alleen kandidaten die een hoge token-overlap (Recall) hebben met de query (na het verwijderen van stopwoorden zoals "net" of "total") worden toegelaten, waardoor semantische conflatie wordt voorkomen.

C. VeNRA Sentinel: Forensische Audit

Om hallucinaties te detecteren, wordt een lokaal inzetbaar 3B-parameter Small Language Model (SLM) gebruikt, genaamd VeNRA Sentinel.

• Functie: Het auditeert de Python-executietraces en de gegenereerde antwoorden in < 50ms.
• Reverse-CoT Paradigma: Om latentie te minimaliseren, wordt het model getraind om eerst het label (Verdict) te genereren en daarna de redenering (Reverse Chain-of-Thought). Dit zorgt voor een "Gradient Tether" waarbij het label-token de latentie van de volledige redenering bevat.
• Label-Orthogonaliteit: In plaats van "True/False" worden semantisch orthogonale tokens gebruikt (Found, Fake, General) om de classificatiehoofd te vergemakkelijken.

D. VeNRA-Data: Adversariele Simulatie

In plaats van generatieve hallucinatiedatasets, gebruikt VeNRA Adversarial Simulation.

• Saboteur Engine: Een deterministisch systeem dat "Golden" financiële records programmatiek saboteren om realistische productiefouten na te bootsen:
  • Logic Code Lies: Correcte code met verkeerde inputvariabelen.
  • Numeric Neighbor Traps: Kolom- of rij-verschuivingen in tabellen (tijds- of metriekfouten).
  • Time Warps: Antwoorden die feitelijk correct zijn maar niet voldoen aan de temporele constraints van de vraag.
• Hybrid-Family Splitting: Om data-leakage te voorkomen, worden parent-records en hun gesaboteerde kinderen als één eenheid (familie) behandeld en gesplitst over train/val/test sets.

E. Training Optimalisatie: Micro-Chunking Loss

Om de Sentinel te trainen met een extreem hoge gewicht voor het label-token (om "Loss Dilution" te voorkomen), zonder Out-Of-Memory (OOM) fouten:

• Micro-Chunking Trainer: De loss wordt iteratief berekend in kleine chunks (c=512) binnen de loss-loop, in plaats van de volledige batch. Dit beperkt het VRAM-gebruik tot O(c · |V|) in plaats van O(Batch · SeqLen · |V|).
• Dynamische Loss Clamping: Voorkomt dat de gradienten exploderen bij verkeerde voorspellingen.

---

3. Belangrijkste Bijdragen

1. Neuro-Symbolische Architectuur: De introductie van de Universal Fact Ledger (UFL) met Double-Lock Grounding, die extractiehallucinaties en vectorconflatie vrijwel elimineert door LLM's te beperken tot code-generatie over strikt getypeerde data.
2. Adversariele Simulatie (VeNRA-Data): Een nieuwe methode voor het genereren van strenge hallucinatie-benchmarks via deterministische sabotage (in plaats van generatieve herschrijving), wat leidt tot realistischere "Ecological Errors".
3. Forensische Audit System Engineering: De VeNRA Sentinel, een 3B-parameter SLM die forensische verificatie uitvoert met zeer lage latentie.
4. OOM-Veilige Training: De ontwikkeling van de Micro-Chunking Loss Algorithm die het trainen van sterk discriminatieve "judges" op consumentenhardware mogelijk maakt door het gradient-dilutieprobleem in Reverse-CoT op te lossen.

---

4. Resultaten en Prestaties

Hoewel het paper voornamelijk de architectuur en methodologie beschrijft, worden de volgende resultaten benadrukt:

• Zero-Hallucination Aritmetiek: Door de LLM te ontdoen van de rekenverantwoordelijkheid en deze te vervangen door een Python-interpreter over de UFL, worden rekenfouten door constructie uitgesloten.
• Lage Latentie: De VeNRA Sentinel kan complexe traces auditeren in **< 50ms** met een "single-token" test-budget, wat veel sneller is dan frontier-modellen (die >2000ms nodig hebben).
• Verbeterde Detectie: Door training op Adversariele Simulatie (Logic Code Lies, Numeric Neighbor Traps) presteert het model beter in het detecteren van mechanische fouten dan modellen getraind op generatieve benchmarks.
• Stabiliteit: De Micro-Chunking Trainer maakt stabiel training mogelijk op hardware met beperkt VRAM, zelfs met extreme differentieel-afstraffing voor het label-token.

---

5. Betekenis en Conclusie

Dit paper biedt een blauwdruk voor betrouwbare AI in hoog-risico domeinen zoals financiën. Het betoogt dat parametrisch schalen (grotere modellen) niet de oplossing is voor hallucinaties, maar dat Neuro-Symbolische Cognitive Offloading en Forensische Audit essentieel zijn.

• Democratisering van Financiële Audit: Door te bewijzen dat een lokaal inzetbaar 3B-parameter model (SLM) dezelfde forensische verificatiecapaciteiten kan bereiken als grote frontier-modellen, wordt hoog-risico auditing toegankelijker en goedkoper.
• Paradigmaverschuiving: Het verschuift de focus van "betrouwbare generatie" naar "verifieerbare extractie en deterministische uitvoering".
• Open Source: De auteurs publiceren de VeNRA-Data dataset en de Micro-Chunking Trainer, wat de gemeenschap in staat stelt om gespecialiseerde, logische verificatiemodellen te ontwikkelen.

Kortom, VeNRA lost het probleem van "Stochastic Inaccuracy" op door de LLM te beperken tot wat het goed kan (taal en logica) en de rekenkracht en dataverificatie over te dragen aan deterministische systemen.