Technische Samenvatting: CLAIR-Fin

Probleemdefinitie

Financiële instellingen vertrouwen steeds vaker op Large Language Models (LLM's) om vragen te beantwoorden over lange, multimodale documenten (bijv. jaarverslagen van centrale banken) die tekst, tabellen en grafieken bevatten. Huidige systemen kampen met drie kritieke tekortkomingen in het waarborgen van getrouwheid (faithfulness):

1. Uniform Bewijsvertrouwen: Bestaande retrieval-augmented generation (RAG) en multi-agent frameworks behandelen alle modaliteiten als even betrouwbaar, waardoor ze niet in staat zijn om conflicten te beslechten wanneer een waarde in een grafiek afwijkt van een cel in een tabel of tekst.
2. Late Verificatie: Verificatie vindt vaak pas plaats nadat een concept is gegenereerd of aan het einde van de pipeline, waardoor fouten tussen agents en hallucinaties in de uiteindelijke tekst kunnen doorsijpelen.
3. Statisch Debat: Adversariële debatframeworks passen doorgaans een vast aantal rondes toe op volledige rapporten of holistische stellingen, ongeacht de specifieke moeilijkheidsgraad of betwistbaarheid van individuele claims.

Deze beperkingen leiden tot hallucinaties, met name bij cross-modale taken waarbij precieze numerieke waarden of causale attributies verkeerd worden gelezen of samengevoegd.

Methodologie: Het CLAIR-Fin Framework

CLAIR-Fin (Claim-Ledger Adversarial Inference and Retrieval for Financial document understanding) is een framework met negen agents dat ontworpen is om vragen te deconstrueren in atomaire claims, deze individueel te verifiëren en een antwoord te synthetiseren met selectieve onthouding. Het proces is gestructureerd in acht fasen:

1. Document Ingestie (Fase I)

Bron-PDF's worden offline verwerkt in een geïndexeerde corpus. Het systeem hanteert een hybride extractiestrategie:

• Natieve Extractie: Gebruikt voor pagina's met schone tekstlagen en zonder grafieken.
• Vision-Model Extractie: Gebruikt voor pagina's met grafieken of afbeeldingen, waarbij de kracht van het model wordt geschaald op basis van visuele complexiteit.
• Tabelverificatie: Tabellen ondergaan tot drie onafhankelijke extractie-passes; een hoge betrouwbaarheid wordt alleen toegekend als de wederzijdse overeenstemming groter is dan 0,8.
• Chunking: De inhoud wordt opgedeeld in zin-bewuste chunks (ongeveer 1.000 tekens) met specifieke tagging voor bron, pagina en modaliteit.

2. Claim Deconstructie (Fase II)

Een Planner-Orchestrator deconstrueert een gebruikersvraag in een Financial Claim Ledger (FCL) bestaande uit 1–8 atonale, getypeerde beweringen ($C = \{c_1, \dots, c_n\}$). Elke claim krijgt een type toegewezen:

• FACT_NUMERIC
• FACT_TREND
• CAUSE_ATTRIBUTION
• RATIO_IDENTITY

3. Multimodale Bewijsretrieval (Fase III)

Drie gespecialiseerde agents halen parallel bewijs op voor elke claim:

• Narrative Agent: Haalt tekstpassages op.
• Tabular Agent: Haalt tabelcellen op, gebruikmakend van een calculator voor afgeleide metrieken.
• Visual Agent: Haalt bevindingen uit grafieken op, waarbij afgeronde benaderingen worden gerapporteerd.
  Bewijs wordt gescoord met een hybride van dense vector similarity en lexicale overlap.

4. Bewijsfusie & Autoriteit-Gewogen Escalatie (Fase IV)

De Ledger Guardian fuseert bewijs tot een getypeerde multigraph. Het past Asymmetric Evidence Authority (AEA) toe, een wegingschema waarbij het vertrouwen in een modaliteit afhangt van het type claim (bijv. tabellen krijgen een hoog gewicht voor numerieke feiten, terwijl tekst prioriteit krijgt voor causale attributie).

• Dekkingberekening: De dekkingsscore van een claim $A(c_i)$ is de som van de gewichten van de beschikbare modaliteiten.
• Escalatie: Als $A(c_i) < 0,75$, wordt de claim geëscaleerd naar een adversarieel debat. Anders gaat de claim direct door naar de terminale audit.

5. Adversariële Verificatie & Adaptieve Rebuttal (Fase V)

Geëscaleerde claims gaan een Adaptive Rebuttal Cycle (ARC) binnen, bestaande uit een Affirmative Counsel en een Adversarial Counsel.

• De Adversarial Counsel valt het concept aan op zes dimensies (numerieke fouten, reikwijdte, temporele inconsistenties, causale overclaims, citatiegaten, visuele overprecisie).
• Adaptiviteit: De diepte van het debat is niet vaststaand. Het breidt zich alleen uit als er aanvallen met een hoge ernst worden gevonden, tot een maximum van twee rondes ($\rho_{max}=2$).

6. Chain-of-Custody Verificatie (Fase VI)

Vóór de finale audit vindt een Chain-of-Custody Verification (CoCV) stap plaats die controleert of het concept van de Affirmative Counsel nog steeds geworteld is in het oorspronkelijke bewijs. Als het concept afwijkt (faalt in entailment), wordt één begrensde reparatie geprobeerd; als dit opnieuw faalt, wordt de claim gemarkeerd als een breuk in de 'custody'.

7. Autoriteit-Gewogen Terminale Audit (Fase VII)

Een Judge-Auditor voert een finale entailment-check uit.

• Verdicten: Claims worden geclassificeerd als InsufficientEvidence, Supported, of StronglySupported.
• Hallucination Risk Index (HRI): Een continue risicoscore wordt berekend op basis van de zekerheid van de entailment, de sterkte van de ondersteuning, reparatiepogingen en aanvallen met hoge ernst. Dit onderscheidt claims die de controle hebben overleefd van claims die nooit werden betwist.

8. Antwoord Synthese & Selectieve Onthouding (Fase VIII)

De Brief Synthesizer stelt het definitieve antwoord samen. Dit bevat citaties voor ondersteunde claims en onthoudt zich expliciet van claims waarvoor onvoldoende bewijs is. Het systeem onthoudt zich van het volledige antwoord als geen enkele claim de verificatie doorstaat; anders wordt een gedeeltelijk, geciteerd antwoord gegeven.

Belangrijkste Bijdragen

1. Claim-Level Deconstructie: Het verplaatsen van verificatie van het rapportniveau naar het atonale claimniveau, wat fijnmazige auditing en selectieve onthouding mogelijk maakt.
2. Asymmetric Evidence Authority (AEA): Een mechanisme dat het vertrouwen in bewijs conditioneert op het type claim in plaats van modaliteiten uniform te behandelen, waardoor cross-modale conflicten worden opgelost via auditeerbare priors.
3. Chain-of-Custody Verification (CoCV): Een overdrachtscontrole tussen de conceptfase en de adversariële review om attributie-drift voor de finale audit te voorkomen.
4. Adaptive Rebuttal Cycle (ARC): Een debatmechanisme dat de diepte schaalt op basis van de moeilijkheid van de claim in plaats van een vast budget te gebruiken.
5. Continue Risico-inschatting: De introductie van de Hallucination Risk Index (HRI) naast binaire pass/fail-verdicten om een meer informatieve betrouwbaarheidsindicator te bieden.

Experimentele Resultaten

Het framework werd geëvalueerd op BB-FinQA-X, een dataset van 500 vragen die cross-modaal is en afkomstig is van het jaarverslag van de Bangladesh Bank, gestratificeerd per type query, formaat en moeilijkheidsgraad.

• Getrouwheid (Faithfulness): CLAIR-Fin behaalde een faithfulness-score van 0,889, waarmee het de single-pass RAG-baseline (0,780) en sterkere retrieval-strategieën zoals HyDE (0,874) en Graph-RAG (0,832) aanzienlijk versloeg.
• Exacte Correctheid: Het systeem behaalde een exacte correctheidsscore van 0,592.
• Onthouding (Abstention): Het systeem onthield zich bij 5,4% van de vragen wanneer bewijs ontoereikend was, waardoor ononderbouwde antwoorden werden vermeden.
• Ablatie-studies:
  • Het verwijderen van de Adaptive Rebuttal Cycle (ARC) veroorzaakte de grootste prestatiedaling (Faithfulness: 0,889 $\to$ 0,770), wat aangeeft dat dit het meest cruciale mechanisme is.
  • Het verwijderen van de Terminal Audit verminderde de faithfulness tot 0,845.
  • Het verwijderen van AEA had de kleinste impact (0,889 $\to$ 0,883), maar toonde nog steeds een consistente degradatie, wat de waarde van modaliteitsbewuste weging bevestigt.
• Formaatgevoeligheid: De prestaties varieerden per bewijsformaat, waarbij "Tekst + Tabel" de hoogste faithfulness bereikte (0,915) en "Alleen Grafiek" de laagste (0,850), wat de resterende uitdagingen in visuele interpretatie benadrukt.

Betekenis en Claims

Het artikel beweert dat CLAIR-Fin de specifieke kloof aanpakt bij het verzoenen van conflicterend cross-modaal bewijs in lange financiële documenten. Door vragen te deconstrueren in getypeerde claims en een modaliteits-specifieke autoriteitsweging toe te passen, zorgt het framework ervoor dat bewijsvertrouwen niet uniform is, maar contextbewust.

De auteurs benadrukken dat hun aanpak bescheiden is wat betre�kelijk algemene toepasbaarheid betreft:

• Het framework is specifief ontworpen voor financiële statistische rapportage (documenten van centrale banken) en vertrouwt op vaste, handgespecificeerde priors (bijv. AEA-gewichten) in plaats van geleerde parameters.
• De evaluatie is beperkt tot één instelling (Bangladesh Bank), één taal (Engels) en één documentfamilie.
• Het systeem wordt gepositioneerd als een beslissingsondersteunend hulpmiddel voor domeinkennis-rijke gebruikers, niet als vervanging voor deskundige oordeelsvorming. De inclusie van selectieve onthouding en continue risicoscoren is bedoeld om geautomatiseerde financiële QA transparanter en controleerbaarder te maken dan systemen die een antwoord forceren ongeacht de kwaliteit van het bewijs.

Het artikel concludeert dat hoewel de specifieke gewichten en drempelwaarden ontwerpkeuzes zijn voor deze setting, de architecturale principes – claim-level deconstructie, modaliteits-geconditioneerde autoriteit, hand-off verificatie en continue risicoscore – een levensvatbaar pad bieden voor toekomstige adaptatie in andere sectoren met een hoog risico.