Technische Samenvatting: MortarBench en CRIT

Probleemstelling

Het proces van hypotheekverlening is een kritiek, risicovol domein dat complexe risicoanalyse en naleving van regelgeving (bijv. richtlijnen van Fannie Mae, Freddie Mac) vereist. Hoewel bedrijven steeds vaker Large Language Model (LLM) agents integreren om hypotheekadviseurs te ondersteunen bij het valideren van de financiële profielen van aanvragers tegenover bankafschriften, ontbreeft het de sector aan een gestandaardiseerde benchmark om deze agents te evalueren. Bestaande financiële QA-benchmarks adresseren niet adequaat de specifieke uitdagingen van hypotheekonderzoeken, die het reconciliëren van ongestructureerde bankafschriften met gestructureerde aanvragerprofielen (ULAD-bestanden) vereisen om inconsistenties te detecteren, specifieke financiële metrieken te berekenen en aan de regelgeving te voldoen. Bovereen, het onvermogen om echte financiële gegevens te delen vanwege privacyzorgen heeft de creatie van realistische datasets met veel randgevallen (edge cases) belemmerd.

Methodologie

1. Creatie van de MortarBench Dataset

Om het gebrek aan evaluatiestandaarden aan te pakken, introduceren de auteurs MortarBench (Mortgage Transaction Analysis, and Reasoning Benchmark). De pipeline voor datasetgeneratie maakt gebruik van een synthese- en mutatieaanpak voor financiële gegevens om privacybeperkingen te overwinnen terwijl de interne consistentie gewaarborgd blijft:

• Data Synthese: De auteurs selecteerden 300 echte bankafschriften om anonieme samenvattende statistieken te extraheren (frequenties en gemiddelde waarden van transactietypes zoals salaris, huisvestingskosten, crypto en BNPL). Deze statistieken werden gebruikt om procedureel gegenereerde synthetische bankafschriften (over een periode van 60 dagen) te creëren die overeenkomen met de verdelingen uit de echte wereld.
• ULAD Generatie: Uniform Loan Application Dataset (ULAD) bestanden werden gegenereerd via een template-gestuurde aanpak gebaseerd op het Freddie Mac-schema. De waarden in de ULAD (activa, passiva) werden direct berekend vanuit de synthetische bankafschriften om consistentie te garanderen.
• Vraag- en Antwoordgeneratie: Vragen uit een in productie zijnde hypotheek-assistent chatbot werden gecureerd en verfijnd door experts. Vragen werden gecategoriseerd in drie answer types: Boolean, Transaction List (ID's) en Account List (ID's).
• Mutatie voor Randgevallen: Om een gebalanceerde dekking van randgevallen te garanderen, ontwierpen de auteurs mutatiefuncties. Voor een gegeven vraag en een gewenst antwoord (bijv. "3 BNPL-transacties") bewerkt het systeem het bankafschrift en de ULAD programmatisch om die specifieke uitkomst te forceren, terwijl de documentconsistentie behouden blijft. Dit maakt het mogelijk om zowel positieve als negatieve voorbeelden voor elke query te genereren.

De uiteindelijke dataset bestaat uit 188 testgevallen afgeleid van 47 unieke vragen, met een gemiddelde van 33,6 transacties per bankafschrift.

2. Het CRIT Framework

Door te observeren dat baseline-modellen extreme overgevoeligheid vertoonden (hoge fout-positieven, nul fout-negatieven in sommige gevallen), stellen de auteurs CRIT voor (Confidence Reflection Inference for Transactions).

• Mechanisme: In plaats van direct een lijst met transacties te produceren, genereert de agent een betrouwbaarheidsscore (1–5) voor elke potentiële transactie die in het antwoord is opgenomen. Deze score weerspiegelt de waarschijnlijkheid van juistheid op basis van het aantal en de sterkte van de aannames die nodig zijn om de inclusie te rechtvaardigen.
• Drempelwaarde: Het systeem past een harde drempel toe ($T=5$), waarbij elke transactie met een betrouwbaarheidsscore onder deze waarde wordt verwijderd.
• Doel: Deze aanpak beoogt modellen weg te sturen van overgevoeligheid, de sturing van risicobeheer te verbeteren en bias te verminderen door het systeem de mogelijkheid te geven om laag-betrouwbare, potentieel foutieve inclusies te filteren.

Belangrijkste Resultaten

Prestatie-metrieken

• Baseline Prestaties: State-of-the-art closed-source modellen presteerden slecht op MortarBench; het beste baseline-model (Gemini 3.1 Pro) behaalde slechts 77,1% Exact Match (EM) nauwkeurigheid.
• CRIT Impact: Het CRIT-framework verbeterde de prestaties over alle geteste modellen. Voor Gemini 3.1 Pro verhoogde CRIT de EM-nauwkeurigheid naar 80,5% en de F1 naar 83,6.
• Foutreductie: CRIT zorgde voor een reductie van 14,8% in fouten ten opzichte van de sterkste baseline. De meest significante winst werd geboekt bij transactielijst-vragen, waar baseline-modellen worstelden met overgevoeligheid.
• Bias Mitigatie: CRIT verkleinde de kloof in de classificatie van "buitenlandse herkomst" tussen Engelse en niet-Engelse namen van 77,0% naar 54,0% in de Gemini baseline.

Foutanalyse

Handmatige review van 36 foutieve redeneertrajecten van het baseline Gemini-model identificeerde vier primaire foutmodi:

1. Transactiemisclassificatie (33,3%): Onjuiste categorisering van transacties op basis van beschrijvingen (bijv. het onjuist identificeren van een persoonlijke lening als BNPL).
2. Waarde-matching Fouten (27,8%): Het niet correct matchen van berekende waarden tegen gestelde limieten (bijv. huurbetalingen die de ULAD-totalen overschrijden).
3. Gebrek aan Domeinkennis (22,2%): Onjuiste aannames over industrienormen (bijv. aannemen dat alle overboekingen internationaal zijn).
4. Misinterpretatie van Constraints (11,1%): Het verkeerd interpreteren van prompt-beperkingen (bijv. het classificeren van eenmalige betalingen als terugkerend).

Stochasticiteit en Consistentie

De auteurs analyseerden de consistentie van fouten met behulp van de Risk Ratio (RR). Er werd een RR van 12,7 gevonden voor de baseline Gemini, wat aangeeft dat fouten niet het gevolg zijn van willekeurige stochasticiteit, maar van consistente onjuiste overtuigingen binnen het model. Dit suggereert dat modellen vertrouwen op spuriaat redeneerpatronen in plaats van op echt begrip.

Bias Analyse

De studie onthulde systematische biases in LLM's met betrekking tot niet-Engelse namen:

• Bias voor buitenlandse herkomst: Overboekingen geassocieerd met niet-Engelse namen (vooral niet-Latijnse schriften zoals Arabisch, Hindi en Mandarijn) werden in 77,0% van de gevallen geclassificeerd als "buitenlandse herkomst", vergeleken met slechts 13,3% voor Engelse namen.
• Script Sensitiviteit: De bias was prominenter bij niet-Latijnse schriften (93,3%) dan bij niet-Engelse Latijnse schriften (52,5%).
• IVTS Bias: Gebruikers van informele waardetransfersystemen (IVTS) kregen een hogere recall-rate voor de "buitenlandse" classificatie vergeleken met formele betalingssystemen, wat wijst op potentiële ongelijke behandeling.

Betekenis en Claims

Het artikel claimt de volgende bijdragen en significantie:

1. Eerste Gespecialiseerde Benchmark: MortarBench is de eerste benchmark die specifief is ontworpen voor hypotheekonderzoekstaken, waarmee een kritiek gat wordt opgevuld in het vermogen van de sector om LLM-agents te evalueren.
2. Realistische Dekking van Randgevallen: Door een op mutatie gebaseerde pipeline te gebruiken, genereert de dataset succesvol realistische voorbeelden met een brede dekking van randgevallen die overeenkomen met de werkelijke verdelingen, waardoor de privacybarrières van echte financiële gegevens worden overwonnen.
3. Demonstratie van Modelzwakheden: De benchmark legt bloot dat huidige frontier-modellen worstelen met overgevoeligheid, complexe lijstredenering en significante bias vertonen tegenover niet-Engelse namen en informele betalingssystemen.
4. Effectieve Mitigatiestrategie: Het CRIT-framework wordt gepresenteerd als een mensgerichte strategie die niet alleen de nauwkeurigheid verbetert, maar ook de stuurbaarheid (steerability) en het risicobeheer versterkt. Door de betrouwbaarheidsdrempels aan te passen, kunnen gebruikers een afweging maken tussen fout-positieven en fout-negatieven op basis van de specifieke kosten van fouten in een financiële context.
5. Oproep tot Domeinexpertise: De analyse van foutpatronen suggereert dat het verbeteren van deze systemen meer vereist dan alleen grotere modellen; het behoeft aanvullende in-context domeinkennis en relevante post-training om consistente onjuiste overtuigingen te corrigeren.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn voor het verbeteren van de efficiëntie, de huidige staat van technologie menselijke controle (human-in-the-loop) noodzakelijk maakt, met name voor transactielijst-redenering en bias-mitigatie.