From Forecasts to Auditable Reports: Evidence Contracts for LLM-Assisted Housing-Guarantee Risk Monitoring

Technische Samenvatting: Van Voorspellingen naar Controleerbare Rapporten

Probleemstelling
Instellingen voor de garantie van publieke huisvesting staan voor een kritieke uitdaging bij het omzetten van ruisgevoelige, volgende-maand risicovoorspellingen in tijdige, controleerbare operationele rapporten. In de context van de Zuid-Koreaanse jeonse-markt (grote aanbetalingen) wordt deze taak bemoeilijkt door drie factoren: (1) de schaarste van risico-gebeurtenissen in de bovenstaande staart (garantierisico's), wat maakt dat het minimaliseren van gemiddelde fouten onvoldoende is voor risicomonitoring; (2) governance-beperkingen met betrekking tot gegevens die de transmissie van ruwe, vertrouwelijke garantieregisters naar externe Large Language Models (LLM's) verhinderen; en (3) het risico op "hallucinatie", waarbij vloeiende LLM-narratieven bewijs kunnen verzinnen, numerieke eenheden kunnen vervormen of historische analogieën kunnen fabriceren. De kern van het probleem is niet louter voorspelling, maar bewijs-beperkte risicocommunicatie: het genereren van rapporten die verifieerbaar zijn, gebaseerd zijn op specifieke gegevens en geschikt zijn voor analyse door experts zonder de gevoelige brongegevens bloot te leggen.

Methodologie
De auteurs stellen een evidence-constrained reporting pipeline voor die statistische voorspelling ontkoppelt van narratieve generatie door gestructureerde "bewijscontracten" tussen beide te plaatsen.

1. Risico-sensitieve Voorspellingsbackbone:

   • Het systeem gebruikt een Temporal Fusion Transformer (TFT) om de volgende maand op segmentniveau de incidentie van garantierisico's te voorspellen.
   • In tegenstelling tot standaardmodellen die geoptimaliseerd zijn voor Mean Absolute Error (MAE), wordt de TFT getraind met een regret-stijl objectief. Deze asymmetrische verliesfunctie legt een hogere straf op voor het onderschatten van hoog-risico (rechterstaart) gebeurtenissen dan voor het overschatten van laag-risico segmenten, waardoor het model wordt afgestemd op de operationele kosten van gemiste waarschuwingen.
   • Cruciaal is dat de TFT interne variabele-selectie en temporele-attentie gewichten blootlegt, die dienen als de "ratio" voor de voorspelling.

2. Model-redenering Retrieval:

   • Om relevante historische precedenten te vinden zonder ruwe data te lekken, construeert het systeem een model-redeneringsrepresentatie ($Z_{i,t}$) door de variabele-selectie en temporele-attentiematrices van de TFT samen te voegen.
   • Centered Kernel Alignment (CKA) wordt gebruikt om de gelijkenis te meten tussen de huidige venster-redeneringsmatrix en historische vensters. Dit haalt "analoge gevallen" op op basis van hoe het model redeneerde (variabele-tijd patronen) in plaats van alleen op basis van ruwe covariaatwaarden.
   • Hoog-risico referentieversters worden afzonderlijk geselecteerd op basis van gerealiseerde uitkomsten om ervoor te zorgen dat het systeem onderscheid maakt tussen "gelijke redenering" en "ernstige historische uitkomsten".

3. Bewijscontracten en Gestructureerde Rapportage:

   • Voordat een LLM wordt aangeroepen, stelt een deterministisch module een Typed Evidence Contract ($E_{i,t}$) samen. Dit contract bevat vaste velden: de voorspelling, baseline, richtinglabel (Omhoog/Omlaag/Stabiel), belangrijkste drijfveren, temporeel bewijs, analoge gevallen, hoog-risico referenties en kanttekeningen.
   • De LLM is strikt beperkt tot het verwoorden van de inhoud van dit contract. Het is verboden om nieuwe voorspellingen, drijfveren of historische analogieën te genereren.
   • Drie interfaces worden getest: Raw Data (ongestructureerde context), Evidence Card (gevoegde getypeerde contract) en Structured Report (contract + vaste rapportagegrammatica).

4. Audit Protocol:

   • Een deterministische auditlaag verifieert het gegenereerde concept tegen het bewijscontract. Het controleert op consistentie in richting, numerieke getrouwheid, correctheid van eenheden, geldigheid van kenmerken en de afwezigheid van ononderbouwde inferenties.
   • De output is een set vlaggen die aangeeft welke claims verificatie door een analist vereisen, in plaats van een geautomatiseerde pass/fail beslissing.

Belangrijkste Bijdragen

1. Formulering: Het artikel herformuleert de monitoring van woninggaranties als een proces van het omzetten van schaarse risicovoorspellingen naar controleerbaar bewijs voor beoordeling onder capaciteits- en governance-beperkingen, in plaats van een zuivere voorspellingsopgave.
2. Workflow: Het introduceert een bewijs-constructie workflow die voorspellingswaarden, model-afgeleide drijfveren, invloedrijke perioden en historische precedenten koppelt voordat de rapportage plaatsvindt, waardoor wordt gegarandeerd dat de LLM opereert binnen een begrensde set van toegestane feiten.
3. Evaluatie: De studie evalueert de pipeline via een veelzijdige lens: de bruikbaarheid van de staart-sensitieve voorspelling, de rapportgetrouwheid (grounding), de controleerbaarheid en een beoordeling door professionals bestaande uit 51 analisten.

Resultaten

• Voorspellingsprestaties: De met regret getrainde TFT presteert significant beter dan standaardmodellen (LSTM, DLinear, LightGBM) bij het detecteren van hoog-risico gebeurtenissen. Ho terwijl de LSTM de laagste MAE bereikte (0,027), had deze een P90 recall van slechts 0,080. Het voorgestelde TFT-Regret model behaalde een P90 recall van 0,560 (het aan het licht brengen van 14 van de 25 gerealiseerde hoog-risico gevallen), ten koste van een bescheiden toename in MAE (0,041).
• Rapportkwaliteit: Over acht verschillende LLM's heen verbeterde het gebruik van gestructureerde bewijscontracten de rapportkwaliteit, numerieke getrouwheid en claim-niveau grounding consequent vergeleken met ruwe data-inputs.
• Validatie door Professionals: In een studie met 51 analisten en domeinexperts beoordeelde de meerderheid de bewijs-beperkte rapporten als praktisch bruikbaar voor real-world beoordeling en besluitvorming. De meeste deelnemers steunden een operationele pilot en merkten op dat de rapporten de noodzakelijke "analyst-in-the-loop" workflow ondersteunden.

Significantie en Claims
Het artikel betoogt dat betrouwbare LLM-ondersteunde rapportage in hoog-risico financiële monitoring niet enkel kan vertrouwen op voorspellende modellen. In plaats daarvan vereist het een koppeling van voorspellende modellen met gestructureerd bewijs, expliciete verificatie en toezicht door experts.

De auteurs beweren dat hun aanpak succesvol open einde generatie transformeert naar begrensde, verifieerbare rapportage. Door modeloutputs te behandelen als "audit-georiënteerd bewijs" in plaats van causale verklaringen, en door een strikt bewijscontract af te dwingen vóór generatie, mitigeert het systeem de risico's van hallucinatie en datalekken. De bevindingen suggereren dat voor operationele risicomonitoring de waarde van een AI-systeem niet ligt in het vermogen om vloeiende tekst te genereren, maar in het vermogen om toelaatbaar, geverifieerd bewijs te organiseren en te presenteren dat menselijk oordeel ondersteunt. Het systeem is ontworpen om de analist te assisteren, niet te vervangen, waardoor wordt gewaarborgd dat het uiteindelijke risicobeoordelingsproces een menselijke verantwoordelijkheid blijft, ondersteund door een transparant, op bewijs gebaseerd spoor.