From Forecasts to Auditable Reports: Evidence Contracts for LLM-Assisted Housing-Guarantee Risk Monitoring

Resumen Técnico: De los Pronósticos a los Informes Auditables

Planteamiento del Problema
Las instituciones de garantía de vivienda pública enfrentan un desafío crítico al convertir pronósticos de riesgo para el mes siguiente, que son ruidosos, en informes operativos oportunos y auditables. En el contexto del mercado de garantías de jeonse (depósito inicial elevado) en Corea del Sur, esta tarea se complica por tres factores: (1) la escasez de eventos de riesgo en la cola superior (accidentes de garantía), lo que hace que la minimización del error promedio sea insuficiente para el monitoreo de riesgos; (2) las restricciones de gobernanza de datos que impiden la transmisión de registros de garantía brutos y confidenciales a Modelos de Lenguaje de Gran Escala (LLM) externos; y (3) el riesgo de "alucinación", donde las narrativas fluidas de los LLM pueden inventar evidencia, distorsionar unidades numéricas o fabricar analogías históricas. El problema central no es meramente la predicción, sino la comunicación de riesgo con evidencia restringida: generar informes que sean verificables, fundamentados en datos específicos y aptos para la revisión de analistas sin exponer datos fuente sensibles.

Metodología
Los autores proponen un flujo de trabajo de generación de informes con restricción de evidencia que desacopla el pronóstico estadístico de la generación narrativa, insertando "contratos de evidencia" estructurados entre ambos.

1. Núcleo de Pronóstico Sensible al Riesgo:

   • El sistema emplea un Transformador de Fusión Temporal (TFT) para predecir las tasas de accidentes de garantía por segmento para el mes siguiente.
   • A diferencia de los modelos estándar optimizados para el Error Absoluto Medio (MAE), el TFT se entrena con un objetivo de tipo arrepentimiento (regret-style). Esta función de pérdida asimétrica impone una penalización mayor por subestimar eventos de alto riesgo (cola derecha) que por sobreestimar segmentos de bajo riesgo, alineando el modelo con los costos operativos de las advertencias omitidas.
   • Crucialmente, el TFT expone pesos internos de selección de variables y atención temporal, que sirven como la "razonabilidad" de la predicción.

2. Recuperación de Razonamiento del Modelo:

   • Para encontrar precedentes históricos relevantes sin filtrar datos brutos, el sistema construye una representación de razonamiento del modelo ($Z_{i,t}$) concatenando las matrices de selección de variables y de atención temporal del TFT.
   • Se utiliza el Alineamiento de Núcleos Centrados (CKA) para medir la similitud entre la matriz de razonamiento de la ventana actual y las ventanas históricas. Esto recupera "casos análogos" basados en cómo razonó el modelo (patrones de variables-tiempo) en lugar de solo en los valores de las covariables brutas.
   • Las ventanas de referencia de alto riesgo se seleccionan por separado basándose en los resultados realizados para asegurar que el sistema distinga entre "razonamiento similar" y "resultados históricos severos".

3. Contratos de Evidencia e Informes Estructurados:

   • Antes de invocar a un LLM, un módulo determinista compila un Contrato de Evidencia Tipado ($E_{i,t}$). Este contrato contiene campos fijos: el pronóstico, la línea base, la etiqueta de dirección (Subida/Bajada/Estable), los impulsores clave, la evidencia temporal, los casos análogos, las referencias de alto riesgo y las advertencias.
   • El LLM está estrictamente restringido a verbalizar el contenido de este contrato. Se le prohíbe generar nuevos pronósticos, impulsores o analogías históricas.
   • Se prueban tres interfaces: Datos Brutos (contexto no estructurado), Tarjeta de Evidencia (contrato tipado añadido) y Informe Estructurado (contrato + gramática de informe fija).

4. Protocolo de Auditoría:

   • Una capa de auditoría determinista verifica el borrador generado contra el contrato de evidencia. Comprueba la consistencia de la dirección, la fidelidad numérica, la corrección de las unidades, la validez de las características y la ausencia de inferencias no sustentadas.
   • El resultado es un conjunto de indicadores (flags) que señalan qué afirmaciones requieren la verificación de un analista, en lugar de una decisión automatizada de aprobación o rechazo.

Contribuciones Clave

1. Formulación: El artículo redefine el monitoreo de garantías de vivienda como un proceso de conversión de pronósticos de riesgo dispersos en evidencia de revisión auditable bajo restricciones de capacidad y gobernanza, en lugar de una tarea de predicción pura.
2. Flujo de Trabajo: Introduce un flujo de construcción de evidencia que vincula valores de pronóstico, impulsores derivados del modelo, períodos influyentes y precedentes históricos antes de la generación del informe, asegurando que el LLM opere sobre un conjunto limitado de hechos admisibles.
3. Evaluación: El estudio evalúa el flujo de trabajo a través de una lente multifacética: utilidad de pronóstico sensible a la cola, fidelidad del informe (fundamentación), auditabilidad y una evaluación de profesionales que involucra a 51 analistas.

Resultados

• Desempeño de Pronóstico: El modelo TFT entrenado con arrepentimiento supera significativamente a los modelos estándar (LSTM, DLinear, LightGBM) en la detección de eventos de alto riesgo. Aunque el LSTM logró el MAE más bajo (0.027), tuvo un recall de P90 de solo 0.080. El modelo propuesto TFT-Regret logró un recall de P90 de 0.560 (detectando 14 de 25 casos de alto riesgo realizados), a costa de un aumento modesto en el MAE (0.041).
• Calidad del Informe: A través de ocho LLMs, el uso de contratos de evidencia estructurados mejoró consistentemente la calidad del informe, la fidelidad numérica y la fundamentación a nivel de afirmación en comparación con los datos brutos.
• Validación de Profesionales: En un estudio con 51 analistas y profesionales del sector, la mayoría calificó los informes con restricción de evidencia como útiles en la práctica para la revisión y la toma de decisiones en el mundo real. La mayoría de los participantes respaldaron un piloto operativo, señalando que los informes apoyan el flujo de trabajo necesario de "analista en el bucle" (analyst-in-the-loop).

Significado y Reivindicaciones
El artículo sostiene que el reporte confiable asistido por LLM en el monitoreo financiero de alto riesgo no puede depender únicamente de modelos predictivos. En su lugar, requiere un acoplamiento de modelos predictivos con evidencia estructurada, verificación explícita y supervisión de analistas.

Los autores afirman que su enfoque transforma con éxito la generación abierta en un reporte acotado y verificable. Al tratar las salidas del modelo como "evidencia orientada a la auditoría" en lugar de explicaciones causales, y al imponer un estricto contrato de evidencia antes de la generación, el sistema mitiga los riesgos de alucinación y fuga de datos. Los hallazgos sugieren que, para el monitoreo de riesgos operativos, el valor de un sistema de IA no reside en su capacidad para generar texto fluido, sino en su capacidad para organizar y presentar evidencia verificada y admisible que respalde el juicio humano. El sistema está diseñado para asistir, no para reemplazar, al analista, asegurando que el juicio de riesgo final siga siendo una responsabilidad humana respaldada por un rastro transparente basado en evidencia.