Resumen Técnico: MortarBench y CRIT

Planteamiento del Problema

El proceso de originación de préstamos hipotecarios es un dominio crítico y de alto riesgo que involucra una compleja evaluación de riesgos y cumplimiento regulatorio (por ejemplo, las directrices de Fannie Mae y Freddie Mac). Si bien las empresas están integrando cada vez más agentes de Modelos de Lenguaje Extensos (LLM) para asistir a los oficiales de préstamos en la validación de los perfiles financieros de los solicitantes frente a los estados de cuenta bancarios, la industria carece de un benchmark estandarizado para evaluar estos agentes. Los benchmarks de QA financiera existentes no abordan adecuadamente los desafíos específicos de la suscripción hipotecaria, que requieren reconciliar estados de cuenta bancarios no estructurados con perfiles de solicitantes estructurados (archivos ULAD) para detectar inconsistencias, calcular métricas financieras específicas y asegurar la adherencia regulatoria. Además, la incapacidad de compartir datos financieros reales debido a preocupaciones de privacidad ha obstaculizado la creación de conjuntos de datos de evaluación realistas y ricos en casos de borde (edge cases).

Metodología

1. Creación del Conjunto de Datos MortarBench

Para abordar la falta de estándares de evaluación, los autores introducen MortarBench (Mortarage Transaction Analysis, and Reasoning Benchmark). El pipeline de generación de datos emplea un enfoque de síntesis y mutación de datos financieros para superar las restricciones de privacidad asegurando al mismo tiempo la consistencia interna:

• Síntesis de Datos: Los autores muestrearon 300 estados de cuenta bancarios reales para extraer estadísticas de resumen anónimas (frecuencias y valores promedio de tipos de transacciones como nómina, gastos de vivienda, cripto y BNPL) . Estas estadísticas se utilizaron para generar procedimentalmente estados de cuenta sintéticos (periodos de 60 días) que coinciden con las distribuciones del mundo real.
• Generación de ULAD: Se generaron archivos de Conjunto de Datos de Solicitud de Préstamo Uniforme (ULAD) utilizando un enfoque basado en plantillas siguiendo el esquema de Freddie Mac. Los valores en el ULAD (activos, pasivos) se computaron directamente a partir de los estados de cuenta sintéticos para asegurar la consistencia.
• Generación de Preguntas y Respuestas: Se curaron y refinaron mediante expertos preguntas del mundo real provenientes de un chatbot de asistencia de préstamos en producción. Las preguntas se categorizaron en tres tipos de respuesta: Booleana, Lista de Transacciones (IDs) y Lista de Cuentas (IDs).
• Mutación para Casos de Borde: Para asegurar una cobertura equilibrada de los casos de borde, los autores diseñaron funciones de mutación. Para una pregunta y respuesta deseada (por ejemplo, "3 transacciones BNPL"), el sistema edita programáticamente el estado de cuenta y el ULAD para forzar ese resultado específico manteniendo la consistencia del documento. Esto permite la generación de ejemplos tanto positivos como negativos para cada consulta.

El conjunto de datos final comprende 188 casos de prueba derivados de 47 preguntas únicas, con un promedio de 33.6 transacciones por estado de cuenta bancario.

2. El Marco de Trabajo CRIT

Al observar que los modelos base exhibían una sobresensibilidad severa (altos falsos positivos, cero falsos negativos en algunos casos), los autores proponen CRIT (Confidence Reflection Inference for Transactions).

• Mecanismo: En lugar de emitir directamente una lista de transacciones, el agente genera un puntaje de confianza (1–5) para cada transacción potencial incluida en su respuesta. Este puntño refleja la probabilidad de corrección basada en el número y la fuerza de las suposiciones requeridas para justificar la inclusión.
• Umbralización (Thresholding): El sistema aplica un umbral estricto ($T=5$), descartando cualquier transacción con un puntaje de confianza inferior a este valor.
• Objetivo: Este enfoque busca alejar a los modelos de la sobresensibilidad, mejorar la dirección de la gestión de riesgos y reducir el sesgo al permitir que el sistema filtre inclusiones de baja confianza y potencialmente erróneas.

Resultados Clave

Métricas de Desempeño

• Desempeño Base: Los modelos de código cerrado de última generación (state-of-the-art) tuvieron un desempeño deficiente en MortarBench, siendo el mejor modelo base (Gemini 3.1 Pro) el que alcanzó solo un 77.1% de Exact Match (EM) de precisión.
• Impacto de CRIT: El marco CRIT mejoró el desempeño en todos los modelos probados. Para Gemini 3.1 Pro, CRIT aumentó la precisión EM al 80.5% y el F1 a 83.6.
• Reducción de Errores: CRIT proporcionó una reducción de errores del 14.8% sobre el modelo base más fuerte. Las ganancias más significativas se observaron en las preguntas de lista de transacciones, donde los modelos base tuvieron dificultades con la sobresensibilidad.
• Mitigación de Sesgos: CRIT redujo la brecha de clasificación de "origen extranjero" entre nombres en inglés y nombres en otros idiomas del 77.0% al 54.0% en el modelo base Gemini.

Análisis de Fallos

Una revisión manual de 36 trazas de razonamiento erróneas del modelo base Gemini identificó cuatro modos principales de falla:

1. Clasificación Errónea de Transacciones (33.3%): Categorización incorrecta de transacciones basadas en descripciones (por ejemplo, identificar erróneamente un préstamo personal como BNPL).
2. Errores de Coincidencia de Valores (27.8%): Fallo al emparejar correctamente los valores calculados contra los límites establecidos (por ejemplo, pagos de renta que exceden los totales del ULAD).
3. Falta de Conocimiento de Dominio (22.2%): Asunción incorrecta de normas de la industria (por ejemplo, asumir que todas las transferencias cablegráficas son internacionales).
4. Malinterpretación de Restricciones (11.1%): Malinterpretación de las restricciones del prompt (por ejemplo, clasificar pagos únicos como recurrentes).

Estocasticidad y Consistencia

Los autores analizaron la consistencia de los errores usando el Risk Ratio (RR). Se encontró un RR de 12.7 para el modelo base Gemini, lo que indica que los errores no se deben a una estocasticidad aleatoria, sino a creencias falsas consistentes dentro del modelo. Esto sugiere que los modelos dependen de patrones de razonamiento espurios en lugar de una comprensión genuina.

Análisis de Sesgo

El estudio reveló sesgos sistemáticos en los LLM respecto a nombres de origen no inglés:

• Sesgo de Origen Extranjero: Las transferencias asociadas con nombres de origen no inglés (especialmente escrituras no latinas como el árabe, hindi y mandarín) fueron clasificadas como "de origen extranjero" en el 77.0% de los casos, comparado con solo el 13.3% para nombres en inglés.
• Sensibilidad de la Escritura: El sesgo fue más pronunciado para escrituras no latinas (93.3%) que para escrituras latinas no inglesas (52.5%).
• Sesgo de IVTS: Los usuarios de Sistemas de Transferencia de Valor Informal (IVTS) enfrentaron tasas de recuperación (recall) más altas para la clasificación "extranjera" en comparación con los sistemas de pago formales, lo que indica un posible trato desigual.

Significancia y Reivindicaciones

El artículo plantea las siguientes contribuciones y significancias:

1. Primer Benchmark Especializado: MortarBench es el primer benchmark diseñado específicamente para tareas de suscripción hipotecaria, llenando un vacío crítico en la capacidad de la industria para evaluar agentes de LLM.
2. Cobertura Realista de Casos de Borde: Mediante el uso de un pipeline basado en mutaciones, el conjunto de datos genera con éxito ejemplos realistas con una amplia cobertura de casos de borde que coinciden con las distribuciones del mundo real, superando las barreras de privacidad de los datos financieros reales.
3. Demostración de Debilidades del Modelo: El benchmark expone que los modelos de frontera actuales luchan con la sobresensibilidad, el razonamiento complejo de listas y exhiben un sesgo significativo contra nombres no ingleses y sistemas de pago informales.
4. Estrategia de Mitigación Efectiva: El marco CRIT se presenta como una estrategia centrada en el humano que no solo mejora la precisión, sino que también mejora la capacidad de dirección (steerability) y la gestión de riesgos. Al ajustar los umbrales de confianza, los usuarios pueden intercambiar entre falsos positivos y falsos negativos según el costo específico de los errores en un contexto financiero.
5. Llamado al Conocimiento de Dominio: El análisis de los patrones de error sugiere que mejorar estos sistemas requiere más que solo modelos más grandes; requiere conocimiento de dominio adicional en el contexto y un post-entrenamiento relevante para corregir las creencias falsas consistentes.

Los autores concluyen que, si bien los LLM muestran promesa para mejorar la eficiencia, el estado actual de la tecnología requiere una supervisión humana en el bucle (human-in-the-loop), particularmente para el razonamiento de listas de transacciones y la mitigación de sesgos.