Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting

Resumen Técnico: Más allá de la Similitud Semántica en la Suscripción de Crédito Corporativo

Enunciado del Problema
La suscripción de crédito corporativo depende del análisis de documentos financieros extensos y heterogéneos, incluidos informes anuales y análisis sectoriales. Los analistas deben extraer indicadores financieros específicos, evaluar las divulgaciones de riesgos y sintetizar información de documentos que abarcan cientos de páginas y múltiples idiomas. Aunque los sistemas de Generación Aumentada por Recuperación (RAG) han surgido para asistir en tales flujos de trabajo, las pipelines estándar priorizan la similitud semántica entre las consultas y los pasajes de los documentos. En contextos financieros, este enfoque a menudo no se alinea con las necesidades de los analistas; los documentos frecuentemente contienen descripciones narrativas, divulgaciones regulatorias y lenguaje repetitivo estándar. En consecuencia, la recuperación basada en similitud puede mostrar pasajes que comparten terminología con una consulta pero carecen de valor analítico accionable. Los autores identifican esta discrepancia como la "brecha de similitud-utilidad", donde el contenido topicamente relacionado no necesariamente apoya la toma de decisiones.

Metodología
Para cerrar esta brecha, los autores proponen un flujo de trabajo de recuperación no paramétrico de dos fases, diseñado específicamente para el apoyo a la toma de decisiones empresarial. El sistema opera completamente en local utilizando modelos de código abierto autoalojados para garantizar el cumplimiento de políticas estrictas de gobernanza de datos. La arquitectura consta de cinco componentes principales:

1. Ingesta de Documentos: Los documentos financieros se segmentan en secciones estructuradas utilizando pistas de diseño. Cada segmento se indexa con metadatos, incluida la fuente, el título de la sección y las referencias de página, para preservar la información estructural para el procesamiento posterior.
2. Fase 1: Recuperación Híbrida de Candidatos: Esta fase busca una alta exhaustividad en documentos multilingües. Emplea una estrategia híbrida que combina la recuperación por palabras clave (para preservar la precisión en la terminología financiera) y la recuperación semántica densa utilizando incrustaciones multilingües. Se utiliza un valor TopK de 50 para generar un conjunto inicial de candidatos de alta exhaustividad ($C_0$).
3. Fase 2: Controlador de Recuperación Adaptativo y Reordenamiento Basado en Utilidad:
   • Controlador Adaptativo: Un modelo de lenguaje ligero evalúa los candidatos basándose en la intención de la consulta y la estructura del documento. Predice tres métricas para cada pasaje: relevancia ($Rel_i$), soporte de evidencia ($S_i$) y una puntuación de utilidad ($U_i$). El controlador filtra el conjunto de candidatos ($C_1$) aplicando una condición lógica donde el soporte de evidencia solo se considera si se ha establecido la relevancia, eliminando efectivamente el lenguaje estándar semánticamente relacionado pero analíticamente irrelevante.
   • Reordenamiento Basado en Utilidad: Los candidatos restantes se clasifican utilizando un marco de "LLM como Juez". En lugar de medir la similitud con la consulta, el modelo evalúa los pasajes basándose en su utilidad de decisión para la suscripción. Un umbral ajustable ($U_{umbral}$) equilibra la precisión y la exhaustividad, filtrando los pasajes que contienen evidencia financiera accionable.
4. Extracción de Evidencia Consciente del Contexto: Para evitar la distorsión del significado o la pérdida de atribución, el sistema emplea estrategias de extracción distintas basadas en la estructura del contenido:
   • Secciones Narrativas: Utiliza una segmentación consciente de Markdown para preservar encabezados, listas con viñetas y límites de párrafos.
   • Datos Tabulares: Distingue entre tablas no complejas (analizadas para extraer filas o celdas específicas) y tablas complejas (encabezados multinivel, celdas fusionadas). Para tablas complejas, el sistema preserva el contexto completo de la tabla junto con los metadatos de la fuente (nombre del documento, referencia de página) para apoyar la verificación manual y la atribución precisa.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

• Un marco de recuperación basado en utilidad que alinea la clasificación de pasajes con la utilidad de decisión en la suscripción de crédito, yendo más allá de la mera similitud semántica.
• Un controlador de recuperación adaptativo que filtra los pasajes candidatos utilizando señales de intención de consulta y estructura del documento.
• Un módulo de extracción consciente del contexto que preserva la información estructural tanto en contenido financiero narrativo como tabular.
• Una implementación empresarial que demuestra grandes ganancias de productividad, operando completamente dentro de un entorno regulado y en local.

Resultados
El sistema se evaluó en un corpus multilingüe de documentos internos de crédito corporativo, con etiquetas de relevancia curadas por analistas de crédito senior. Debido a la naturaleza propietaria de los datos, los conjuntos de datos detallados y los estudios de caso no se publicaron. Sin embargo, en una implementación real que involucró a más de 800 analistas, el sistema demostró ganancias significativas en eficiencia, reduciendo el tiempo de revisión de documentos de varias horas a aproximadamente tres minutos. La evaluación indica que el enfoque propuesto mejora significativamente el rendimiento de recuperación en comparación con los sistemas de recuperación ingenua tradicionales, al mostrar pasajes que contienen evidencia financiera verificable.

Significado y Afirmaciones
Los autores afirman que la importancia del sistema radica en su capacidad para optimizar la utilidad analítica en lugar de solo la similitud semántica, abordando directamente las necesidades de los flujos de trabajo empresariales en entornos financieros regulados. Al combinar la recuperación híbrida, el control adaptativo de candidatos y la clasificación basada en utilidad, el sistema prioriza la evidencia financiera accionable. La implementación en local garantiza que los datos financieros sensibles permanezcan locales, satisfaciendo requisitos estrictos de gobernanza y auditabilidad.

Trabajo Futuro
El artículo señala que el trabajo futuro explorará una extracción mejorada de datos estructurados de tablas financieras. Específicamente, los autores sugieren integrar pipelines especializadas de Reconocimiento Óptico de Caracteres (OCR) y Modelos de Lenguaje Visuales (VLM) para extraer información numérica estructurada directamente de las regiones de las tablas. Esto permitiría al sistema capturar métricas financieras adicionales incrustadas en diseños complejos e incorporarlos en los procesos de razonamiento posteriores.