Resumen Técnico: RT-SIM – Un marco de simulación para evaluar modelos de lenguaje de gran tamaño para la reconstrucción y conciliación de operaciones

1. Planteamiento del problema

Las instituciones financieras enfrentan riesgos operativos persistentes derivados de operaciones mal registradas, fallos de comunicación y discrepancias entre las ejecuciones de la mesa de operaciones (front-office) y los registros de la administración (back-office). Si bien los mercados de renta variable globales operan por más de 500 mil millones de dólares diarios, los procesos de conciliación tradicionales dependen en gran medida de registros de transacciones estructurados, lo que a menudo deja una ventana de vulnerabilidad donde los errores o las posiciones no autorizadas permanecen sin detectar hasta la liquidación.

Una limitación crítica de los enfoques actuales es la exclusión de las comunicaciones no estructuradas de los operadores (chats, mensajes electrónicos, conversaciones grabadas). Los fallos de control históricos, como el colapso de Barings Bank, demuestran que las discrepancias suelen persistir porque la información relevante está fragmentada entre los sistemas de registro y el diálogo de los operadores. Aunque los modelos de lenguaje de gran tamaño (LLM) han mostrado potencial para extraer datos estructurados de documentos financieros, existe evidencia limitada sobre su capacidad para reconstruir operaciones ejecutadas a partir de comunicaciones de operadores imperfectas, ruidosas o ambiguas. El desafío central es determinar si los LLM pueden inferir con fiabilidad los detalles de una operación a partir de datos conversacionales cuando dichos datos están degradados por ruido, ambigüedad o información contradictoria.

2. Metodología: El marco RT-SIM

Para abordar esta brecha, los autores presentan RT-SIM, un marco de simulación diseñado para evaluar a los LLM como agentes de conciliación de operaciones bajo condiciones de comunicación controladas. El marco opera como un proceso de conciliación continua que involucra los siguientes pasos:

1. Generación de la operación: Se genera una operación de "verdad fundamental" (ground truth) a partir de datos de mercado y se almacena en un Libro de Verdad (Truth Book).
2. Registro (Booking): La operación se registra en un Libro de Registro (Booked Book), con inyección opcional de errores para simular errores de registro, operaciones fraudulentas (rogue trading) o fallos operativos.
3. Comunicación: Se genera el diálogo del operador mediante plantillas basadas en reglas o LLMs. Crucialmente, el marco admite modos Anclados (diálogo condicionado por la operación ejecutada) y No Anclados (diálogo generado independientemente) para controlar la alineación entre la comunicación y la realidad.
4. Inferencia: Un Asistente de Trading (TA), impulsado por un LLM, procesa la transcripción del diálogo para extraer información estructurada de la operación (comprador, vendedor, cantidad, precio) y la registra en un Libro del TA (TA Book).
5. Conciliación: El sistema compara los registros de Verdad, de Registro y del TA para identificar discrepancias (operaciones faltantes, operaciones no sustentadas, entradas revertidas) y recalcula los impactos en Pérdidas y Ganancias (P&L).

Diseño Experimental

El estudio evaluó cuatro condiciones de comunicación:

• Competente: Comunicación de la operación clara y explícita.
• Ruidosa: Inclusión de contenido conversacional irrelevante y charla trivial.
• Confusa: Introducción de ambigüedad e información contradictoria.
• Degradación Semántica (Gibberish): Diálogo que contiene información de operación sin significado (condición de control).

Los experimentos utilizaron 14 combinaciones de modelos de los proveedores OpenAI (GPT-4o-mini, GPT-3.5 Turbo), Anthropic (Claude Haiku 4.5) y Google (Gemini 2.5 Flash Lite). El rendimiento se midió utilizando la Tasa de Coincidencia (Match Rate), Precisión, Tasa de Falsos Negativos (FNR) y Tasa de Falsos Positivos (FPR), junto con métricas operativas como latencia y costo.

3. Contribuciones Principales

El artículo realiza tres contribuciones primarias a la literatura sobre finanzas digitales e IA:

1. Marco RT-SIM: Un entorno de simulación reproducible que genera actividad comercial sintética y diálogos de operadores para evaluar sistemáticamente cómo la calidad de la comunicación influye en el rendimiento de la conciliación.
2. Arquitectura de Conciliación Basada en LLM: Un marco novedoso que utiliza comunicaciones de operadores no estructuradas como una fuente de evidencia independiente para la conciliación, permitiendo el monitoreo continuo de las discrepancias entre los registros conversacionales y los libros oficiales.
3. Evidencia Empírica sobre la Degradación de la Comunicación: Una evaluación exhaustiva del rendimiento de los LLM a través de entornos competentes, ruidosos, confusos y semánticamente degradados, proporcionando datos sobre la robustez y las limitaciones de los modelos de frontera actuales en las operaciones financieras.

4. Resultados

Los experimentos arrojaron hallazgos distintos respecto a la capacidad de los modelos y los factores ambientales:

• Rendimiento Base: Bajo una comunicación competente, los modelos de frontera (GPT-4o-mini y Claude Haiku 4.5) alcanzaron una alta precisión de reconstrucción, con tasas de coincidencia superiores al 95%. Las evaluaciones entre proveedores mostraron una fuerte robustez; por ejemplo, un TA de Claude Haiku 4.5 reconstruyó el 98.8% de las operaciones generadas por GPT-4o-mini. En contraste, Gemini 2.5 Flash Lite y GPT-3.5 Turbo exhibieron una precisión significativamente menor.
• Impacto del Ruido: El ruido conversacional irrelevante tuvo un efecto insignificante en el rendimiento. Los modelos mantuvieron tasas de coincidencia por encima del 97% en condiciones ruidosas, lo que indica que pueden filtrar eficazmente la charla no relacionada con la operación cuando la información de la misma es explícita.
• Impacto de la Ambigüedad: El rendimiento se deterioró significativamente bajo condiciones confusas (ambiguas/contradictorias). Las tasas de coincidencia cayeron en más de 50 puntos porcentuales para muchas configuraciones. Notablemente, los modelos tendieron a ser conservadores, resultando en altas Tasas de Falsos Negativos (operaciones omitidas) en lugar de generar falsos positivos (alucinación de operaciones).
• Degradación Semántica: En la condición de gibberish (texto sin sentido), el rendimiento de la reconstrucción colapsó al 0% en todos los modelos. No se reconstruyó ninguna operación válida, confirmando que el éxito depende de señales semánticas interpretables y no de patrones lingüísticos superficiales.
• Viabilidad Operativa: El costo de la reconstrucción fue extremadamente bajo (aproximadamente $0.0002 por operación para GPT-4o-mini), y la latencia de inferencia fue inferior a un segundo, lo que sugiere viabilidad económica y técnica para un despliegue a gran escala.

5. Significado y Reivindicaciones

El artículo sostiene que RT-SIM demuestra la viabilidad de utilizar los LLM para transformar las comunicaciones no estructuradas de los operadores en una fuente de evidencia de conciliación adicional y estructurada. El significado de estos hallazgos radica en varias áreas:

• Mecanismos de Control Mejorados: Al inferir operaciones a partir del diálogo, las instituciones pueden crear un libro contable independiente para validar las transacciones registradas, lo que permite identificar discrepancias (como operaciones fuera de libros o transacciones no sustentadas) mucho antes que los procesos de procesamiento por lotes (batch) tradicionales.
• Detección de Riesgos y Fraude: El marco permite la identificación de fallos de control, incluyendo operaciones fuera de libros y transacciones ficticias, al resaltar desajustes entre lo comunicado y lo registrado.
• La Calidad de la Comunicación como Determinante: El estudio establece que la calidad de la comunicación es un determinante de éxito más crítico que la capacidad del modelo por sí sola. Mientras que los modelos son robustos al ruido, son altamente sensibles a la ambigüedad. Por lo tanto, la efectividad de la conciliación basada en LLM depende de la claridad del entorno de comunicación subyacente.
• Despliegue Práctico: Los autores concluyen que, si bien los costos computacionales son insignificantes, el despliegue exitoso requiere la integración con marcos de gobernanza existentes y controles operativos, en lugar de depender únicamente de la inferencia del modelo. La tecnología se presenta no como un reemplazo de los sistemas existentes, sino como una capa complementaria para el monitoreo continuo y la detección de discrepancias.

El artículo mantiene un tono modesto, reconociendo que los resultados derivan de un entorno sintético y que el despliegue en el mundo real requeriría una validación adicional con datos propietarios e integración en flujos de trabajo organizacionales complejos.