Resumen Técnico: Repensar LLMOps para Detección de Fraude y AML

1. Declaración del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) en la detección de fraude y el cumplimiento de la lucha contra el lavado de dinero (AML) enfrenta desafíos únicos que las pilas de servicio genéricas orientadas al chat no logran abordar. A diferencia de las cargas de trabajo conversacionales abiertas, la inferencia de cumplimiento se caracteriza por:

• Prompts Dominados por Prefijos: Las solicitudes suelen consistir en un bloque grande, reutilizable y compartido (instrucciones de políticas, taxonomías de riesgo, definiciones de esquemas) seguido de evidencia específica del caso variable.
• Salidas Estructuradas y Cortas: El objetivo suele ser un objeto JSON compacto, una lista de etiquetas de riesgo o una narrativa breve, en lugar de una generación de texto largo.
• Multi-tenencia y Restricciones Estrictas: Las cargas de trabajo involucran múltiples variantes de tareas (por ejemplo, clasificación, extracción, traducción) en un único modelo base, requiriendo un cumplimiento estricto de la localización de datos, la auditabilidad y la validez de la salida.

Las configuraciones de servicio predeterminadas a menudo resultan en un rendimiento deficiente (alta latencia, baja utilización de GPU) porque no están ajustadas a estas formas específicas de carga de trabajo. Además, los entornos regulados requieren soluciones autoalojadas para evitar los riesgos de gobernanza de datos asociados con las APIs externas, lo que hace necesaria una pila de modelos de peso abierto y cumplimiento normativo.

2. Metodología

El artículo propone una pila de LLMOps consciente de la carga de trabajo centrada en modelos de peso abierto autoalojados (Meta Llama, Alibaba Qwen) y tiempos de ejecución de inferencia optimizados (vLLM, SGLang). La metodología se centra en mapear técnicas de optimización específicas a los fenotipos distintos de las cargas de trabajo de fraude/AML.

Componentes Técnicos Clave

• Ajuste del Tiempo de Ejecución: Ajustar max num seqs, max num batched tokens y presupuestos de caché KV para evitar prellenados divididos y preemption.
• Gestión de Memoria: Utilizar PagedAttention para reducir la fragmentación y Caché de Prefijos Automática (APC) para reutilizar bloques de caché KV para prefijos de políticas compartidos.
• Servicio Multi-Adaptador: Implementar agrupación consciente del adaptador y de la longitud del prompt. En lugar de un procesamiento secuencial ingenuo, el sistema agrupa las solicitudes por ID de adaptador LoRA y luego las agrupa por longitud de entrada para minimizar el relleno y las ineficiencias de programación.
• Gestión del Ciclo de Vida: Introducir control del ciclo de vida sueño/despertar para pipelines de modelos secuenciales, permitiendo que los modelos inactivos liberen VRAM mientras mantienen una ruta de despertar más rápida que un inicio en frío completo.
• Optimización de Decodificación: Utilizar decodificación especulativa (por ejemplo, estilo EAGLE) y tokens de parada estrictos para reducir la sobrecarga de generación innecesaria para salidas JSON cortas.
• Garantía de Calidad: Un marco de LLM como Juez que actúa como puerta de calidad preproducción. Esta capa combina verificaciones de esquema deterministas, métricas de referencia (BLEU, ROUGE, similitud coseno) y puntuación de rúbrica de múltiples jueces frente a datos de calibración adjudicados por expertos para asegurar el cumplimiento antes del despliegue.

Rastreo de Reproducibilidad

Para asegurar la reproducibilidad sin exponer datos financieros propietarios, los autores construyeron un punto de referencia utilizando conjuntos de datos sintéticos públicos (IBM AML y SAML-D). Estos conjuntos de datos se transformaron en prompts de cumplimiento pesados en prefijos que contenían texto de políticas reutilizable, evidencia de transacciones y salidas restringidas por esquema. No se utilizaron registros de clientes propietarios ni notas de investigación internas.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Caracterización de la Carga de Trabajo: Define la inferencia de fraude y cumplimiento como una clase de carga de trabajo distinta definida por prefijos compartidos largos, salidas estructuradas cortas y uso frecuente multi-tenant.
2. Diseño de Pila de Servicio Reutilizable: Presenta una arquitectura concreta que mapea técnicas de optimización (APC, PagedAttention, agrupación multi-adaptador) directamente a los requisitos de las cargas de trabajo AML/Fraude.
3. Rastreo Público de Reproducibilidad: Establece una metodología para evaluar pilas de servicio utilizando datos sintéticos públicos (IBM AML, SAML-D), evitando la divulgación de datos institucionales sensibles mientras se mantienen formas de carga de trabajo realistas.
4. Marco de Puerta de Calidad: Describe un sistema de evaluación de LLM como Juez que integra verificaciones deterministas y puntuación alineada con humanos para validar configuraciones de servicio antes del despliegue.

4. Resultados

Se realizaron experimentos en cargas de trabajo AML sintéticas públicas y puntos de referencia de servicio controlados. Los resultados demuestran ganancias significativas de eficiencia mediante el ajuste consciente de la carga de trabajo:

• Rendimiento: Aumentó de 612–650 a 3.600 solicitudes/hora (mejora aproximada de 5,5–5,9×) en cargas de trabajo de extracción de contexto largo.
• Latencia: Reducción de la latencia P99 de 31–38 segundos a 6,4–8,7 segundos.
• Utilización de Recursos: La utilización de GPU mejoró de 12% a 78%, reduciendo los costos normalizados (horas de GPU por 1k solicitudes exitosas) en aproximadamente 83%.
• Eficiencia Multi-Adaptador: La agrupación consciente del adaptador y de la longitud del prompt mejoró el rendimiento efectivo en 3,90× en comparación con la carga de adaptadores estilo PEFT estándar.
• Gestión del Ciclo de Vida: El control sueño/despertar redujo el tiempo de disponibilidad del modelo en 29–37× en comparación con los inicios en frío para pipelines secuenciales.
• Decodificación Especulativa: En puntos de referencia de JSON guiado, un solo H100 con decodificación especulativa igualó o superó el rendimiento de una línea base de 2×H100 mientras reducía los costos normalizados en ~53%.

5. Significado y Reclamaciones

El artículo argumenta que para la inferencia regulada, el rendimiento es tanto un problema de diseño de carga de trabajo, control de calidad y gobernanza como un problema de modelo o hardware.

• Reclamaciones Modestas: Los autores declaran explícitamente que los resultados son "evidencia de pila de servicio y forma de carga de trabajo en datos sintéticos públicos", no una divulgación del rendimiento de instituciones financieras propietarias. Las observaciones de calidad se describen como "pequeñas porciones piloto destinadas al triaje operativo", no como afirmaciones de calidad de tarea de vanguardia.
• Impacto Operativo: El estudio demuestra que las configuraciones de servicio de LLM estándar dejan grandes ganancias de rendimiento sobre la mesa. Al alinear la pila de servicio con la "forma" específica de las cargas de trabajo de cumplimiento (reutilización de prefijos, salidas estructuradas cortas, necesidades multi-adaptador), las instituciones pueden lograr inferencia de alto rendimiento y baja latencia mientras mantienen una estricta gobernanza de datos y auditabilidad.
• Futuras Direcciones: El artículo identifica la desagregación de prellenado/decodificación y la búsqueda automatizada de configuraciones como las siguientes fronteras naturales para escalar cargas de trabajo reguladas, señalando que las extensiones avanzadas actuales (como LMCache de múltiples trabajadores) son prometedoras pero aún no son valores predeterminados universales de producción.

En conclusión, el artículo proporciona un plano para construir una pila de servicio de LLM de grado de cumplimiento que prioriza optimizaciones específicas de la carga de trabajo y puertas de calidad rigurosas sobre la selección de modelos crudos, permitiendo el despliegue seguro y eficiente de LLM en dominios financieros de alto riesgo.