Resumo Técnico: Repensando LLMOps para Fraude e AML

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) na detecção de fraudes e na conformidade com a Combate à Lavagem de Dinheiro (AML) enfrenta desafios únicos que as pilhas de serviço genéricas orientadas a chat não conseguem abordar. Diferentemente de cargas de trabalho conversacionais de fim aberto, a inferência de conformidade caracteriza-se por:

• Prompts Dominados por Prefixos: As solicitações tipicamente consistem em um grande bloco compartilhado reutilizável (instruções de política, taxonomias de risco, definições de esquema) seguido por evidências específicas do caso variáveis.
• Saídas Estruturadas e Curtas: O objetivo é frequentemente um objeto JSON compacto, uma lista de rótulos de risco ou uma narrativa curta, em vez de geração de texto longo.
• Multi-Tenância e Restrições Estritas: As cargas de trabalho envolvem múltiplas variantes de tarefas (por exemplo, classificação, extração, tradução) em um único modelo base, exigindo adesão estrita à localidade dos dados, auditabilidade e validade da saída.

Configurações de serviço padrão frequentemente resultam em desempenho inadequado (alta latência, baixa utilização de GPU) porque não são ajustadas a essas formas específicas de carga de trabalho. Além disso, ambientes regulamentados exigem soluções auto-hospedadas para evitar riscos de governança de dados associados a APIs externas, tornando necessária uma pilha de modelos de pesos abertos e conformes.

2. Metodologia

O artigo propõe uma pilha de LLMOps consciente da carga de trabalho centrada em modelos de pesos abertos auto-hospedados (Meta Llama, Alibaba Qwen) e tempos de execução de inferência otimizados (vLLM, SGLang). A metodologia foca em mapear técnicas de otimização específicas para os fenótipos distintos das cargas de trabalho de fraude/AML.

Componentes Técnicos Chave

• Ajuste de Tempo de Execução: Ajuste de max num seqs, max num batched tokens e orçamentos de cache KV para prevenir prefill dividido e preempção.
• Gerenciamento de Memória: Utilização de PagedAttention para reduzir fragmentação e Cache de Prefixo Automático (APC) para reutilizar blocos de cache KV para prefixos de política compartilhados.
• Serviço Multi-Adapter: Implementação de agrupamento consciente de adapter e comprimento de prompt. Em vez de processamento sequencial ingênuo, o sistema agrupa solicitações por ID de adapter LoRA e, em seguida, as agrupa por comprimento de entrada para minimizar preenchimento e ineficiências de agendamento.
• Gerenciamento do Ciclo de Vida: Introdução de controle de ciclo de vida sono/atividade para pipelines de modelos sequenciais, permitindo que modelos inativos liberem VRAM enquanto mantêm um caminho de despertar mais rápido do que uma inicialização completa a frio.
• Otimização de Decodificação: Uso de decodificação especulativa (por exemplo, estilo EAGLE) e tokens de parada estritos para reduzir a sobrecarga de geração desnecessária para saídas JSON curtas.
• Garantia de Qualidade: Um framework LLM-as-Judge atuando como um portão de qualidade pré-produção. Esta camada combina verificações de esquema determinísticas, métricas de referência (BLEU, ROUGE, similaridade de cosseno) e pontuação de rúbrica multi-julgador contra dados de calibração adjudicados por especialistas para garantir conformidade antes da implantação.

Rastreio de Reprodutibilidade

Para garantir reprodutibilidade sem expor dados financeiros proprietários, os autores construíram um benchmark usando conjuntos de dados sintéticos públicos (IBM AML e SAML-D). Esses conjuntos de dados foram transformados em prompts de conformidade pesados em prefixos contendo texto de política reutilizável, evidências de transação e saídas restritas por esquema. Nenhum registro de cliente proprietário ou notas de investigação interna foram utilizados.

3. Contribuições Principais

O artigo faz quatro contribuições principais:

1. Caracterização da Carga de Trabalho: Define a inferência de fraude e conformidade como uma classe distinta de carga de trabalho definida por prefixos compartilhados longos, saídas estruturadas curtas e uso frequente de multi-tenância.
2. Design de Pilha de Serviço Reutilizável: Apresenta uma arquitetura concreta que mapeia técnicas de otimização (APC, PagedAttention, agrupamento multi-adapter) diretamente para os requisitos de cargas de trabalho de AML/Fraude.
3. Rastreio de Reprodutibilidade Pública: Estabelece uma metodologia para avaliar pilhas de serviço usando dados públicos sintéticos (IBM AML, SAML-D), evitando a divulgação de dados institucionais sensíveis enquanto mantém formas de carga de trabalho realistas.
4. Framework de Portão de Qualidade: Descreve um sistema de avaliação LLM-as-Judge que integra verificações determinísticas e pontuação alinhada a humanos para validar configurações de serviço antes da implantação.

4. Resultados

Experimentos foram conduzidos em cargas de trabalho AML sintéticas públicas e benchmarks de serviço controlados. Os resultados demonstram ganhos significativos de eficiência através do ajuste consciente da carga de trabalho:

• Vazão: Aumentou de 612–650 para 3.600 solicitações/hora (aproximadamente 5,5–5,9× de melhoria) em cargas de trabalho de extração de contexto longo.
• Latência: Redução da latência P99 de 31–38 segundos para 6,4–8,7 segundos.
• Utilização de Recursos: A utilização de GPU melhorou de 12% para 78%, reduzindo os custos normalizados (horas de GPU por 1k solicitações bem-sucedidas) em aproximadamente 83%.
• Eficiência Multi-Adapter: O agrupamento consciente de adapter e comprimento de prompt melhorou a vazão efetiva em 3,90× comparado ao carregamento padrão de adapter estilo PEFT.
• Gerenciamento do Ciclo de Vida: O controle sono/atividade reduziu o tempo de disponibilidade do modelo em 29–37× comparado a inicializações a frio para pipelines sequenciais.
• Decodificação Especulativa: Em benchmarks de JSON guiado, um único H100 com decodificação especulativa igualou ou superou a vazão de uma linha de base de 2×H100, enquanto reduzia os custos normalizados em ~53%.

5. Significado e Alegações

O artigo argumenta que, para inferência regulamentada, o desempenho é tanto um problema de design de carga de trabalho, gate de qualidade e governança quanto um problema de modelo ou hardware.

• Alegações Modestas: Os autores afirmam explicitamente que os resultados são "evidências de pilha de serviço e forma de carga de trabalho em dados sintéticos públicos", não uma divulgação de desempenho de instituições financeiras proprietárias. As observações de qualidade são descritas como "fatias de piloto pequenas destinadas a triagem operacional", não alegações de qualidade de tarefa de última geração.
• Impacto Operacional: O estudo demonstra que configurações padrão de serviço de LLM deixam grandes ganhos de desempenho na mesa. Ao alinhar a pilha de serviço com a "forma" específica das cargas de trabalho de conformidade (reutilização de prefixos, saídas estruturadas curtas, necessidades de multi-adapter), as instituições podem alcançar inferência de alta vazão e baixa latência, mantendo governança de dados estrita e auditabilidade.
• Direções Futuras: O artigo identifica a desagregação de prefill/decodificação e a busca automatizada de configuração como as próximas fronteiras naturais para escalar cargas de trabalho regulamentadas, observando que extensões avançadas atuais (como LMCache entre trabalhadores) são promissoras, mas ainda não são padrões de produção universais.

Em conclusão, o artigo fornece um modelo para construir uma pilha de serviço de LLM de grau de conformidade que prioriza otimizações específicas da carga de trabalho e portões de qualidade rigorosos sobre a seleção bruta de modelos, permitindo a implantação segura e eficiente de LLMs em domínios financeiros de alto risco.