Resumo Técnico: RT-SIM – Um Framework de Simulação para Avaliação de Grandes Modelos de Linguagem para Reconstrução e Conciliação de Negociações

1. Declaração do Problema

As instituições financeiras enfrentam riscos operacionais persistentes decorrentes de negociações registradas incorretamente, falhas de comunicação e discrepâncias entre as execuções do front-office e os registros do back-office. Embora os mercados globais de ações negociem mais de US$ 500 bilhões diariamente, os processos de reconciliação tradicionais dependem fortemente de registros de transações estruturados, muitas vezes deixando uma janela de vulnerabilidade onde erros ou posições não autorizadas permanecem indetectados até a liquidação.

Uma limitação crítica das abordagens atuais é a exclusão de comunicações não estruturadas de traders (chats, mensagens eletrônicas, conversas gravadas). Falhas históricas de controle, como o colapso do Barings Bank, demonstram que as discrepâncias frequentemente persistem porque as informações relevantes estão fragmentadas entre os sistemas de registro e o diálogo dos traders. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado potencial na extração de dados estruturados de documentos financeiros, há evidências limitadas sobre sua capacidade de reconstruir negociações executadas a partir de comunicações de traders imperfeitas, ruidosas ou ambíguas. O desafio central é determinar se os LLMs podem inferir detalhes de negociações de forma confiável a partir de dados conversacionais quando esses dados estão degradados por ruído, ambiguidade ou informações contraditórias.

2. Metodologia: O Framework RT-SIM

Para abordar essa lacuna, os autores introduzem o RT-SIM, um framework de simulação projetado para avaliar LLMs como agentes de reconciliação de negociações sob condições controladas de comunicação. O framework opera como um processo de reconciliação contínua envolvendo as seguintes etapas:

1. Geração de Negociação: Uma negociação de "verdade fundamental" (ground truth) é gerada a partir de dados de mercado e armazenada em um Livro da Verdade (Truth Book).
2. Registro (Booking): A negociação é registrada em um Livro Registrado (Booked Book), com injeção opcional de erros para simular erros de registro, rogue trading ou falhas operacionais.
3. Comunicação: O diálogo do trader é gerado via templates baseados em regras ou LLMs. Crucialmente, o framework suporta modos Ancorados (diálogo condicionado à negociação executada) e Não Ancorados (diálogo gerado independentemente) para controlar o alinhamento entre a comunicação e a realidade.
4. Inferência: Um Assistente de Negociação (TA), alimentado por um LLM, processa a transcrição do diálogo para extrair informações estruturadas da negociação (comprador, vendedor, quantidade, preço) e as registra em um Livro do TA (TA Book).
5. Reconciliação: O sistema compara os registros da Verdade, do Livro Registrado e do TA para identificar discrepâncias (negociações ausentes, negociações não suportadas, entradas revertidas) e recalcula os impactos de Lucros e Perdas (P&L).

Desenho Experimental

O estudo avaliou quatro condições de comunicação:

• Competente: Comunicação de negociação clara e explícita.
• Ruidosa (Noisy): Inclusão de conteúdo conversacional irrelevante e conversa fiada.
• Confusa: Introdução de ambiguidade e informações contraditórias.
• Semanticamente Degradada (Gibberish): Diálogo contendo nenhuma informação de negociação significativa (condição de controle).

Os experimentos utilizaram 14 pareamentos de modelos entre os provedores OpenAI (GPT-4o-mini, GPT-3.5 Turbo), Anthropic (Claude Haiku 4.5) e Google (Gemini 2.5 Flash Lite). O desempenho foi medido usando Taxa de Correspondência (Match Rate), Precisão, Taxa de Falso Negativo (FNR) e Taxa de Falso Positivo (FPR), juntamente com métricas operacionais como latência e custo.

3. Principais Contribuições

O artigo apresenta três contribuições primárias para a literatura de finanças digitais e IA:

1. Framework RT-SIM: Um ambiente de simulação reproduzível que gera atividade de negociação sintética e diálogo de trader para avaliar sistematicamente como a qualidade da comunicação influencia o desempenho da reconciliação.
2. Arquitetura de Reconciliação Baseada em LLM: Um framework inovador que utiliza comunicações não estruturadas de traders como uma fonte independente de evidência para reconciliação, permitindo o monitoramento contínuo de discrepâncias entre os registros conversacionais e os livros oficiais.
3. Evidência Empírica de Degradação de Comunicação: Uma avaliação abrangente do desempenho dos LLMs em ambientes competentes, ruidosos, confusos e semanticamente degradados, fornecendo dados sobre a robustez e as limitações dos atuais modelos de fronteira em operações financeiras.

4. Resultados

Os experimentos produziram descobertas distintas sobre a capacidade dos modelos e fatores ambientais:

• Desempenho de Linha de Base: Sob comunicação competente, os modelos de fronteira (GPT-4o-mini e Claude Haiku 4.5) alcançaram alta precisão de reconstrução, com taxas de correspondência superiores a 95%. Avaliações entre diferentes provedores mostraram forte robustez; por exemplo, um TA do Claude Haiku 4.5 reconstruiu 98,8% das negociações geradas pelo GPT-4o-mini. Em contraste, o Gemini 2.5 Flash Lite e o GPT-3.5 Turbo exibiram precisão significativamente menor.
• Impacto do Ruído: O ruído conversacional irrelevante teve um efeito negligenciável no desempenho. Os modelos mantiveram taxas de correspondência acima de 97% em condições ruidosas, indicando que podem filtrar efetivamente conversas não relacionadas a negociações quando a informação da negociação permanece explícita.
• Impacto da Ambiguidade: O desempenho deteriorou-se significamente sob condições confusas (ambíguas/contraditórias). As taxas de correspondência caíram mais de 50 pontos percentuais para muitas configurações. Notavelmente, os modelos tenderam a ser conservadores, resultando em altas Taxas de Falso Negativo (negociações perdidas) em vez de gerar falsos positivos (alucinações de negociações).
• Degradação Semântica: Na condição de gibberish (palavras sem sentido), o desempenho de reconstrução colapsou para 0% em todos os modelos. Nenhuma negociação válida foi reconstruída, confirmando que o sucesso depende de sinais semânticos interpretáveis e não de padrões linguísticos superficiais.
• Viabilidade Operacional: O custo da reconstrução foi extremamente baixo (aproximadamente US$ 0,0002 por negociação para o GPT-4o-mini), e a latência de inferência foi inferior a um segundo, sugerindo viabilidade econômica e técnica para implantação em larga escala.

5. Significância e Alegações

O artigo afirma que o RT-SIM demonstra a viabilidade de usar LLMs para transformar comunicações não estruturadas de traders em uma fonte estruturada e adicional de evidência para reconciliação. A significância dessas descobertas reside em várias áreas:

• Mecanismos de Controle Aprimorados: Ao inferir negociações a partir do diálogo, as instituições podem criar um livro contábil independente para validar transações registradas, potencialmente identificando discrepâncias (como posições não registradas ou transações não suportadas) muito antes dos processos de lote tradicionais permitirem.
• Detecção de Risco e Fraude: O framework suporta a identificação de falhas de controle, incluindo negociações fora dos livros (off-book) e transações fictícias, ao destacar divergências entre o que foi comunicado e o que foi registrado.
• Qualidade da Comunicação como Determinante: O estudo estabelece que a qualidade da comunicação é um determinante de sucesso mais crítico do que a capacidade do modelo isoladamente. Embora os modelos sejam robustos ao ruído, são altamente sensíveis à ambiguidade. Portanto, a eficácia da reconciliação baseada em LLM é contingente à clareza do ambiente de comunicação subjacente.
• Implantação Prática: Os autores concluem que, embora os custos computacionais sejam insignificantes, o sucesso da implantação requer integração com estruturas de governança existentes e controles operacionais, em vez de depender apenas da inferência do modelo. A tecnologia é apresentada não como um substituto para os sistemas existentes, mas como uma camada complementar para monitoramento contínuo e detecção de discrepâncias.

O artigo mantém um tom modesto, reconhecendo que os resultados derivam de um ambiente sintético e que a implantação no mundo real exigiria validação adicional com dados proprietários e integração em fluxos de trabalho organizacionais complexos.