Resumo Técnico: OpenFinGym

Declaração do Problema

A avaliação de agentes de Grandes Modelos de Linguagem (LLMs) em finanças quantitativas permanece fragmentada. Os benchmarks existentes tipicamente isolam tarefas únicas (ex: previsão ou trading) ou dependem de conjuntos de dados estáticos que não capturam a natureza interdependente e de múltiplos estágios dos fluxos de trabalho financeiros reais. Além disso, as plataformas atuais frequentemente negligenciam a relevância financeira, carecem de controles rigorosos para vazamento de dados (viés de antecipação/look-ahead bias) e não suportam uma interface unificada para diversas famílias de tarefas, como previsão, geração de mercado, trading e detecção de fraude. Essa fragmentação leva a uma superestimação da competência do agente e a uma falha em revelar fraquezas na generalização e na interação com o mercado real.

Metodologia

O OpenFinGym aborda essas lacunas por meio de um ambiente de gym unificado projetado para uma avaliação rigorosa, escalável e resistente a vazamentos. O sistema é construído sobre três componentes principais:

1. Especificações e Taxonomia de Tarefas

As tarefas são formalizadas como problemas de aprendizado de máquina representados por uma tríade $(D, T, E)$:

• $D$ (Dataset/Conjunto de Dados): Inclui divisões de treinamento e teste.
• $T$ (Descrição da Tarefa): Define fontes de dados, interfaces de entrada-saída, objetivos e formatos de saída.
• $E$ (Protocolo de Avaliação): Especifica métricas e regras de agregação.

O ambiente cobre quatro famílias distintas de tarefas:

• Previsão (Forecasting): Prever quantidades financeiras futuras (retornos, preços, volatilidade) usando métricas estatísticas e específicas de finanças (ex: $R^2$, Sharpe ratio, $\Delta$-risco).
• Trading: Tomada de decisão sequencial em dados históricos (offline) ou ao vivo (tempo real), avaliada por PnL, drawdown e rotatividade (turnover).
• Geração de Mercado (Market Generation): Criar séries temporais financeiras ou cenários realistas, avaliados via diagnósticos distributivos, temporais e financeiros (ex: autocorrelação, risco de cauda).
• Detecção de Fraude: Classificação ou detecção de anomalias em dados transacionais e estruturados em grafos.

2. Pipeline de Construção Automatizada de Tarefas

O OpenFinGym introduz um pipeline para converter publicações de finanças quantitativas em pacotes de tarefas executáveis. Este processo envolve:

• Colheita de Artigos (Paper Harvesting): Filtragem de artigos acadêmicos com base em protocolos experimentais e disponibilidade de dados.
• Construção de Dataset e Recompensa: Uso de um loop gerador-revisor (LLM + testes unitários) para materializar conjuntos de dados e métricas de avaliação, garantindo que correspondam às especificações da fonte.
• Montagem de Tarefa: Agrupamento de datasets, recompensas e especificações em pacotes autossuficientes. Um princípio de design fundamental é a separação das informações visíveis ao agente do ground truth visível apenas ao verificador para evitar vazamento.

3. Tempo de Execução Conteinerizado e Verificação

• Controle de Vazamento: Os agentes rodam dentro de contêineres onde os rótulos de teste retidos são explicitamente excluídos. Um serviço de verificação no lado do hospedeiro computa as recompensas usando o ground truth, garantindo que os agentes não possam acessar os dados de avaliação durante a execução.
• Infraestrutura de Tempo Real: Para trading e previsão de longo horizonte, o sistema emprega um serviço de streaming de dados de baixa latência (usando WebSockets) e um motor de paper trading. Ele suporta resolução diferida, onde os resultados de previsões de longo horizonte são resolvidos assincronamente via um livro-razão SQLite persistente conforme os dados de mercado tornam-se disponíveis.
• Integração de Treinamento: O ambiente suporta Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) pós-treinamento, permitindo que os agentes aprendam com trajetórias bem-sucedidas.

Principais Contribuições

1. Suíte de Tarefas Unificada: Uma coleção curada de 78 tarefas de finanças quantitativas verificadas abrangendo previsão, geração de mercado, trading e detecção de fraude, cobrindo múltiplas classes de ativos (ações, cripto, FX, commodities, etc.).
2. Pipeline de Construção Automatizada: Um sistema que transforma literatura acadêmica em tarefas de benchmark executáveis e verificáveis, reduzindo o esforço de engenharia manual e garantindo reprodutibilidade.
3. Tempo de Execução Resistente a Vazamento: Um ambiente de execução conteinerizado com um verificador no lado do hospedeiro que separa estritamente os dados de treinamento do ground truth de teste, prevenindo contaminação temporal e viés de antecipação.
4. Suporte a Pós-Treinamento: Um framework integrado para SFT e RL, permitindo a melhoria das capacidades do agente em fluxos de trabalho financeiros específicos.

Resultados

Os autores testaram quatro LLMs de fronteira (GPT-4o, GPT-5.1-codex-mini, Haiku 4.5, Sonnet 4.6) e avaliaram o impacto de SFT e RL em modelos base Qwen3.

• Desempenho dos Agentes: Nenhum modelo único dominou em todas as famílias de tarefas.
  • Previsão: GPT-5.1-codex-mini alcançou a melhor recompensa (0.036).
  • Geração de Mercado: Sonnet 4.6 teve o melhor desempenho (menor recompensa de 7.114).
  • Trading: GPT-4o alcançou a maior recompensa (19.912).
  • Detecção de Fraude: Sonnet 4.6 superou os outros com uma recompensa de 1.630.
  • Todos os modelos alcançaram 100% de taxa de sucesso em previsão, trading e detecção de fraude, indicando interação de interface confiável.
• Eficácia do Pós-Treinamento:
  • Modelos base Qwen3 (1.7B, 4B, 8B) falharam em produzir submissões executáveis (0% de sucesso) em tarefas de previsão retidas.
  • SFT melhorou as taxas de sucesso para aproximadamente 50–80%.
  • RL (GRPO) impulsionou ainda mais as taxas de sucesso para 100% em todos os modelos e tarefas, enquanto reduziu as recompensas médias (melhorando o desempenho) em uma ordem de magnitude em tarefas específicas como Tesouro e Cripto.

Significância e Alegações

O artigo posiciona o OpenFinGym como uma infraestrutura crítica para o avanço de agentes financeiros autônomos. Sua significância reside em:

• Avaliação Holística: Indo além de tarefas isoladas para avaliar agentes através de fluxos de trabalho financeiros interconectados, fornecendo uma medida mais realista de generalização.
• Verificação Rigorosa: Estabelecendo um padrão para avaliação resistente a vazamentos em domínios de alto risco, garantindo que os resultados do benchmark reflitam capacidade genuína em vez de contaminação de dados.
• Escalabilidade: Demonstrando que pipelines automatizados podem gerar benchmarks complexos fundamentados na literatura, facilitando a rápida expansão do cenário de avaliação.
• Utilidade de Treinamento: Provando que o ambiente serve não apenas como um benchmark, mas como um campo de treinamento eficaz, onde SFT e RL podem transformar modelos base de não funcionais para agentes altamente competentes em finanças quantitativas.

Os autores observam que, embora os resultados atuais de SFT e RL sejam promissores, eles representam uma demonstração inicial. Trabalhos futuros visam escalar a coleta de trajetórias, incorporar modelos de base mais fortes e expandir as famílias de tarefas para incluir gestão de risco e configurações de execução mais amplas.