FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment

O artigo apresenta o FactorEngine, um framework de descoberta de fatores quantitativos que utiliza código Turing-completo e um módulo de bootstrapping baseado em conhecimento para gerar sinais preditivos executáveis e auditáveis, superando os métodos existentes em estabilidade e desempenho de portfólio.

O essencial

Imagine que você é um chef de cozinha tentando criar a receita perfeita para um prato que nunca falha, mesmo que os ingredientes (o mercado financeiro) mudem de sabor todos os dias. O problema é que o mercado é barulhento, caótico e cheio de "sabores" que enganam.

O artigo que você leu apresenta o FactorEngine (FE), que é como um super-assistente de cozinha impulsionado por Inteligência Artificial para encontrar essas receitas (chamadas de "fatores alfa" no mundo dos investimentos).

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: Por que os métodos antigos falham?

Antes, os investidores tentavam encontrar essas receitas de duas formas principais:

• O Método Manual (Símbolo): Um chef experiente escreve a receita à mão. É claro e seguro, mas demorado e difícil de criar milhares de variações. Se o mercado mudar, a receita antiga pode não funcionar mais.
• O Método Neural (Redes Neurais): Um robô que prova milhões de combinações aleatórias. Ele pode criar algo delicioso, mas ninguém sabe por que ficou bom. É uma "caixa preta". Além disso, ele tende a decorar o cardápio de ontem e falhar amanhã.

O FactorEngine quer o melhor dos dois mundos: algo que seja tão inteligente quanto o robô, mas tão claro e explicável quanto a receita escrita pelo chef.

2. A Solução: O FactorEngine (FE)

O FactorEngine trata cada "receita de investimento" não como uma fórmula matemática simples, mas como um pequeno programa de computador (código). Isso permite que ele crie lógicas complexas, como "se o preço subir rápido E o volume cair, faça X".

Ele funciona em três etapas principais, como se fosse uma fábrica de ideias:

A. O "Bootstrapping" (A Colheita de Ideias)

Imagine que você tem uma pilha de livros de receitas antigos (relatórios financeiros) escritos por especialistas.

• Em vez de apenas ler e tentar entender, o FactorEngine usa uma equipe de agentes de IA (como um time de chefs juniores) para ler esses livros.
• Eles extraem a ideia principal (ex: "compre quando o preço estiver em um ângulo específico"), transformam em pseudocódigo e depois em um código Python real e executável.
• Resultado: Você começa com uma "cesta de sementes" de receitas que já têm conhecimento humano embutido, em vez de começar do zero.

B. A Evolução (O Laboratório de Testes)

Aqui é onde a mágica acontece. O sistema não apenas testa as receitas; ele as evolui como se fosse uma seleção natural, mas com um toque humano. Ele usa uma estratégia de "Macro e Micro":

1. Macro (O Chef Criativo - IA): A IA (o "chefe") olha para o histórico de testes e diz: "E se mudarmos a lógica? E se tentarmos uma abordagem diferente baseada no que falhou ontem?". Ela propõe mudanças grandes na estrutura da receita (a lógica do código).
2. Micro (O Assistente Preciso - Matemática): Uma vez que a lógica está definida, um algoritmo matemático (Busca Bayesiana) ajusta os detalhes finos: "Qual é o melhor número de dias para a janela? Qual a taxa de decaimento?". Isso é feito automaticamente e muito rápido, sem gastar a inteligência da IA.

A Grande Inovação: O sistema separa o "pensar" (IA) do "calcular" (computador local). A IA foca na criatividade, e o computador foca nos números. Isso torna o processo muito mais rápido e eficiente.

C. A Integração (O Prato Final)

Depois de milhares de testes, o sistema seleciona as melhores receitas (fatores) que funcionam bem juntas. Ele cria uma carteira de investimentos e testa como ela teria performado no passado (backtest).

3. Por que isso é tão especial? (As Vantagens)

• Aprendizado com o Fracasso (Cadeia de Experiência): Diferente de outros sistemas que só olham para o sucesso, o FactorEngine olha para os fracassos. Ele pergunta à IA: "Por que essa receita falhou? O que podemos aprender com isso?". Isso cria uma memória de erros, evitando que o sistema repita os mesmos tropeços.
• Ilhas de Evolução: Imagine que você tem vários chefs trabalhando em ilhas separadas. De tempos em tempos, eles trocam suas melhores ideias. Isso impede que todos fiquem presos na mesma "receita medíocre" e garante uma diversidade maior de estratégias.
• Explicabilidade: Como o resultado é um código legível, você pode ler a receita e entender exatamente por que ela tomou aquela decisão. Nada de "caixa preta".

4. Os Resultados

Nos testes reais (usando dados do mercado chinês), o FactorEngine:

• Ganhou mais dinheiro (maior retorno anual) do que os métodos tradicionais e outras IAs.
• Foi mais estável (menos perdas bruscas).
• Descobriu receitas mais diversas, o que significa que o portfólio não depende de apenas uma ideia.

Resumo em uma frase

O FactorEngine é como um estágio de culinária de alta tecnologia onde uma IA criativa propõe novas ideias de receitas baseadas em livros antigos, enquanto um assistente matemático ajusta os temperos com precisão cirúrgica, aprendendo com cada erro para criar a carteira de investimentos mais lucrativa e explicável possível.

Resumo técnico

1. Problema e Contexto

A mineração de fatores alpha (descoberta automática de sinais preditivos em dados de mercado ruidosos e não estacionários) enfrenta desafios críticos nas abordagens existentes:

• Abordagens Simbólicas (Baseadas em Expressões): Possuem forte interpretabilidade, mas são limitadas por espaços de operadores predefinidos, resultando em expressividade restrita, fragilidade frente a mudanças de regime de mercado e dependência excessiva de esforço manual.
• Abordagens Neurais: Capturam padrões não lineares complexos, mas sofrem de baixa interpretabilidade, risco de overfitting e dificuldade de adaptação a mudanças estruturais.
• Limitações Atuais com LLMs: Métodos recentes que utilizam Grandes Modelos de Linguagem (LLMs) muitas vezes misturam a evolução da lógica com a otimização de parâmetros, criando gargalos de eficiência computacional e falta de diversidade nos fatores gerados.

O objetivo é criar um framework que descubra fatores executáveis, auditáveis e escaláveis, integrando conhecimento de domínio de forma eficiente.

---

2. Metodologia: O Framework FactorEngine (FE)

O FactorEngine propõe uma mudança de paradigma: tratar a mineração de fatores como um problema de evolução de programas Turing-completos (código Python), em vez de apenas expressões matemáticas simbólicas. O sistema é dividido em três módulos funcionais desacoplados, mas colaborativos:

A. Módulo de Bootstrapping (Inicialização com Conhecimento)

Transforma conhecimento não estruturado (relatórios financeiros) em programas executáveis.

• Pipeline Multi-Agente: Utiliza um ciclo fechado de extração, verificação e geração de código.
• Processo:
  1. Processamento de PDF: Triagem de relatórios e consolidação de conhecimento de domínio.
  2. Extração de Fatores: Converte ideias financeiras em pseudocódigo estruturado (JSON + LaTeX) com reflexão iterativa.
  3. Geração de Código: Sintetiza código Python executável a partir do pseudocódigo, corrigindo erros de sintaxe e lógica automaticamente.
• Resultado: Cria um "pool" inicial de fatores rico em conhecimento de domínio, servindo como semente para a evolução.

B. Módulo de Evolução (Co-evolução Macro-Micro)

O coração do sistema, inspirado em OpenEvolve, mas adaptado para mineração de fatores. Ele separa a evolução da lógica da otimização de parâmetros em três separações chave:

1. Separação Lógica vs. Parâmetros: A evolução do código (lógica) é distinta da otimização de hiperparâmetros.
2. Busca Direcional (LLM) vs. Otimização Bayesiana:
   • Macro (LLM): Agentes de LLM realizam mutações macro (mudanças estruturais, novas ideias) guiados por uma Cadeia de Experiência (CoE). A CoE fornece ao LLM o histórico de trajetórias de evolução, incluindo falhas e recuperações, permitindo aprendizado por tentativa e erro.
   • Micro (Bayesiano): Um algoritmo de busca Bayesiana (ex: TPE, Gaussian Process) otimiza automaticamente os parâmetros (ex: janelas de tempo, fatores de decaimento) de forma local e paralela, sem consumir recursos de LLM.
3. Separação de Recursos: O LLM é usado apenas para geração de ideias e correção de código; a avaliação massiva (backtesting) é feita localmente em paralelo.

• Mecanismo de Ilhas: Para evitar convergência prematura, o sistema roda múltiplos processos de evolução independentes ("ilhas") que trocam os melhores fatores periodicamente.

C. Módulo de Integração

Seleciona os fatores mais promissores do pool evolutivo para modelagem multi-fatorial.

• Utiliza um filtro baseado em um score de aptidão (Fitness Score) que combina IC, ICIR, Rank IC e Rank ICIR.
• Seleciona os "nós elite" para treinar modelos (ex: LGBM) e realizar backtesting final.

---

3. Contribuições Principais

1. Framework de Hiper-heurística em Nível de Programa: O FE transforma a mineração de fatores em um problema de evolução de programas Turing-completos, permitindo fluxos de controle complexos e lógica condicional, superando as limitações de expressividade das abordagens simbólicas.
2. Co-evolução Macro-Micro: A decupagem entre a evolução da lógica (guiada por LLM e experiência) e a otimização de parâmetros (guiada por busca Bayesiana) resolve gargalos de eficiência e evita ótimos locais.
3. Diversidade Infundida por Conhecimento: O módulo de bootstrapping converte relatórios financeiros não estruturados em código executável, permitindo que o sistema explore o espaço de busca com base em raciocínio econômico transparente.
4. Aprendizado com Falhas: A "Cadeia de Experiência" expõe o agente a trajetórias históricas completas (incluindo quedas de desempenho), permitindo que o LLM aprenda a recuperar-se de falhas e direcione a exploração para caminhos mais robustos.

---

4. Resultados Experimentais

Os testes foram realizados em dados de mercado reais (OHLCV) dos índices CSI300 e CSI500 (China), comparando o FE com métodos tradicionais (LGBM, LSTM, Transformer), GP (Genetic Programming), e agentes baseados em LLM (AlphaAgent, RD-Agent).

• Desempenho Preditivo e de Carteira:
  • O FE superou consistentemente todos os baselines.
  • No cenário FE-report (inicializado com relatórios), houve uma melhoria de 58% no Coeficiente de Informação (IC) e um aumento de 126% no retorno anual excedente em comparação com fatores derivados de relatórios usando o método Alpha158.
  • Métricas como ICIR, Sharpe Ratio e Retorno Anualizado (AR) foram superiores, com menor Maximum Drawdown (MDD).
• Diversidade de Fatores:
  • Análise de Escalonamento Multidimensional (MDS) mostrou que os fatores gerados pelo FE possuem maior dispersão espacial e menor redundância (maior Radius of Gyration) em comparação com outros agentes.
• Eficiência Computacional:
  • O FE foi significativamente mais eficiente em tempo de execução e custo de API. Enquanto o RD-Agent levou ~48 horas para 200 iterações, o FE levou apenas 0,5 horas, graças à paralelização da busca Bayesiana e ao uso do framework Polars para aceleração de dados.
  • Taxa de fatores executáveis: 99% no FE, contra 93-96% nos concorrentes.
• Estabilidade (Alpha Decay):
  • Os fatores do FE demonstraram maior estabilidade ao longo do tempo (2017-2024), mantendo um IC alto mesmo em períodos de mudança de regime, enquanto outros métodos sofreram decaimento acentuado.

---

5. Significado e Conclusão

O FactorEngine representa um avanço significativo na mineração de fatores quantitativos ao combinar a flexibilidade da programação Turing-completa com a capacidade de raciocínio dos LLMs e a eficiência da otimização Bayesiana.

• Viabilidade Prática: Ao garantir que os fatores sejam código executável e auditável, o FE resolve o problema da "caixa preta" comum em modelos neurais, tornando-os adequados para ambientes de investimento institucional.
• Escalabilidade: A separação de recursos (LLM para lógica, CPU local para otimização) torna o processo computacionalmente viável em grande escala.
• Generalização: O framework é apresentado como um método de otimização livre de gradiente aplicável a outros espaços de busca discretos e estruturados onde a avaliação é cara.

Em suma, o FE demonstra que a integração de conhecimento de domínio não estruturado com uma arquitetura de evolução de programas híbrida (LLM + Bayesiano) produz fatores de investimento superiores em termos de rentabilidade, estabilidade e diversidade.