FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment

El documento presenta FactorEngine, un marco de minería de factores de inversión cuantitativa que infunde conocimiento en la generación de programas ejecutables mediante una arquitectura de agentes y una base de conocimientos para superar las limitaciones de los enfoques simbólicos y neuronales, logrando un rendimiento predictivo y de cartera superior en datos de mercado reales.

Lo esencial

Imagina que el mercado de valores es como un océano enorme y tormentoso. Los inversores cuantitativos son como pescadores que buscan "peces de oro" (ganancias) en medio de las olas. El problema es que el océano cambia constantemente: a veces hay calma, a veces hay huracanes, y las reglas de dónde están los peces cambian cada día.

El papel que presentas, FactorEngine, es como un nuevo tipo de barco de pesca inteligente diseñado para encontrar esos peces de oro de manera automática, rápida y segura.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Los pescadores antiguos

Antes, había dos formas principales de pescar:

• Los Pescadores Manuales (Fórmulas Simbólicas): Eran expertos que escribían reglas a mano (ej: "Si el precio sube 3 días seguidos, compra"). Son muy claros y fáciles de entender, pero son lentos, se cansan y sus reglas a veces se rompen cuando el clima cambia.
• Los Pescadores con IA Negra (Redes Neuronales): Son máquinas muy potentes que aprenden patrones complejos sin reglas claras. Atrapan muchos peces, pero nadie sabe cómo lo hacen (son una "caja negra") y a veces se confunden con el ruido de la tormenta, pescando basura en lugar de oro.

2. La Solución: FactorEngine (El Barco Inteligente)

FactorEngine es un sistema que combina lo mejor de ambos mundos. En lugar de usar reglas fijas o cajas negras, escribe programas de computadora (código) que actúan como sus anzuelos.

Imagina que el sistema tiene tres "tripulantes" principales que trabajan juntos:

A. El "Bibliotecario" (Módulo de Arranque)

Antes de salir a pescar, el barco necesita ideas. Este módulo lee miles de informes financieros (como libros de recetas de expertos) y los convierte automáticamente en código ejecutable.

• Analogía: Es como tener un chef que lee un libro de cocina antiguo, entiende la idea de un plato, y automáticamente escribe el código exacto para que una máquina de cocina lo prepare. No solo copia la idea, la transforma en algo que funciona de verdad.

B. El "Ingeniero de Evolución" (El Corazón del Sistema)

Esta es la parte más genial. El sistema no busca factores de una sola vez; los evoluciona como si fueran organismos vivos, pero en dos niveles:

1. Evolución Macro (El Capitán LLM): Usa Inteligencia Artificial (como un cerebro humano avanzado) para pensar en ideas nuevas. "¿Y si cambiamos la lógica? ¿Y si miramos el mercado de otra forma?". Es el que tiene la visión creativa.
2. Evolución Micro (El Mecánico Bayesiano): Una vez que el Capitán tiene una idea, el Mecánico ajusta los detalles finos (como el tamaño de la ventana de tiempo o la velocidad de reacción) usando matemáticas precisas y rápidas.

• La Magia: Separan la "idea" de los "ajustes". El Capitán no pierde tiempo ajustando tornillos; el Mecánico no pierde tiempo soñando. Trabajan en equipo.

C. La "Biblioteca de Experiencias" (Aprendizaje de Errores)

El sistema tiene una memoria increíble. Si un anzuelo falla, no lo tira a la basura. Lo analiza: "¿Por qué falló? ¿Fue por el clima? ¿Fue por la hora?". Guarda esa lección en una base de conocimientos.

• Analogía: Es como un jugador de ajedrez que, después de perder una partida, no solo recuerda el movimiento final, sino que estudia todo el camino recorrido para no cometer el mismo error dos veces. Además, usa un sistema de "islas" donde diferentes grupos de pescadores comparten sus mejores descubrimientos entre ellos.

3. Los Resultados: ¿Por qué es mejor?

Cuando probaron este barco en el mercado real (con datos de China entre 2017 y 2024):

• Pescó más oro: Ganó más dinero (mejor retorno anual) que los métodos tradicionales.
• Fue más estable: Sus anzuelos funcionaron bien incluso cuando el mercado cambió drásticamente (menos pérdidas en días malos).
• Fue más diverso: En lugar de tener 50 anzuelos que hacen lo mismo, encontró anzuelos muy diferentes entre sí, lo que reduce el riesgo.
• Fue rápido y barato: Al separar la parte creativa (IA) de la parte de cálculo (código local), gastó menos dinero en computación y tiempo que sus competidores.

En resumen

FactorEngine es como un pescador que nunca duerme, nunca se cansa, lee todos los libros de cocina del mundo, aprende de cada error y ajusta sus anzuelos en tiempo real. No solo encuentra el pescado, sino que sabe exactamente cómo y por qué lo atrapó, haciendo que el proceso sea transparente, seguro y extremadamente rentable.

Es un paso gigante hacia una inversión automatizada que es tanto inteligente como explicable.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment", estructurado según los puntos solicitados:

1. El Problema

La minería de factores "alpha" (descubrimiento automático de señales predictivas) enfrenta desafíos críticos en la inversión cuantitativa debido a la complejidad del mercado, los cambios de régimen y el ruido severo. Los enfoques existentes tienen limitaciones significativas:

• Métodos Simbólicos: Basados en expresiones matemáticas manuales o programación genética (GP). Ofrecen interpretabilidad pero tienen un espacio de búsqueda limitado (expresividad acotada), dependen de operadores predefinidos y son frágiles ante condiciones de mercado cambiantes.
• Métodos Neuronales: Capturan patrones no lineales pero sufren de mala interpretabilidad, son propensos al sobreajuste y carecen de sesgos inductivos financieros claros.
• Enfoques con LLMs recientes: Aunque prometedores, a menudo combinan la evolución de la lógica y la optimización de parámetros en un solo proceso, lo que genera ineficiencias computacionales y dificultades para escalar. Además, carecen de mecanismos robustos para integrar conocimiento de dominio (como informes financieros) directamente en el código ejecutable.

El objetivo es crear un marco que descubra factores ejecutables, auditables y escalables, que integren conocimiento de dominio y mantengan una alta eficiencia computacional.

2. Metodología: FactorEngine (FE)

FactorEngine es un marco de evolución de factores a nivel de programa que trata los factores como código Turing-completo (Python). Su arquitectura se basa en tres separaciones clave para mejorar la eficiencia y la efectividad, y consta de tres módulos principales:

A. Separaciones Estratégicas

1. Lógica vs. Parámetros: Separa la evolución de la lógica del programa (idea/semántica) de la optimización de hiperparámetros (valores numéricos).
2. Búsqueda Dirigida vs. Bayesiana: Utiliza Agentes LLM para la búsqueda direccional de alto nivel (macro) y Búsqueda Bayesiana para el ajuste fino de parámetros (micro).
3. Recursos LLM vs. Computación Local: Desacopla el uso costoso de LLMs (solo para corrección de código y generación de ideas) de la evaluación masiva de rendimiento (ejecución paralela local).

B. Módulos del Sistema

1. Módulo de Arranque (Bootstrapping):
   • Transforma informes financieros no estructurados en programas ejecutables mediante un pipeline de agentes múltiples (extracción, verificación, generación de código).
   • Utiliza un ciclo de retroalimentación para refinar pseudocódigo y generar código Python válido, creando un "pool" inicial rico en conocimiento.
2. Módulo de Evolución (El núcleo):
   • Implementa una co-evolución macro-micro.
   • Macro (Nivel LLM): Los agentes LLM proponen mutaciones lógicas guiadas por una Cadena de Experiencia (CoE). La CoE rastrea la trayectoria histórica de evolución, incluyendo fracasos y fluctuaciones, permitiendo al LLM aprender de errores pasados y evitar óptimos locales.
   • Micro (Optimización Bayesiana): Una vez definida la lógica, un algoritmo de búsqueda Bayesiana (TPE, Procesos Gaussianos) optimiza automáticamente los parámetros (ventanas, factores de decaimiento) sin intervención del LLM.
   • Validación: Usa una estrategia de dos fases: validación secuencial con corrección LLM seguida de optimización Bayesiana paralela masiva en recursos locales.
3. Módulo de Integración:
   • Selecciona los factores "élite" basándose en métricas de rendimiento (IC, ICIR, etc.) y los integra en modelos multifactoriales para pruebas de backtesting.
   • Utiliza un mecanismo de filtrado ligero para controlar la complejidad computacional.

C. Configuración Multi-Isla

Para mitigar la estocasticidad de los LLMs, FE ejecuta múltiples procesos de evolución independientes ("islas") que migran periódicamente sus mejores programas entre sí, fomentando la diversidad y la reutilización de insights estructurales exitosos.

3. Contribuciones Clave

• Marco de Hiper-heurística a Nivel de Programa: Transforma la minería de factores en un problema de evolución de programas Turing-completos, permitiendo flujos de control complejos y lógica condicional que los métodos simbólicos no pueden expresar.
• Co-evolución Macro-Micro: Desacopla la evolución lógica (LLM) de la optimización de parámetros (Bayesiana), resolviendo cuellos de botella de eficiencia y mejorando la convergencia.
• Diversidad de Factores Infundida con Conocimiento: Propone un módulo de arranque que convierte automáticamente conocimiento no estructurado (informes de investigación) en código ejecutable, enriqueciendo el espacio de búsqueda con fundamentos económicos transparentes.
• Aprendizaje de Trayectoria (CoE): Introduce un mecanismo donde el sistema aprende explícitamente de las trayectorias de evolución completas (incluyendo fallos), mejorando la robustez y la capacidad de recuperación del agente.

4. Resultados

Las pruebas se realizaron en datos reales de mercado (CSI300 y CSI500) con un horizonte de prueba de 2017-2024, comparando contra métodos tradicionales (LGBM, LSTM), GP (GPlearn) y agentes basados en LLM (AlphaAgent, RD-Agent).

• Rendimiento Predictivo y de Cartera:
  • FactorEngine (FE-report) superó a todos los métodos de referencia. En el mercado CSI300, logró un IC de 0.0474 y un retorno anual excedente del 18.99%.
  • Comparado con la línea base Alpha158, FE mostró una mejora del 58% en el Coeficiente de Información (IC) y un aumento del 126% en el retorno anual excedente.
  • Superó consistentemente a AlphaAgent y RD-Agent en todas las métricas (IC, ICIR, Sharpe, MDD).
• Estabilidad y Decaimiento Alpha:
  • Los factores generados por FE mostraron una mayor estabilidad temporal, manteniendo un IC alto incluso en años donde otros métodos decaían significativamente.
  • El análisis de decaimiento mostró que los factores de FE dejaron de decaer en 2021 e incluso mejoraron, a diferencia de la tendencia decreciente de otros.
• Diversidad:
  • El análisis de escalado multidimensional (MDS) reveló que los factores de FE tienen una mayor dispersión espacial (menor redundancia) y una tasa de retención de factores efectivos mucho más alta (57.1% vs ~22% en otros agentes).
• Eficiencia Computacional:
  • FE es significativamente más eficiente en tiempo de ejecución (0.5 horas vs 48 horas de RD-Agent) y tiene una tasa de ejecutabilidad del 99%, gracias a la separación de recursos y el uso de Polars para aceleración.

5. Significado e Impacto

FactorEngine representa un avance significativo en la inversión cuantitativa al cerrar la brecha entre la interpretabilidad de los factores simbólicos y la potencia de los modelos neuronales, todo ello dentro de un marco ejecutable y auditable.

• Generalización: Al ser un marco de optimización libre de gradientes para espacios de búsqueda discretos y estructurados, su metodología es aplicable a otros problemas de optimización "caja negra" con evaluaciones costosas.
• Integración de Conocimiento: Demuestra que la integración sistemática de conocimiento de dominio no estructurado (informes) en el ciclo de evolución de código puede generar factores más robustos y fundamentados económicamente.
• Escalabilidad: La arquitectura de separación de recursos (LLM para lógica, computación local para parámetros) ofrece un modelo viable para escalar la investigación cuantitativa sin explotar los costos de inferencia de LLMs.

En resumen, FactorEngine establece un nuevo estado del arte (SOTA) en la minería de factores, demostrando que la evolución de programas guiada por experiencia y conocimiento puede superar a los enfoques tradicionales y puramente neuronales en rentabilidad, estabilidad y eficiencia.