Resumen Técnico: OpenPM – Evaluación de Punto en el Tiempo Auditable para Agentes de Gestión de Portafolios de LLM

1. Declaración del Problema

El artículo aborda tres fallos críticos en la evaluación actual de los agentes de trading basados en Modelos de Lenguaje Extensos (LLM), que a menudo conducen a resultados inflados o no desplegables:

1. Fuga de Información (Information Leakage): Los agentes acceden frecuentemente a datos no disponibles en el momento de la decisión (por ejemplo, observaciones de tiempo futuro o registros con marca de tiempo de evento en lugar de registros con marca de tiempo de disponibilidad), creando una habilidad artificial.
2. Ejecución Optimista: Los retornos reportados suelen ignorar los costes de transacción (spread, deslizamiento, rotación), presentando límites superiores en lugar de estimaciones realistas para el despliegue.
3. Mandatos no Aplicados: Las restricciones de riesgo en lenguaje natural (por ejemplo, "conservador", "máximo 20 nombres") suelen tratarse como preferencias blandas para la puntuación post-hoc, en lugar de restricciones estrictas aplicadas al portafolio ejecutado.

Los benchmarks existentes suelen fallar al no controlar estos problemas simultáneamente, careciendo particularmente de un control de datos punto en el tiempo (PIT) y de una aplicación estricta de mandatos.

2. Metodología: El Marco de Trabajo OpenPM

OpenPM es un marco de evaluación auditable y de punto en el tiempo diseñado para tratar la evaluación creíble como un artefacto de ingeniería.

Principios de Diseño Centrales

• Entorno de Datos de Punto en el Tiempo: El sistema impone un estricto "control de disponibilidad". Un registro entra en el estado del agente en el tiempo de decisión $T$ solo si su ts_available $\le T$. Esto distingue entre el tiempo del evento y el tiempo de disponibilidad (por ejemplo, un informe trimestral solo está disponible tras la aceptación de EDGAR). El entorno cubre un universo del S&P 500 con observaciones de estado de mercado cada 5 minutos.
• Cumplimiento de Mandatos: Los mandatos de riesgo en lenguaje natural se transforman en restricciones tipadas (por ejemplo, peso máximo por nombre, número máximo de nombres). Crucialmente, estas son aplicadas por un crítico determinista en el bucle que proyecta los pesos propuestos por el agente sobre el conjunto factible antes de la ejecución, en lugar de simplemente puntuar al agente post-hoc.
• Ejecución Consciente de Costes: Los retornos se calculan utilizando spreads medios laterales (compras al precio ask, ventas al precio bid) sin modelado de impacto de mercado, proporcionando una base de coste conservadora pero realista.

El Asignador Escalonado (Agente de Referencia)

El artículo introduce una arquitectura de agente de referencia para aislar componentes específicos del pipeline de trading:

1. Compilación de Mandatos: Convierte el lenguaje natural en restricciones tipadas.
2. Control de Liquidez: Filtra el universo a nombres negociables (por ejemplo, los 50 principales por liquidez).
3. Nivel de Analistas: Seis analistas LLM paralelos califican de forma independiente a los candidatos a través de canales tipados (técnico, régimen, eventos, noticias, elementos 8-K, narrativas 10-K/10-Q).
4. Constructor: Un LLM separado propone pesos de portafolio basados en las puntuaciones agregadas de los analistas y los spreads, pero sin acceso a precios brutos o a la puntuación compuesta.
5. Crítico Determinista: Proyecta la propuesta del constructor sobre el conjunto factible (aplicando límites de solo posiciones largas, topes de nombres, límites de liquidez).
6. Simulador de Ejecución (Fill Simulator): Ejecuta las operaciones en los lados cotizados.

Configuración Experimental

• Dataset: Un snapshot congelado y con hash de contenido del S&P 500 (508 nombres) activo entre el 19 de febrero de 2026 y el 1 de mayo de 2026. La ventana de evaluación es del 2 de marzo de 2026 al 1 de mayo de 2026 (44 días de negociación).
• Estrategia de Aislamiento: Para aislar la capacidad del "constructor", los autores ejecutan el nivel de analistas una sola vez para crear una "captura congelada" de la evidencia. Esta misma evidencia se reproduce a través de diferentes modelos constructores (gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini) para determinar si el constructor añade valor independientemente de la calidad de la señal.
• Modos: Los experimentos se ejecutan en modos de "una vez y mantener" (rebalanceo único) y de rebalanceo diario.

3. Resultados Clave

El artículo reporta hallazgos estructurales en lugar de afirmaciones absolutas de alfa, enfatizando que los resultados son límites superiores de una única ventana congelada.

Capacidad del Constructor

• Ganancias Condicionales: Constructores más fuertes (ej. gpt-5, Opus-4.7) muestran ganancias modestas, dependientes del modelo, sobre el peso igualitario (EW) del mismo grupo de candidatos, pero solo cuando la señal del analista ascendente es fuerte.
• Dominancia del Analista: La calidad del nivel de analistas es el principal motor del rendimiento. Cuando la captura del analista fue débil (DeepSeek-V3.2), ningún constructor pudo superar el baseline de EW del mismo grupo. Cuando la captura fue fuerte (gpt-5), la mayoría de los constructores superaron al EW.
• Solapamiento: Los constructores fuertes reponderan mayoritariamente la lista de EW (75–78% de solapamiento) en lugar de reemplazarla por completo. Los constructores más débiles suelen desviarse significativamente y tener un rendimiento inferior.

Costes y Rotación

• La Rotación es el Motor de Costes: En el rebalanceo diario, la rotación se convierte en el factor de coste dominante. Los modelos de alta rotación (ej. Qwen3-Max, gpt-4o-mini) vieron sus retornos netos caer por debajo del benchmark SPY debido al lastre de costes, a pesar de tener retornos brutos similares a los modelos de menor rotación.
• La Disciplina Importa: El patrón ganador implica seleccionar bien y operar con moderación. La baja rotación por sí sola es insuficiente (gpt-5 tuvo la rotación más baja pero tuvo un rendimiento inferior al SPY debido a una mala selección en ese régimen específico).

Cumplimiento y Auditoría

• Adherencia al Mandato: Todos los constructores cumplieron con éxito los topes numéricos explícitos (ej. peso máximo del 10%) en sus propuestas brutas.
• Necesidad del Crítico: El crítico determinista fue esencial para aplicar las restricciones de liquidez (recortes duros) que eran más estrictas que el mandato y que eran invisibles para el modelo.
• Contaminación: Todas las ejecuciones pasaron el certificado de contaminación, confirmando que no hubo fuga de información (look-ahead leakage).

4. Significado y Reivindicaciones

El artículo posiciona a OpenPM no como un generador de alfa validado, sino como una herramienta de diagnóstico para la comunidad de trading de LLM.

• Artefacto de Ingeniería: Replantea la evaluación como un problema de ingeniería que requiere contratos de datos estrictos, control de disponibilidad y capas de ejecución deterministas.
• Honestidad en las Afirmaciones: Los autores declaran explícamente que todos los retornos son "límites superiores de una única ventana congelada sin impacto de mercado, no alfa validado". El objetivo es mantener las afirmaciones honestas vinculando cada número reportado a las condiciones específicas (huella de datos, modelo de coste, mandato) que lo produjeron.
• Perspectivas Diagnósticas: El marco revela que la "habilidad de construcción" es a menudo un proxy de la "calidad de la señal del analista". El artículo argumenta que el cómputo debe priorizarse para el nivel de analistas, utilizando el constructor más barato capaz de realizar la tarea posteriormente.
• Auditabilidad: Al generar artefactos como certificados de contaminación, curvas de sensibilidad de costes e informes de adherencia a restricciones para cada ejecución, OpenPM permite a los investigadores verificar que los resultados no son artefactos de fuga de datos o de supuestos de ejecución optimista.

En resumen, OpenPM demuestra que, si bien los LLM pueden construir portafolios que superan los baselines simples bajo condiciones específicas, su rendimiento depende fuertemente de la calidad de la señal ascendente y puede verse erosionado fácilmente por los costes de rotación. El marco proporciona el rigor necesario para distinguir la habilidad genuina de los artefactos de evaluación.