Resumen Técnico: CLQT – Un Benchmark de Ciclo Cerrado, Consciente del Costo y Consistente en la Estrategia para la Evaluación Diagnóstica de Agentes de Gestión de Portafolios de LLM

1. Planteamiento del Problema

Los benchmarks actuales para agentes de Modelos de Lenguaje Extensos (LLM) en finanzas han pasado de la respuesta a preguntas estáticas al trading secuencial. Sin embargo, el paradigma de evaluación predominante se basa en leaderboards que clasifican a los agentes por retornos (por ejemplo, ratio de Sharpe, retorno acumulado) sobre ventanas fijas. Los autores argumentan que este enfoque es fundamentalmente defectuoso para la investigación porque:

• Dominio del Mercado: Los retornos suelen estar dominados por la trayectoria realizada del mercado y el perfil de riesgo, más que por la calidad del razonamiento del agente.
• Fuga y Alfa: El "alfa" aparente a menudo se disuelve cuando se controla la fuga de datos de anticipación (look-ahead leakage), dejando mayoritariamente una exposición a factores pasivos.
• Diagnóstico Incompleto: Una sola puntuación no certifica ni la solidez del razonamiento, ni la consistencia de la estrategia, ni la durabilidad de una ventaja competitiva.
• Infraestructura Ausente: Los benchmarks existentes no logran imponer simultáneamente semántica de datos punto en el tiempo (PiT), modelar costos realistas de transacción/financiamiento, evaluar decisiones a nivel de portafolio, medir la consistencia de la estrategia entre rondas y tratar la orquestación de herramientas como una capacidad medible.

El artículo postula que la contribución duradera de un benchmark no debe ser un ranking, sino un instrumento diagnóstico que localice dónde y por qué el proceso de decisión de un agente tiene éxito o falla.

2. Metodología y Diseño del Sistema

2.1 Arquitectura Central: El Ciclo Cerrado

CLQT es un entorno de ciclo cerrado, consciente del costo y temporalmente controlado. Opera en un ciclo de cinco etapas (recolectar, sintetizar, construir, ejecutar, reflexionar) siguiendo la tradición de razonar–actuar–reflexionar:

1. Adquisición de Inteligencia (IA): Recopila datos de mercado, noticias, macroeconomía y clases de activos.
2. Síntesis de Señales Multifuente (MSS): Produce señales, evaluaciones de riesgo y descomposiciones de factores.
3. Construcción de Portafolio Consciente del Mandato (MAPC): Propone y valida asignaciones objetivo frente a los mandatos de inversión.
4. Ejecución de Órdenes con Costo Óptimo (COE): Genera y ejecuta órdenes con estrategias de minimización de costos.
5. Atribución y Extracción de Lecciones (ALE): Atribuye el rendimiento, extrae lecciones estructuradas y actualiza la memoria.

El sistema soporta dos Modos de Habilidad:

• Estructurado: Un comité de seis agentes (Investigación, Analista, PM, Oficial de Riesgo, Ejecución, Reflexión) con subconjuntos de herramientas restringidos y flujos de trabajo prescritos.
• Autónomo: Un único agente que posee todo el pipeline con acceso total a herramientas y autonomía de decisión.

2.2 Seis Pilares de Diseño

1. Hard TimeGate (Puerta de Tiempo Estricta): Impone la semántica de datos punto en el tiempo. No se permite el acceso a ningún dato si timestamp > as_of_ts. Esto trata la fuga de datos como una precondición fallida.
2. Modelado de Costos Institucionales: Rastrea el PnL a nivel de posición con una base de costo de promedio ponderado, costos de financiamiento diarios y cuatro modelos de impacto de mercado seleccionables (fijo, raíz cuadrada, Almgren–Chriss, estructural).
3. Puntuación de Consistencia de Estrategia: Calcula un ConsistencyScore por ronda basado en la deriva de estilo, consistencia de rotación, adherencia a la señal y alineación con el mandato.
4. Memoria de Tres Niveles:
   • De Trabajo: Observación actual + rondas recientes.
   • Episódica: Registros de evento-acción-resultado con decaimiento.
   • Semántica: Patrones generalizados entre clases de activos.
   • Incluye un pase de consolidación para fusionar registros y mecanismos de decaimiento para simular el olvido.
5. Capa de Herramientas de Protocolo de Contexto de Modelo (MCP): Los agentes interactúan a través de 19 herramientas cuantitativas tipadas (datos de mercado, herramientas quant, noticias, ejecución). Cada llamada a herramienta es hasheada, cronometrada y auditable.
6. Síntesis Consciente del Mandato: Un pipeline que reconcilia las propuestas del optimizador cuantitativo con las capas tácticas del agente, sujeto a restricciones y a la validación del Oficial de Riesgo.

2.3 Integridad de Datos y Pista de Auditoría

• Cadena de Hash a Prueba de Manipulación: Cada ronda emite un DecisionRound sellado en una cadena de hashes. El hash de la observación y el hash de la acción están vinculados al hash de la acción de la ronda anterior. Cualquier edición post-hoc rompe la cadena, permitiendo la verificación por terceros sin instrumentación adicional.
• Control de Contaminación: Utiliza los cortes de entrenamiento de los modelos para filtrar las ventanas de backtest y un seguimiento de broker en vivo para la validación de datos post-corte.

3. Marco de Evaluación: La Tarjeta de Puntuación de Cinco Ejes (APM-CS)

En lugar de una única métrica de retorno, CLQT calcula una tarjeta de capacidad de cinco ejes derivada enteramente de la pista de auditoría:

1. Coherencia: Mide si la asignación elegida se deriva del análisis declarado por el agente.
   • Métrica: 50% Acuerdo Señal-Acción (coincidencia de dirección) + 50% Puntuación del Juez LLM (consistencia de razonamiento).
   • Innovación: Utiliza un juez LLM con capacidades de razonamiento (minimax-m3) no perteneciente a la cohorte para mitar el sesgo de auto-preferencia.
2. Agudeza (Acuity): Mide la atención a señales informativas frente al ruido.
   • Métrica: Correlación de las operaciones propuestas con un compuesto informativo (momentum, ganancias, macro) menos la correlación con un distractor de ruido de volatilidad.
3. Templanza (Composure): Mide la robustez ante la volatilidad (evitando la rotación excesiva).
   • Métrica: Regresión de la rotación contra la volatilidad del mercado (una pendiente menor es mejor) combinada con la consistencia de la estrategia.
4. Disciplina: Mide la autorregulación hacia los mandatos sin guardrails rígidos.
   • Métrica: Tasa de rondas auto-restringidas frente a la dependencia del limitador MAPC.
5. Fiabilidad (Reliability): Mide la adherencia al protocolo y la robustez operativa.
   • Métrica: Tasa de finalización, tasa de error de parseo y tasa de truncamiento.

Agregación: Cada eje se mapea a un percentil de la cohorte. El APM-CS compuesto es la media de estos cinco percentiles. Un agente "superior" se define como aquel que muestra un dominio consistente a través de los ejes y sub-periodos, un estándar que rara vez se cumple limpiamente.

4. Resultados Clave

4.1 Configuración de la Campaña

• Cohorte: 5 modelos (Qwen, Gemini, DeepSeek, GPT-5, Claude) en modos Estructurado y Autónomo.
• Duración: 26 rondas quincenales (1 año) para el backtest; 9 días para el trading de papel con broker en vivo.
• Ablación: 13 configuraciones incluyendo eliminaciones de módulos únicos y eliminaciones de clústeres multi-módulo.

4.2 Hallazgos Principales

• Capacidad $\neq$ Resultado: El "ganador de Sharpe" (Qwen-estructurado, Sharpe 9.82) fue expuesto como un artefacto de 5 rondas con una Fiabilidad de 0.19 (debido a truncamientos y límites de tasa). El verdadero líder de capacidad (DeepSeek-estructurado, APM-CS 72.4) tuvo un Sharpe de rango medio (2.96) pero un perfil equilibrado.
• Efectos del Andamiaje (Scaffold): Los modos estructurados generalmente mejoraron los perfiles de capacidad (especialmente Templanza y Disciplina), pero la magnitud varió según el modelo (por ejemplo, DeepSeek vio una mejora de +36 en APM-CS; GPT-5 vio una mejora de +1).
• Déficits Ocultos:
  • Fiabilidad: Gemini-estructurado tuvo una Fiabilidad de 0.61 a pesar de tener un Sharpe saludable, debido a persistentes errores de parseo de esquemas.
  • Agudeza: La Agudeza de toda la cohorte fue débil (0.06–0.18), indicando que los agentes tuvieron dificultades para distinguir señales de alfa del ruido.
  • Brecha de Coherencia: Existe una brecha sistemática entre el acuerdo mecánico señal-acción (0.6) y la puntuación del juez de razonamiento (0.28). Esta brecha persistió tanto en el backtest como en los datos en vivo (+0.33 vs +0.34), sugiriendo un déficit fundamental en la traducción del conocimiento declarativo a la acción procedimental.
• Insights de Ablación: Eliminar módulos (noticias, macro, memoria) no afectó significamente los retornos en el régimen de mercado alcista y benigno (todas las ablaciones se mantuvieron dentro de la banda de ruido). Sin embargo, los ejes de capacidad revelaron una degradación severa (por ejemplo, la Agudeza cayó a 0.02 cuando se eliminó el stack de información).
• Validación de la Pista en Vivo: El instrumento midió las mismas propiedades de decisión en datos en vivo no vistos. La brecha de coherencia se mantuvo estable, y la pista en vivo expuso modos de fallo específicos del modo autónomo (comportamientos intermitentes de "esperar/hold" debido al agotamiento del presupuesto de herramientas o fallos de esquema) que los modos estructurados previnieron.

5. Significancia y Reivindicaciones

El artículo afirma que CLQT no es un leaderboard, sino un instrumento diagnóstico. Su significancia radica en:

1. Separar el Resultado de la Capacidad: Demuestra que los altos retornos pueden ser espurios (impulsados por regímenes de mercado o artefactos), mientras que los bajos retornos pueden ocultar un razonamiento robusto y disciplinado.
2. Proceso sobre Producto: Al puntuar la traza de decisión (Coherencia, Agudeza, etc.) en lugar de solo el PnL, identifica modos de fallo específicos (como los déficits de "decir versus hacer") que las métricas basadas en retornos pasan por alto.
3. Auditabilidad: La cadena de hash a prueba de manipulación permite que cualquier tercero verifique que las métricas reportadas son exactamente las producidas por el motor, sin instrumentación oculta.
4. Diagnóstico de Agentes Generales: Los cinco ejes se enmarcan como instancias financieras de capacidades generales de agentes (por ejemplo, Coherencia como razonamiento a nivel de sistema, Templanza como robustez ante perturbaciones), haciendo que el benchmark sea aplicable a agentes más amplios.
5. Ranking Modesto: Los autores declinan explícitamente clasificar modelos, argumentando que un ranking creíble requiere un orden de magnitud más de modelos, regímenes y ejecuciones que un solo estudio puede proporcionar. En su lugar, proporcionan un "mapa de limitaciones" para la cohorte evaluada.

El artículo concluye que la "contribución duradera" es un mapa de competencias y limitaciones de los agentes que es duradero y extensible, en lugar de una instantánea de quién está "ganando" actualmente.