Resumen Técnico: Interfaces de Abstracción de Estado Semántico para Decisiones de Cartera Aumentadas con LLM

Declaración del Problema

El Aprendizaje por Refuerzo Profundo (DRL) y los sistemas de decisión secuencial integran cada vez más texto no estructurado (por ejemplo, noticias financieras) con datos numéricos de mercado. Sin embargo, existe una brecha crítica de diseño: la mayoría de las pipelines oscurecen la distinción entre la representación semántica del texto y el algoritmo de optimización utilizado para explotarlo. Los enfoques comunes utilizan ya sea vectores latentes de alta dimensión (oscureciendo la interpretabilidad) o puntuaciones escalares únicas (por ejemplo, una única puntuación de sentimiento), que confunden conceptos ortogonales como riesgo, confianza y volatilidad. Además, cuando el texto es escaso (apareciendo solo en un subconjunto de fechas de decisión), no está claro si las ganancias de rendimiento provienen del propio señal semántico o de la capacidad específica del algoritmo de aprendizaje para manejar el ruido.

Metodología: Interfaces de Abstracción de Estado Semántico (SSAI)

Los autores introducen las Interfaces de Abstracción de Estado Semántico (SSAI), una plantilla metodológica diseñada para mapear texto disperso y no estructurado en $K$ coordenadas auditables y nombradas.

1. El Marco SSAI

• Definición: SSAI mapea un conjunto de documentos $N_{s,d}$ para el activo $s$ en el día $d$ a un vector $\sigma \in \{1, \dots, 5\}^K$.
• Ejes: En esta instancia, se definen $K=4$ ejes:
  1. Sentimiento: Muy negativo (1) a muy positivo (5).
  2. Riesgo: Riesgo muy bajo (1) a riesgo muy alto (5).
  3. Confianza: Muy incierto (1) a muy cierto (5).
  4. Pronóstico de Volatilidad: Muy calmado (1) a altamente volátil (5).
• Implementación: Un Modelo de Lenguaje Grande (LLM) congelado se solicita con instrucciones fijas y ejemplos de pocos disparos (few-shot) para extraer estas puntuaciones enteras.
• Manejo de Dispersión: En días sin noticias ($N_{s,d} = \emptyset$), el sistema aplica un valor predeterminado neutral (valor 3.0) en lugar de rellenar con ceros o descartar los datos.
• Auditabilidad: La interfaz está diseñada para la supervisión humana en el bucle, permitiendo la ablación a nivel de instrucción y la legibilidad regulatoria (por ejemplo, "el riesgo aumentó de 2 a 4").

2. Protocolo de Evaluación: Separación de Representación y Optimización

La contribución metodológica central es un diseño de evaluación que aísla el efecto de la representación ($\phi$) del optimizador.

• Representación Fija: Una única $\phi$ congelada (el mapa SSAI) se comparte entre todos los estimadores.
• Estimadores Paralelos: El mismo estado semántico se alimenta a tres clases distintas de modelos:
  1. Estimadores de baja varianza: Carteras de factores directas (SFP, SRF, SCW) y pronosticadores supervisados de ridge.
  2. Estimadores no lineales de alta varianza: Agentes de Aprendizaje por Refuerzo (DP-PPO y SAC).
• Invariante: Debido a que $\phi$ es idéntica y congelada en todos los modelos, cualquier diferencia de rendimiento es atribuible a la elección del algoritmo, no a la representación.

3. Configuración Experimental

• Datos: 30 acciones del NASDAQ-100, período de prueba 2019–2023 (fuera de muestra), entrenado en 2013–2018. Noticias obtenidas de FNSPID.
• Líneas Base: Compra y Mantenimiento (B&H), Momentum, Volatilidad Igual, y codificadores neuronales densos (FinBERT, PC1 de los ejes SSAI).
• Agentes RL:
  • DP-PPO: Optimización de Política Próxima penalizada por caída (Drawdown-penalized) con un término de conformación de recompensa para penalizar las caídas de forma superlineal.
  • SAC: Actor-Critic Suave (off-policy) con observaciones de estado idénticas.

Resultados Clave

1. Rendimiento de Cartera (Carteras de Factores)

• Sobreperformance Aparente: La Cartera de Factores Semánticos SSAI de 4 ejes (SFP) logró un Retorno Acumulado (CR) de 307.2% y un Sharpe de 1.067, aparentemente superando a Compra y Mantenimiento (243.6%).
• La Advertencia del "Efecto de Composición": Esta ventaja no sobrevive a controles rigurosos:
  • Fallo Emparejado por Estrato: Cuando se controla la frecuencia de cobertura de noticias, el SFP tuvo un rendimiento inferior al B&H en cada tercil de cobertura (Bajo, Medio, Alto). La ganancia agregada fue un "efecto de composición de selección de cesta": el modelo seleccionó acciones de cobertura media que resultaron tener buen rendimiento, no porque la señal fuera predictiva dentro de esos grupos.
  • Sensibilidad a Costos: La ventaja se invierte en costos de transacción $\ge 0.2\%$.
  • Significancia Estadística: La diferencia entre el SFP de 4 factores y un SFP solo de sentimiento fue no significativa (Wilcoxon $p=0.556$).
• Alternativas Superiores:
  • PC1-SFP: Un primer componente principal impulsado por datos de los cuatro ejes logró un 433.6% CR (126 puntos porcentuales más que el SSAI-SFP).
  • FinBERT-SFP: Una línea base de codificador denso logró un 386.3% CR.
  • Conclusión: La interfaz de ejes nombrados (SSAI) incurre en un costo de rendimiento significativo (126pp CR) en comparación con alternativas impulsadas por datos o densas en este contexto.

2. Pronóstico Supervisado

• Apendar ingenuamente columnas semánticas dispersas de LLM a características de precios/técnicas perjudicó el rendimiento del pronóstico de ridge.
• Las líneas base léxicas (VADER, TF-IDF/SVD) y los "giros semánticos de alta convicción" recuperaron el rendimiento a niveles cercanos a los de solo precios, pero los codificadores neuronales densos (FinBERT) no mejoraron el pronóstico de ridge sin una integración cuidadosa.

3. Diagnósticos de Aprendizaje por Refuerzo

• Dependencia del Algoritmo: Bajo el estado SSAI idéntico, SAC (Sharpe 1.059) superó significativamente a DP-PPO (Sharpe 0.920, $p=0.027$).
• Interpretación: Esta brecha se atribuye a diferencias algorítmicas (reproducción off-policy, regularización de entropía) y no a la calidad de la representación.
• Enmascaramiento: Eliminar las señales de LLM (enmascaramiento neutral) no degradó significativamente el rendimiento de DP-PPO (Wilcoxon $p \approx 0.25–0.31$), lo que sugiere que los agentes RL no estaban utilizando eficazmente la señal semántica dispersa.
• Ablación: Eliminar ejes específicos (por ejemplo, confianza) redujo los retornos, pero la reversión de un solo punto de control (neutral > señales completas) se atribuyó a cambios en la distribución de estados durante la evaluación, no a un daño de la señal.

Significado y Afirmaciones

El artículo enmarca explícitamente su contribución como diagnóstica y cautelosa en lugar de una afirmación de rendimiento superior.

1. SSAI como Instrumento de Frontera Interpretabilidad-Rendimiento: El estudio cuantifica el "costo de la interpretabilidad". Al comparar SSAI (ejes nombrados auditables) con PC1 (impulsado por datos) y FinBERT (denso), los autores muestran que mantener ejes auditables y legibles por humanos conlleva un costo de rendimiento sustancial (126pp CR en cinco años) en este contexto específico de cartera.
2. Separación de Señal y Optimizador: La plantilla SSAI proporciona un método reutilizable para desentrañar si el éxito de un sistema se debe a la representación semántica o al algoritmo de aprendizaje. Los resultados indican que en este contexto, la elección del algoritmo (SAC vs. PPO) domina los efectos de la representación.
3. Hallazgos Cautelosos sobre Texto Disperso:
   • Las señales dispersas de LLM son útiles como giros de alta convicción o para gestión de riesgos, pero no son robustas como entradas ingenuas para pronósticos densos o RL sin una integración cuidadosa.
   • La sobreperformance aparente en carteras de factores puede ser un artefacto de composición (seleccionar acciones específicas) y no una ventaja real de señal.
   • Las acciones de alta cobertura (por ejemplo, NVDA, GOOGL) mostraron el peor rendimiento relativo para SSAI, probablemente debido a la eficiencia del mercado y a una mala especificación del modelo de factores durante el ciclo de inversión en IA.

Conclusión: Los autores no afirman que SSAI supere a las alternativas más densas. En cambio, ofrecen SSAI como una plantilla metodológica para investigaciones futuras que separen rigurosamente la señal semántica del ruido de optimización, destacando al mismo tiempo que el compromiso actual entre auditabilidad y poder predictivo es significativo. La obra sirve como un "punto de referencia retrospectivo" que enfatiza que las restricciones de interpretabilidad tienen costos económicos medibles.