FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

Resumen Técnico: FinAbstain

Planteamiento del Problema
El pronóstico financiero es inherentemente difícil debido a la llegada asincrónica de la evidencia y la frecuente divergencia de las señales (por ejemplo, informes de resultados frente a sentimiento de noticias frente a indicadores técnicos). Aunque los Modelos de Lenguaje de Gran Escala (LLM) pueden sintetizar narrativas financieras, a menudo exhiben una alta confianza incluso cuando la evidencia es escasa, obsoleta o contradictoria. En un contexto de toma de decisiones, este exceso de confianza convierte las limitaciones epistémicas en riesgos comerciales evitables. Los sistemas existentes de Generación Aumentada por Recuperación (RAG) y los modelos de lenguaje financiero sufren tres brechas críticas:

1. Fuga Temporal: El RAG estándar no garantiza que los documentos recuperados fueran públicos en el timestamp específico del pronóstico, lo que conduce a la contaminación de los backtests.
2. Desacuerdo Oculto: Las narrativas de síntesis única suelen colapsar señales conflictivas de fuentes fundamentales, de noticias y de mercado en un único output.
3. Falta de Rechazo Selectivo: Las puntuaciones de confianza rara vez están calibradas para soportar la opción operativa de rechazar un pronóstico (abstención) cuando la incertidumbre es alta.

Metodología: El Marco de Trabajo FinAbstain
FinAbstain es un marco de investigación para RAG multimodal con calibración de incertidumbre y predicción selectiva. Su arquitectura consta de cuatro componentes principales:

1. Recuperador Multimodal Punto-en-el-Tiempo:
   El sistema ingiere estados financieros (10-K, 10-Q, 8-K), llamadas de resultados, noticias, precios, volumen e indicadores técnicos. Crucialmente, impone restricciones temporales estrictas: solo se admiten documentos con marcas de tiempo de publicación ($\tau_{pub}$) e ingestión ($\tau_{ing}$) anteriores al tiempo de pronóstico $t$. Esto evita la fuga de información futura. El recuperador utiliza un score híbrido denso/BM25 para texto y coincidencia de régimen/recencia para series temporales, asignando un presupuesto top-$k$ entre las modalidades para evitar que el volumen de noticias desplace a los informes oficiales.

2. Protocolo de Agentes con Roles Separados:
   La evidencia es procesada por agentes independientes antes de la agregación:

• Agente Fundamental: Analiza ingresos, márgenes, flujo de caja y proyecciones (guidance).
• Agente de Noticias: Estima la polaridad de los eventos, la novedad y la diversidad de fuentes.
• Agente Técnico: Analiza tendencias, momentum y volatilidad utilizando únicamente características numéricas.
• Agente de Riesgo: Construye contraargumentos e identifica la falta de evidencia.
• Verificador: Comprueba las afirmaciones contra los fragmentos recuperados y detecta contradicciones entre fuentes.
  Los agentes operan de forma independiente para reducir el anclaje, y una segunda pasada de agregación utiliza pesos de fiabilidad sin introducir hechos no citados.

3. Formulación de Incertidumbre Híbrida:
   El sistema agrega las evaluaciones probabilísticas de los agentes y calcula una puntuación de incertidumbre compuesta ($U_{i,t}$). Esta puntuación integra:

• Desacuerdo: Divergencia de Jensen–Shannon media entre agentes.
• Contradicción: Probabilidad ponderada por relevancia de afirmaciones contradictorias.
• Consistencia: Varianza a través de muestras de inferencia repetidas.
• Deficiencia de Recuperación: Falta de evidencia de soporte.
• Entropía y Brecha de Calibración: Entropía predictiva y errores de calibración históricos.
  Estos factores se combinan mediante una función logística con pesos ajustados en validación.

4. Controlador Selectivo:
   El controlador predice una dirección (alcista, bajista, neutral) solo si la puntuación de incertidumbre $U_{i,t}$ es inferior a un umbral validado $\theta$. De lo contrario, el sistema se abstiene. La abstención se trata como una decisión, activando acciones tales como solicitar más evidencia, reducir el tamaño de la posición o derivar a revisión humana. El umbral se optimiza en datos de validación para minimizar el riesgo selectivo sujeto a una restricción de cobertura mínima.

Contribuciones Clave
El artículo describe cuatro contribuciones específicas:

• Una especificación de RAG temporal que impone la disponibilidad de documentos en el timestamp del pronóstico para informes, noticias y datos de mercado.
• Un protocolo de evidencia multi-agente que expone explícitamente el desacuerdo, la contradicción y el soporte de las citas en lugar de colapsarlos en una sola narrativa.
• Una puntuación de incertidumbre híbrida y un controlador formal que vinculan la calibración, la cobertura, el riesgo selectivo y el dimensionamiento de posición.
• Un plano de evaluación cronológica reproducible, distinguiendo explícitamente entre valores de planificación simulados y hallazgos empíricos.

Resultos y Evaluación
El artículo presenta resultados ilustrativos simulados en lugar de hallazgos empíricos de un backtest completado. Estas simulaciones están diseñadas para probar el pipeline de reporte y la consistencia de las métricas propuestas.

• Desempeño: En la simulación, FinAbstain logra la mejor calibración (ECE: 0.026) y precisión selectiva (68.8%) mientras cubre el 72% de los casos.
• Compromiso Riesgo-Cobertura: Las curvas de riesgo-cobertura simuladas muestran que FinAbstain mantiene un error selectivo menor que los baselines (incluyendo RAG estándar y modelos multi-agente no calibrados) con niveles de cobertura iguales.
• Ablación: Eliminar el filtrado temporal resulta en una precisión engañosamente alta (70.4%) en la simulación, lo cual los autores etiquetan explícitamente como inválido debido a la contaminación futura. Eliminar las capacidades de calibración o abstención degrada el desempeño, resaltando la necesidad del mecanismo selectivo.
• Métricas: El marco de evaluación incluye precisión, F1, Brier score, Error de Calibración Esperado (ECE), ratio de Sharpe, Máximo Drawdown (MDD) y retornos ajustados por costes de transacción.

Significancia y Reivindicaciones
El artículo posiciona a FinAbstain no como una estrategia de trading probada, sino como una arquitectura segura en el tiempo y un plano de evaluación reproducible para el pronóstico financiero selectivo basado en evidencia.

• Hipótesis Central: Los autores proponen que la abstención calibrada puede intercambiar cobertura por un menor error selectivo y un drawdown reducido.
• Modestia de las Reivindicaciones: Los autores declaran explícitamente que los números reportados son "artefactos simulados" para probar la metodología y el diseño. No reclaman beneficio económico ni validación empírica.
• Trabajo Futuro: El artículo hace un llamado a un estudio cronológico preregistrado con un manifiesto de datos congelado, pipelines de características ejecutables y auditorías independientes para reemplazar los valores simulados con resultados empíricos. Reconoce que el marco no puede eliminar la incertidumbre de mercado irreducible ni la desinformación estratégica.

En resumen, FinAbstain ofrece un enfoque estructural para el pronóstico financiero que prioriza la humildad epistémica (saber cuándo no predecir) y la integridad temporal (asegurar que no haya fugas de información futura), proporcionando un marco riguroso para evaluar cuándo los LLM deben abstenerse de tomar decisiones financieras.