Resumen Técnico: ForecastCompass (FOCO)

Planteamiento del Problema

El pronóstico agéntico implica que agentes de Modelos de Lenguaje de Gran Escala (LLM) realicen predicciones probabilísticas calibradas sobre eventos futuros utilizando evidencia incompleta y con limitaciones temporales. Aunque los agentes de LLM sobresalen en la búsqueda de información y el razonamiento, enfrentan desafíos significativos en entornos de pronóstico dinámicos. Específicamente, los agentes deben razonar a partir de evidencia evolutiva y producir probabilidades calibradas antes de que los resultados se resuelvan.

Los mecanismos de memoria existentes para agentes de LLM están diseñados principalmente para tareas de respuesta a preguntas o resolución de problemas. Estos métodos típicamente almacenan interacciones pasadas, reflexiones o asociaciones fácticas. Sin embargo, son inadecuados para el pronóstico porque no logran representar explícitamente factores predictivos reutilizables o conocimiento de calibración. Una memoria genérica podría almacenar que una aplicación tiene una "fuerte reconocimiento de marca", pero no logra distinguir si esta señal estática es informativa para cambios de ranking a corto plazo o si debe tratarse como una señal engañosa que amerita una menor confianza. El pronóstico requiere una memoria que pueda abstraer factores predictivos, filtrar señales engañosas y calibrar la incertidumbre antes de que los resultados sean conocidos, en lugar de simplemente recuperar respuestas pasadas o trayectorias de eventos.

Metodología: ForecastCompass (FOCO)

Los autores proponen ForecastCompass (FOCO), un marco de memoria adaptativo basado en factores diseñado específicamente para el pronóstico agéntico. FOCO organiza la experiencia de pronóstico en una estructura jerárquica y la actualiza cronológicamente utilizando análisis retrospectivos como señales de aprendizaje.

1. Representación de Memoria de Pronóstico Jerárquica

FOCO organiza la memoria utilizando una taxonomía de pronóstico compuesta por categorías y subcategorías detalladas. Para cada subcategoría $s$, el sistema mantiene un estado de memoria verbal $M_s = (F_s, R_s)$ que comprende dos componentes complementarios:

• Memoria de Factores ($F_s$): Un conjunto de entradas que describen dimensiones predictivas reutilizables. Cada entrada incluye el nombre del factor, verificaciones de evidencia específicas, modos de falla comunes y el efecto típico del factor en las probabilidades del pronóstico. Esto guía al agente en la identificación de evidencia relevante y en la evitación de patrones engañosos.
• Memoria de Razonamiento ($R_s$): Una colección de principios orientados a la calibración. Este componente codifica cómo se debe ajustar la confianza bajo diferentes condiciones de evidencia, gestionando la incertidumbre, las señales conflictivas y la información incompleta. Guía la estimación de probabilidad en lugar de solo la selección de factores.

2. Inferencia Aumentada por Memoria

Durante la inferencia, una pregunta no resuelta se clasifica en una subcategoría específica. El agente recupera el $F_s$ y $R_s$ correspondientes para guiar su proceso:

• La Memoria de Factores dirige la búsqueda de evidencia y la selección de factores, enfatizando las señales predictivas y advirtiendo contra patrones engañosos.
• La Memoria de Razonamiento proporciona principios de calibración para traducir la fuerza de la evidencia en pronósticos probabilísticos, ayudando a gestionar el exceso de confianza o la falta de confianza.

3. Revisión Iterativa de la Memoria mediante Aprendizaje Contrastivo

FOCO actualiza su memoria cronológicamente utilizando tareas de pronóstico resueltas. El proceso de actualización involucra un procedimiento de diagnóstico–agregación–revisión:

1. Generación de Trayectoria Retrospectiva: Después de que se resuelve una pregunta, el agente genera una trayectoria retrospectiva ($z^{retro}$) utilizando evidencia post-resolución. Esto sirve como una señal de aprendizaje de "verdad fundamental" (ground truth).
2. Diagnóstico Contrastivo: El sistema contrasta la trayectoria de pronóstico original ($z$) con la trayectoria retrospectiva ($z^{retro}$) para identificar discrepancias ($\Delta$).
   • $\Delta^F$: Discrepancias a nivel de factor (ej. factores faltantes, uso excesivo de señales engañosas).
   • $\Delta^R$: Discrepancias a nivel de razonamiento (ej. descalibración, actualizaciones de probabilidad incorrectas).
3. Agregación y Revisión: El sistema agrega estas discrepancias a través de múltiples eventos dentro de una subcategoría para filtrar el sesgo de retrospectiva específico del evento (ruido) e identificar patrones recurrentes. Luego, revisa las entradas de memoria verbal para incorporar estos factores predictivos transferibles y principios de calibración, evitando explícitamente el almacenamiento de resultados o fechas específicas de eventos.

Contribuciones Clave

1. Formulación de Memoria Centrada en Factores: El artículo introduce una arquitectura de memoria organizada en torno a factores predictivos a nivel de subcategoría y patrones de razonamiento orientados a la calibración, distintos de las trayectorias de eventos o reflexiones genéricas.
2. Revisión de Memoria de Factores Verbalizada: Los autores desarrollan un procedimiento iterativo que trata los análisis retrospectivos como señales de aprendizaje. Este proceso diagnostica las discrepancias entre los pronósticos y los resultados, agrega las discrepancias para encontrar patrones recurrentes y revisa la memoria en abstracciones transferibles, excluyendo la visión retrospectiva específica de cada evento.
3. Validación Empírica: El marco es evaluado en benchmarks de pronóstico dinámico (Prophet Arena y FutureX) utilizando GPT-5-mini y Gemini-2.5-Flash.

Resultados Experimentales

Los experimentos demuestran que FOCO mejora tanto la precisión probabilística como la calibración en comparación con varios modelos de referencia:

• Desempeño: FOCO logra consistentemente los promedios más bajos de puntuación Brier y el Error de Calibración Esperada (ECE) en ambos conjuntos de datos y modelos de base. Supera a las bases sin memoria (BASE), las variantes de memoria estática (FOCO Static) y los modelos de referencia de memoria de agentes generales (MEM0, REFLEXION, A-MEM, GRAPHITI).
• Mejora Iterativa: El marco completo de FOCO supera a su versión estática, lo que indica que la revisión semanal de la memoria refina eficazmente los factores predictivos y los patrones de razonamiento a medida que los nuevos resultados están disponibles.
• Transferibilidad:
  • A través del Tiempo: La memoria construida a partir de semanas anteriores mejora el desempeño del pronóstico en semanas posteriores, demostrando que los factores aprendidos y los principios de calibración siguen siendo relevantes a medida que los temas evolucionan.
  • A través de Modelos: La memoria construida con un modelo (ej. Gemini-2.5-Flash) mejora con éxito el desempeño de un modelo de base diferente (ej. GPT-5-mini), lo que sugiere que el conocimiento capturado no está sobreajustado a una arquitectura de modelo específica.
• Calidad de la Memoria: Una evaluación de LLM-como-Juez muestra que la memoria de FOCO puntúa más alto en generalizabilidad, novedad, completitud, exactitud y capacidad de acción en comparación con otros métodos de memoria, confirmando que captura conocimiento de pronóstico reutilizable en lugar de detalles específicos de eventos.

Significancia y Reivindicaciones

El artículo sostiene que una memoria de pronóstico efectiva debe ir más allá del almacenamiento de interacciones o respuestas pasadas. En su lugar, debe abstraer factores predictivos reutilizables y principios de calibración que guíen a los agentes en entornos de mundo abierto donde la evidencia es no estructurada y evolutiva.

FOCO aborda la brecha en los diseños de memoria de agentes existentes al separar explícitamente las señales predictivas de los patrones de razonamiento y utilizar el análisis retrospectivo contrastivo para refinar iterativamente estas abstracciones. Los resultados sugieren que organizar la memoria en torno al conocimiento de nivel de factor y reglas de calibración permite a los agentes acumular experiencia de pronóstico transferible a lo largo del tiempo, lo que conduce a pronósticos probabilísticos más precisos y mejor calibrados en entornos dinámicos. El trabajo destaca que la simple recuperación de experiencias pasadas del agente es insuficiente; la estructura de la memoria misma debe estar adaptada a las demandas específicas del pronóstico probabilístico bajo incertidumbre.