Resumo Técnico: ForecastCompass (FOCO)

Declaração do Problema

A previsão agêntica envolve agentes de Grandes Modelos de Linguagem (LLMs) fazendo previsões probabilísticas calibradas sobre eventos futuros usando evidências incompletas e de tempo limitado. Embora os agentes de LLM se destaquem na busca de informações e no raciocínio, eles enfrentam desafios significativos em ambientes de previsão dinâmicos. Especificamente, os agentes devem raciocinar a partir de evidências em evolução e produzir probabilidades calibradas antes que os resultados sejam resolvidos.

Os mecanismos de memória existentes para agentes de LLM são projetados primariamente para tarefas de perguntas e respostas ou resolução de problemas. Esses métodos tipicamente armazenam interações passadas, reflexões ou associações fatuais. No entanto, eles são inadequados para previsão porque falham em representar explicitamente fatores preditivos reutilizáveis ou conhecimento de calibração. Uma memória genérica pode armazenar que um aplicativo tem "forte reconhecimento de marca", mas falha em distinguir se esse sinal estático é informativo para mudanças de ranking de curto prazo ou se deve ser tratado como um sinal enganoso que justifica uma confiança menor. A previsão requer uma memória que possa abstrair fatores preditivos, filtrar sinais enganosos e calibrar a incerteza antes que os resultados sejam conhecidos, em vez de simplesmente recuperar respostas passadas ou trajetórias de eventos.

Metodologia: ForecastCompass (FOCO)

Os autores propõem o ForecastCompass (FOCO), um framework de memória adaptativo baseado em fatores, projetado especificamente para previsão agêntica. O FOCO organiza a experiência de previsão em uma estrutura hierárquica e a atualiza cronologicamente usando análises retrospectivas como sinais de aprendizado.

1. Representação de Memória de Previsão Hierárquica

O FOCO organiza a memória usando uma taxonomia de previsão consistindo em categorias e subcategorias detalhadas. Para cada subcategoria $s$, o sistema mantém um estado de memória verbal $M_s = (F_s, R_s)$ composto por dois componentes complementares:

• Memória de Fatores ($F_s$): Um conjunto de entradas descrevendo dimensões preditivas reutilizáveis. Cada entrada inclui o nome do fator, verificações de evidências específicas, modos de falha comuns e o efeito típico do fator nas probabilidades de previsão. Isso guia o agente na identificação de evidências relevantes e na prevenção de padrões enganosos.
• Memória de Raciocínio ($R_s$): Uma coleção de princípios orientados à calibração. Este componente codifica como a confiança deve ser ajustada sob diferentes condições de evidência, lidando com incerteza, sinais conflitantes e informações incompletas. Ele guia a estimativa de probabilidade em vez de apenas a seleção de fatores.

2. Inferência Aumentada por Memória

Durante a inferência, uma questão não resolvida é classificada em uma subcategoria específica. O agente recupera o $F_s$ e o $R_s$ correspondentes para guiar seu processo:

• A Memória de Fatores direciona a busca de evidências e a seleção de fatores, enfatizando sinais preditivos e alertando contra padrões enganosos.
• A Memória de Raciocínio fornece princípios de calibração para traduzir a força da evidência em previsões probabilísticas, ajudando a gerenciar o excesso de confiança ou a falta de confiança.

3. Revisão Iterativa de Memória via Aprendizado Contrastivo

O FOCO atualiza sua memória cronologicamente usando tarefas de previsão resolvidas. O processo de atualização envolve um procedimento de diagnóstico–agregação–revisão:

1. Geração de Trajetória Retrospectiva: Após uma questão ser resolvida, o agente gera uma trajetória retrospectiva ($z^{retro}$) usando evidências pós-resolução. Isso serve como um sinal de aprendizado de "verdade fundamental" (ground truth).
2. Diagnóstico Contrastivo: O sistema contrasta a trajetória de previsão original ($z$) com a trajetória retrospectiva ($z^{retro}$) para identificar discrepâncias ($\Delta$).
   • $\Delta^F$: Discrepâncias ao nível do fator (ex: fatores ausentes, sinais enganosos excessivamente utilizados).
   • $\Delta^R$: Discrepâncias ao nível do raciocínio (ex: má calibração, atualizações de probabilidade incorretas).
3. Agregação e Revisão: O sistema agrega essas discrepâncias através de múltiplos eventos dentro de uma subcategoria para filtrar o hindsight específico do evento (ruído) e identificar padrões recorrentes. Em seguida, ele revisa as entradas de memória verbal para incorporar esses fatores preditivos transferíveis e princípios de calibração, evitando explicitamente o armazenamento de resultados ou datas específicos de eventos.

Principais Contribuições

1. Formulação de Memória Centrada em Fatores: O artigo introduz uma arquitetura de memória organizada em torno de fatores preditivos ao nível de subcategoria e padrões de raciocínio orientados à calibração, distintos de trajetórias de eventos ou reflexões genéricas.
2. Revisão de Memória de Fator Verbalizada: Os autores desenvolvem um procedimento iterativo que trata análises retrospectivas como sinais de aprendizado. Este processo diagnostica discrepâncias entre previsões e resultados, agrega-as para encontrar padrões recorrentes e revisa a memória em abstrações transferíveis, excluindo o hindsight específico de eventos.
3. Validação Empírica: O framework é avaliado em benchmarks de previsão dinâmica (Prophet Arena e FutureX) usando GPT-5-mini e Gemini-2.5-Flash.

Resultados Experimentais

Experimentos demonstram que o FOCO melhora tanto a precisão probabilística quanto a calibração em comparação com vários baselines:

• Desempenho: O FOCO alcança consistentemente os menores escores de Brier médio e Erro de Calibração Esperado (ECE) em ambos os conjuntos de dados e modelos de base. Ele supera os baselines sem memória (BASE), variantes de memória estática (FOCO Static) e baselines de memória de agente geral (MEM0, REFLEXION, A-MEM, GRAPHITI).
• Melhoria Iterativa: O framework completo FOCO supera a versão estática, indicando que a revisão semanal de memória efetivamente refina os fatores preditivos e os padrões de raciocínio conforme novos resultados tornam-se disponíveis.
• Transferibilidade:
  • Através do Tempo: A memória construída a partir de semanas anteriores melhora o desempenho da previsão em semanas posteriores, demonstrando que os fatores aprendidos e os princípios de calibração permanecem relevantes conforme os tópicos evoluem.
  • Através de Modelos: A memória construída com um modelo (ex: Gemini-2.5-Flash) melhora com sucesso o desempenho de um modelo de base diferente (ex: GPT-5-mini), sugerindo que o conhecimento capturado não é sobreajustado (overfit) a uma arquitetura de modelo específica.
• Qualidade da Memória: Uma avaliação de LLM-como-Juiz mostra que a memória do FOCO pontua mais alto em generalização, novidade, completude, precisão e aplicabilidade em comparação com outros métodos de memória, confirmando que ela captura conhecimento de previsão reutilizável em vez de detalhes de eventos específicos.

Significância e Alegações

O artigo afirma que uma memória de previsão eficaz deve ir além do armazenamento de interações ou respostas passadas. Em vez disso, ela deve abstrair fatores preditivos reutilizáveis e princípios de calibração que guiem os agentes em ambientes de mundo aberto onde as evidências são não estruturadas e em evolução.

O FOCO aborda a lacuna nos designs de memória de agentes existentes ao separar explicitamente sinais preditivos de padrões de raciocínio e usar análise retrospectiva contrastiva para refinar iterativamente essas abstrações. Os resultados sugerem que organizar a memória em torno de conhecimento de nível de fator e regras de calibração permite que os agentes acumulem expertise de previsão transferível ao longo do tempo, levando a previsões probabilísticas mais precisas e melhor calibradas em ambientes dinâmicos. O trabalho destaca que simplesmente recuperar experiências passadas do agente é insuficiente; a própria estrutura da memória deve ser adaptada às demandas específicas de previsão probabilística sob incerteza.