FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

Resumo Técnico: FinAbstain

Definição do Problema
A previsão financeira é inerentemente difícil devido à chegada assíncrona de evidências e à frequente divergência de sinais (ex: registros de lucros vs. sentimento de notícias vs. indicadores técnicos). Embora os Grandes Modelos de Linguagem (LLMs) possam sintetizar narrativas financeiras, eles frequentemente exibem alta confiança mesmo quando a evidência é escassa, obsoleta ou contraditória. Em um contexto de tomada de decisão, esse excesso de confiança converte limitações epistêmicas em riscos operacionais de negociação evitáveis. Os sistemas existentes de Geração Aumentada por Recuperação (RAG) e modelos de linguagem financeira sofrem de três lacunas críticas:

1. Vazamento Temporal (Temporal Leakage): O RAG padrão não garante que os documentos recuperados eram públicos no timestamp específico da previsão, levando à contaminação de backtests.
2. Desacordo Oculto: Narrativas de síntese única frequentemente colapsam sinais conflitantes de fontes fundamentais, de notícias e de mercado em um único output.
3. Falta de Recusa Seletiva: Escores de confiança raramente são calibrados para suportar a opção operacional de recusar uma previsão (abstenção) quando a incerteza é alta.

Metodologia: O Framework FinAbstain
O FinAbstain é um framework de pesquisa para RAG multimodal com calibração de incerteza e predição seletiva. Sua arquitetura consiste em quatro componentes principais:

1. Recuperador Multimodal de Ponto no Tempo (Point-in-Time):
   O sistema ingere demonstrações (10-K, 10-Q, 8-K), chamadas de resultados, notícias, preços, volume e indicadores técnicos. Crucialmente, ele impõe restrições temporais estritas: apenas documentos com carimbos de tempo de publicação ($\tau_{pub}$) e ingestão ($\tau_{ing}$) anteriores ao tempo de previsão $t$ são admitidos. Isso evita o vazamento de informações futuras. O recuperador utiliza um score híbrido denso/BM25 para texto e correspondência de regime/recência para séries temporais, alocando um orçamento top-$k$ entre as modalidades para evitar que o volume de notícias sufoque os registros oficiais.

2. Protocolo de Agentes com Separação de Papéis:
   A evidência é processada por agentes independentes antes da agregação:

   • Agente Fundamental: Analisa receita, margens, fluxo de caixa e projeções (guidance).
   • Agente de Notícias: Estima a polaridade do evento, novidade e diversidade de fontes.
   • Agente Técnico: Analisa tendências, momentum e volatilidade usando apenas características numéricas.
   • Agente de Risco: Constrói contra-argumentos e identifica evidências ausentes.
   • Verificador: Checa alegações contra os trechos recuperados e detecta contradições entre fontes.
     Os agentes operam de forma independente para reduzir o ancoramento, e uma segunda passagem de agregação utiliza pesos de confiabilidade sem introduzir fatos não citados.

3. Formulação de Incerteza Híbrida:
   O sistema agrega avaliações probabilísticas dos agentes e calcula um escore de incerteza composto ($U_{i,t}$). Este escore integra:

   • Desacordo: Divergência média de Jensen–Shannon entre os agentes.
   • Contradição: Probabilidade ponderada pela relevância de alegações contraditórias.
   • Consistência: Variância entre amostras de inferência repetidas.
   • Deficiência de Recuperação: Falta de evidências de suporte.
   • Entropia e Gap de Calibração: Entropia preditiva e erros históricos de calibração.
     Esses fatores são combinados via uma função logística com pesos validados por ajuste.

4. Controlador Seletivo:
   O controlador prevê uma direção (bullish, bearish, neutro) apenas se o escore de incerteza $U_{i,t}$ estiver abaixo de um limiar validado $\theta$. Caso contrário, o sistema se abstém. A abstenção é tratada como uma decisão, disparando ações como solicitar mais evidências, reduzir o tamanho da posição ou rotear para revisão humana. O limiar é otimizado em dados de validação para minimizar o risco seletivo sujeito a uma restrição mínima de cobertura.

Principais Contribuições
O artigo delineia quatro contribuições específicas:

• Uma especificação de RAG temporal que impõe a disponibilidade de documentos no timestamp da previsão para registros, notícias e dados de mercado.
• Um protocolo de evidência multi-agente que expõe explicitamente o desacordo, a contradição e o suporte de citação, em vez de colapsá-los em uma única narrativa.
• Um escore de incerteza híbrido e um controlador formal que vinculam calibração, cobertura, risco seletivo e dimensionamento de posição.
• Um blueprint de avaliação cronológica reprodutível, distinguindo explicitamente entre valores de planejamento simulados e achados empíricos.

Resultados e Avaliação
O artigo apresenta resultados ilustrativos simulados em vez de achados empíricos de um backtest concluído. Essas simulações são desenhadas para testar o pipeline de reporte e a consistência das métricas propostas.

• Performance: Na simulação, o FinAbstain atinge a melhor calibração (ECE: 0,026) e precisão seletiva (68,8%) enquanto cobre 72% dos casos.
• Trade-off Risco-Cobertura: As curvas de risco-cobertura simuladas mostram que o FinAbstain mantém um erro seletivo menor que os baselines (incluindo RAG padrão e modelos multi-agente não calibrados) em níveis iguais de cobertura.
• Ablação: Remover a filtragem temporal resulta em uma precisão enganosamente alta (70,4%) na simulação, o que os autores explicitamente rotulam como inválido devido à contamções futura. Remover a capacidade de calibração ou abstenção degrada o desempenho, destacando a necessidade do mecanismo seletivo.
• Métricas: O framework de avaliação inclui acurácia, F1, Brier score, Erro de Calibração Esperada (ECE), Sharpe ratio, Drawdown Máximo (MDD) e retornos ajustados por custos de transação.

Significância e Alegações
O artigo posiciona o FinAbstain não como uma estratégia de trading comprovada, mas como uma arquitetura segura no tempo e um blueprint de avaliação reprodutível para previsões financeiras baseadas em evidências.

• Hipótese Central: Os autores propõem que a abstenção calibrada pode trocar cobertura por menor erro seletivo e redução de drawdown.
• Modéstia das Alegações: Os autores declaram explicitamente que os números relatados são "artefatos simulados" para teste de metodologia e layout. Eles não reivindicam benefício econômico ou validação empírica.
• Trabalhos Futuros: O artigo chama para um estudo cronológico pré-registrado com um manifesto de dados congelado, pipelines de recursos executáveis e auditorias independentes para substituir os valores simulados por resultados empíricos. Reconhece-se que o framework não pode eliminar a incerteza de mercado irredutível ou a desinformação estratégica.

Em resumo, o FinAbstain oferece uma abordagem estrutural para a previsão financeira que prioriza a humildade epistêmica (saber quando não prever) e a integridade temporal (garantir que não haja vazamento de informações futuras), fornecendo um framework rigoroso para avaliar quando os LLMs devem se abster de tomar decisões financeiras.