FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

Résumé Technique : FinAbstain

Énoncé du Problème
Les prévisions financières sont intrinsèquement difficiles en raison de l'arrivée asynchrone des preuves et de la divergence fréquente des signaux (par exemple, les publications de résultats vs le sentiment des actualités vs les indicateurs techniques). Bien que les modèles de langage de grande taille (LLM) puissent synthétiser des récits financiers, ils font souvent preuve d'une confiance excessive même lorsque les preuves sont rares, obsolètes ou contradictoires. Dans un contexte de prise de décision, ce sur-optimisme transforme les limites épistémiques en risques de trading évitables. Les systèmes de génération augmentée par récupération (RAG) et les modèles de langage financier existants souffrent de trois lacunes critiques :

1. Fuite Temporelle (Temporal Leakage) : Le RAG standard ne garantit pas que les documents récupérés étaient publics à l'instant spécifique de la prévision, ce qui conduit à une contamination des tests rétrospectifs (backtests).
2. Désaccord Caché : Les récits de synthèse uniques ont tendance à fusionner les signaux conflictuels provenant des sources fondamentales, de l'actualité et du marché en un seul résultat.
3. Absence de Refus Sélectif : Les scores de confiance sont rarement calibrés pour soutenir l'option opérationnelle de refuser une prévision (abstention) lorsque l'incertitude est élevée.

Méthodologie : Le Cadre FinAbstain
FinAbstain est un cadre de recherche pour le RAG multimodal calibré sur l'incertitude avec prédiction sélective. Son architecture se compose de quatre composantes clés :

1. Récupérateur Multimodal Point-in-Time :
   Le système ingère les rapports (10-K, 10-Q, 8-K), les appels sur résultats, les actualités, les prix, le volume et les indicateurs techniques. Crucialement, il impose des contraintes temporelles strictes : seuls les documents dont les horodatages de publication ($\tau_{pub}$) et d'ingestion ($\tau_{ing}$) sont antérieurs au temps de prévision $t$ sont admis. Cela empêche la fuite d'informations futures. Le récupérateur utilise un score hybride dense/BM25 pour le texte et une correspondance de régime/récence pour les séries temporelles, allouant un budget top-$k$ entre les modalités pour éviter que le volume d'actualités n'écrase les rapports officiels.

2. Protocole d'Agents à Rôles Séparés :
   Les preuves sont traitées par des agents indépendants avant agrégation :

• Agent Fondamental : Analyse les revenus, les marges, les flux de trésorerie et les prévisions (guidance).
• Agent Actualités : Estime la polarité des événements, la nouveauté et la diversité des sources.
• Agent Technique : Analyse les tendances, le momentum et la volatilité en utilisant uniquement des caractéristiques numériques.
• Agent de Risque : Construit des contre-arguments et identifie les preuves manquantes.
• Vérificateur : Vérifie les affirmations par rapport aux segments récupérés et détecte les contradictions entre les sources.
  Les agents opèrent de manière indépendante pour réduire l'ancrage, et une seconde passe d'agrégation utilise des poids de fiabilité sans introduire de faits non cités.

3. Formulation d'Incertitude Hybride :
   Le système agrège les évaluations probabilistes des agents et calcule un score d'incertitude composite ($U_{i,t}$). Ce score intègre :

• Désaccord : Divergence moyenne de Jensen–Shannon entre les agents.
• Contradiction : Probabilité pondérée par la pertinence des affirmations contradictoires.
• Cohérence : Variance à travers les échantillons d'inférence répétés.
• Déficience de Récupération : Manque de preuves de soutien.
• Entropie et Écart de Calibration : Entropie prédictive et erreurs de calibration historiques.
  Ces facteurs sont combinés via une fonction logistique avec des poids ajustés lors de la validation.

4. Contrôleur Sélectif :
   Le contrôleur prédit une direction (haussier, baissier, neutre) uniquement si le score d'incertitude $U_{i,t}$ est inférieur à un seuil validé $\theta$. Sinon, le système s'abstient. L'abstention est traitée comme une décision, déclenchant des actions telles que la demande de preuves supplémentaires, la réduction de la taille de la position ou l'aiguillage vers une revue humaine. Le seuil est optimisé sur les données de validation pour minimiser le risque sélectif sous une contrainte de couverture minimale.

Contributions Clés
L'article présente quatre contributions spécifiques :

• Une spécification de RAG temporel qui impose la disponibilité des documents au moment de la prévision pour les rapports, les actualités et les données de marché.
• Un protocole de preuves multi-agents qui expose explicitement le désaccord, la contradiction et le support de citation plutôt que de les réduire en un seul récit.
• Un score d'incertitude hybride et un contrôleur formel qui lient la calibration, la couverture, le risque sélectif et la gestion de la taille de position.
• Un schéma d'évaluation chronologique reproductible, distinguant explicitement les valeurs de planification simulées des résultats empiriques.

Résultats et Évaluation
L'article présente des résultats illustratifs simulés plutôt que des conclusions empiriques issues d'un backtest terminé. Ces simulations sont conçues pour tester le pipeline de reporting et la cohérence des métriques proposées.

• Performance : Dans la simulation, FinAbstain atteint la meilleure calibration (ECE : 0,026) et la meilleure précision sélective (68,8 %) tout en couvrant 72 % des cas.
• Compromis Risque-Couverture : Les courbes de risque-couverture simulées montrent que FinAbstain maintient un erreur sélective plus faible que les modèles de référence (incluant le RAG standard et les modèles multi-agents non calibrés) à niveaux de couverture égaux.
• Ablation : Supprimer le filtrage temporel entraîne une précision trompeuse (70,4 %) dans la simulation, ce que les auteurs qualifient explicitement d'invalide en raison de la contamination par le futur. Supprimer les capacités de calibration ou d'abstention dégrade les performances, soulignant la nécessité du mécanisme sélectif.
• Métriques : Le cadre d'évaluation inclut l'exactitude (accuracy), le F1, le score de Brier, l'erreur de calibration attendue (ECE), le ratio de Sharpe, le drawdown maximal (MDD) et les rendements ajustés aux coûts de transaction.

Signification et Revendications
L'article positionne FinAbstain non pas comme une stratégie de trading prouvée, mais comme une architecture sûre dans le temps et un schéma d'évaluation reproductible pour des prévisions financières sélectives fondées sur des preuves.

• Hypothèse Centrale : Les auteurs proposent qu'une abstention calibrée peut échanger la couverture contre une erreur sélective plus faible et un drawdown réduit.
• Modestie des Revendications : Les auteurs déclarent explicitement que les chiffres rapportés sont des « artefacts simulés » pour tester la méthodologie et la mise en page. Ils ne revendiquent aucun bénéfice économique ou validation empirique.
• Travaux Futurs : L'article appelle à une étude chronologique pré-enregistrée avec un manifeste de données gelé, des pipelines de caractéristiques exécutables et des audits indépendants pour remplacer les valeurs simulées par des résultats empiriques. Il reconnaît que le cadre ne peut éliminer l'incertitude de marché irréductible ou la désinformation stratégique.

En résumé, FinAbstain offre une approche structurelle de la prévision financière qui privilégie l'humilité épistémique (savoir quand ne pas prédire) et l'intégrité temporelle (garantir l'absence de fuite future), fournissant un cadre rigoureux pour évaluer quand les LLM doivent s'abstenir de prendre des décisions financières.