Résumé Technique : FinBench

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant que systèmes agentiques capables d'observer, de planifier et d'agir. Dans les contextes financiers, ces systèmes deviennent pertinents pour la prise de décision lorsque leurs sorties influencent la taille des positions ou l'allocation des risques. Le principal mode de défaillance identifié n'est pas simplement une inexactitude directionnelle, mais le fossé confiance-compétence : un modèle qui est seulement légèrement meilleur que le hasard mais systématiquement trop confiant générera, selon les règles standards de dimensionnement de mise (ex: critère de Kelly), une croissance à long terme négative en allouant trop de capital à des vues erronées.

Les benchmarks existants se concentrent largement sur la compréhension sémantique ou la précision ponctuelle. Ils ne parviennent pas à traiter deux aléas structurels spécifiques à la finance :

1. La non-stationnarité : Les régimes de marché changent, provoquant la décomposition des motifs mémorisés.
2. Le biais d'anticipation (look-ahead bias) : Le prétraitement peut involontairement divulguer des informations futures (ex: utiliser des variables de fin de journée pour prévoir des résultats intrajournaliers), ce qui est particulièrement aigu dans les contextes agentiques où les erreurs se cumulent au fil du temps.

Crucialement, les évaluations actuelles ne testent pas si les probabilités déclarées par un modèle reflètent la véritable incertitude sous des contraintes temporelles strictes.

Méthodologie : Spécification de FinBench

Les auteurs introduisent FinBench, un benchmark conçu pour évaluer la calibration et la qualité de l'incertitude pour les prévisions financières. La conception centrale repose sur les principes suivants :

1. Protocole de Verrouillage Temporel Strict

Pour empêcher le biais d'anticipation, le benchmark impose un protocole où un modèle produisant une prévision pour le temps $T$ est strictement aveugle à toute donnée (prix, actualités, signaux dérivés) dont l'horodatage est postérieur à $T$.

• Horizons de prévision : Définis comme MATIN (09h30 ET), MIDI (12h30 ET) et CLÔTURE (15h30 ET).
• Temps cible : Un temps d'évaluation fixe proche de la fin de journée (15h55 ET), distinct de l'horizon de prévision.
• Entrées : Les données numériques (barres OHLCV) et textuelles (titres, sentiment) sont filtrées pour garantir que seule l'information disponible au temps $T$ est utilisée.

2. Schéma de Sortie

Pour chaque ticker et horizon, les modèles doivent produire un objet structuré contenant :

• $\hat{p} \in [0, 1]$ : La probabilité que le rendement logarithmique réalisé soit positif ($Y=1$).
• $[L, U]$ : Un intervalle de prédiction à 80 % pour le rendement logarithmique réalisé $r$.
• (Optionnel) Une justification en langage naturel, qui n'est pas utilisée pour le score.

3. Métriques d'Évaluation

FinBench utilise des règles de score strictement propres pour encourager la déclaration sincère de l'incertitude :

• Score de Brier (BS) : Utilisé pour les prévisions de direction probabilistes. Il mesure la différence quadratique moyenne entre la probabilité prédite et l'issue binaire réelle.
  • $BS = \frac{1}{N} \sum (\hat{p}_i - Y_i)^2$
  • Brier Skill Score (BSS) : Rapporte la performance par rapport aux bases de référence (pile ou face, taux de base glissant, heuristique de momentum). Un BSS positif indique une amélioration ; un BSS négatif indique une calibration pire que la base de référence.
• Score de Winkler : Utilisé pour l'estimation d'intervalle. Il pénalise à la fois la « lâcheté » (intervalles trop larges) et la « témérité » (intervalles trop étroits qui manquent le rendement réalisé).
  • $S_W = (U - L) + \frac{2}{\alpha}(L - r)I(r < L) + \frac{2}{\alpha}(r - U)I(r > U)$, où $\alpha = 0,2$.

Principales Contributions

1. Conception de Benchmark : FinBench est le premier benchmark explicitement conçu pour imposer un verrouillage temporel strict pour la prévision financière agentique tout en centrant l'évaluation sur des scores de probabilité strictement propres.
2. Focus sur la Calibration : Il déplace la métrique d'évaluation de la simple précision vers la calibration, pénalisant directement la confiance hallucinée, ce qui est critique pour la gestion des risques.
3. Implémentation Pilote : L'article fournit une spécification et un essai pilote à petite échelle pour valider les mécanismes du pipeline.

Résultats du Pilote

Les auteurs ont mené un essai pilote le 15 janvier 2025, couvrant trois tickers liquides (AAPL, MSFT, NVDA) sur les trois horizons, résultant en un total de 33 prévisions. Les modèles testés incluent GPT-4o, GPT-4o Mini, Llama 3.1/3.3, Qwen2.5 et DeepSeek-V3.

• Précision Directionnelle vs Calibration : Sur cette journée spécifique, la plupart des modèles ont atteint une précision directionnelle élevée (souvent 100 % pour l'horizon MATIN). Cependant, les métriques sensibles à la calibration (Brier Score et BSS) ont révélé une variance significative.
• Détection de la Surestimation de la Confiance : Deux cas spécifiques (MSFT MATIN) impliquant Llama 3.1 70B et DeepSeek-V3 ont montré des scores de compétence négatifs. Ces modèles ont produit des probabilités modérément confiantes (0,55 et 0,56) pour des issues incorrectes ($Y=0$), entraînant des scores de Brier > 0,30 et des valeurs de BSS négatives.
• Qualité de l'Intervalle : Bien que la couverture des intervalles ait oscillé près de la plage nominale de 0,8–0,9, les scores de Winkler variaient, illustrant le compromis entre la largeur de l'intervalle et les ratés.
• Performance Composite : GPT-4o a obtenu le score composite le plus élevé, suivi de GPT-4o Mini et Llama 3.3, tandis que les autres modèles accusaient un retard dans les métriques de calibration malgré une précision similaire.

Note : Les auteurs précisent explicitement que ces résultats sont descriptifs et non statistiquement concluants en raison de la petite taille de l'échantillon.

Signification et Revendications

L'article affirme sa pertinence en répondant aux besoins spécifiques de la finance agentique, où l'incertitude est la sortie principale requise pour une prise de décision sûre (dimensionnement des positions, limites de risque, escalade humaine).

• Axes Distincts : Les auteurs démontrent que la calibration et la qualité de l'intervalle sont des axes distincts ; un système peut atteindre une couverture cible tout en rapportant des probabilités mal calibrées. Une métrique de précision unique masque ces comportements de risque critiques.
• Décalage Justification-Probabilité : Le benchmark isole un schéma qualitatif où les modèles génèrent des explications textuelles plausibles mais produisent des probabilités qui ne reflètent pas ces explications. FinBench score uniquement les composantes probabilistiques pour détecter ce décalage.
• Sécurité et Robustesse : En utilisant des règles de score strictement propres, FinBench aligne les incitations des modèles sur un rapport d'incertitude honnête, un prérequis pour le déploiement financier à enjeux élevés.

L'article conclut modestement, notant que le pilote est trop restreint pour revendiquer la supériorité ou la robustesse des modèles face aux changements de régime. Les travaux futurs visent à élargir l'univers des tickers, à standardiser la construction des bases de référence et à introduire des tranches de stress (ex: annonces macroéconomiques) pour étudier les changements de distribution.