SenseAI: A Human-in-the-Loop Dataset for RLHF-Aligned Financial Sentiment Reasoning

Ce papier présente SenseAI, un jeu de données validé par des humains et conçu pour l'apprentissage par renforcement à partir de retours humains (RLHF), qui capture le processus de raisonnement complet des modèles financiers afin d'identifier et de corriger des erreurs systématiques telles que la dérive de raisonnement latent.

L'essentiel

🌟 SenseAI : Le "Coach Humain" pour les IA Financières

Imaginez que vous avez un élève très brillant, disons un étudiant en finance nommé L'IA. Il a lu tous les livres du monde, connaît le vocabulaire par cœur et peut écrire des essais magnifiques. C'est un génie généraliste.

Mais, si vous lui demandez d'analyser une nouvelle financière complexe (par exemple : "Les bénéfices de la société X ont augmenté, mais le marché s'inquiète de l'inflation"), il fait une erreur classique : il est trop prudent. Il dit : "C'est un peu positif, mais peut-être un peu négatif aussi..." alors qu'un expert humain verrait clairement que c'est une bonne nouvelle.

C'est là qu'intervient SenseAI.

1. Le Problème : L'IA qui "Pense Trop" (mais mal)

Les anciens jeux de données financiers (comme FinancialPhraseBank) étaient comme des fiches de révision simples : une phrase, et une réponse (Positif/Négatif). C'était bien pour les vieux ordinateurs, mais pas pour les IA modernes qui doivent prendre des décisions d'argent réelles.

Le problème, c'est que les IA actuelles ont deux défauts majeurs :

• Elles sont trop timides : Elles utilisent trop de mots de prudence ("un peu", "peut-être") même quand la nouvelle est claire.
• Elles hallucinent : Elles mélangent ce qu'elles lisent avec ce qu'elles savent déjà d'ailleurs. Par exemple, si elles lisent une nouvelle sur une entreprise, elles peuvent inconsciemment ajouter des détails sur l'histoire de cette entreprise qu'ils n'ont pas lus dans le texte du jour. C'est comme si un détective, en examinant une scène de crime, commençait à inventer des détails basés sur des films qu'il a vus, au lieu de se fier uniquement aux preuves.

2. La Solution : SenseAI, le "Journal de Bord"

SenseAI n'est pas juste une liste de réponses. C'est un journal de bord ultra-détaillé créé par une équipe spéciale :

1. L'IA lit une nouvelle et donne son avis (avec ses raisons et son niveau de confiance).
2. Un Expert Humain (un vrai analyste financier) lit la même chose.
3. Si l'IA se trompe, l'humain la corrige et note exactement où elle a dévié.

C'est comme si vous preniez un élève, vous lui faisiez faire un exercice, et au lieu de juste mettre une note "20/20" ou "10/20", vous écriviez dans la marge : "Tu as raison sur le fond, mais tu as trop hésité sur ce mot précis, et tu as ajouté une information qui n'était pas dans le texte."

3. Les 6 Découvertes Surprenantes (Les "Révélations")

En analysant ce journal de bord, les chercheurs ont découvert six choses fascinantes sur le cerveau de l'IA :

• 🎭 L'Excès de Prudence : L'IA adore les demi-teintes. Elle transforme souvent un "Super positif" en "Un peu positif". C'est comme si elle avait peur de se tromper et préférait ne jamais prendre de risque.
• 🎲 La Fausse Confiance : L'IA dit souvent "Je suis sûr à 70%". Mais en réalité, quand elle dit 70%, elle a autant de chances de se tromper que quand elle dit 60%. Sa "confiance" ne veut rien dire ! C'est comme un météorologue qui dit "Il y a 50% de chance de pluie" même s'il regarde un ciel bleu dégagé.
• 👻 La "Dérive Latente" (Le Fantôme) : L'IA ne lit pas seulement le texte. Elle "hante" le texte avec ses connaissances passées. Elle mélange le présent avec son passé. C'est dangereux en finance car on veut une analyse basée uniquement sur l'information du jour.
• 🎯 La "Zone Goldilocks" (L'Juste Milieu) : C'est la découverte la plus importante ! L'IA n'est pas complètement nulle, ni parfaite. Elle est dans la Zone Goldilocks (comme l'ours et les trois ours) : elle est "juste comme il faut" pour être utile, mais elle a besoin de petits ajustements. Elle ne fait pas d'erreurs catastrophiques (elle ne dit pas "C'est négatif" quand c'est "Positif"), elle fait juste des erreurs de nuance.
  • Pourquoi c'est génial ? Cela signifie qu'on peut l'entraîner facilement pour devenir parfaite, car ses erreurs sont prévisibles et corrigibles.
• 🔮 La Projection vers le Futur : L'IA a tendance à deviner ce qui va se passer demain, alors qu'elle devrait juste analyser ce qui est écrit aujourd'hui. Elle "devine" au lieu d'analyser.
• 🔄 L'Évolution : Même si les modèles d'IA s'améliorent (passant de GPT-5.1 à 5.2), ils gardent ces mêmes défauts de prudence. SenseAI sert donc de règle de mesure pour voir comment ils s'améliorent (ou non) au fil du temps.

4. Pourquoi c'est important pour vous ?

Imaginez que vous dirigez un fonds d'investissement. Vous utilisez une IA pour analyser des milliers d'articles de presse chaque jour et vous dire : "Achetez !", "Vendez !", ou "Attendez".

• Sans SenseAI : L'IA pourrait être trop timide et rater une opportunité de gain, ou trop confiante et vous faire perdre de l'argent.
• Avec SenseAI : On prend l'IA, on la "coache" avec ce dataset. On lui apprend à être plus directe, à ne pas inventer de détails, et à mieux évaluer sa propre confiance.

C'est comme passer d'un élève qui révise seul dans sa chambre à un élève qui a un coach personnel qui corrige chaque erreur de raisonnement en temps réel.

En Résumé

SenseAI est un nouveau type de "manuel d'entraînement" pour les intelligences artificielles financières. Au lieu de leur donner des réponses toutes faites, il leur apprend comment raisonner comme un expert humain, en corrigeant leurs hésitations et leurs hallucinations.

C'est la clé pour transformer les IA de "générateurs de texte" en véritables analystes financiers de confiance, capables de prendre des décisions d'argent réelles sans paniquer.

Résumé technique

1. Problématique et Contexte

Le papier identifie une lacune structurelle critique dans les ressources actuelles de Traitement du Langage Naturel (NLP) appliqué à la finance, notamment dans les benchmarks largement utilisés comme FinancialPhraseBank.

• Limites des données existantes : Les jeux de données actuels capturent principalement « quel » est le sentiment (étiquetage binaire ou ternaire) mais ne documentent pas « comment » un expert arrive à cette conclusion. Ils manquent de chaînes de raisonnement (Chain-of-Thought), de signaux de correction humaine et de validation par les résultats du marché.
• Inadéquation pour l'IA moderne : Ces structures sont insuffisantes pour entraîner des agents financiers basés sur les grands modèles de langage (LLM) qui doivent opérer dans des environnements à haute enjeu. Contrairement aux tâches générales, la finance exige une précision contextuelle, une gestion des nuances linguistiques et une traçabilité des décisions, car les erreurs de classification ont des conséquences monétaires directes.
• Le mur des données : Face à l'épuisement des données textuelles publiques de haute qualité (« Data Wall »), la différenciation repose désormais sur des jeux de données propriétaires, riches structurellement et spécifiques à un domaine.

2. Méthodologie et Conception du Jeu de Données (SenseAI)

SenseAI est un corpus propriétaire, collecté en continu depuis décembre 2024, conçu spécifiquement pour l'alignement par Apprentissage par Renforcement à partir de Retours Humains (RLHF).

A. Architecture et Schéma de Données

Chaque point de données (1 439 points au moment de l'étude) contient 13 champs, offrant un contexte cognitif complet :

• Entrées : Ticker de l'action, timestamp, titre de l'actualité, paragraphe complet de l'actualité.
• Sorties de l'IA : Classification du sentiment (5 catégories : de très haussier à très baissier), chaîne de raisonnement complète (CoT), score de confiance.
• Validation Humaine (HITL) : Indicateur de correction, sentiment corrigé par l'expert, type d'édition (Catégorie 0 à 3).
• Validation Externe : Prix de l'action à l'appel et 4 heures plus tard (pour valider objectivement la qualité du sentiment).

B. Processus de Collecte et Contrôle Qualité

• Boucle Humaine (HITL) : Un expert financier (étudiant en master spécialisé) révise systématiquement les sorties d'un LLM (GPT-5.2, GPT-5 mini, etc.).
• Taxonomie de Correction :
  • Catégorie 0 : Aucune correction (accepté).
  • Catégorie 1 : Correction mineure (ajustement de nuance, ex: « Légèrement haussier » $\to$ « Haussier »).
  • Catégorie 2 : Correction modérée (changement de sens significatif).
  • Catégorie 3 : Inversion complète (ex: « Haussier » $\to$ « Baissier »).
• Protocole de Qualité : Un test de cohérence interne est effectué périodiquement par le même annotateur, visant un taux de cohérence de 90 %.

C. Alignement avec le RLHF

Le jeu de données est architecturalement conçu pour répondre aux trois exigences du RLHF :

1. Signaux de préférence humaine : Indication claire de ce qui est accepté ou corrigé.
2. Annotations de correction : Paires (sortie IA, sortie humaine) pour l'entraînement du modèle de récompense.
3. Contexte de raisonnement : Présence des chaînes de pensée pour apprendre les patterns de raisonnement, pas seulement l'étiquette finale.

3. Contributions Clés et Résultats Empiriques

L'analyse préliminaire de SenseAI a révélé six découvertes empiriques majeures sur le comportement des LLMs en finance :

1. Hypersensibilité aux qualificateurs linguistiques : Les modèles tendent systématiquement vers des classifications intermédiaires et « hedgées » (ex: « Légèrement haussier ») même face à des signaux directionnels forts, en raison d'une surpondération des nuances linguistiques.
2. Sur-hédging systématique de la confiance : Les scores de confiance sont concentrés dans la bande 60-69 %, indépendamment de la clarté du signal. De plus, il n'y a aucune corrélation statistique entre le score de confiance de l'IA et la probabilité d'une correction humaine.
3. Dérive du raisonnement latent (Latent Reasoning Drift) : Découverte inédite. Le modèle intègre des connaissances globales apprises lors du pré-entraînement (historique de l'entreprise, conditions de marché générales) dans l'analyse d'un seul document, contaminant ainsi l'analyse ancrée dans le texte fourni.
4. La « Zone Goldilocks » (Zone d'Or) : Environ 51,4 % des prédictions nécessitent une correction humaine, mais 99,7 % de ces corrections sont mineures (Catégorie 1) ou modérées. Il n'y a aucune inversion complète (Catégorie 3). Cela indique que les modèles sont « juste assez » précis pour être utiles, mais « assez » imparfaits pour que l'ajustement humain apporte une valeur ajoutée mesurable et rentable.
5. Projection avant et dérive ancrée : Les modèles projettent souvent des hypothèses sur des événements futurs non mentionnés dans le texte source, un biais détectable uniquement via l'analyse des chaînes de raisonnement.
6. Effets de version du modèle : Le passage à GPT-5.2 a réduit les erreurs modérées (Catégorie 2) à presque zéro, confirmant que la « Zone Goldilocks » persiste à travers les générations de modèles, rendant le dataset pertinent dans le temps.

4. Signification et Applications Commerciales

A. Pour la Recherche et le Développement

• Nouveau Paradigme d'Entraînement : SenseAI démontre que la qualité et la richesse structurelle (raisonnement + correction + validation) surpassent le volume brut pour l'ajustement fin (fine-tuning) des LLMs en finance.
• Conformité Réglementaire : La capacité à détecter la « dérive du raisonnement latent » est cruciale pour la conformité (SEC, FCA), car les régulateurs exigent que les décisions de l'IA soient ancrées dans des preuves identifiables et non dans des connaissances internes non déclarées.
• Calibration de la Confiance : Le dataset permet d'entraîner des modèles dont les scores de confiance reflètent réellement la précision, une condition sine qua non pour le déploiement automatisé en entreprise.

B. Applications Industrielles

Le jeu de données est conçu pour alimenter des agents financiers autonomes dans :

• La génération de signaux de trading algorithmique (où la nuance entre « haussier » et « légèrement haussier » impacte la taille des positions).
• L'analyse automatisée des conférences téléphoniques et des rapports d'analystes.
• La surveillance des déclarations réglementaires pour détecter les événements matériels.
• La gestion des risques et l'agrégation de sentiments à l'échelle du portefeuille.

Conclusion

SenseAI représente une avancée majeure en NLP financier en passant d'une simple classification de sentiment à un système de raisonnement validé par l'humain. En fournissant des données structurées pour le RLHF, incluant des chaînes de pensée, des corrections expertes et une validation par le marché, il offre la fondation nécessaire pour développer des agents financiers d'entreprise fiables, explicables et alignés sur les réalités du marché. Le papier invite à la collaboration commerciale et académique pour exploiter ce potentiel via l'accès au dataset ou des projets de co-auteur.