Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
Cette étude de l'automne 2023 de l'Université George Washington démontre qu'un pipeline utilisant Falcon-7B avec des chaînes de résumé (Summarize Chains) automatise efficacement la synthèse de l'actualité financière pour dix grandes entreprises, surpassant à la fois les approches basées sur le RAG et la référence Lead-3, tout en mettant en évidence des défis persistants tels que l'hallucination dans les modèles plus petits.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque jour, le monde de la finance génère un déluge d'informations. Des milliers d'articles apparaissent en ligne, détaillant chacun les mouvements des entreprises, les décisions des dirigeants et les fluctuations du marché boursier. Pour un investisseur ou un analyste tentant de suivre ne serait-ce qu'un petit groupe de ces entreprises, lire chaque article est une tâche impossible. Manquer un détail crucial peut faire la différence entre un investissement intelligent et une erreur coûteuse. C'est ici que le domaine du traitement du langage naturel intervient, plus précisément la branche connue sous le nom de résumé de texte. Depuis des décennies, on apprend aux ordinateurs à lire de longs documents et à en extraire les phrases les plus importantes. Plus récemment, une nouvelle génération d'intelligence artificielle, appelée grands modèles de langage, a émergé. Ce sont des systèmes entraînés sur de vastes quantités d'écrits humains qui peuvent non seulement identifier les phrases clés, mais aussi réécrire l'information avec leurs propres mots, créant ainsi un récit frais et concis à partir d'une montagne de texte. La question posée aux chercheurs était de savoir si ces outils puissants pouvaient être dignes de confiance pour accomplir ce travail dans le monde à enjeux élevés de la finance, où la précision est non négociable et où les données se présentent sous deux formes très différentes : les récits fluides des articles de presse et les tableaux numériques rigides des cours boursiers.
À l'automne 2023, un chercheur de l'Université George Washington s'est lancé le défi de tester cette idée. L'objectif était de construire un système capable de rassembler automatiquement les actualités, les contextes d'entreprise et les données boursières pour dix grandes sociétés, puis de produire un briefing quotidien unique et facile à lire. Le défi était double. Premièrement, le système devait gérer le volume considérable de texte. Deuxièmement, et c'était peut-être plus difficile encore, il devait donner du sens aux chiffres. Les grands modèles de langage sont excellents pour comprendre le langage, mais ils trébuchent souvent lorsqu'ils sont confrontés à des feuilles de calcul brutes de prix d'actions et de volumes de transactions. Ils peuvent mal lire une colonne, calculer incorrectement un pourcentage ou simplement ignorer les chiffres. Pour résoudre ce problème, le chercheur a développé un pont simple mais ingénieux. Avant de soumettre les données à l'intelligence artificielle, un programme informatique convertissait les chiffres bruts en phrases de français courant. Au lieu de présenter au modèle un tableau avec une date et un prix, le système écrivait une phrase telle que : « Le 4 octobre, l'action a clôturé à 261,16, en hausse de 5,93 % avec une augmentation de 27,20 % du volume de transactions. » Cela permettait au modèle de langage de se concentrer sur le résumé de l'histoire sans avoir à faire de mathématiques, une tâche pour laquelle il n'est pas naturellement doué.
Le chercheur a ensuite testé deux manières différentes d'organiser cette information pour la lecture par l'ordinateur. La première méthode, appelée approche « Summarize Chains » (chaînes de résumé), fonctionne comme une course de relais. Le système divise la longue collection de nouvelles et d'informations contextuelles en petits segments. Il demande à l'ordinateur de résumer le premier segment, puis le deuxième, et ainsi de suite. Enfin, il prend tous ces petits résumés et les combine en un résumé maître. La seconde méthode, connue sous le nom de génération augmentée par récupération (RAG), ressemble davantage à un bibliothécaire. Lorsqu'le système doit rédiger un résumé, il parcourt l'ensemble de la collection de documents pour trouver les phrases spécifiques les plus pertinentes par rapport à la question actuelle, puis il ne donne à l'ordinateur que ces phrases sélectionnées pour travailler. L'étude a évalué trois modèles différents d'intelligence artificielle en code ouvert utilisant ces méthodes, aux côtés d'un modèle propriétaire plus coûteux pour les résumés de données boursières.
Les résultats ont offert un portrait clair de ce qui fonctionne et de ce qui ne fonctionne pas. L'approche la plus réussie s'est avérée être la méthode des « Summarize Chains » utilisant un modèle spécifique en code ouvert appelé Falcon-7B. Cette combinaison a réussi à couvrir chaque événement majeur de l'actualité avec précision, préservant des détails importants comme le nombre exact d'employés licenciés par un géant de la technologie, et ce, sans se répéter ni inventer de faits. En revanche, la méthode de récupération de type « bibliothécaire » a causé des problèmes importants. Lorsque le système tentait de récupérer trop de phrases pertinentes à la fois, l'ordinateur devenait confus, répétant les mêmes trois informations de presse des dizaines de fois dans un seul résumé. Dans d'autres cas, la méthode de récupération a conduit l'ordinateur à mélanger les faits, comme attribuer une amende payée par une entreprise à une autre entreprise totalement différente. Ces erreurs, appelées hallucinations, se produisaient plus fréquemment lorsque l'ordinateur recevait trop d'informations à trier à la fois.
L'étude a également confirmé que la stratégie consistant à convertir les chiffres en phrases fonctionnait parfaitement. Lorsque l'ordinateur recevait les phrases pré-écrites concernant les cours boursiers, il produisait des résumés factuellement exacts pour les six entreprises testées, sans chiffres inventés ni calculs erronés. Cela a prouvé que retirer les mathématiques des mains de l'intelligence artificielle pour les confier à un simple script informatique était la bonne décision. Bien que la méthode de récupération soit prometteuse en théorie, l'étude a révélé qu'en pratique, elle introduisait trop d'erreurs et de répétitions pour être fiable pour le reporting financier sans modifications significatives. Le chercheur a construit un tableau de bord opérationnel qui permet aux utilisateurs de voir des graphiques boursiers et de lire ces résumés automatisés, démontant que le système est assez pratique pour être utilisé comme un véritable outil. Les travaux suggèrent que, bien que l'intelligence artificielle puisse effectivement automatiser la lecture de l'actualité financière, la manière dont l'information est injectée dans la machine compte tout autant que la machine elle-même. La voie la plus fiable pour l'instant est de laisser l'ordinateur faire ce qu'il fait de mieux — comprendre le langage — tout en laissant un simple script gérer les chiffres et organiser l'information de manière à éviter que la machine ne soit submergée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.