Hierarchical Reranking for Scalable Financial RAG System
Cet article présente Hierarchical Reranker, un cadre RAG évolutif qui intègre l'optimisation de la pré-récupération, un mécanisme de classement à deux étapes et la gestion du contexte long pour améliorer significativement la précision de la récupération et la cohérence factuelle pour l'analyse de documents financiers complexes, comme en témoigne sa performance de premier rang lors du défi FinanceRAG de l'ACM-ICAIF '24.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime unique, on vous remet une bibliothèque contenant des millions de livres, chacun rempli de milliers de pages de texte minuscule et déroutant et de graphiques complexes. C'est la réalité quotidienne des analystes financiers qui doivent lire des documents tels que les rapports 10-K (de grands rapports que les entreprises déposent auprès du gouvernement) pour trouver des chiffres ou des faits spécifiques. Dans le monde de l'intelligence artificielle, il existe un outil appelé RAG (Retrieval-Augmented Generation ou Génération Augmentée par Récupération) qui agit comme un bibliothécaire super intelligent. Il ne se contente pas de lire les livres ; il les parcourt pour trouver les pages exactes dont vous avez besoin, puis rédige un résumé basé uniquement sur ce qu'il a trouvé. Cependant, les bibliothécaires standards sont souvent dépassés par la taille immense de ces bibliothèques financières, s'embrouillent avec le mélange de mots et de chiffres, ou inventent des faits lorsque les documents sont trop longs. Ce document traite de la manière de construire un bibliothécaire qui soit rapide, précis et qui ne se perde pas dans les détails lorsque la tâche devient colossale.
Les auteurs de ce document, Joohyun Lee et Sungwoo Hong, proposent un nouveau système appelé le Hierarchical Reranker (Réorganisateur Hiérarchique). Voyez ce système comme un processus de recrutement en deux étapes pour une équipe de détectives. Au lieu d'embaucher un seul détective géant, coûteux et lent pour lire chaque page d'un livre de 100 000 pages, ce système utilise une stratégie d'équipe « petit et grand ». D'abord, un détective rapide et léger (un petit modèle d'IA) balaie rapidement toute la bibliothèque et écarte les pages qui sont évidemment non pertinentes, réduisant ainsi la pile aux 100 pages les plus prometteuses. Ensuite, un détective expert, hautement qualifié et puissant (un grand modèle d'IA), examine attentivement ces 100 pages pour choisir les 20 meilleures qui répondent véritablement à la question. Cette approche permet de gagner du temps et de l'argent car l'expert coûteux ne fait le travail difficile que sur les candidats les plus probables, plutôt que de gaspiller de l'énergie sur l'ensemble de la bibliothèque.
Mais trouver les bonnes pages n'est que la moitié de la bataille. Le document introduit également une façon ingénieuse de traiter les documents avant même que les détectives ne commencent à chercher. Les documents financiers sont désordonnés ; ils utilisent des abréviations comme « YoY » (Year-over-Year / d'une année sur l'autre) ou « EPS » (Earnings per Share / bénéfice par action) et mélangent des paragraphes de texte avec de gigantesques tableaux de chiffres. La première étape du système est de « nettoyer » la requête et les documents. Il transforme ces abréviations déroutantes en mots complets, standardise les unités (pour que « 1M » et « 1 000 000 » se ressemblent) et, surtout, convertit ces tableaux désordonnés en un format structuré appelé JSON. C'est comme prendre une feuille de calcul manuscrite et la transformer en une base de données numérique afin que l'IA ne se confonde pas sur quel chiffre appartient à quelle catégorie. En effectuant ce « pré-nettoyage », le système garantit que l'IA comprend parfaitement la question et les preuves avant même de commencer sa recherche.
Le troisième grand tour de force utilisé par les auteurs est une stratégie pour gérer les documents qui sont simplement trop longs pour tenir dans la mémoire de l'IA à la fois. Même si les modèles d'IA modernes prétendent pouvoir lire de vastes quantités de texte, le document a révélé que lorsque le texte dépasse un certain seuil (spécifiquement 64 000 tokens, qui est une mesure de la longueur du texte), l'IA commence à commettre des erreurs, particulièrement avec les chiffres. Pour corriger cela, le système agit comme un chef préparant un banquet massif. Au lieu d'essayer de manger tout le repas d'un coup, il découpe le document long en deux morceaux plus petits et gérables. Il demande à l'IA d'analyser le premier morceau et de rédiger une ébauche de réponse, puis d'analyser le second morceau et d'écrire une autre ébauche. Enfin, une étape de « fusion » combine ces deux ébauches en une seule réponse finale, en vérifiant qu'elles concordent et en résolvant les conflits. Cela garantit que même si le document est un rapport de 100 000 pages, l'IA ne perd pas le fil des faits.
Lorsque les chercheurs ont testé leur système sur plusieurs benchmarks financiers célèbres (comme FinQA et FinanceBench), les résultats ont été impressionnants. Le système a obtenu un score de 0,7918 sur une métrique appelée NDCG@20, qui mesure la capacité du système à classer les informations correctes en haut de sa liste. Ce score était nettement supérieur aux systèmes qui n'utilisaient pas leurs méthodes spéciales de nettoyage et de classement en deux étapes. En fait, cette approche a été si efficace qu'elle a permis à l'équipe de décrocher la deuxième place du défi ACM-ICAIF '24 FinanceRAG, une compétition conçue pour tester la capacité de l'IA à manipuler des données financières. Le document suggère qu'en combinant ces trois innovations — le nettoyage des données, l'utilisation d'une équipe de détectives en deux étapes et le découpage intelligent des documents longs — les institutions financières peuvent désormais construire des systèmes d'IA qui sont non seulement intelligents, mais aussi assez fiables pour être utilisés dans des tâches réelles comme l'audit et l'analyse d'investissement, sans que l'IA n'invente de faits ou ne se perde dans le bruit.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.