💬 NLP

Taxonomy-Aligned Risk Extraction from 10-K Filings with Autonomous Improvement Using LLMs

Cet article présente un pipeline en trois étapes basé sur les LLM pour l'extraction de facteurs de risque structurés à partir des rapports 10-K qui s'aligne sur une taxonomie prédéfinie et comporte un agent autonome pour l'affinement continu de la taxonomie, démontrant à la fois une haute précision d'extraction et la capacité à capturer des profils de risque sectoriels économiquement significatifs.

Auteurs originaux : Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Publié 2026-01-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective financier tentant de comprendre pourquoi des milliers d'entreprises différentes pourraient faire faillite. Vous disposez d'une immense bibliothèque de rapports annuels (appelés documents « 10-K »), mais la section « Facteurs de risque » de chacun est rédigée dans un langage humain désordonné et unique. Une entreprise pourrait dire : « Nous craignons que le dollar ne devienne trop fort », tandis qu'une autre dira : « Les fluctuations des devises étrangères pourraient nous nuire. » Ils signifient la même chose, mais un ordinateur voit ces deux problèmes comme totalement différents.

Si vous laissiez simplement une IA intelligente (un grand modèle de langage, ou LLM) lire ces rapports et lister les risques, vous obtiendriez un désordre chaotique d'étiquettes différentes. C'est comme demander à une centaine de personnes de trier un tas de jouets mélangés dans des boîtes, mais que chacun utilise ses propres noms pour les boîtes. On se retrouve avec des catégories « Roues tournantes », « Objets ronds » et « Pièces de voiture » au lieu d'une catégorie propre nommée « Roues ».

Ce document présente un système en trois étapes pour corriger ce désordre et organiser les risques en une liste propre et cohérente, tout en apprenant au système comment s'améliorer de lui-même.

Le pipeline en trois étapes

Considérez ce processus comme une ligne de contrôle qualité haut de gamme dans une usine :

1. Le Lecteur Expert (Extraction)
D'abord, une IA lit le texte désordonné et extrait chaque risque qu'elle trouve. Crucialement, elle n'essaie pas encore de forcer le risque dans une boîte. Au lieu de cela, elle agit comme un avocat : elle trouve le risque et copie la phrase exacte du rapport qui prouve l'existence du risque.

Analogie : Imaginez un détective notant chaque indice et la page exacte où il l'a trouvé, sans se soucier encore de savoir à quel « dossier de l'affaire » il appartient.

2. Le Créateur de Correspondances Sémantiques (Mapping)
Ensuite, le système utilise une « carte sémantique » (un type d'IA qui comprend le sens, et non seulement les mots-clés) pour comparer les indices du détective à une liste préétablie de catégories de risques officielles (une Taxonomie). Cette liste comporte 140 catégories spécifiques, telles que « Risque de taux d'intérêt » ou « Risque de cybersécurité ».

Analogie : Le système regarde l'indice et demande : « Cela ressemble-t-il plus au dossier 'Météo' ou au dossier 'Juridique' ? » Il utilise les mathématiques pour trouver la correspondance la plus proche.
Le Problème : Parfois, les mathématiques se trompent. Le système peut forcer un indice dans une boîte simplement parce que c'est l'option la « moins pire », même s'il n'appartient pas vraiment là.

3. Le Juge Strict (Validation)
Cette étape est la plus importante. Une seconde IA agit comme un « Juge ». Elle examine l'indice, la boîte proposée et la description officielle de cette boîte. Elle attribue à la correspondance un score de 1 à 5.

Analogie : Imaginez un professeur strict corrigeant les devoirs d'un élève. Si l'élève essaie de mettre un problème de mathématiques dans le dossier « Histoire », le professeur dit : « Non, c'est un 1/5. Cela n'appartient pas ici. »
Le Résultat : Le système élimine les correspondances de faible score (les mauvais ajustements) et ne conserve que les correspondances de haute qualité. Cela garantit l'exactitude de la liste finale.

La fonctionnalité d'« Auto-amélioration »

Le document introduit une nouvelle fonctionnalité intéressante : l'Amélioration Autonome.

Habituellement, si une catégorie dans la liste est déroutante, un humain doit trouver l'erreur et la corriger. Ici, le système le fait lui-même.

Comment cela fonctionne : L'IA « Juge » tient un journal de chaque fois qu'elle a donné un score faible. Un agent automatisé (un robot assistant) examine ces journaux, identifie des modèles et comprend pourquoi le système est confus.
La Correction : L'agent réécrit la description de la catégorie déroutante pour la rendre plus claire.
Exemple Réel : Le document a testé cela sur une catégorie appelée « Approbation Pharmaceutique ». Le système se confondait entre les règles américaines (FDA) et européennes (EMA). L'agent a remarqué ce schéma, a réalisé que la description était trop axée sur les États-Unis, et l'a réécrite pour inclure les « agences internationales ».
Le Résultat : Cette auto-correction a permis à la capacité du système à distinguer les correspondances correctes des incorrectes de s'améliorer de 104,7 %. Le système s'est littéralement appris à lui-même comment mieux trier.

Est-ce que cela fonctionne vraiment ? (La Preuve)

Pour prouver que leur système ne fait pas que l'inventer, les auteurs l'ont testé sur 500 grandes entreprises américaines (le S&P 500). Ils ont posé une question simple : « Les entreprises d'un même secteur présentent-elles des profils de risque similaires ? »

Le Test : Ils ont pris les listes de risques nettoyées et les ont comparées. Ils n'ont pas dit à l'ordinateur quelles entreprises étaient des banques ou des fabricants de médicaments. Ils ont simplement laissé l'ordinateur observer les risques.
Le Constat : L'ordinateur a naturellement regroupé les banques ensemble et les entreprises pharmaceutiques ensemble.
- Les entreprises d'un même secteur présentaient des profils de risque 63 % plus similaires que les entreprises de secteurs différents.
- Par exemple, 83 % des banques ont été signalées pour un « Risque de taux d'intérêt », alors que seulement 22 % de toutes les autres entreprises l'étaient. Parallèlement, les banques présentaient rarement des risques liés aux « Matières premières », ce qui est une préoccupation majeure pour les usines.
La Conclusion : Le système a réussi à extraire des vérités économiques réelles sur ces entreprises sans qu'on lui indique explicitement leur secteur d'activité.

Résumé

Ce document décrit une méthode pour transformer un texte financier désordonné et non structuré en une liste de risques propre et organisée. Il utilise une équipe en trois étapes (Lecteur, Associtateur, Juge) pour garantir l'exactitude et inclut un « robot d'auto-correction » qui rectifie ses propres erreurs au fil du temps. Le résultat est un système capable de comprendre automatiquement les dangers spécifiques auxquels font face différents types d'entreprises, tout comme le ferait un expert humain, mais à la vitesse d'un ordinateur.

Résumé technique : Extraction de risques alignée sur une taxonomie à partir des rapports 10-K avec amélioration autonome via les LLM

Énoncé du problème

Les rapports 10-K des entreprises contiennent une section « Facteurs de risque » (Item 1A) qui offre des perspectives critiques sur les incertitudes auxquelles font face les sociétés cotées. Cependant, la nature non structurée et la longueur substantielle de ces documents rendent l'analyse manuelle et systématique à grande échelle impraticable. Bien que les modèles de langage étendus (LLM) puissent extraire des informations sur les risques, une approche naïve produit des étiquettes idiosyncrasiques et incohérentes (par exemple, « risque de fluctuation monétaire » contre « exposition aux changes »), ce qui empêche toute comparaison systématique. Le défi central consiste à extraire des facteurs de risque structurés à partir de textes en forme libre tout en adhérant strictement à une taxonomie hiérarchique prédéfinie, en garantissant que les correspondances sont à la fois sémantiquement exactes et exemptes d'assignations spécieuses.

Méthodologie

Les auteurs proposent un pipeline à trois étapes qui combine les forces des LLM, des plongements sémantiques (embeddings) et de la validation par LLM pour parvenir à une extraction robuste et alignée sur la taxonomie.

1. Taxonomie des risques à trois niveaux

Le système utilise une taxonomie hiérarchique personnalisée conçue spécifiquement pour l'analyse d'investissement, comprenant :

7 catégories primaires (ex. : Stratégique et Compétitif, Financier et Marché).
28 catégories secondaires.
140 catégories tertiaires (classifications de niveau feuille).
Contrairement aux taxonomies existantes qui peuvent sur-subdiviser les risques (par exemple, en séparant les types de tempêtes), cette taxonomie équilibre l'exhaustivité et la granularité requises pour la prise de décision financière.

2. Le pipeline à trois étapes

Étape 1 : Extraction des risques basée sur le LLM

Entrée : Texte brut de l'Item 1A des rapports 10-K.
Processus : Un LLM (Claude 4.5 Sonnet) extrait une liste exhaustive de facteurs de risque sans contrainte de correspondance avec la taxonomie.
Sortie : Une liste de tuples contenant une étiquette de risque en texte libre et une citation de soutien du texte original. Cette approche de « chaîne de pensée » (chain-of-thought) garantit une extraction ancrée et fournit les segments de texte nécessaires à la correspondance sémantique ultérieure.

Étape 2 : Correspondance taxonomique basée sur les plongements (embeddings)

Processus : Chaque citation de soutien extraite est transformée en vecteur (embedding) via le modèle Qwen3 Embedding 0.6B, guidée par une instruction spécifique à la tâche (« Classer le texte du facteur de risque... »). Celles-ci sont mises en correspondance avec les vects pré-calculés des descriptions des 140 catégories tertiaires.
Mécanisme : La recherche du plus proche voisin (produit scalaire) assigne chaque risque à la catégorie la plus sémantiquement similaire.
Limite : Cette étape garantit une correspondance pour chaque risque, même si aucune catégorie appropriée n'existe, ce qui peut conduire à des assignations spécieuses.

Étape 3 : Validation par le LLM en tant que juge (LLM-as-a-Judge)

Processus : Une instance distincte du LLM agit comme un juge pour évaluer la qualité de chaque correspondance proposée (citation vers catégorie).
Notation : Le juge évalue l'adéquation sur une échelle de 1 à 5 (1 = Très médiocre, 5 = Excellent) et fournit un raisonnement concis.
Filtrage : Seules les correspondances ayant un score $\ge$ 4 sont conservées pour la sortie finale. Les correspondances de score inférieur sont enregistrées avec leur raisonnement pour informer l'affinement de la taxonomie.
Déduplication : La sortie finale ne conserve que la correspondance de plus haute qualité pour chaque catégorie de la taxonomie par rapport au rapport financier.

3. Affinement autonome de la taxonomie

Une contribution distincte de l'article est un flux de travail autonome pour l'amélioration continue de la taxonomie :

Boucle de rétroaction : Un agent IA analyse les correspondances de faible qualité enregistrées (scores < 4) pour identifier les catégories problématiques.
Diagnostic : L'agent agrège les schémas d'échec (par exemple, confusion de portée géographique, désalignement pré-marché vs post-marché) basés sur le raisonnement du juge.
Affinement et Test : L'agent propose des raffinements de description candidats et les valide à l'aide d'une méthodologie de test basée sur les plongements (embeddings). Cela implique de mesurer la « séparation des plongements » (la différence entre les scores de similitude moyens des cas de test positifs réels et des faux positifs) pour s'assurer que la nouvelle description améliore la discrimination sémantique.

Contributions clés

Méthodologie d'extraction robuste : Un pipeline hybride qui combine l'extraction par LLM, la similitude par plongement et la validation par LLM pour mapper de manière fiable le texte en texte libre vers une taxonomie fixe tout en filtrant les faux positifs.
Taxonomie spécifique à l'investissement : Une hiérarchie à trois niveaux adaptée à l'analyse d'investissement, équilibrant la couverture et l'utilité pratique.
Maintenance autonome : Une méthode systématique où un agent IA utilise le feedback d'évaluation pour identifier, diagnostiquer et affiner de manière autonome les catégories de la taxonomie, créant ainsi une boucle d'amélioration continue.
Validation empirique : Évaluation étendue sur les rapports 10-K de 500 entreprises du S&P 500, extrayant 10 688 facteurs de risque validés.

Résultats et évaluation

La méthodologie a été évaluée sur les rapports 10-K de 2024 pour 500 entreprises du S&P 500, extrayant 10 688 facteurs de risque validés.

Étude de cas sur l'affinement autonome

Dans une étude de cas impliquant la catégorie « Approbation des produits pharmaceutiques et des dispositifs médicaux », l'agent autonome a identifié que la description originale causait une confusion concernant la portée géographique (FDA vs EMA) et le calendrier (pré-marché vs post-marché).

Résultat : L'agent a généré une description raffinée qui énumère explicitement plusieurs autorités de santé et met l'accent sur l'approbation pré-marché.
Métrique : Ce raffinement a entraîné une amélioration de 104,7 % de la séparation des plongements (passant de 0,064 à 0,132), réduisant considérablement les faux positifs.

Validation par regroupement sectoriel

Pour tester si les risques extraits capturent une structure économique réelle, les auteurs ont analysé la similitude des profils de risque entre les industries sans utiliser de codes industriels lors de la correspondance.

Similitude : Les entreprises d'une même industrie ont présenté une similitude de profil de risque 63 % plus élevée que les paires inter-industries.
Signification statistique : La différence était hautement significative ( $p < 0,001$ ) avec une taille d'effet importante (Cohen's $d = 1,06$ ).
Pouvoir prédictif : L'utilisation de la similitude des risques pour prédire l'appartenance à une industrie a produit un AUC de 0,733 pour les secteurs larges de 2 chiffres SIC et de 0,822 pour les industries spécifiques de 4 chiffres.
Granularité : Le signal se renforce avec des définitions industrielles plus fines, confirmant que la taxonomie capture des caractéristiques industrielles spécifiques plutôt que des éléments génériques standardisés.

Modèles sectoriels spécifiques

L'analyse du secteur des « Institutions de dépôt » (SIC 60) a révélé des modèles intuitifs :

Le risque de taux d'intérêt apparaît dans 83 % des banques contre 22 % de l'ensemble des entreprises.
Les exigences de capital et de liquidité apparaissent dans 67 % des banques contre 3 % globalement.
Inversement, les risques liés à la fabrication (ex. : disponibilité des matières premières) sont nettement absents dans le secteur bancaire.

Signification et affirmations

L'article affirme fournir un cadre général pour extraire des informations structurées à partir de textes non structurés tout en maintenant l'adhérence à des systèmes catégoriels prédéfinis. La signification réside dans :

Résolution du piège « de l'improvisé à l'improvisé » : Dépasser la simple extraction par LLM qui produit des étiquettes incohérentes pour un système qui impose une taxonomie cohérente et organisée.
Amélioration continue : Passer du développement de la taxonomie d'un problème de conception statique à un système s'améliorant de manière itérative, où la qualité augmente à mesure que davantage de documents sont traités, réduisant ainsi la charge de maintenance humaine.
Validité économique : Démontrer que les données extraites ne sont pas simplement linguistiques mais capturent de véritables dimensions de risque économique, comme le prouve la forte corrélation entre les profils de risque et les secteurs industriels.

Les auteurs notent que bien que l'implémentation actuelle se concentre sur les rapports 10-K en anglais, la méthodologie est indépendante de la langue et applicable à d'autres domaines nécessitant une extraction alignée sur une taxonomie. Les limites incluent les coûts d'API et la latence des LLM, bien que celles-ci soient atténuées par le traitement par lots et la mise en cache.