Utilizing Pre-trained and Large Language Models for 10-K Items Segmentation

Cette étude propose et compare deux méthodes avancées de segmentation des items des rapports 10-K, à savoir GPT4ItemSeg et BERT4ItemSeg, démontrant que cette dernière atteint les meilleures performances tout en offrant un cadre extensible pour l'analyse textuelle en finance et en comptabilité.

L'essentiel

Imaginez que vous devez lire des milliers de rapports annuels d'entreprises (les fameux "10-K" aux États-Unis) pour trouver des informations précises, comme les risques financiers ou la discussion sur la gestion. Le problème ? Ces rapports sont comme des livres géants, parfois de plusieurs centaines de pages, écrits dans un format très désordonné. Parfois, le chapitre "Risques" commence ici, parfois là, et les titres changent d'une année à l'autre.

C'est là que cette étude entre en jeu. Elle propose une nouvelle façon de trier automatiquement ces documents, un peu comme si vous aviez un assistant ultra-intelligent capable de feuilleter ces livres et de dire : "Voici exactement où commence et où finit le chapitre sur les risques."

Voici l'explication de leur travail, simplifiée et imagée :

1. Le Problème : Le Tri à la Main (ou avec des Règles Rigides)

Avant, les chercheurs utilisaient des méthodes très rigides, comme des chasseurs de mots-clés.

• L'analogie : Imaginez que vous cherchez le mot "Pomme" dans un livre. Vous utilisez un surligneur automatique. Si le mot "Pomme" apparaît, vous surlignez tout ce qui suit jusqu'à ce que vous voyiez "Poire".
• Le souci : Si l'auteur du livre écrit "La pomme de terre" au lieu de "Pomme", ou si le titre du chapitre change légèrement (ex: "Risques" devient "Facteurs de risque"), votre surligneur se trompe. C'est ce qu'on appelle une méthode "fragile" : elle casse dès que le document change un tout petit peu.

2. La Solution : Deux Nouveaux Super-Héros

Les auteurs ont créé deux nouveaux "assistants" basés sur l'intelligence artificielle pour résoudre ce problème.

🦸‍♂️ Le Super-Héros Local : BERT4ItemSeg (Le Lecteur Mémoire)

C'est un modèle d'IA entraîné spécifiquement pour lire et comprendre le contexte.

• Comment ça marche : Imaginez un bibliothécaire très intelligent qui lit ligne par ligne. Il ne lit pas tout le livre d'un coup (car c'est trop long), mais il regarde chaque phrase, comprend le contexte, et se souvient de ce qui a été lu juste avant.
• Son super-pouvoir : Il est très précis et ne fait pas d'erreurs d'interprétation. Il est comme un expert qui a lu des milliers de rapports et sait exactement à quoi ressemble un chapitre.
• Le bémol : Il faut le "former" (comme un étudiant qui révise ses cours) avec beaucoup d'exemples. Si les règles du jeu changent (nouvelle loi), il faut le faire réviser.

🦸‍♀️ La Super-Héroïne du Nuage : GPT4ItemSeg (Le Génie du Prompt)

C'est un modèle d'IA très puissant (comme ChatGPT) qui n'a pas besoin d'être réentraîné, mais qui a besoin d'instructions claires.

• Comment ça marche : Au lieu de lui donner tout le livre d'un coup (ce qui le ferait "oublier" le début), les auteurs ont inventé une astuce appelée LIB.
  • L'analogie : Imaginez que vous donnez au génie une liste de numéros de pages (des "ID de ligne") et vous lui dites : "Regarde la ligne 50, c'est le début du chapitre. Regarde la ligne 120, c'est la fin." Le génie ne réécrit pas le texte (ce qui serait dangereux), il se contente de vous donner les numéros de pages exacts.
• Son super-pouvoir : Il est très flexible. Si une nouvelle loi arrive demain, vous lui donnez juste un ou deux exemples de la nouvelle règle, et il comprend instantanément. C'est comme un caméléon.
• Le bémol : Il coûte de l'argent à utiliser (car il faut payer l'API) et il faut lui envoyer les documents sur un serveur externe (ce qui pose des questions de confidentialité).

3. Le Résultat : Qui gagne ?

Les auteurs ont testé ces deux assistants sur 3 737 rapports réels.

• Le gagnant en précision : BERT4ItemSeg est le champion. Il a réussi à trouver les bons chapitres dans 98,25 % des cas. C'est le plus fiable pour les chercheurs qui veulent des données parfaites.
• Le gagnant en flexibilité : GPT4ItemSeg est très bon aussi (95,67 %), mais son vrai atout est qu'il s'adapte immédiatement aux changements sans avoir besoin de réapprendre tout son métier.

4. Pourquoi c'est important pour tout le monde ?

Avant, pour analyser ces rapports, il fallait souvent les nettoyer à la main ou avec des outils imparfaits, ce qui risquait de fausser les résultats des études financières.

• Pour les chercheurs : Ils peuvent maintenant faire des études plus fiables, comme comparer la façon dont les entreprises parlent de leurs risques, sans craindre d'avoir mal lu le document.
• Pour les investisseurs : Cela permet d'extraire plus vite et plus précisément les informations cruciales pour prendre des décisions d'investissement.

En résumé

Cette étude a créé une "boîte à outils" magique pour trier les documents financiers.

• Si vous voulez la précision absolue et que vous avez un ordinateur puissant : utilisez le Lecteur Mémoire (BERT).
• Si vous voulez de la flexibilité et que les règles changent souvent : utilisez le Génie du Nuage (GPT) avec son astuce des numéros de pages.

Grâce à eux, le chaos des rapports annuels devient un livre bien rangé, facile à lire et à analyser pour tout le monde. Et le meilleur ? Ils ont mis leur "livre de règles" (les données annotées) et leurs outils gratuitement à disposition de tout le monde sur Internet !

Résumé technique

Résumé Technique : Segmentation des Items des Rapports 10-K via les Modèles de Langage

1. Problématique

Les rapports annuels Form 10-K déposés auprès de la SEC (Securities and Exchange Commission) aux États-Unis sont structurés en plusieurs "items" (sections) tels que l'analyse de la direction (MD&A, Item 7), les facteurs de risque (Item 1A) ou les procédures juridiques (Item 3). L'extraction précise du texte de ces items spécifiques est une étape fondamentale pour l'analyse textuelle en comptabilité et finance.

Cependant, la segmentation actuelle repose principalement sur des méthodes basées sur des règles (expressions régulières, correspondance de chaînes, parsing HTML). Ces approches présentent trois limites majeures :

• Fragilité : Elles sont sensibles aux variations de format, de mise en page et d'ordre des items entre les différentes entreprises et années.
• Maintenance coûteuse : Elles nécessitent une mise à jour manuelle constante face aux changements réglementaires de la SEC.
• Manque de standardisation : L'absence de jeux de données annotés à grande échelle empêche une évaluation systématique et reproductible des performances.

De plus, l'application directe des modèles de langage modernes (LLM et PLM) se heurte à deux défis techniques : la longueur des documents (dépassant souvent la fenêtre de contexte des modèles) et les hallucinations (génération de contenu non fidèle au document source).

2. Méthodologie

Les auteurs proposent deux approches novatrices basées sur l'intelligence artificielle, évaluées sur un nouveau jeu de données annoté manuellement comprenant 3 737 rapports 10-K (années fiscales 2001-2019).

A. Approche basée sur les Modèles de Langage Pré-entraînés (PLM) : BERT4ItemSeg

• Architecture : Un modèle hiérarchique à deux niveaux.
  • Niveau inférieur : Un encodeur BERT (Sentence-BERT) traite chaque ligne de texte individuellement pour générer des embeddings contextuels. Cela contourne la limite de fenêtre de contexte de BERT (512 tokens) en ne traitant que des lignes courtes.
  • Niveau supérieur : Un réseau Bi-LSTM (Long Short-Term Memory bidirectionnel) prend les embeddings des lignes en entrée pour prédire la séquence de labels (début, intérieur, hors-item). Le Bi-LSTM n'a pas de limite de longueur de séquence, permettant de traiter des documents entiers.
• Schéma d'étiquetage : Utilisation d'une variante du schéma BIO (Beginning, Inside, Outside) adaptée aux items (ex: B1 pour le début de l'Item 1, I1 pour le reste).

B. Approche basée sur les Grands Modèles de Langage (LLM) : GPT4ItemSeg

• Modèle : Utilisation de ChatGPT-4o via l'API OpenAI.
• Mécanisme d'incitation (Prompting) : Pour éviter les hallucinations et gérer la longueur des documents, les auteurs introduisent un mécanisme de Line-ID-Based (LIB) prompting.
  • Au lieu de demander au modèle de régénérer le texte, le prompt attribue un ID de ligne numérique à chaque ligne du document.
  • Le modèle est invité à identifier uniquement les IDs de ligne correspondant au début de chaque item.
  • Le texte exact est ensuite extrait du document original en utilisant ces IDs, garantissant une fidélité parfaite au document source et éliminant les hallucinations.
• Apprentissage : Utilisation de l'apprentissage few-shot (quelques exemples) pour guider le modèle sans nécessiter de fine-tuning lourd.

C. Modèles de Référence (Baselines)
Les nouvelles méthodes sont comparées à :

1. Une approche basée sur des règles (expressions régulières).
2. Un modèle CRF (Conditional Random Field) classique avec des caractéristiques manuelles (sémantiques, syntaxiques, structurelles).

3. Résultats Expérimentaux

Les performances sont évaluées sur la métrique F1-score macro-moyen (moyenne harmonique de la précision et du rappel) pour les items "cœur" (1, 1A, 3, 7) et les autres items.

• BERT4ItemSeg : Obtient les meilleurs résultats avec un F1 de 0,9826 pour les items cœur et 0,9692 pour les autres. Il surpasse significativement toutes les autres méthodes.
• GPT4ItemSeg : Obtient un F1 de 0,9552 pour les items cœur, surpassant les méthodes traditionnelles mais restant légèrement inférieur à BERT4ItemSeg.
• CRF : Performe bien (F1 ~0,9788 pour les items cœur), se rapprochant de BERT4ItemSeg mais sans surpasser significativement ce dernier sur l'ensemble.
• Approche basée sur des règles : Performe le moins bien (F1 ~0,9048), confirmant la supériorité des approches basées sur l'apprentissage profond.

Analyse des compromis :

• BERT4ItemSeg est idéal pour les déploiements locaux, offrant une haute performance et une protection des données, mais nécessite une carte GPU.
• GPT4ItemSeg est plus flexible face aux changements réglementaires (concept drift) grâce au prompting, mais implique des coûts d'API et des préoccupations de confidentialité des données.

4. Contributions Clés

1. Jeu de données de référence : Création et publication du premier jeu de données annoté à grande échelle (3 737 rapports) pour la segmentation des items 10-K, comblant un vide infrastructurel dans la littérature.
2. Innovations méthodologiques :
   • Développement de BERT4ItemSeg pour gérer les longs documents via une architecture hiérarchique.
   • Introduction du mécanisme LIB (Line-ID-Based) pour les LLM, résolvant le problème des hallucinations et de la longueur de contexte tout en assurant l'intégrité des données extraites.
3. Outils ouverts : Mise à disposition du code source (GitHub) et des données, permettant une recherche reproductible.
4. Analyse comparative : Évaluation rigoureuse des compromis entre PLM (local, performant) et LLM (flexible, coûteux) dans le contexte de la finance.

5. Signification et Implications

• Pour la recherche académique : Ces méthodes améliorent la fiabilité et la reproductibilité des analyses textuelles en comptabilité et finance. Une segmentation précise permet d'obtenir des caractéristiques textuelles plus propres pour étudier la qualité de l'information, les réactions du marché ou la gestion des risques.
• Pour la pratique : Les analystes financiers, auditeurs et investisseurs peuvent automatiser l'extraction de divulgations critiques avec une précision supérieure aux outils actuels, facilitant la prise de décision.
• Adaptabilité : Le cadre proposé est généralisable à d'autres documents réglementaires (10-Q, 8-K, rapports annuels internationaux) et peut s'adapter aux évolutions futures de la SEC, soit par réentraînement (BERT) soit par ajustement du prompt (GPT).

En conclusion, cette étude démontre que les approches basées sur l'apprentissage profond (PLM et LLM) surpassent largement les méthodes traditionnelles pour la segmentation des documents financiers, offrant un cadre robuste pour l'analyse textuelle à grande échelle.