EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction

Cet article présente EURO-5K, un ensemble de données spécialisé pour l'extraction des obligations de reporting de l'UE, et démontre que si le pré-entraînement juridique offre des gains marginaux pour les modèles entièrement affinés, il améliore considérablement la performance du réglage efficace en paramètres et accélère l'apprentissage avec des données limitées, validant ainsi les approches tant discriminatives que génératives pour l'automatisation de la conformité réglementaire.

L'essentiel

Imaginez l'Union européenne comme une immense bibliothèque contenant 180 000 manuels de règles différents (lois et règlements) écrits dans un langage très formel et complexe. À l'intérieur de ces livres, on trouve trois principaux types d'instructions, et non deux :

1. Règles de comportement : « Vous devez effectuer cette action » (ex. : « Traitez l'eau pour la rendre sûre »).
2. Règles de déclaration : « Vous devez envoyer un rapport sur cette action au gouvernement » (ex. : « Informez la Commission de la quantité d'eau que vous avez traitée »).
3. Règles de divulgation (transparence) : « Vous devez rendre cette information publique » (ex. : « Publiez sur votre site web les émissions de carbone de votre usine »).

Le problème est que ces trois types de règles se ressemblent souvent exactement sur la page. Elles utilisent toutes des mots comme « devra » et « doit ». Trouver spécifiquement les « Règles de déclaration » manuellement, c'est comme essayer de trouver une aiguille spécifique dans une botte de foin de la taille d'une montagne, tout en sachant qu'il y a deux autres types d'aiguilles très similaires cachées dans le même tas. Cela prend un temps infini, coûte une fortune et nécessite qu'un avocat lise chaque phrase.

Ce document présente un projet appelé EURO-5K pour construire un « robot intelligent » capable de trouver automatiquement ces aiguilles de déclaration, en les distinguant clairement des règles de comportement ET des règles de divulgation. Voici comment ils ont procédé, expliqué simplement :

1. Les données d'entraînement : Une méthodologie rigoureuse, pas juste du nettoyage

Les chercheurs ne se sont pas contentés de « nettoyer » une pile de textes existants. Ils ont créé une méthode d'annotation scientifique complète pour construire EURO-5K, une contribution majeure en soi.

• L'analogie : Imaginez que vous deviez former des experts pour trier des millions de documents. Au lieu de simplement corriger des erreurs, vous créez un manuel de formation strict basé sur cinq critères précis, puis vous faites valider chaque document par deux experts humains qui travaillent à l'aveugle (sans se voir) pour s'assurer qu'ils sont d'accord.
• La réalité : Ils ont appliqué ce processus rigoureux pour créer 5 253 exemples parfaits. Le taux d'accord entre les experts humains (kappa = 0,613) prouve que la tâche est difficile mais que leurs règles sont claires. Ils ont appris aux robots à distinguer finement les trois types d'obligations, en incluant des exemples « piégeux » pour éviter que les robots ne trichent en cherchant simplement des mots-clés faciles.

2. Les prétendants : Deux types de robots

Ils ont testé deux types différents de « cerveaux » d'IA pour voir lequel était le meilleur pour trouver ces règles :

• Le « Surligneur » (Discriminatif/BERT) : Ce robot lit une phrase et surligne les mots spécifiques qui en font une règle de déclaration. C'est comme un élève qui souligne la réponse dans un manuel.
• Le « Rédacteur » (Génératif/LLM) : Ce robot lit la phrase et rédige la réponse à partir de zéro. S'il voit une règle de déclaration, il copie la phrase ; si ce n'est pas le cas, il écrit « Aucun ». C'est comme un élève qui écrit la réponse sur une feuille blanche.

Ils ont testé ces robots de deux manières :

• Entraînement complet (Fine-tuning) : Enseigner tout au robot à partir de zéro en utilisant ces nouvelles données juridiques.
• Entraînement efficace (QLoRA/LoRA) : Enseigner au robot en utilisant une méthode de « raccourci » qui ne met à jour qu'une infime fraction de son cerveau (comme ajouter un nouvel appendice à un livre plutôt que de réécrire tout le livre). Cela permet d'économiser énormément de puissance informatique.

3. Les grandes questions et les résultats

Q : Avons-nous besoin d'un robot qui a déjà été entraîné sur des livres de droit, ou un robot générique fonctionnera-t-il ?

• Le constat : Étonnamment, un robot générique entraîné sur du texte général a performé aussi bien qu'un robot spécifiquement entraîné sur du texte juridique.
• La validation statistique : Ce n'est pas une simple coïncidence. Les chercheurs ont utilisé des tests statistiques avancés (tests t de Welch et rééchantillonnage par bootstrap) pour prouver que la différence entre les modèles « juridiques » et les modèles « génériques » n'est pas statistiquement significative. En d'autres termes, les statistiques confirment qu'un mécanicien généraliste est tout aussi capable de réparer ce moteur spécifique qu'un spécialiste, à condition d'avoir le bon manuel d'entraînement.

Q : Quel type de robot est le meilleur : le Surligneur ou le Rédacteur ?

• Le constat : Les deux paradigmes sont essentiellement à égalité, avec un score F1 d'environ 0,89 (ce score mesure l'équilibre entre la précision et la capacité à ne rien rater, ce qui est crucial quand les exemples positifs sont rares).
• Le rebondissement (La vraie histoire) : L'entraînement par « raccourci » (efficient) n'a pas battu l'entraînement complet. Au contraire, l'entraînement complet a significativement surpassé les méthodes efficaces pour les deux types de modèles.
• La nuance importante : Cependant, un modèle « Rédacteur » (Génératif) entraîné avec la méthode « raccourci » (QLoRA) a légèrement égalé, voire dépassé de très peu, le meilleur modèle « Surligneur » qui avait subi un entraînement complet. C'est un résultat majeur car cela montre qu'un modèle génératif, même avec un entraînement léger, peut rivaliser avec un modèle discriminatif lourdement entraîné. Mais attention : cette différence est très faible et n'est pas statistiquement significative (p=0,082). Les deux approches sont donc considérées comme équivalentes.

Q : De combien de données avons-nous besoin ?

• Le constat : Les robots ont appris très vite au début, mais après environ 3 000 exemples, ils ne progressaient plus beaucoup.
• L'analogie : C'est comme apprendre à faire du vélo. On vacille beaucoup au début, mais une fois qu'on a le coup (après environ 3 000 miles de pratique), ajouter des miles ne fait pas de nous un cycliste beaucoup meilleur. Cela prouve que leur ensemble de données de 5 000 exemples était « juste ce qu'il fallait » — ni trop petit, ni inutilement grand.

Q : Les robots comprennent-ils réellement la loi, ou ne font-ils que deviner ?

• Le constat : Les chercheurs ont testé les robots sur de nouvelles lois qu'ils n'avaient jamais vues auparavant (y compris des lois financières).
• Le résultat : Les robots étaient très bons pour dire « Non » aux règles qui n'étaient pas des règles de déclaration (comme les règles de sécurité publique ou de comportement). Ils ne se sont pas trompés. Ils ont agi comme des détectives spécialisés, et non comme des devineurs généralistes.

4. Pourquoi cela change-t-il la donne ? (Les enjeux politiques)

Ce n'est pas seulement une victoire technique, c'est un outil crucial pour l'économie européenne.

• Un exemple concret : Le document cite le paquet de simplification « Omnibus » de l'UE pour 2025. Grâce à l'analyse de ces obligations, l'UE a pu identifier des chevauchements dans les règles de déclaration entre trois cadres de durabilité. Résultat : environ 80 % des entreprises ont été retirées de la portée de ces rapports, économisant environ 4,4 milliards d'euros par an.
• L'impact : Avec 180 000 actes législatifs en circulation, cette recherche fournit le premier jeu de données ouvert, des modèles entraînés et un outil prêt à l'emploi pour automatiser cette analyse à grande échelle. Cela soutient directement l'objectif de la Commission européenne de réduire la charge réglementaire de 25 %. Sans cet outil, une telle simplification serait impossible à réaliser manuellement.

5. L'outil « Magique »

L'équipe ne s'est pas arrêtée à la recherche. Ils ont construit un site web public où n'importe qui peut coller un extrait de droit de l'UE, et le robot va :

1. Trouver les règles de déclaration.
2. Montrer pourquoi il les a trouvées (en surlignant les mots spécifiques comme « notifier » ou « Commission »).
3. Exporter les résultats dans un format structuré que les ordinateurs peuvent utiliser pour construire des bases de données.

Résumé

Le document conclut que nous n'avons pas besoin d'une IA juridique coûteuse et ultra-spécialisée pour résoudre ce problème. Une IA standard, bien entraînée, utilisant des méthodes d'entraînement intelligentes, peut faire le travail tout aussi bien. Ils ont prouvé, avec des statistiques solides, que nous pouvons automatiser la tâche fastidieuse consistant à trouver « qui doit déclarer quoi » dans les lois de l'UE. Cela économisera du temps et de l'argent, soutiendra les objectifs de réduction de la bureaucratie de l'UE, et ils ont mis les outils et les données à la disposition de tous.

Résumé technique

Résumé technique : EURO-5K et benchmarking des transformeurs pour l'extraction d'obligations de déclaration de l'UE

Définition du problème

L'extraction des obligations de déclaration issues de la législation de l'Union européenne (UE) est une tâche critique pour évaluer et réduire les charges réglementaires. Cependant, distinguer les exigences de déclaration spécifiques (transmission de données aux autorités) des obligations comportementales structurellement similaires (exigences de conduite) ou des obligations de divulgation (transparence publique) nécessite une compréhension juridique spécialisée. Les méthodes actuelles de traitement du langage naturel (NLP) manquent de jeux de données spécialisés dotés de directives claires et d'évaluations comparatives des paradigmes d'extraction, particulièrement en ce qui concerne l'efficacité de l'adaptation de domaine et des stratégies d'entraînement économes en paramètres pour cette tâche spécifique.

Méthodologie

Curation du jeu de données : EURO-5K

Les auteurs ont constitué EURO-5K, un corpus de 5 253 exemples au niveau de la phrase dérivés de 136 actes législatifs de l'UE. Le jeu de données a été construit à partir du corpus brut Annotation of Reporting Obligations in EU Legislation Dataset (AROLD), qui a subi un processus de curation rigoureux en plusieurs étapes pour traiter le bruit structurel, les problèmes de segmentation multi-phrases et les erreurs de classification.

• Composition : 1 751 exemples positifs (obligations de déclaration) et 3 502 exemples négatifs.
• Négatifs difficiles (Hard Negatives) : 532 exemples négatifs (10,3 %) ont été spécifiquement sélectionnés pour représenter des cas limites complexes, tels que les exigences comportementales et la coordination procédurale, afin d'éviter l'apprentissage de motifs superficiels.
• Protocole d'annotation : La construction d'EURO-5K constitue une contribution méthodologique distincte, reposant sur un cadre d'annotation à cinq critères pour opérationnaliser la distinction entre obligations de déclaration, comportementales et de divulgation. Ce protocole exige un langage obligatoire, une action de déclaration et une autorité de régulation cible. La validation a impliqué un filtrage par règles, une revue assistée par LLM et une validation humaine en double aveugle, aboutissant à un accord inter-annotateurs (Kappa) de 0,613.

Conception expérimentale

L'étude compare deux paradigmes d'extraction à travers des transformeurs génériques et juridiques :

1. Classification de jetons discriminative : Utilisation de BERT-base et Legal-BERT.
2. Extraction de segments générative : Utilisation de Llama-3.1-8B, Mistral-7B et Saul-7B (une variante de Mistral avec un pré-entraînement continu juridique).

Stratégies d'entraînement :

• Fine-tuning complet (FFT) : Mise à jour de tous les paramètres.
• Entraînement économique en paramètres (Parameter-Efficient Tuning) : LoRA pour les modèles BERT et QLoRA (quantification 4-bit + LoRA) pour les LLM.
• Baselines : Correspondance par expressions régulières (Regex/Mots-clés), analyse de dépendances et prompting à quelques exemples (Few-Shot Prompting sans mise à jour de paramètres).

Cadre d'évaluation :

• Métriques : Précision, Rappel et score F1 basés sur des correspondances exactes de segments.
• Validation statistique : Test t de Welch pour les comparaisons de BERT multi-seeds et rééchantillonnage bootstrap (1 000 itérations) pour les LLM afin d'estimer les intervalles de confiance.
• Évaluation sur corpus externe : Testé sur un corpus réglementaire européen externe (Brandsma et al., 2025) pour évaluer la spécificité (rejet des déclarations non liées à la déclaration) et sur un corpus de reporting financier (Chuor, 2025) pour évaluer la sensibilité zero-shot.
• Explicabilité : LIME pour BERT et analyse des poids d'attention pour les LLM.

Résultats clés

Performance des modèles

• Parité des paradigmes : Les approches tant discriminatives (BERT) que génératives (LLM) ont atteint des performances élevées comparables. Le meilleur modèle génératif (Llama-3.1-8B avec QLoRA) a obtenu un F1 de 0,891, surpassant légèrement le meilleur modèle discriminatif (Legal-BERT avec FFT à 0,883), bien que la différence ne soit pas statistiquement significative ($p=0,082$).
• Adaptation de domaine : Le pré-entraînement juridique n'a offert que des gains marginaux. Legal-BERT a surpassé le BERT générique de 1,8 point de F1 en fine-tuning complet, mais cette différence n'était pas statistiquement significative ($p=0,307$). De même, pour les modèles génératifs, le modèle Saul-7B pré-entraîné juridiquement a performé de manière négligeable mieux que le Mistral-7B générique (écart de 0,3 point).
• Stratégie d'entraînement : Le fine-tuning complet a nettement surpassé les méthodes économes en paramètres (LoRA/QLoRA) en termes de score F1 ($p<0,01$), confirmant un compromis entre précision et efficacité. Cependant, les méthodes économes en paramètres ont tout de même obtenu des résultats solides (ex. : Legal-BERT LoRA : 0,791 F1).
• Baselines : Le fine-tuning supervisé a apporté des gains substantiels par rapport aux baselines. Le prompting à quelques exemples (0,762 F1) et l'analyse de dépendances (0,727 F1) étaient compétitifs mais inférieurs aux modèles fine-tunés.

Efficacité des données et courbes d'apprentissage

• Convergence : L'analyse des courbes d'apprentissage a démontré que tous les modèles convergent autour de 3 000 échantillons, avec des rendements décroissants au-delà, validant la suffisance de la taille du jeu de données EURO-5K.
• Apprentissage précoce : Le pré-entraînement juridique (spécifiquement Saul-7B) a accéléré l'apprentissage précoce dans les régimes de faibles données (atteignant presque la moitié de sa performance totale avec seulement 10 échantillons), mais cet avantage a disparu à mesure que le volume de données augmentait.

Généralisation et spécificité

• Apprentissage spécialisé : L'évaluation sur corpus externe a confirmé que les modèles agissent comme des extracteurs spécialisés d'obligations de déclaration plutôt que comme des classificateurs réglementaires génériques. Sur un corpus externe de déclarations réglementaires générales, les modèles ont correctement rejeté la majorité des obligations de non-déclaration (faible rappel de 12–17 %), démontrant une haute spécificité.
• Sensibilité Zero-Shot : Sur un corpus de reporting financier hors domaine, les modèles ont obtenu un rappel zero-shot élevé (88,7 % – 90,3 %), indiquant que la structure sémantique des obligations de déclaration a été apprise plutôt qu'une simple mémorisation de la distribution d'entraînement.

Explicabilité

• Les modèles ont systématiquement mis l'accent sur les acteurs institutionnels (ex. : « Commission », « États membres ») et les cadres réglementaires.
• Crucialement, les modèles ont évalué le contexte sémantique plutôt que de se reposer uniquement sur des mots-clés. Par exemple, ils ont correctement distingué entre « shall notify » (déclaration) et « shall make public » (divulgation) au sein de la même phrase, en attribuant des poids négatifs aux termes de divulgation.

Signification et contributions

Le papier revendique les contributions suivantes :

1. Jeu de données EURO-5K : La publication du plus grand corpus annoté pour l'extraction d'obligations de déclaration, reposant sur un cadre d'annotation à cinq critères rigoureux, une validation pipeline (LLM + double aveugle) avec un accord inter-annotateurs de 0,613, et la distinction explicite entre obligations de déclaration, comportementales et de divulgation.
2. Comparaison de paradigmes : La première comparaison systématique des paradigmes discriminatifs et génératifs pour cette tâche, révélant que les modèles génératifs peuvent égaler ou dépasser les performances discriminatives lorsqu'ils sont correctement optimisés.
3. Aperçus sur l'adaptation de domaine : La preuve qu'une optimisation systématique des hyperparamètres permet aux modèles génériques d'approcher les performances des modèles adaptés au domaine, suggérant que le pré-entraînement juridique offre des bénéfices modestes et non significatifs pour cette tâche spécifique lorsque les ressources sont optimisées.
4. Efficacité des paramètres : La démonstration des compromis précision-efficacité entre le fine-tuning complet et les méthodes économes en paramètres (LoRA/QLoRA) dans un contexte juridique.
5. Déploiement pratique et impact politique : La publication des modèles entraînés, d'une interface web interactive avec des visualisations d'explicabilité et d'un outil d'exportation RDF conforme au vocabulaire de métadonnées des exigences de déclaration de l'UE (RRMV). Ces ressources répondent à un besoin critique identifié par le paquet de simplification Omnibus de l'UE de 2025, qui a relevé des obligations de déclaration redondantes à travers trois cadres de durabilité, retiré environ 80 % des entreprises du champ d'application de ces rapports et est projeté pour économiser environ 4,4 milliards d'euros par an. Avec environ 180 000 actes législatifs dans l'UE, EURO-5K (jeu de données ouvert), les modèles entraînés et l'outil prêt au déploiement permettent d'automatiser l'analyse de ces obligations à grande échelle, soutenant directement l'objectif de réduction de 25 % de la charge réglementaire de la Commission européenne.

Les auteurs concluent que si le pré-entraînement de domaine offre de légères accélérations dans les régimes de faibles données, le choix de l'échelle du modèle et de la stratégie d'entraînement (complet vs efficace) est plus critique que l'initialisation spécifique au domaine pour atteindre des performances d'extraction de pointe.