Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

Ce papier présente une nouvelle méthodologie d'ensemble utilisant des LLM et de nouvelles métriques d'évaluation (CPR et TWF) pour réaliser un étiquetage sémantique précis et économique des résolutions du Conseil de sécurité de l'ONU.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si on en discutait autour d'un café.

🌍 Le Grand Défi : Ranger la Bibliothèque du Monde

Imaginez que l'ONU (Organisation des Nations Unies) possède une immense bibliothèque contenant des millions de documents historiques, appelés résolutions du Conseil de sécurité. Ces documents sont cruciaux pour la paix et la sécurité mondiale.

Mais il y a un gros problème :

1. Ils sont vieux et abîmés : Beaucoup datent des années 1940 ! Ils ont été dactylographiés, scannés, et transformés en texte par des robots (OCR). Résultat ? Le texte est plein de fautes, de coupures bizarres et parfois, il est écrit en deux colonnes (anglais à gauche, français à droite), ce qui rend la lecture pour un ordinateur impossible.
2. Ils sont "aveugles" : Pour un ordinateur, c'est juste un bloc de texte. Il ne sait pas où commence une date, où se trouve le nom d'un pays, ou qui est l'organisation mentionnée.

L'objectif de l'auteur, Hussein Ghaly, est de nettoyer ces documents et d'y ajouter des étiquettes intelligentes (comme des post-it numériques) pour que les ordinateurs puissent enfin les comprendre et créer une carte du savoir (un "graphe de connaissances").

🤖 La Solution : Une Équipe de Traducteurs Robotiques (Les LLM)

Pour faire ce travail, l'auteur utilise des LLM (de grands modèles de langage, comme les versions avancées de ChatGPT). Mais il y a un hic : ces robots sont un peu comme des artistes. Si vous leur demandez de faire la même chose deux fois, ils peuvent donner deux résultats légèrement différents. Parfois, ils inventent des choses (hallucinations) ou oublient des détails.

Au lieu de faire confiance à un seul robot, l'auteur a créé une équipe (un "Ensemble").

L'Analogie du Jury de Cuisine 🍳

Imaginez que vous devez préparer un plat très délicat (le document nettoyé et étiqueté).

• Au lieu de confier la tâche à un seul chef, vous engagez 7 chefs différents (différents modèles d'IA, du plus puissant au plus petit).
• Vous leur donnez la même recette (le document sale) et vous leur demandez de cuisiner deux fois chacun.
• Vous avez maintenant 14 versions du plat.

Comment choisir la meilleure ? Vous ne pouvez pas juste goûter au hasard. Vous avez besoin d'un jury de dégustation rigoureux.

📏 Le Jury : Deux Règles d'Or

Pour choisir le meilleur plat parmi les 14, l'auteur utilise deux règles de mesure très précises :

1. La Règle de la "Mémoire" (CPR - Content Preservation Ratio) :

   • L'analogie : C'est comme vérifier que le chef n'a pas changé les ingrédients de la recette originale. Si la recette disait "2 œufs", le chef ne doit pas en mettre 3 ou en oublier un.
   • Le but : S'assurer que l'IA n'a pas inventé de fausses informations ni supprimé de texte important. Elle doit être fidèle à l'original.

2. La Règle de la "Structure" (TWF - Tag Well-Formedness) :

   • L'analogie : C'est comme vérifier que les étiquettes sont bien collées. Si vous mettez une étiquette "Date" qui commence, il faut absolument qu'elle se termine. Pas de "Date" ouverte sans fermeture, sinon le robot se perd.
   • Le but : S'assurer que le formatage est parfait et sans erreur technique.

💰 Le Tour de Magie : Gagner en Qualité sans se Ruiner

Le résultat le plus intéressant de cette étude, c'est la découverte sur le coût.

• Le Chef Célèbre (GPT-4.1) : Il est excellent, très précis, mais il coûte cher (comme un restaurant étoilé).
• Le Jeune Chef Talentueux (GPT-4.1-mini) : C'est un modèle plus petit et moins cher.
  • La surprise : En utilisant l'approche de l'équipe (le jury), l'auteur a découvert que le "Jeune Chef" pouvait faire un travail aussi bon que le "Chef Célèbre" pour le nettoyage et l'étiquetage, mais à seulement 20 % du prix !

C'est comme si vous pouviez avoir un plat de qualité restaurant pour le prix d'un sandwich, à condition de bien choisir votre chef parmi une équipe.

🚀 Pourquoi c'est important ?

Grâce à cette méthode :

1. On nettoie l'histoire : On rend les documents de l'ONU lisibles par les machines.
2. On économise de l'argent : On n'a pas besoin d'utiliser les modèles les plus chers pour tout faire.
3. On construit le futur : Une fois ces documents étiquetés, on pourra créer des cartes interactives géantes qui montrent les liens entre les pays, les conflits et les résolutions, aidant ainsi à mieux comprendre l'histoire et à prendre de meilleures décisions pour la paix.

En résumé : L'auteur a créé une méthode intelligente pour utiliser une équipe de robots IA, les surveiller avec des règles strictes, et choisir le meilleur résultat possible, tout en dépensant beaucoup moins d'argent que prévu. C'est de l'ingénierie intelligente appliquée à l'histoire mondiale.

Résumé technique

Voici un résumé technique détaillé de l'article « Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions » de Hussein Ghaly, structuré selon les points demandés.

1. Problématique

Le document traite de la difficulté à structurer et à annoter sémantiquement les résolutions du Conseil de sécurité des Nations Unies (CSNU), qui couvrent la période de 1946 à 2025. Les défis majeurs identifiés sont :

• Qualité des données brutes : De nombreux documents anciens (avant 2000) ont été dactylographiés, scannés et convertis en texte via la reconnaissance optique de caractères (OCR), entraînant des erreurs typographiques.
• Format complexe : Jusqu'aux années 1980, les documents étaient souvent présentés en deux colonnes (le texte anglais dans la première, la traduction française dans la seconde), ce qui rend le traitement par les outils NLP classiques très difficile car une ligne de fichier peut contenir deux fragments de texte distincts.
• Fiabilité des LLM : L'utilisation de modèles de langage (LLM) pour le nettoyage et l'étiquetage se heurte à leur nature stochastique (variabilité des sorties) et au risque d'hallucinations (ajout ou omission de contenu non désiré). Il est crucial de préserver l'intégrité du texte original tout en ajoutant uniquement les balises requises.

2. Méthodologie

L'auteur propose une approche par système d'ensemble (Ensemble) utilisant plusieurs modèles LLM (OpenAI API) pour surmonter la variabilité des modèles individuels.

• Flux de travail en deux étapes :

  1. Nettoyage : Conversion du format à deux colonnes en une seule colonne, correction des erreurs OCR, suppression des traits d'union de fin de ligne et séparation des textes anglais et français.
  2. Étiquetage sémantique : Application de balises XML (<location>, <entity>, <event>, <organization>, <date>) sur le texte nettoyé.

• Stratégie d'Ensemble :

  • Pour chaque document, le même prompt est envoyé à plusieurs modèles (GPT-4.1, GPT-4.1-mini, GPT-4.1-nano, GPT-4o, GPT-5-mini, GPT-5-nano, GPT-5.1).
  • Chaque modèle est exécuté plusieurs fois (2 runs par modèle dans l'expérience) avec un paramètre de température de 1 pour générer une diversité de sorties.
  • Le système sélectionne la meilleure sortie parmi toutes les tentatives basées sur des métriques quantitatives.

• Métriques d'évaluation (Innovations clés) :

  • Ratio de Préservation du Contenu (CPR - Content Preservation Ratio) : Mesure la fidélité du texte de sortie par rapport à l'entrée. Il compare la fréquence des bigrammes (paires de caractères) entre l'entrée et la sortie. Un score élevé indique peu d'omissions ou d'ajouts non désirés.
  • Bonté de Forme des Balises (TWF - Tag Well-Formedness) : Vérifie la validité syntaxique des balises XML (chaque balise ouvrante doit avoir une balise fermante correspondante et être correctement imbriquée).
  • Nombre de balises trouvées (nT) : Optimise le rappel (recall) en favorisant les modèles qui identifient un maximum de tags, même avec un risque de faux positifs (qui seront filtrés par l'ensemble).

3. Contributions Clés

• Pipeline LLM scalable : Une méthode pratique pour nettoyer et annoter sémantiquement des résolutions historiques du CSNU.
• Nouvelles métriques : Introduction du CPR et du TWF pour évaluer objectivement la qualité des transformations de documents par LLM, évitant ainsi les hallucinations.
• Analyse coût-performance : Une comparaison empirique de modèles de différentes tailles (Full, Mini, Nano) et générations, démontrant les compromis entre précision et coût.
• Corpus annoté : Création d'un corpus de résolutions du CSNU annotées sémantiquement, prêt pour la construction de graphes de connaissances.

4. Résultats

L'expérience a été menée sur un échantillon de 10 documents. Les résultats montrent :

• Performance du modèle : GPT-4.1 a obtenu les meilleures performances globales.
  • Tâche de nettoyage : CPR de 84,9 %.
  • Tâche d'étiquetage : CPR de 99,99 %, TWF de 99,92 %, et identification de ~92,6 balises.
• Efficacité des modèles réduits (Mini) : Les modèles plus petits, comme GPT-4.1-mini, offrent des performances comparables à un coût drastiquement réduit.
  • Pour le nettoyage, GPT-4.1-mini atteint un CPR de 83,5 % pour seulement 20 % du coût du modèle GPT-4.1.
  • Pour l'étiquetage, il atteint un CPR de 99,92 % et un TWF de 99,64 % pour 19 % du coût de GPT-4.1.
• Vitesse : Les modèles "nano" sont plus rapides mais moins performants pour le nettoyage complexe des documents anciens.

5. Signification et Perspectives

• Construction de Graphes de Connaissances : Ce travail est une étape fondamentale pour transformer des documents textuels non structurés en données structurées, permettant la construction de graphes de connaissances détaillés sur les mandats, les entités et les événements du CSNU, conformes aux standards comme Akoma Ntoso.
• Optimisation Économique : L'approche démontre qu'il est possible de réduire massivement les coûts de traitement de données (Big Data) en utilisant des systèmes d'ensemble intelligents qui sélectionnent les sorties de modèles moins chers mais performants, plutôt que d'utiliser systématiquement les modèles les plus puissants.
• Contrôle et Transparence : En introduisant des métriques rigoureuses (CPR, TWF), l'article propose une méthode pour rendre l'utilisation des LLM plus prévisible, contrôlable et fiable pour des tâches critiques de traitement de documents juridiques et historiques.
• Travaux futurs : L'auteur envisage de passer d'une sélection de la "meilleure" sortie unique à une véritable intégration (fusion) des sorties de plusieurs modèles pour augmenter la confiance dans les tags identifiés, et d'aligner plus strictement les schémas XML sur les normes existantes.