CzechTopic: A Benchmark for Zero-Shot Topic Localization in Historical Czech Documents

Cet article présente CzechTopic, un benchmark annoté par des humains pour l'évaluation du repérage de sujets dans des documents historiques tchèques, démontrant que des modèles de langage de grande taille peuvent approcher le consensus humain tandis que des modèles plus compacts restent compétitifs.

L'essentiel

🏛️ Le Grand Jeu de l'Éclaireur dans la Bibliothèque Ancienne

Imaginez que vous êtes un historien plongé dans une immense bibliothèque remplie de vieux livres tchèques du 19ème siècle. Votre mission n'est pas de lire tout le livre, mais de trouver exactement où se cachent des sujets précis, comme "les grèves des mineurs" ou "les disputes sur les salaires".

C'est ce qu'on appelle la localisation de sujets. Ce n'est pas juste dire "Oui, ce livre parle de grèves" (classification de document). C'est pointer du doigt la phrase exacte, le mot précis, et dire : "C'est ici, entre le mot 60 et le mot 136, que l'auteur parle de la grève".

Ce papier de recherche, intitulé CzechTopic, raconte l'histoire d'une nouvelle équipe qui a créé un défi pour tester si les intelligences artificielles (les robots) sont capables de faire ce travail d'éclaireur aussi bien que des humains.

---

1. Le Défi : Trouver l'Aiguille dans la Botte de Foin (mais l'Aiguille est Floue)

Dans le passé, les chercheurs demandaient aux robots de classer des documents entiers. C'est facile : "Ce livre est une recette de cuisine".
Mais ici, c'est beaucoup plus subtil. Imaginez que vous cherchez des passages sur "l'amour".

• Un humain peut dire : "Ah, ce paragraphe parle d'amour, mais celui-ci parle de haine, et celui-là est juste une description du temps."
• Les robots, eux, ont souvent du mal à savoir où commence et où finit exactement le sujet. Est-ce que "l'amour" commence au mot "cœur" ou au mot "regard" ?

Pour tester cela, les chercheurs ont créé un nouveau terrain de jeu (un "benchmark") basé sur de vrais documents historiques tchèques. Ils ont demandé à plusieurs humains de surligner les passages pertinents.

L'analogie du "Jeu de l'Éclaireur" :
Imaginez un jeu où l'on donne à un groupe d'explorateurs une carte (le texte) et une description d'un trésor (le sujet, par exemple "les mines d'or").

• Phase 1 : Un explorateur invente la description du trésor en regardant la carte.
• Phase 2 : D'autres explorateurs doivent trouver ce trésor sur la carte en suivant uniquement la description écrite, sans voir la carte originale de l'inventeur.
  Le but est de voir si tout le monde s'accorde sur l'emplacement exact du trésor.

---

2. La Méthode : Deux Équipes de Joueurs

Les chercheurs ont mis en compétition deux types de "joueurs" :

1. Les Humains (Les Anciens Maîtres) : Des experts qui ont lu les textes et surligné les passages. Ils ne sont pas tous d'accord à 100 % (ce qui est normal !), mais ils forment une référence solide.
2. Les Robots (Les Nouveaux venus) :
   • Les Géants (LLM) : De très gros modèles d'intelligence artificielle (comme GPT-5, Llama, etc.) qui parlent couramment et comprennent beaucoup de choses.
   • Les Petits Spécialistes (BERT) : Des modèles plus petits, mais entraînés spécifiquement pour ce jeu précis, un peu comme un expert en épluchage de pommes qui ne fait que ça.

Le Secret de la Cuisine :
Comme il faut beaucoup de temps pour faire surligner des textes par des humains, les chercheurs ont utilisé un "robot chef" (GPT-5 mini) pour créer des milliers de fausses annotations (un "dataset distillé"). Cela leur a permis d'entraîner les petits robots spécialisés (BERT) à devenir très forts, sans avoir à attendre des années de travail humain.

---

3. Les Résultats : Qui Gagne le Jeu ?

Voici ce qu'ils ont découvert, avec des métaphores simples :

• Les Humains sont les champions, mais pas parfaits : Même entre humains, il y a des désaccords. Parfois, l'un surligne 3 mots, l'autre 5. C'est normal car le langage est flou.
• Les Géants (LLM) sont impressionnants mais inconstants :
  • Certains robots géants sont très forts et se rapprochent du niveau humain. Ils comprennent bien le contexte.
  • Mais d'autres modèles, plus petits ou moins bien entraînés, font des catastrophes. Ils peuvent trouver le bon sujet, mais surligner tout le livre, ou au contraire, rater complètement le passage. C'est comme un élève brillant qui a un jour de chance et un jour de malchance.
• Les Petits Spécialistes (BERT) sont les révélation :
  • Ces modèles, bien que plus petits et moins "intelligents" en général que les Géants, sont excellents pour ce jeu précis.
  • Une fois entraînés sur les données créées par le robot chef, ils surpassent même certains des Géants ! C'est comme si un petit artisan local, spécialisé dans la réparation de montres, battait un généraliste qui fait tout, mais qui n'est pas expert des montres.

Leçon principale : Avoir un cerveau géant (un LLM) ne suffit pas toujours. Pour des tâches très précises comme "surligner le bon mot", un cerveau plus petit mais bien entraîné (un modèle spécialisé) peut faire mieux.

---

4. Pourquoi est-ce Important ?

Ce travail est crucial pour l'histoire et la recherche.

• Avant : Si un historien voulait étudier les "grèves" dans 10 000 documents, il devait tout lire manuellement.
• Maintenant : Grâce à ces outils, on peut dire à l'ordinateur : "Trouve-moi tous les passages sur les grèves". L'ordinateur ne se contente pas de dire "Oui/Non", il vous donne la page et le paragraphe exact.

Cela permet de transformer des montagnes de vieux papiers en données exploitables, comme transformer une mine d'or brute en bijoux finis.

En Résumé

Ce papier nous dit :

1. On a créé un nouveau jeu difficile pour tester les robots sur des textes historiques tchèques.
2. Les robots intelligents (LLM) sont bons, mais pas toujours fiables pour les détails précis.
3. Les petits robots spécialisés, bien entraînés, sont souvent plus précis que les géants.
4. La vraie mesure du succès, c'est de comparer les robots aux humains, pas à une seule réponse "parfaite", car les humains ne sont jamais parfaitement d'accord entre eux !

C'est une victoire pour la précision et une invitation à utiliser les bons outils pour les bons travaux, plutôt que de simplement utiliser les plus gros outils disponibles.

Résumé technique

1. Problématique : La Localisation de Sujets (Topic Localization)

L'article aborde une tâche sous-explorée en compréhension de documents : la localisation de sujets. Contrairement à la classification de documents (qui attribue un thème à un texte entier) ou à la segmentation de sujets (qui divise un texte en blocs contigus), la localisation de sujets vise à identifier les spans exacts (séquences de mots) au sein d'un texte qui expriment un sujet donné, défini par un nom et une description textuelle.

Défis spécifiques :

• Granularité : Nécessite des décisions au niveau du mot, et non du document ou de la phrase.
• Complexité structurelle : Les spans peuvent se chevaucher, ne pas être contigus, et un même sujet peut apparaître à plusieurs endroits disjoints dans le texte.
• Subjectivité : Les frontières des spans sont souvent floues et dépendent de l'interprétation humaine, rendant l'évaluation par rapport à une seule "référence or" (gold standard) inadéquate.

Le contexte spécifique de cette étude est l'analyse de documents historiques tchèques, un domaine crucial pour les humanités numériques où les chercheurs doivent tracer des thèmes sociaux ou politiques précis dans des archives.

2. Méthodologie

A. Construction du Dataset (CzechTopic)

Les auteurs ont créé un nouveau benchmark humain annoté composé de :

• Source : 525 extraits de documents historiques tchèques (livres et périodiques) numérisés et traités par OCR (PERO-OCR).
• Structure : Les textes sont regroupés en 105 clusters sémantiquement similaires pour augmenter la difficulté de la tâche (distinguer des nuances subtiles plutôt que des thèmes totalement opposés).
• Annotateurs : 363 sujets définis par des humains, générant 1 820 paires (texte, sujet) annotées.

Processus d'annotation en deux phases :

1. Phase 1 (Définition) : Un annotateur propose 2 à 5 sujets pertinents pour un cluster de textes et localise leurs spans.
2. Phase 2 (Accord) : Plusieurs annotateurs relocalisent les mêmes sujets prédéfinis sur les mêmes textes sans voir les annotations des autres. Cela permet de mesurer l'accord inter-annotateurs.

B. Dataset de Développement par Distillation

Pour entraîner des modèles à grande échelle, les auteurs ont utilisé le modèle gpt-5-mini pour générer un dataset de développement distillé (15 550 textes, 19 107 sujets). Ce processus imite la procédure humaine en deux phases, fournissant un corpus d'entraînement massif tout en conservant la structure de la tâche.

C. Modèles Évalués

Deux approches principales ont été testées :

1. Modèles BERT affinés (Fine-tuning) : Des architectures de type cross-encoder (inspirées de GLiNER) ont été entraînées sur le dataset distillé. Ces modèles encodent conjointement la description du sujet et le texte pour calculer une matrice de similarité token à token.
2. Grands Modèles de Langage (LLM) : Une variété de modèles (GPT-5, Llama, Gemma, Gemini) a été évaluée en zero-shot et few-shot. Deux stratégies de prédiction de spans ont été comparées :
   • Tagging : Reconstruction du texte avec des marqueurs de bornes.
   • Matching : Génération directe du contenu du span (retrouvé par correspondance de chaînes).

D. Protocole d'Évaluation

L'évaluation se fait à deux niveaux :

• Niveau texte : Détection de la présence du sujet (Précision, Rappel, F1).
• Niveau mot : Localisation précise des spans (F1, IoU - Intersection over Union).

Point clé méthodologique : L'évaluation ne se base pas sur une seule référence, mais sur l'accord moyen par paires (pairwise agreement) entre les annotateurs humains. Les scores des modèles sont comparés à cet accord humain moyen, offrant une mesure plus robuste de la performance face à la subjectivité inhérente à la tâche.

3. Résultats Clés

Les résultats, présentés dans le Tableau 2 et les Figures 5-6, révèlent plusieurs constats majeurs :

• Variabilité des LLM : Les performances des grands modèles varient considérablement. L'écart en F1 au niveau mot entre le meilleur et le pire modèle est de 47,9 points (de 61,1 pour GPT-5-2 à 13,2 pour GPT-5-Nano).
• Performance inférieure à l'humain : Même les meilleurs LLM (ex: GPT-5-2) restent en deçà de l'accord humain.
  • F1 mot : 61,1 (LLM) vs 68,7 (Humain).
  • IoU : 48,7 (LLM) vs 57,2 (Humain).
  • Cela indique que la localisation précise des frontières de sujets reste un défi majeur pour les modèles génératifs actuels, malgré leur bonne compréhension du niveau document.
• Efficacité des modèles BERT distillés : Les modèles BERT affinés sur le dataset distillé sont compétitifs. Le modèle robeczech atteint un F1 mot de 48,3, surpassant plusieurs LLM plus petits ou moins capables (comme les variantes Gemma 4B ou Llama 3B). Cela démontre que des architectures spécialisées, même plus petites, peuvent rivaliser avec des LLM génériques pour cette tâche spécifique.
• Impact des stratégies de prompt :
  • L'approche Matching (génération de span) surpasse nettement le Tagging (+0,104 en F1).
  • Le few-shot apporte un gain marginal (+0,010 F1).
  • La langue du prompt (tchèque vs anglais) n'a aucun impact significatif.
• Accord humain : Les annotateurs sont plus d'accord entre eux (Phase 2 vs Phase 2) qu'avec le créateur original du sujet (Phase 1 vs Phase 2), suggérant que la définition écrite d'un sujet ne capture pas toujours entièrement l'intention originale de l'auteur.

4. Contributions Principales

1. Dataset CzechTopic : Introduction d'un nouveau benchmark humain annoté pour la localisation de sujets en tchèque historique, combinant des définitions de sujets ouvertes et des annotations de spans fines.
2. Dataset de Distillation : Création d'un vaste dataset d'entraînement généré par LLM pour permettre l'affinement de modèles de localisation.
3. Cadre d'évaluation robuste : Proposition d'une méthodologie d'évaluation basée sur l'accord inter-annotateurs plutôt que sur une référence unique, plus adaptée aux tâches subjectives.
4. Analyse comparative : Mise en évidence de la capacité des modèles BERT affinés à concurrencer les LLM, et identification des limites actuelles des LLM dans la précision des frontières de spans.

5. Signification et Impact

Cet article établit la localisation de sujets comme un domaine distinct et difficile de la NLP, nécessitant des approches spécifiques au-delà de la simple classification ou de la segmentation.

• Pour la recherche : Il fournit une base solide pour évaluer la compréhension sémantique fine des modèles, en particulier leur capacité à gérer l'ambiguïté et les frontières floues.
• Pour les humanités numériques : Le dataset permet aux chercheurs d'extraire automatiquement des preuves spécifiques (spans) liées à des thèmes historiques dans des archives, facilitant l'analyse qualitative et quantitative.
• Pour l'industrie : Il démontre que pour des tâches de localisation précises, un modèle spécialisé et finement affiné (même plus petit) peut être plus efficace et fiable qu'un LLM générique coûteux, tout en soulignant que les LLM les plus avancés s'approchent encore de l'humain mais ne l'ont pas totalement égalé sur ce critère de précision.

Le dataset et le code sont disponibles publiquement sur GitHub, encourageant de futurs travaux sur la compréhension structurée des sujets et les paradigmes d'évaluation fondés sur l'accord humain.