From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Imaginez que vous essayez de lire une bibliothèque de livres anciens écrits dans trois langues médiévales différentes : l'occitan médiéval, le catalan médiéval et le français médiéval. Ce ne sont pas de simples versions anciennes de langues modernes ; ce sont comme des cousins sauvages et indomptés. L'orthographe change d'une page à l'autre (parfois « feu » s'écrit fuoc, parfois foc), la grammaire est complexe, et il existe très peu de dictionnaires ou d'enseignants pour vous aider à les comprendre.

L'objectif de cet article est d'enseigner aux ordinateurs comment étiqueter chaque mot de ces livres avec sa « fonction » (comme nom, verbe ou adjectif). Ce processus s'appelle l'étiquetage morphosyntaxique (POS tagging). C'est la première étape essentielle avant qu'un ordinateur puisse véritablement comprendre l'histoire, la traduire ou analyser son histoire.

Les chercheurs se sont demandé : Les IA modernes « super-intelligentes » (les grands modèles de langage ou LLM) peuvent-elles mieux faire cela que les outils traditionnels anciens que nous utilisions ?

Voici le détail de leur expérience, expliqué par des analogies simples :

1. Les Concurrents

L'étude a organisé une course entre deux types d'« étiqueteurs » :

• La Vieille Garde (étiqueteurs traditionnels) : Imaginez-les comme des bibliothécaires respectueux des règles. Ils possèdent un manuel strict basé sur les langues modernes. Ils tentent de deviner la fonction d'un mot en examinant sa forme et en le comparant à des modèles connus. Ils sont rapides et peu coûteux, mais ils se confondent facilement lorsque l'orthographe est étrange ou que le mot est rare.
• Les Nouveaux Challengers (LLM) : Ceux-ci sont comme des polyglottes géniaux qui ont lu presque tout ce qui a jamais été écrit. Ils ne se contentent pas de suivre des règles ; ils comprennent le contexte. Ils peuvent examiner une phrase et « sentir » ce qu'un mot est susceptible d'être, même si l'orthographe est bizarre.

2. Les Méthodes d'Entraînement (Comment ils ont enseigné à l'IA)

Les chercheurs n'ont pas simplement laissé l'IA deviner ; ils ont essayé différentes façons de l'enseigner :

• Zero-Shot (La « Lecture à froid ») : Ils ont donné à l'IA une invite disant : « Vous êtes un expert. Voici un mot, dites-moi sa fonction », sans lui montrer d'exemples. C'est comme demander à un touriste de traduire un menu sans lui donner de guide de conversation.
• Few-Shot (La « Triche ») : Ils ont d'abord donné à l'IA une toute petite liste d'exemples (par exemple : « Ce mot est un nom, celui-ci est un verbe »). C'est comme remettre au touriste quelques phrases clés avant qu'il ne commence.
• Fine-Tuning (L'« Apprentissage ») : Ils ont pris l'IA et l'ont entraînée spécifiquement sur les textes médiévaux. C'est comme embaucher le touriste comme stagiaire pendant un mois pour étudier uniquement ces livres précis.
• Transfert Interlinguistique (Le « Réunion de la famille linguistique ») : C'est la partie la plus intéressante. Ils ont entraîné l'IA sur un mélange de langues. Par exemple, ils l'ont enseignée sur le catalan et l'occitan ensemble, puis l'ont testée sur l'occitan. C'est comme enseigner à quelqu'un l'espagnol et l'italien, puis voir s'il peut mieux comprendre le portugais parce que les langues sont apparentées.

3. Les Résultats : Qui a gagné ?

Les résultats étaient clairs, mais avec quelques rebondissements intéressants :

• L'IA gagne : Dans presque tous les cas, l'IA moderne (LLM) a battu les anciens outils basés sur des règles. Les « polyglottes géniaux » ont mieux géré les orthographes désordonnées et étranges que les « bibliothécaires respectueux des règles ».
• L'entraînement compte : L'IA a obtenu les meilleurs résultats lorsqu'elle a été réellement entraînée sur les données (Fine-tuning) plutôt que de simplement deviner.
• Le « Juste Milieu » du mélange des langues :
  • Pour le plus petit et le plus difficile des jeux de données (l'occitan médiéval) : L'IA a appris le mieux lorsqu'elle a étudié les trois langues ensemble (trilingue). C'était comme l'élève ayant besoin d'entendre tous les dialectes apparentés pour enfin comprendre celui qui posait problème.
  • Pour le texte médical (le français médiéval) : L'IA a obtenu les meilleurs résultats lorsqu'elle a été associée uniquement au catalan (bilingue). L'ajout de la troisième langue l'a en fait légèrement détériorée. C'est comme un élève apprenant le français ; parfois, ajouter une troisième langue (comme l'espagnol) aide, mais parfois se concentrer uniquement sur le parent le plus proche (l'italien/le catalan) est plus efficace pour une tâche spécifique et petite.

4. Le « Pourquoi » de la Victoire

Les chercheurs ont constaté que l'IA était particulièrement bonne pour identifier les mots qui ont un sens et un contexte, comme les adjectifs, les adverbes et les pronoms. Les anciens outils avaient du mal avec ceux-ci car ils reposent sur des règles rigides. L'IA, en revanche, pouvait examiner toute la phrase et dire : « Ah, ce mot décrit le nom, donc il doit être un adjectif », même si l'orthographe était étrange.

5. La Pièce (Limites)

L'article est honnête sur ce qu'il n'a pas fait :

• Coût : Les « polyglottes géniaux » (les grands modèles d'IA) sont coûteux à exécuter et nécessitent des ordinateurs puissants. Les anciens outils sont gratuits et rapides.
• Taille des données : Les jeux de données variaient considérablement en taille (l'un comportait 2 000 mots, l'autre 59 000). Les chercheurs n'ont pas pu séparer parfaitement si l'IA a bien performé à cause de la langue ou simplement parce qu'elle avait plus de données à apprendre.
• Spécificité : Ils n'ont testé que ces trois langues. Nous ne savons pas encore si cela fonctionne pour d'autres langues anciennes qui ne sont pas apparentées aux langues romanes.

La Conclusion

Cet article prouve que pour lire des textes médiévaux anciens et désordonnés, l'IA moderne est un nouvel outil puissant. Elle ne remplace pas seulement les anciennes méthodes ; elle les améliore considérablement, surtout lorsque vous lui enseignez en mélangeant des langues apparentées. Cependant, il n'existe pas de stratégie « universelle ». Parfois, vous devez mélanger toutes les langues ensemble, et parfois, vous devez vous concentrer sur seulement deux, selon le texte spécifique que vous essayez de lire.

Pour les historiens et les humanistes numériques, cela signifie que nous pouvons désormais créer de meilleurs outils pour organiser et comprendre automatiquement des milliers d'années de littérature qui étaient auparavant trop désordonnées pour être traitées par les ordinateurs.