Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

Cette étude pionnière en traitement automatique des langues présente le premier jeu de données numérique pour le dialecte de Mayence (Meenzerisch) et démontre que les grands modèles de langage actuels échouent à le comprendre ou à le générer avec précision, soulignant ainsi l'urgence de développer davantage de ressources pour la préservation des dialectes allemands.

L'essentiel

🍷 Le Titre : « Meenz reste Meenz, mais les robots ne parlent pas son dialecte »

Imaginez que la ville de Mayence (en allemand : Mainz) est comme un vieux vignoble. Ses habitants parlent un dialecte unique, le Meenzerisch, qui sent le terroir, l'histoire et la fête (surtout le carnaval). C'est une langue vivante, pleine de caractère, utilisée pour les blagues locales et les discours télévisés.

Mais ce dialecte est en danger. Il est menacé de disparaître, un peu comme une vieille recette de grand-mère que plus personne ne sait cuisiner.

Les chercheurs de cet article ont voulu demander à l'intelligence artificielle moderne (les grands modèles de langage, ou LLM) de l'aider à sauver cette langue. Leur conclusion ? C'est un échec cuisant. Les robots, aussi intelligents soient-ils, sont complètement perdus face à ce dialecte.

---

🛠️ L'Expérience : Construire un dictionnaire pour un robot

Pour tester les robots, les chercheurs ont dû d'abord leur donner un manuel. Comme il n'y avait pas de dictionnaire numérique pour le Meenzerisch, ils ont dû en créer un eux-mêmes à partir d'un vieux livre papier de 1966.

C'est un peu comme si vous deviez enseigner l'anglais à un alien en scannant un vieux dictionnaire, en corrigeant les erreurs de lecture, et en demandant à un autre robot de résumer chaque définition.

• Le résultat : Ils ont créé une liste de 2 351 mots en dialecte, avec leur signification en allemand standard (le "Hochdeutsch").

🤖 Le Test : Les robots sont-ils de bons élèves ?

Ensuite, ils ont mis les robots à l'épreuve avec deux exercices simples, comme à l'école primaire :

1. Exercice de Compréhension (Définition) :

   • Question : « Que veut dire le mot Schimmes en dialecte ? »
   • Réponse attendue : « Faim ».
   • Résultat : Les robots ont eu 6 % de bonnes réponses (le meilleur d'entre eux). C'est comme si un élève de 6 ans, sur 100 questions, en avait juste 6 bonnes. Le reste, c'est du hasard ou de l'invention.

2. Exercice de Production (Le mot) :

   • Question : « Comment dit-on "faim" en dialecte de Mayence ? »
   • Réponse attendue : « Schimmes ».
   • Résultat : C'est encore pire. Les robots ont eu 1,5 % de bonnes réponses. C'est l'équivalent de demander à quelqu'un de deviner le numéro gagnant de la loterie. Ils ne trouvent presque jamais le bon mot.

📉 Pourquoi est-ce si difficile pour les robots ?

Les chercheurs ont comparé cela à l'anglais. Si on demande aux mêmes robots de définir un mot anglais, ils réussissent à 87 %.

• L'analogie : Imaginez un chef étoilé qui peut cuisiner n'importe quel plat français ou italien (les langues "standard" comme l'anglais ou l'allemand standard), mais qui, dès qu'on lui demande de faire un plat régional très spécifique avec des ingrédients locaux rares (le dialecte), il brûle tout.

Les robots sont entraînés sur des milliards de textes "normes". Le Meenzerisch, étant une langue parlée à l'oral et peu écrite sur internet, est invisible pour eux. C'est comme essayer de trouver une aiguille dans une botte de foin, sauf que l'aiguille est faite de sons que le robot n'a jamais entendus.

🚑 Les tentatives de sauvetage (et pourquoi ça ne suffit pas)

Les chercheurs n'ont pas abandonné. Ils ont essayé deux astuces pour aider les robots :

1. L'astuce du "Copier-Coller" (Few-shot learning) : Ils ont donné quelques exemples aux robots avant la question. Résultat : Une petite amélioration, mais toujours très faible.
2. L'astuce des "Règles de grammaire" : Ils ont demandé à un robot d'extraire les règles de transformation (ex: "en dialecte, on change le 'en' en 'ele'") et de les donner aux autres robots. Résultat : Ça aide un tout petit peu pour comprendre, mais ça ne sert à rien pour produire les mots.

Même avec ces aides, les robots restent en dessous de 10 % de réussite.

💡 La Conclusion : Il faut plus que de la technologie

Ce papier nous dit une chose importante : La technologie seule ne sauvera pas les dialectes.

Les robots actuels sont comme des touristes qui arrivent à Mayence avec un guide touristique en allemand standard. Ils peuvent commander une bière, mais ils ne comprendront jamais les blagues des locaux ni ne pourront pas chanter les chants du carnaval.

Pour que l'IA puisse vraiment aider le Meenzerisch (et tous les autres dialectes allemands en danger), il faut :

• Créer beaucoup plus de données (plus de livres, plus d'enregistrements).
• Former les robots spécifiquement sur ces langues, pas juste sur les langues "populaires".
• Ne pas attendre que les robots fassent tout le travail : les humains doivent continuer à parler, à écrire et à transmettre leur culture.

En résumé : Le robot est un excellent traducteur de langues officielles, mais il est encore un enfant perdu dans le dialecte de Mayence. Il faudra beaucoup d'efforts pour qu'il apprenne à parler comme un vrai Mayençais.

Résumé technique

1. Problématique

L'article aborde la menace d'extinction qui pèse sur de nombreux dialectes allemands, en particulier le Meenzerisch (ou Määnzerisch), le dialecte parlé à Mayence (Mainz) et dans la région de la Rhénanie-Palatinat. Ce dialecte, bien que culturellement vital (notamment pour le carnaval de Mayence), subit une érosion due à la discrimination, à la standardisation linguistique et au manque de transmission intergénérationnelle.

Le problème central identifié par les auteurs est l'absence totale de ressources numériques et de recherches en Traitement Automatique du Langage (TAL/NLP) dédiées au Meenzerisch. Les modèles de langage actuels, y compris les grands modèles de langage (LLM), sont entraînés principalement sur des données standardisées (Hochdeutsch) et anglophones, ce qui les rend incompétents pour comprendre ou générer des dialectes à faible ressources. L'étude vise à combler ce vide en évaluant la capacité des LLMs d'état de l'art à traiter ce dialecte spécifique.

2. Méthodologie

A. Création du Dataset (Dictionnaire Numérique)

Les auteurs ont créé le premier jeu de données structuré pour le Meenzerisch en numérisant le « Mainzer Wörterbuch » de Karl Schramm (1966). Le processus semi-automatique a suivi cinq étapes (illustrées dans la Figure 1 du papier) :

1. Numérisation et OCR : Conversion du livre physique en PDF puis en texte brut.
2. Nettoyage manuel : Correction des sauts de ligne manquants et des erreurs d'OCR (environ 4 heures de travail).
3. Extraction des mots : Utilisation d'un script Python basé sur des règles pour isoler les mots dialectaux.
4. Extraction des définitions : Utilisation d'un LLM (GPT-OSS 120B) pour extraire uniquement la définition en allemand standard, en ignorant les exemples et informations secondaires.
5. Nettoyage final : Utilisation de Llama-3.3 70B pour normaliser le texte et supprimer le bruit résiduel.

Statistiques du dataset :

• Taille : 2 351 paires valides (Mot dialectal $\leftrightarrow$ Définition en allemand standard).
• Répartition : 250 exemples d'entraînement, 250 de développement, 1 851 pour le test.
• Contenu : Mots dialectaux (longueur médiane de 8 caractères) et leurs définitions en allemand standard.

B. Expérimentations

Les auteurs ont évalué une gamme diversifiée de LLMs open-source (de 4B à 120B paramètres), incluant des architectures denses et MoE (Mixture of Experts), ainsi que des modèles « thinking » (raisonnement). Les modèles testés comprenaient Llama-3.3, GPT-OSS, Qwen, Gemma, Leo-HessianAI et Phi-4.

Deux tâches principales ont été évaluées :

1. Génération de définitions (Expérience 1) : Le modèle reçoit un mot en Meenzerisch et doit générer sa définition en allemand standard.
   • Évaluation : Utilisation d'un LLM comme juge (LLM-as-a-Judge) pour comparer la génération à la référence, complété par une vérification manuelle.
2. Génération de mots dialectaux (Expérience 2) : Le modèle reçoit une définition en allemand standard et doit générer le mot correspondant en Meenzerisch.
   • Évaluation : Comparaison directe de chaînes de caractères (exact string match).

C. Expériences supplémentaires

Pour tenter d'améliorer les performances, deux approches ont été testées sur le meilleur modèle (Llama-3.3 70B) :

• Apprentissage few-shot : Ajout d'exemples en contexte (1 à 50 exemples) dans le prompt, avec sélection aléatoire ou basée sur la distance d'édition de Levenshtein.
• Extraction de règles automatiques : Utilisation de DeepSeek-R1 pour analyser le jeu d'entraînement et générer des règles de transformation linguistique (phonologiques et morphologiques) qui sont ensuite injectées dans le prompt du modèle.

3. Résultats Clés

Les résultats démontrent un échec quasi-total des modèles actuels sur cette tâche :

• Génération de définitions (Expérience 1) :

  • La précision moyenne sur l'ensemble des modèles est de 4,24 %.
  • Le meilleur modèle (Llama-3.3 70B) atteint 6,27 %.
  • En comparaison, sur un jeu de données anglais équivalent, les modèles atteignent une moyenne de 86,89 %, prouvant que l'échec est dû au manque de connaissance du dialecte et non à une incapacité générale des modèles.

• Génération de mots (Expérience 2) :

  • Les performances sont encore plus faibles, avec une précision moyenne de 0,56 %.
  • Le meilleur modèle (GPT-OSS 120B) atteint 1,51 %.

• Impact des techniques d'amélioration :

  • Le few-shot learning (sélection basée sur la distance d'édition) a permis d'augmenter légèrement la précision pour la génération de définitions (jusqu'à 9,24 %), mais reste très faible.
  • L'injection de règles extraites a également apporté un gain modeste pour la génération de définitions (8,37 %), mais n'a pas aidé (et a même légèrement dégradé) la génération de mots.

4. Contributions Principales

1. Premier Dataset : Introduction du premier corpus numérique structuré (2 351 entrées) reliant les mots du dialecte de Mayence à leurs définitions en allemand standard.
2. Première Évaluation NLP : Première étude systématique des capacités des LLMs à comprendre et générer le Meenzerisch, révélant des lacunes fondamentales.
3. Analyse des Limites : Démonstration que même les modèles les plus avancés (jusqu'à 120B paramètres) échouent à capturer la sémantique et la morphologie de ce dialecte, soulignant le fossé entre les langues standardisées et les variétés dialectales.
4. Ressources Open Source : Mise à disposition du code et du dataset sous licence CC BY-NC-ND 4.0 pour la communauté de recherche.

5. Signification et Conclusion

Cette étude met en lumière un problème critique pour la préservation des langues minoritaires : les technologies linguistiques actuelles ne sont pas prêtes pour les dialectes à faible ressources.

• Urgence de recherche : Les résultats montrent que l'augmentation de la puissance de calcul seule (plus grands modèles) ne suffit pas. Des ressources linguistiques spécifiques et des efforts de recherche ciblés sont indispensables.
• Risque culturel : L'incapacité des LLMs à traiter le Meenzerisch reflète et pourrait accélérer la disparition de ce dialecte, car les locuteurs ne peuvent pas interagir avec les technologies modernes dans leur langue maternelle.
• Éthique : Les auteurs soulignent l'importance de l'engagement communautaire (un locuteur natif est co-auteur) et la nécessité de ne pas imposer des coûts computationnels disproportionnés aux cultures sous-représentées pour obtenir un service équivalent.

En conclusion, bien que le Meenzerisch soit culturellement vivant (notamment lors du carnaval), il est numériquement « mort » aux yeux des IA actuelles. Ce travail pose les bases nécessaires pour un développement futur de modèles capables de soutenir la revitalisation de ce dialecte et d'autres variétés linguistiques similaires.