PersianPunc: A Large-Scale Dataset and BERT-Based Approach for Persian Punctuation Restoration

Cet article présente PersianPunc, un vaste ensemble de données de 17 millions d'échantillons et une approche basée sur ParsBERT pour la restauration de la ponctuation en persan, démontrant une efficacité supérieure et une meilleure adaptation aux applications en temps réel par rapport aux grands modèles de langage.

L'essentiel

Imaginez que vous écoutez une conversation enregistrée, mais que le transcript (le texte écrit) est une longue suite de mots sans aucune pause, sans virgule, sans point. C'est comme essayer de lire un livre où toutes les phrases sont collées les unes aux autres. C'est fatiguant pour le cerveau et, pire encore, cela peut changer complètement le sens des mots !

C'est exactement le problème que les auteurs de cet article, PersianPunc, ont voulu résoudre pour la langue persane (le Farsi).

Voici une explication simple de leur travail, avec quelques images pour mieux comprendre :

1. Le Problème : La "Ponctuation" est le Chef d'Orchestre

Dans la langue persane, comme dans beaucoup d'autres, la ponctuation est cruciale. Sans elle, le sens peut basculer du positif au négatif en un instant.

• L'analogie du chef d'orchestre : Imaginez un orchestre jouant sans chef. Les musiciens jouent, mais personne ne dit quand s'arrêter, quand accélérer ou quand faire une pause dramatique. Le résultat est une cacophonie.
• L'exemple du papier :
  • Sans ponctuation : "Pas de pitié nécessaire, exécutez-le." (C'est terrible !)
  • Avec une virgule : "Pitié, pas besoin de l'exécuter." (C'est une bonne nouvelle !)
  • Sans ponctuation : "Non papa tu dis vrai." (Peut-être ironique ?)
  • Avec ponctuation : "Non, papa, tu as raison." (C'est un accord respectueux).

Les chercheurs ont constaté que les ordinateurs (les IA) avaient du mal à remettre ces "points de musique" dans les textes persans, surtout pour les applications de reconnaissance vocale (comme Siri ou Google Assistant, mais en persan).

2. La Solution : Une Bibliothèque Géante (PersianPunc)

Pour apprendre à un ordinateur à bien ponctuer, il faut lui montrer des millions d'exemples. Avant ce travail, les chercheurs n'avaient que de petits manuels (de petits ensembles de données).

• L'analogie de la bibliothèque : Les auteurs ont construit PersianPunc, une immense bibliothèque numérique contenant 17 millions de phrases persanes.
• Comment l'ont-ils faite ? Ils ont pris des textes de tous les horizons : des articles médicaux sérieux, des encyclopédies (Wikipedia), mais aussi des conversations de Telegram, des blogs et des histoires modernes.
• Le tri (Le filtre) : Comme on ne peut pas utiliser n'importe quel texte (certains sont mal écrits ou contiennent des erreurs), ils ont passé ces 17 millions de phrases dans un "tamis" très fin. Ils ont retiré les doublons, nettoyé les erreurs de formatage et gardé uniquement les phrases parfaites pour l'entraînement. C'est comme trier des diamants dans un tas de sable.

3. L'Entraînement : Le "Petit Génie" vs Le "Géant"

Une fois la bibliothèque prête, ils ont dû entraîner un modèle d'intelligence artificielle. Ils ont comparé deux approches :

• Le Géant (Les grands modèles comme GPT-4) : C'est comme un professeur très intelligent qui sait tout, mais qui est lent, coûteux en énergie et qui a parfois tendance à être trop zélé.
  • Le problème : Ce "Géant" a tendance à sur-corriger. Au lieu de juste ajouter des points, il se permet de changer les mots, de supprimer des phrases ou de reformuler le texte. Pour un transcript de voix, c'est catastrophique : on veut que le texte reste exactement ce que la personne a dit, juste avec des points.
• Le Petit Génie (ParsBERT) : C'est un modèle plus petit, spécialisé, entraîné spécifiquement sur leur nouvelle bibliothèque.
  • L'avantage : Il est rapide, économe en énergie et, surtout, il respecte la règle d'or : "Je n'ajoute que des points, je ne touche pas aux mots."

4. Les Résultats : Qui gagne ?

Les chercheurs ont mis les deux en compétition sur un test secret.

• Le Petit Génie (ParsBERT) a gagné avec un score de 91,33 % de précision. Il a ajouté les points là où il fallait, sans jamais toucher aux mots.
• Le Géant (GPT-4) a obtenu un score inférieur (environ 86 %) et, plus grave, il a modifié le texte dans près de 50 % des cas (en changeant des mots ou en supprimant des phrases).

En Résumé

Ce papier nous dit : "Pour corriger la ponctuation en persan, vous n'avez pas besoin d'un super-ordinateur géant qui risque de tout gâcher. Vous avez besoin d'une énorme bibliothèque de textes propres et d'un modèle spécialisé et respectueux."

Ils ont rendu cette bibliothèque et leur modèle "Petit Génie" disponibles gratuitement pour tout le monde, afin que d'autres chercheurs puissent améliorer la technologie pour la langue persane et d'autres langues complexes. C'est une victoire pour la clarté et la précision dans le monde numérique !

Résumé technique

Résumé Technique : PersianPunc

1. Problématique

La restauration de la ponctuation est une tâche cruciale pour améliorer la lisibilité et l'utilité des sorties des systèmes de reconnaissance automatique de la parole (ASR) et des textes numériques informels. En persan, cette tâche est particulièrement critique car l'absence de ponctuation peut radicalement changer le sens d'une phrase (ex. : changer une négation en affirmation ou modifier le ton sarcastique).

Cependant, la recherche dans ce domaine pour le persan souffre de plusieurs lacunes :

• Manque de données : Absence de grands ensembles de données publics, diversifiés et de haute qualité spécifiquement dédiés à la restauration de la ponctuation.
• Limites des modèles existants : Les approches antérieures reposaient sur des corpus de petite taille ou des modèles statistiques (CRF) moins performants.
• Défis des LLM : Bien que les Grands Modèles de Langage (LLM) soient puissants, ils présentent des risques d'"sur-correction" (modification du texte source au-delà de la simple ponctuation) et nécessitent des ressources computationnelles excessives pour des applications en temps réel.

2. Méthodologie

L'approche proposée combine la création d'un corpus massif et l'adaptation d'un modèle BERT spécialisé.

A. Construction du Dataset (PersianPunc)
Les auteurs ont créé PersianPunc, un ensemble de données à grande échelle comprenant 17 millions d'échantillons uniques.

• Sources de données : Agrégation systématique de six corpus couvrant à la fois des textes formels (académiques, médicaux, Wikipédia) et informels (canaux Telegram, blogs, histoires).
• Prétraitement et Filtrage :
  • Normalisation des caractères (conversion de la ponctuation anglaise vers le persan, suppression des caractères non-persans).
  • Filtrage strict : suppression des URL, emojis, et textes contenant trop de langues étrangères.
  • Critère clé : Seules les phrases contenant au moins deux marques de ponctuation sont conservées pour se concentrer sur la ponctuation interne (virgules, deux-points) plutôt que sur la simple détection de fin de phrase.
• Déduplication : Utilisation de hachage SHA-256 pour éliminer les doublons exacts, aboutissant à un jeu de données final de 17 102 014 échantillons.
• Répartition : Un sous-ensemble de 1 million d'échantillons est utilisé pour l'entraînement, la validation et le test (989k / 10k / 1k).

B. Modélisation et Entraînement
Le problème est formulé comme une tâche d'étiquetage de séquence au niveau des tokens.

• Architecture : Utilisation de ParsBERT, un modèle BERT monolingue pré-entraîné sur le persan.
• Tâche : Pour chaque token d'entrée (texte sans ponctuation), le modèle prédit une classe parmi 5 : VIDE, VIRGULE (،), POINT (.), DEUX-POINTS (:), POINT D'INTERROGATION (؟).
• Traitement des sous-mots : Les étiquettes ne sont attribuées qu'au premier sous-mot de chaque mot (WordPiece) pour aligner la prédiction avec la ponctuation au niveau du mot.
• Configuration : Entraînement sur 3 époques avec un taux d'apprentissage de $2 \times 10^{-5}$, utilisant AdamW et une accumulation de gradient.

3. Contributions Clés

1. PersianPunc : Le plus grand ensemble de données public et diversifié pour la restauration de la ponctuation en persan (17M d'échantillons), couvrant des registres formels et informels.
2. Cadre de curation : Une méthodologie systématique de prétraitement, de filtrage de qualité et d'analyse de distribution de la ponctuation applicable aux langues à faibles ressources.
3. Modèle performant et efficace : Démonstration qu'un modèle BERT finetuné (ParsBERT) surpasse les LLMs génériques en termes de précision et d'efficacité, tout en évitant les erreurs de sur-correction.

4. Résultats et Analyse

Performance du Modèle ParsBERT

• Score F1 Macro : 91,33 % (moyenne pondérée équitable entre les classes).
• Score F1 Micro : 97,28 % (pondéré par la fréquence des classes).
• Performance par classe :
  • Point (.): 98,71 % (très élevé).
  • Deux-points (:): 90,45 %.
  • Point d'interrogation (؟): 88,89 %.
  • Virgule (،): 80,03 % (plus faible en raison de l'ambiguïté contextuelle et de la flexibilité de son usage en persan).

Comparaison avec les LLM (GPT-4o)
Les auteurs ont évalué GPT-4o et GPT-4o-mini en zero-shot sur le même jeu de test :

• Précision : ParsBERT (91,33 %) > GPT-4o (85,96 %) > GPT-4o-mini (79,54 %).
• Taux de correspondance exacte (FSM) : ParsBERT (61,80 %) > GPT-4o (50,10 %).
• Problème de sur-correction : GPT-4o a modifié le texte source dans environ 5 % des cas (suppression de mots, remplacement de termes informels par des formels, correction orthographique), ce qui est inacceptable pour les pipelines ASR où le texte transcrit doit être préservé à l'identique.
• Efficacité : ParsBERT est nettement plus léger et adapté au déploiement en temps réel que les LLMs.

5. Signification et Conclusion

Ce travail comble un vide majeur dans les ressources NLP pour le persan.

• Impact Immédiat : Fournit une base solide pour améliorer les systèmes ASR, la traduction automatique et l'analyse de sentiments en persan.
• Apport Scientifique : Démontre que pour des tâches de correction textuelle ciblées, des modèles spécialisés et légers (Fine-tuned BERT) sont supérieurs aux LLMs génériques, offrant un meilleur compromis entre précision, intégrité du texte source et coût computationnel.
• Généralisation : La méthodologie de curation proposée peut être adaptée à d'autres langues morphologiquement riches et à faibles ressources.

Les auteurs mettent à disposition publique l'ensemble des données (17M d'échantillons), le sous-ensemble d'entraînement et le modèle finetuné pour faciliter la recherche future.