ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

La vie secrète des mots : Comment les ordinateurs apprennent à lire le chinois

Imaginez que vous enseigniez à un robot à lire une langue. Pour des langues comme l'anglais, le robot regarde principalement l'ordre des lettres et le contexte de la phrase pour deviner la signification d'un mot. C'est comme résoudre un puzzle dont les pièces sont des sons et des règles grammaticales. Mais le chinois est un type de puzzle totalement différent. En chinois, les « lettres » sont des caractères, et ce sont de minuscules dessins complexes. Chaque dessin n'est pas seulement un son ; c'est une image qui suggère souvent sa signification. Pensez au caractère pour « rivière » ou « lac » — ils ont tous deux un petit radical « eau » peint sur le côté, comme un indice visuel disant : « Hé, cela concerne l'eau ! »

De plus, le chinois possède un piège délicat appelé « hétéronyme ». Il s'agit du cas où le même dessin (caractère) peut être prononcé de deux manières complètement différentes, et chaque prononciation change entièrement le sens. C'est comme si le mot anglais « read » s'écrivait exactement de la même façon que vous parliez du passé ou du présent, mais que vous deviez deviner lequel en regardant simplement la phrase. Pendant longtemps, les modèles informatiques essayant de comprendre le chinois passaient à côté de ces deux indices cruciaux : la forme visuelle du caractère et sa prononciation spécifique. Ils essayaient de résoudre le puzzle avec la moitié des pièces manquantes. Ce document plonge dans le monde du Traitement du Langage Naturel (NLP) — le domaine où nous apprenons aux ordinateurs à comprendre le langage humain — pour voir si donner au robot à la fois l'« image » et le « son » de chaque caractère l'aide à devenir un bien meilleur lecteur.

La grande idée du papier : Donner des yeux et des oreilles aux ordinateurs

Les chercheurs derrière ce papier, travaillant avec Shannon.AI et l'Université de Zhejiang, ont remarqué que les modèles informatiques existants pour le chinois ignoraient deux super-pouvoirs uniques à la langue : le glyphe (la forme visuelle) et le pinyin (la prononciation). Ils ont décidé de construire un nouveau modèle appelé ChineseBERT pour corriger cela.

Considérez les modèles informatiques standards comme des étudiants qui apprennent seulement à lire en écoutant un professeur. Ils entendent le mot et mémorisent le contexte. ChineseBERT, cependant, est comme un étudiant qui reçoit une paire de lunettes spéciales et une paire d'oreilles à l'ouïe surdéveloppée.

• Les Lunettes (Embedding de glyphe) : Le modèle regarde le caractère comme s'il s'agissait d'une petite image. Il ne voit pas seulement un code ; il voit la forme réelle. Les chercheurs ont nourri le modèle de trois « polices » différentes pour chaque caractère (comme les styles script carré, courant et sigillaire). En observant ces formes visuelles, le modèle apprend que les caractères possédant le radical « eau » sont liés, même s'il ne les a jamais vus ensemble dans une phrase auparavant. C'est comme reconnaître qu'une image de poisson et une image de baleine sont liées parce qu'elles ont toutes deux des nageoires, même si vous ne connaissez pas encore leurs noms.
• Les Oreilles (Embedding de pinyin) : Le modèle écoute également le son. Ceci est crucial pour ces « hétéronymes » délicats. Si le caractère « 乐 » apparaît, le modèle vérifie la prononciation. Est-ce « yuè » (musique) ou « lè » (heureux) ? Le son indique au modèle exactement quel sens choisir, résolvant un problème que les formes visuelles seules ne peuvent pas régler.

L'équipe a combiné ces trois éléments — le code de caractère standard, la forme visuelle et le son — en un seul « super-embedding » de fusion. C'est comme donner au robot un sandwich à trois couches d'informations pour chaque caractère qu'il lit.

Ce qu'ils ont trouvé : Plus intelligent, plus rapide et plus précis

Les chercheurs ont entraîné ce nouveau modèle ChineseBERT sur une bibliothèque massive de 4 milliards de caractères chinois extraits d'Internet. Ils ne se sont pas arrêtés là ; ils l'ont testé contre les meilleurs modèles existants (comme ERNIE et BERT-wwm) sur une grande variété de tâches, de la compréhension de lecture à l'identification de noms dans un texte.

Voici ce que les expériences ont révélé :

• C'est un champion de la vitesse : ChineseBERT a obtenu des résultats de premier plan avec moins d'étapes d'entraînement que les autres modèles. Alors que d'autres modèles avaient besoin de millions d'étapes pour apprendre, ChineseBERT y est parvenu plus rapidement. C'est comme si le robot avait appris la langue en deux fois moins de temps parce qu'il avait de meilleurs supports d'étude.
• Il gagne en lecture : Sur les tâches de compréhension de lecture automatique (répondre à des questions basées sur un texte), ChineseBERT a établi de nouveaux records. Par exemple, sur le jeu de données CMRC 2018, la version « Large » de ChineseBERT a obtenu un score de 78,05, battant le meilleur score précédent de 77,95. Sur le jeu de données CJRC, il a amélioré le score de la réponse exacte à 67,0, surpassant la concurrence.
• Il comprend les nuances : Dans des tâches comme l'inférence du langage naturel (déterminer si une phrase prouve une autre), ChineseBERT a également pris la première place, obtenant 81,6 sur l'ensemble de test, dépassant de peu le modèle suivant.
• L'effet « Moins c'est plus » : Les chercheurs ont mené une expérience intéressante où ils ont donné de moins en moins de données d'entraînement au modèle. Ils ont découvert que même avec seulement 30 % des données habituelles, ChineseBERT performait toujours mieux que les autres. Cela suggère que les indices visuels et sonores agissent comme un « régularisateur » — une sorte de garde-fou mental qui aide le modèle à apprendre les règles de la langue plus efficacement sans avoir besoin de tout mémoriser.

Ce que le papier écarte et clarifie

Le papier prend soin de préciser ce qui ne fonctionne pas ou n'est pas le sujet principal.

• Ce n'est pas seulement une question de plus de données : Les auteurs soutiennent explicitement que l'ajout de plus de texte n'est pas le seul moyen d'améliorer les choses. Leur modèle a prouvé que l'ajout du bon type d'information (glyphes et pinyin) est plus efficace que de simplement jeter plus de texte brut sur un modèle standard.
• Ce n'est pas une solution miracle pour tout : Bien que ChineseBERT soit très puissant, le papier note que pour certaines tâches très simples (comme l'analyse de sentiment de base où la référence est déjà de 95 %+), l'amélioration est « marginale ». Les grandes victoires se produisent dans les tâches complexes où la compréhension de la forme ou du son d'un caractère est critique.
• Ce n'est pas juste une copie des anciens modèles : Les chercheurs ont montré que si l'on retire les parties glyphe ou pinyin, la performance du modèle chute considérablement. En fait, retirer les deux a provoqué une baisse d'environ 2 points de leur score F1 (une mesure de précision). Cela prouve que le modèle n'est pas seulement « chanceux » ; il a réellement besoin de ces caractéristiques visuelles et sonores pour fonctionner de manière optimale.

L'essentiel

Le papier conclut que ChineseBERT est une étape significative vers l'avant car il respecte la nature unique de la langue chinoise. En traitant les caractères à la fois comme des images et des sons, le modèle capture mieux l'« âme » de la langue que les modèles qui ne voient le texte que comme une suite de codes. Les auteurs suggèrent que ces caractéristiques visuelles et phonétiques agissent comme un outil puissant pour aider les ordinateurs à comprendre la sémantique chinoise, leur permettant d'apprendre plus vite et plus précisément. Bien qu'ils prévoient d'entraîner des versions encore plus grandes à l'avenir, ce travail montre que parfois, pour enseigner une langue à une machine, il faut lui donner des yeux pour voir les images et des oreilles pour entendre les sons.