Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

Imaginez que vous essayez de construire un traducteur universel pour l'esprit humain, non pas seulement pour les mots, mais pour les règles invisibles et profondes qui font fonctionner les phrases. C'est le monde de l'ingénierie grammaticale. Voyez cela comme le travail d'un architecte qui ne se contente pas de dessiner une maison, mais qui écrit le code réel qui dit à un robot comment la construire, brique par brique, en s'assurant que le toit ne s'effondre pas. Pour ce faire, les linguistes utilisent des cartes spéciales appelées treebanks (banques d'arbres). Si une phrase est un bâtiment, un treebank est le plan qui montre exactement comment chaque mot se connecte à tous les autres, capturant qui a fait quoi à qui. Mais voici la partie délicate : quand vous essayez de construire ces plans pour deux langues très différentes — comme une qui coule comme un fleuve et une autre qui saute comme une grenouille — vous avez besoin d'un plan directeur qui garde la structure centrale identique tout en laissant les détails de surface différer. C'est le défi de la grammaire parallèle : s'assurer que l'« âme » de la phrase est identique d'une langue à l'autre, même si les « vêtements » qu'elle porte sont totalement différents.

Entrez maintenant, le nouveau venu sur la scène : les Grands Modèles de Langage (LLM). Ce sont ces chatbots IA super intelligents qui ont lu presque tout sur Internet. Ils sont excellents pour deviner le mot suivant dans une phrase, mais comprennent-ils réellement les règles architecturales profondes de la grammaire ? Peuvent-ils aider les architectes humains à construire ces plans plus rapidement, ou ne sont-ils que des devineurs sophistiqués qui pourraient accidentellement construire une maison avec une porte au plafond ? Cet article pose précisément cette question, en utilisant deux langues très distinctes : le cantonais (une langue du sud de la Chine avec très peu de terminaisons de mots) et l'irlandais (une langue celtique avec beaucoup de terminaisons de mots et un ordre des mots différent). Les chercheurs voulaient voir si une IA pouvait traduire entre ces deux langues et dessiner les bons plans grammaticaux, agissant comme un assistant utile pour les experts humains.

L'Expérience : L'IA comme apprenti de la grammaire

Les chercheurs ont organisé un essai routier avec un modèle d'IA spécifique (gpt-oss-120b d'OpenAI) et lui ont donné une pile de 50 phrases. Ces phrases étaient comme un « examen du permis de conduire » pour la grammaire, couvrant tout, des affirmations simples aux phrases complexes avec des propositions relatives et des structures verbales délicates. Ils ont demandé à l'IA d'accomplir deux tâches principales :

1. Traduire : Transformer une phrase du cantonais vers l'irlandais, ou vice versa.
2. Dessiner le Plan : Créer une carte grammaticale formelle (appelée f-structure) qui montre les relations profondes entre les mots, en ignorant l'ordre de surface.

Ils ont testé cela de différentes manières : en demandant à l'IA en anglais, en lui demandant dans la langue cible, et en lui demandant de faire à la fois la traduction et le dessin.

Les Résultats : Un mélange de génie et de confusion

Les conclusions étaient un peu comme observer un apprenti talentueux mais confus. L'IA a montré qu'elle pouvait parfois voir la vue d'ensemble, mais elle trébuchait souvent sur les détails.

Les problèmes de traduction
Lorsqu'il s'agissait de traduire, l'IA a énormément lutté. C'était comme un étudiant qui connaît le vocabulaire mais qui mélange sans cesse les dialectes.

• Le mélange avec le mandarin : Lorsqu'on lui demandait de parler cantonais, l'IA glissait souvent vers le mandarin. Par exemple, elle utilisait le mot hǎo bàng (génial) au lieu du correct hóu lèk en cantonais. C'est comme demander à quelqu'un de parler avec un accent écossais, et qu'il utilise accidentellement de l'argot américain.
• Les mots « inventés » : Lors de la traduction vers l'irlandais, l'IA ne se contentait pas de faire des erreurs ; elle inventait des mots. Le mot pour « tracteur » (tarracóir) était parfois transformé en « bâche », « voleur », « lapin » ou même « brigand ». Il semblait qu'elle devinait en fonction de la façon dont le mot sonnait ou de son contexte, plutôt que de connaître la signification réelle.
• Le taux de réussite : Les chiffres sont accablants. Lorsqu'on lui demandait de traduire de l'irlandais vers le cantonais, seulement environ 22 % à 24 % des traductions étaient à la fois précises dans leur sens et naturelles. Pour le passage du cantonais vers l'irlandais, le taux était encore plus bas, avec seulement 6 % à 8 % des traductions atteignant la marque. Curieusement, changer la langue des instructions (le « prompt ») n'a servi à rien ; l'IA a été tout aussi médiocre qu'on lui demandait en anglais ou dans la langue cible.

Le dessin du plan
Lorsqu'il s'agissait de dessiner les plans grammaticaux (les f-structures), l'IA s'en est un peu mieux sortie, mais elle a encore un long chemin à parcourir.

• L'anglais était facile : Sur les phrases anglaises, l'IA a réussi (notée « Excellente » ou « Bonne ») environ 46 % du temps.
• Le cantonais était correct : Pour le cantonais, elle a réussi une analyse structurelle correcte environ 34 % du temps.
• L'irlandais était difficile : Pour l'irlandais, le taux de réussite est tombé à seulement 20 %. Les chercheurs soupçonnent que c'est parce que l'irlandais possède des terminaisons de mots plus complexes et un ordre de phrase différent (Verbe-Sujet-Objet) avec lequel l'IA était moins familière.
• Le défi du plan « partagé » : La tâche la plus difficile était de demander à l'IA de trouver la structure profonde partagée entre le cantonais et l'irlandais. Ici, l'IA a principalement échoué, avec 44 % des tentatives du cantonais vers l'irlandais et 38 % de l'irlandais vers le cantonais étant classées comme « Mauvaises ». Elle a eu du mal à abstraire les règles communes tout en ignorant les différences de surface.

Ce que l'IA a raté (et réussi)

L'IA n'était pas totalement inutile. Elle a réussi à capturer les relations de base du « qui fait quoi » dans environ 70 % des cas, même si les détails étaient désordonnés. Elle suggérait parfois des manières alternatives intéressantes de regarder une phrase, ce qui pouvait susciter une idée pour un linguiste humain.

Cependant, les erreurs étaient révélatrices.

• Stéréotypes : L'IA a supposé que les « agriculteurs » et les « conducteurs » étaient toujours des hommes, attribuant des marqueurs de genre masculins à ces mots alors que ni le cantonais ni l'irlandais n'exigent de genre grammatical pour eux. Elle s'appuyait sur sa propre « connaissance du monde » plutôt que sur les règles de la langue.
• Concepts confus : Elle confondait souvent différents types de structures de phrases, traitant une proposition relative (comme « la voiture que j'ai achetée ») comme s'il s'agissait d'un complément d'objet direct, montrant qu'elle ne saisissait pas pleinement les différences théoriques.
• Hallucinations : L'IA inventait des mots et des sens, traduisant par exemple « baigné dans la rivière » par « s'est noyé dans la rivière », changeant complètement l'histoire.

L'essentiel à retenir

L'article conclut que bien que ces modèles d'IA soient des outils puissants, ils ne sont pas prêts à remplacer les experts humains dans la construction de grammaires complexes. Ils peuvent offrir un « premier jet » ou une piste d'idée, mais on ne peut pas leur faire confiance pour obtenir les détails exacts. L'IA est comme un étudiant très rapide et très sûr de lui, qui a lu beaucoup de livres mais qui n'a pas assez pratiqué le métier pour construire une maison solide.

Les chercheurs soulignent que l'expertise humaine reste essentielle. Les résultats de l'IA doivent être vérifiés et validés avec soin par des personnes qui comprennent réellement les langues. L'étude suggère que tant que les modèles d'IA ne seront pas entraînés sur des données beaucoup plus spécifiques et de haute qualité pour ces langues dites « à faibles ressources », ils resteront davantage une curiosité qu'un partenaire fiable dans le travail sérieux de l'ingénierie grammaticale. Le rêve d'un constructeur de grammaire entièrement automatisé est encore loin, mais cette expérience a permis de cartographier précisément là où la technologie actuelle trébuche sur ses propres lacets.