Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

Dans le vaste paysage de l'informatique moderne, un domaine connu sous le nom de traitement du langage naturel s'efforce d'apprendre aux machines comment lire, comprendre et organiser la parole humaine. Pendant des décennies, ce travail s'est largement concentré sur des langues comme l'anglais, où les règles de grammaire sont relativement simples et les outils numériques abondants. Cependant, le monde est rempli de langues qui se comportent de manière très différente. Certaines, comme le cinghalais et le tamoul, largement parlés au Sri Lanka, sont agglutinantes, ce qui signifie qu'elles construisent des mots complexes en enchaînant de nombreuses petites unités de sens, rendant difficile pour les programmes informatiques standards de reconnaître que deux mots d'apparence différente partagent en réalité la même racine. De plus, dans de nombreuses parties du monde, les gens ne parlent pas seulement une langue à la fois ; ils les mélangent librement au sein d'une même phrase, un phénomène connu sous le nom de mélange de codes (code-mixing). Lorsque ces complexités linguistiques rencontrent la réalité désordonnée des registres officiels du gouvernement, qui arrivent souvent sous forme de documents numériques mal formatés, le résultat est une montagne de texte que les logiciels standards ne peuvent tout simplement pas gravir. Comprendre ce qui est dit dans ces registres est crucial, car ils détiennent les clés des priorités politiques, des difficultés économiques et des préoccupations sociales d'une nation, pourtant ils sont restés largement verrouillés, inaccessibles à une analyse systématique.

Une équipe de chercheurs de l'Université de Moratuwa, au Sri Lanka, a maintenant élaboré une nouvelle façon de déverrouiller ce trésor d'informations. Ils ont porté leur attention sur les Hansards, les transcriptions officielles du Parlement sri-lankais, qui contiennent des milliers de discours prononcés en cinghalais, en tamoul et en anglais, souvent mélangés au sein d'une même allocution. Ces documents sont notoirement difficiles à traiter car ils existent sous forme de PDF scannés avec des mises en page à deux colonnes confuses et un formatage incohérent qui brise les logiciels de lecture traditionnels. Pour résoudre ce problème, les chercheurs ont d'abord employé un outil d'intelligence artificielle puissant capable de lire ces documents désordonnés et d'extraire les mots réellement prononcés, en ignorant le bruit visuel de la page. Ils ont ensuite injecté ce texte nettoyé dans un système conçu pour comprendre le sens des mots à travers différentes langues, plutôt que de simplement compter leur fréquence d'apparition. En cartographiant les discours dans un espace numérique où les idées similaires sont proches les unes des autres, quel que soit l'usage de la langue, ils ont pu regrouper des milliers de discours individuels en thèmes cohérents.

Le résultat de cet effort est une carte claire de la conversation politique de la nation sur près d'une décennie, de 2017 à 2026. Les chercheurs ont analysé 19 553 discours et ont réussi à les organiser en 30 grands sujets, allant de la sécurité énergétique et des crises économiques à la sécurité nationale et à la santé. Ce qui rend cette réussite significative, c'est que l'ordinateur a fait cela sans qu'on lui dise quoi chercher ; il a découvert les thèmes par lui-même. Le système a constaté que les discours sur l'économie ont bondi de manière spectaculaire pendant la crise financière de 2022 et la période de troubles civils qui a suivi, tandis que les discussions sur la sécurité nationale ont grimpé en flèche après les attaques du dimanche de Pâques de 2019. Crucialement, le modèle a traité les trois langues comme un flux de conversation unique et unifié. Un discours en tamoul portant sur une question politique spécifique a été regroupé avec un discours en cinghalais traitant du même sujet, prouvant que le sens sous-jacent importait plus que la langue utilisée pour l'exprimer.

Les chercheurs ont également testé si des méthodes plus anciennes et plus traditionnelles d'analyse de texte pouvaient gérer cette tâche. Ils ont constaté que les approches standards, qui reposent sur le comptage de combinaisons de mots, échouaient totalement. Ces anciennes méthodes ne pouvaient pas combler le fossé entre les différentes langues ni gérer les structures de mots complexes du cinghalais et du tamoul, ce qui entraînait des groupes fragmentés et dénués de sens. En revanche, la nouvelle approche, qui utilise l'apprentissage profond pour comprendre le contexte, a réussi à identifier la structure des débats. L'équipe a également exploré une méthode hybride combinant la compréhension profonde du sens avec une focalisation sur des mots-clés spécifiques pour voir si elle pouvait rendre les groupes encore plus précis. Bien que cette méthode ait rendu les frontières entre les sujets plus nettes, elle a aussi signifié que certains discours étaient laissés de côté, suggérant un compromis entre précision et couverture.

En fin de compte, ce travail démontre qu'il est possible de donner du sens à un discours politique multilingue complexe sans intervention humaine. En traitant les diverses langues du Sri Lanka comme un ensemble de données unique et riche, les chercheurs ont pu révéler comment l'attention de la nation bascule en réponse aux événements du monde réel. Les conclusions montrent que les sujets discutés au parlement ne sont pas aléatoires ; ils augmentent et diminuent en réponse directe aux défis du pays, de la gestion de la dette publique aux soins des malades. Ce nouveau cadre fournit une base solide pour des études futures, permettant aux chercheurs et au public de suivre l'évolution des priorités politiques avec une clarté auparavant impossible, transformant un archive chaotique de discours en un récit structuré du voyage d'une nation.