Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates

Dans les vastes archives de la gouvernance humaine, la parole possède un pouvoir unique. Lorsque les législateurs d'une nation se réunissent pour débattre des lois, des budgets et des crises, ils créent un registre vivant de la manière dont une société pense, argumente et décide de son avenir. Pour les chercheurs, ces transcriptions sont un trésor, offrant un moyen de mesurer le pouls d'une démocratie, de suivre l'ascension et la chute des préoccupations politiques, et de comprendre le ton émotionnel des politiques publiques. Cependant, transformer ces paroles prononcées en quelque chose qu'un ordinateur peut étudier est souvent une tâche monumentale. Les registres bruts sont fréquemment désordonnés, enfouis dans des documents numérisés, mélangés entre différentes langues et encombrés de bruits procéduraux qui obscurcissent les véritables arguments. Pour donner un sens à ce chaos, les scientifiques utilisent un domaine appelé traitement du langage naturel, qui enseigne aux machines à lire et à comprendre le texte humain. En nettoyant ces registres et en les organisant, les chercheurs peuvent poser de grandes questions : Quels enjeux dominent la conversation ? Quel est le sentiment des politiciens à leur égard ? Et comment ces thèmes évoluent-ils au fil du temps ?

Un chercheur de l'Institut indien de technologie de l'information à Nagpur a relevé ce défi spécifiquement pour la Rajya Sabha, la chambre haute du parlement indien. Depuis des années, les registres officiels de ces débats sont disponibles en ligne, mais ils existent sous forme de documents numérisés non structurés, difficiles à analyser. Le chercheur s'est donné pour mission de construire un pont entre ces fichiers bruts et désordonnés et les données propres et organisées nécessaires à l'analyse informatique moderne. Son objectif n'était pas seulement de stocker le texte, mais de le transformer en une bibliothèque structurée où chaque discours est identifié, nettoyé et étiqueté avec son sujet principal. Ce travail crée un ensemble de données fondamentales qui permet à quiconque d'étudier l'histoire du discours politique indien à l'aide d'outils informatiques puissants.

Le voyage a commencé par la collecte de données brutes. Le chercheur a accédé au site officiel du parlement et a téléchargé des milliers de registres de débats couvrant la période de 2008 à 2025. Il s'est concentré sur une période spécifique où les registres étaient disponibles sous forme de fichiers numériques structurés, rassemblant finalement plus de 6 300 documents. Ces fichiers n'étaient pas de simples documents textuels ; c'étaient des images numérisées de pages, ce qui signifiait que le texte était piégé à l'intérieur d'images. Pour libérer les mots, le chercheur a utilisé une technologie appelée reconnaissance optique de caractères, qui agit comme un œil numérique capable de lire les lettres à partir d'une image. Ce processus a converti les pages numérisées en texte brut, mais le résultat était loin d'être parfait. Le texte extrait était truffé d'erreurs, de répétitions d'en-têtes, de numéros de page et de fragments de phrases qui n'avaient aucun sens isolément.

Le nettoyage de ce texte a nécessité une approche méticuleuse, étape par étape. Le chercheur a dû éliminer le bruit procédural, tel que les titres répétés et les notes administratives, ne laissant que les paroles réellement prononcées par les membres du parlement. Il a également dû résoudre l'énigme de savoir qui disait quoi. Dans le texte brut, le nom d'un orateur apparaissait souvent juste avant deux-points, suivi de son discours. Le chercheur a écrit un programme pour identifier ces motifs, séparant le flux continu de texte en discours individuels. Il a supprimé les titres honorifiques et corrigé les lignes brisées, garantissant que chaque discours soit un bloc cohérent associé à une personne et une date spécifiques. Le résultat fut une collection massive et organisée de près de 95 000 discours individuels, totalisant presque 9 millions de mots, tous prêts pour l'analyse.

Une fois le texte nettoyé, le chercheur a été confronté au défi suivant : comprendre de quoi parlaient ces discours. Puisque les données n'avaient pas d'étiquettes, il ne pouvait pas simplement rechercher le sujet. Au lieu de cela, il a utilisé une approche hybride combinant le raisonnement humain et le regroupement statistique. D'abord, il a utilisé un grand modèle de langage, un type de programme informatique avancé entraîné sur de vastes quantités de texte, pour lire chaque discours et suggérer une courte description de son thème principal. Ces suggestions ont ensuite été injectées dans un système de regroupement (clustering), qui a rassemblé les discours similaires en fonction de leur sens. Le chercheur a constaté que les discours se répartissaient naturellement en environ 47 groupes distincts. Pour rendre ces groupes encore plus clairs, il a utilisé une méthode statistique pour extraire les mots les plus fréquents de chaque groupe, révélant ainsi les sujets de base abordés.

L'analyse a dressé un portrait clair du paysage parlementaire. Les sujets allaient de thèmes larges comme la sécurité nationale et le terrorisme à des préoccupations spécifiques concernant l'agriculture, l'éducation et la santé. Certains groupes se concentraient sur le budget et le financement public, tandis que d'autres traitaient de la protection sociale et de la pauvreté. Le chercheur a attribué des noms clairs et compréhensibles par l'humain à ces groupes, tels que « Agriculteurs et Agriculture » ou « Médical et Santé », créant ainsi une carte des enjeux qui importent le plus au parlement indien. Il a ensuite suivi l'apparition de ces sujets au fil du temps, observant comment l'accent des débats se déplaçait avec les changements des saisons du calendrier politique et l'émergence d'événements nationaux.

Pour comprendre la tonalité émotionnelle de ces débats, le chercheur a également analysé le sentiment des discours. Comme le texte était un mélange de hindi et d'anglais, et parce que les discours étaient souvent très longs, un seul modèle informatique peinait à obtenir la bonne réponse. Au lieu de cela, le chercheur a combiné les jugements de plusieurs modèles différents, les laissant voter pour déterminer si un discours était positif, négatif ou neutre. Cette approche d'ensemble a fourni un résultat plus fiable. L'analyse a montré que la grande majorité des discours était classée comme négative. Cette conclusion suggère que le discours parlementaire en Inde est fortement axé sur la critique, la résolution de problèmes et l'expression de préoccupations, plutôt que sur l'éloge ou la formulation positive. La confiance dans ces prédictions était modérée, reflétant la difficulté inhérente à interpréter un langage politique formel qui mélange deux langues et traite souvent de questions complexes et nuancées.

Enfin, le chercheur a testé l'utilité de ce nouvel ensemble de données pour de futures études. Il a entraîné plusieurs modèles d'apprentissage informatique pour prédire le sujet d'un discours en se basant uniquement sur son texte. Les modèles ont été capables d'apprendre les motifs des données avec un haut degré de précision, prouvant que les sujets qu'il avait identifiés étaient cohérents et significatifs. Les modèles les plus performants étaient ceux capables de se souvenir du flux d'une phrase au fil du temps, suggérant que le contexte d'un discours est crucial pour comprendre son sujet. Ce succès a confirmé que l'ensemble de données nettoyé et organisé est une ressource robuste, capable de soutenir des investigations plus profondes sur le comportement politique et les tendances politiques.

Le travail accompli par ce chercheur transforme une archive chaotique de pages numérisées en une bibliothèque structurée et interrogeable de la pensée humaine. En transformant des registres non structurés en un ensemble de données propre, il a ouvert la porte à une nouvelle forme de science politique, capable d'analyser toute l'histoire du débat parlementaire avec la vitesse et l'échelle d'un ordinateur. Bien que les données ne soient pas parfaites et que les méthodes soient encore en évolution, le fondement qu'il a construit permet aux chercheurs de voir des motifs dans le bruit. Cela offre un moyen de regarder l'histoire des débats d'une nation se dérouler, non pas seulement comme une collection de mots, mais comme un récit structuré de la manière dont une démocratie argumente, décide et progresse.