Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

En el vasto paisaje de la informática moderna, un campo conocido como el procesamiento del lenguaje natural se esfuerza por enseñar a las máquinas a leer, comprender y organizar el habla humana. Durante décadas, este trabajo se ha centrado intensamente en idiomas como el inglés, donde las reglas gramaticales son relativamente sencillas y las herramientas digitales abundan. Sin embargo, el mundo está lleno de idiomas que se comportan de manera muy diferente. Algunos, como el cingalés y el tamil, hablados ampliamente en Sri Lanka, son aglutinantes, lo que significa que construyen palabras complejas uniendo muchas piezas pequeñas de significado, lo que dificulta que los programas informáticos estándar reconozcan que dos palabras de apariencia distinta comparten en realidad la misma raíz. Además, en muchas partes del mundo, la gente no habla en un solo idioma a la vez, sino que los mezclan libremente dentro de una misma oración, un fenómeno conocido como mezcla de códigos. Cuando estas complejidades lingüísticas se encuentran con la realidad desordenada de los registros gubernamentales oficiales, que a menudo llegan como documentos digitales mal formateados, el resultado es una montaña de texto que el software estándar simplemente no puede escalar. Comprender lo que se dice en estos registros es crucial, ya que contienen las claves de las prioridades políticas, las luchas económicas y las preocupaciones sociales de una nación, pero han permanecido en gran medida bloqueados para un análisis sistemático.

Un equipo de investigadores de la Universidad de Moratuwa en Sri Lanka ha construido ahora una nueva forma de desbloquear este tesoro de información. Dirigieron su atención a los Hansards, las transcripciones oficiales del Parlamento de Sri Lanka, que contienen miles de discursos pronunciados en cingalés, tamil e inglés, a menudo mezclados dentro de un mismo discurso. Estos documentos son notoriamente difíciles de procesar porque existen como PDFs escaneados con diseños de dos columnas confusos y un formato inconsistente que rompe el software de lectura tradicional. Para resolver esto, los investigadores emplearon primero una poderosa herramienta de inteligencia artificial capaz de leer estos documentos desordenados y extraer las palabras realmente dichas, ignorando el ruido visual de la página. Luego, introdujeron este texto limpio en un sistema diseñado para comprender el significado de las palabras a través de diferentes idiomas, en lugar de simplemente contar con qué frecuencia aparecen. Al mapear los discursos en un espacio digital donde las ideas similares se sitúan cerca, independientemente del idioma utilizado, pudieron agrupar miles de discursos individuales en temas coherentes.

El resultado de este esfuerzo es un mapa claro de la conversación política de la nación durante casi una década, desde 2017 hasta 2026. Los investigadores analizaron 19.553 discursos y organizaron con éxito en 30 temas principales, que van desde la seguridad energética y las crisis económicas hasta la seguridad nacional y la atención sanitaria. Lo que hace que este logro sea significativo es que la computadora hizo esto sin que se le dijera qué buscar; descubrió los temas por sí sola. El sistema encontró que los discursos sobre la economía aumentaron drásticamente durante la crisis financiera de 2022 y el periodo subsiguiente de malestar civil, mientras que las discusiones sobre la seguridad nacional se dispararon tras los ataques del Domingo de Pascua de 2019. Crucialmente, el modelo trató los tres idiomas como un flujo de conversación único y unificado. Un discurso en tamil sobre un problema de política específico se agrupó con un discurso en cingalés sobre el mismo problema, demostrando que el significado subyacente importaba más que el idioma utilizado para expresarlo.

Los investigadores también probaron si los métodos más antiguos y tradicionales de análisis de texto podían manejar esta tarea. Encontraron que los enfoques estándar, que dependen del conteo de combinaciones de palabras, fallaron por completo. Estos métodos más antiguos no pudieron cerrar la brecha entre los diferentes idiomas ni manejar las complejas estructuras de palabras del cingalés y el tamil, lo que resultó en grupos fragmentados y sin sentido. En contraste, el nuevo enfoque, que utiliza el aprendizaje profundo para comprender el contexto, identificó con éxito la estructura de los debates. El equipo también exploró un método híbrido que combinaba la comprensión profunda del significado con un enfoque en palabras clave específicas para ver si podía hacer los grupos aún más nítidos. Si bien este método hizo que los límites entre temas fueran más claros, también significó que algunos discursos quedaron fuera de los grupos, lo que sugiere un compromiso entre precisión y cobertura.

En última instancia, este trabajo demuestra que es posible dar sentido al complejo discurso político multilingüe sin intervención humana. Al tratar los diversos idiomas de Sri Lanka como un conjunto de datos único y rico, los investigadores pudieron revelar cómo la atención de la nación cambia en respuesta a los eventos del mundo real. Los hallazgos muestran que los temas discutidos en el parlamento no son aleatorios; aumentan y disminuyen en respuesta directa a los desafíos del país, desde la gestión de la deuda pública hasta el cuidado de los enfermos. Este nuevo marco proporciona una base sólida para estudios futuros, permitiendo a los investigadores y al público rastrear la evolución de las prioridades políticas con una claridad que antes era imposible, convirtiendo un archivo caótico de discursos en una historia estructurada del viaje de una nación.