Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates

En el vasto archivo de la gobernanza humana, la palabra hablada posee un poder único. Cuando los legisladores de una nación se reúnen para debatir leyes, presupuestos y crisis, crean un registro vivo de cómo una sociedad piensa, argumenta y decide su futuro. Para los investigadores, estas transcripciones son un tesoro, que ofrece una forma de medir el pulso de una democracia, rastrear el ascenso y la caída de las preocupaciones políticas y comprender el tono emocional de la política pública. Sin embargo, convertir estas palabras habladas en algo que una computadora pueda estudiar es, a menudo, una tarea monumental. Los registros brutos suelen ser desordenados, estar enterrados en documentos escaneados, mezclados entre diferentes idiomas y plagados de ruido procedimental que oscurece los argumentos reales. Para dar sentido a este caos, los científicos utilizan un campo llamado procesamiento de lenguaje natural, que enseña a las máquinas a leer y comprender el texto humano. Al limpiar estos registros y organizarlos, los investigadores pueden plantear grandes preguntas: ¿Qué temas dominan la conversación? ¿Cómo se sienten los políticos al respecto? Y, ¿cómo cambian estos temas a lo largo del tiempo?

Un investigador del Instituto Indio de Tecnología de la Información en Nagpur ha asumido este desafío específicamente para la Rajya Sabha, la cámara alta del parlamento de la India. Durante años, los registros oficiales de estos debates han estado disponibles en línea, pero existen como documentos escaneados no estructurados que son difíciles de analizar. El investigador se propuso construir un puente entre estos archivos brutos y desordenados y los datos limpios y organizados necesarios para el análisis computacional moderno. Su objetivo no era solo almacenar el texto, sino transformarlo en una biblioteca estructurada donde cada discurso sea identificado, limpiado y etiquetado con su tema principal. Este trabajo crea un conjunto de datos fundacional que permite a cualquiera estudiar la historia del discurso político indio utilizando poderosas herramientas computacionales.

El viaje comenzó con la recopilación de los datos brutos. El investigador accedió al sitio web oficial del parlamento y descargó miles de registros de debates que abarcan desde 2008 hasta 2025. Se centró en un periodo específico donde los registros estaban disponibles como archivos digitales estructurados, reuniendo finalmente más de 6,300 documentos. Estos archivos no eran simples documentos de texto; eran imágenes escaneadas de páginas, lo que significaba que el texto estaba atrapado dentro de imágenes. Para liberar las palabras, el investigador utilizó una tecnología llamada reconocimiento óptico de caracteres, que actúa como un ojo digital capaz de leer letras de una imagen. Este proceso convirtió las páginas escaneadas en texto bruto, pero el resultado distaba mucho de ser perfecto. El texto extraído estaba lleno de errores, encabezados repetidos, números de página y fragmentos de oraciones que no tenían sentido por sí solos.

Limpiar este texto requirió un enfoque cuidadoso y paso a paso. El investigador tuvo que eliminar el ruido procedimental, como títulos repetidos y notas administrativas, dejando solo las palabras reales pronunciadas por los miembros del parlamento. También tuvo que resolver el rompecabezas de quién decía qué. En el texto bruto, el nombre de un orador a menudo aparecía justo antes de dos puntos, seguido de su discurso. El investigador escribió un programa para encontrar estos patrones, separando el flujo continuo de texto en discursos individuales. Eliminó títulos honoríficos y corrigió líneas fragmentadas, asegurando que cada discurso fuera un bloque coherente asociado a una persona y una fecha específicas. El resultado fue una colección masiva y organizada de casi 95,000 discursos individuales, que totalizan casi 9 millones de palabras, todos listos para el análisis.

Una vez que el texto estuvo limpio, el investigador enfrentó el siguiente desafío: comprender de qué trataban estos discursos. Dado que los datos no tenían etiquetas, no podía simplemente buscar el tema. En su lugar, utilizó un enfoque híbrido que combinaba el razonamiento humano con la agrupación estadística. Primero, utilizó un modelo de lenguaje de gran tamaño, un tipo de programa informático avanzado entrenado en vastas cantidades de texto, para leer cada discurso y sugerir una descripción corta de su tema principal. Estas sugerencias fueron luego introducidas en un sistema de agrupamiento (clustering), que agrupaba discursos similares basándose en su significado. El investigador descubrió que los discursos se dividían naturalmente en unos 47 grupos distintos. Para hacer estos grupos aún más claros, utilizó un método estadístico para extraer las palabras más comunes de cada grupo, revelando los temas centrales que se discutían.

El análisis reveló un panorama claro del panorama parlamentario. Los temas variaban desde temas amplios como la seguridad nacional y el terrorismo hasta preocupaciones específicas sobre la agricultura, la educación y la atención médica. Algunos grupos se centraban en el presupuesto y el financiamiento gubernamental, mientras que otros trataban sobre el bienestar social y la pobreza. El investigador asignó nombres claros y legibles para un humano a estos grupos, tales como "Agricultores y Agricultura" o "Medicina y Salud", creando un mapa de los temas que más importan al parlamento indio. Luego rastreó cómo aparecían estos temas a lo largo del tiempo, observando cómo el enfoque de los debates cambiaba con las estaciones cambiantes del calendario político y la aparición de eventos nacionales.

Para comprender el tono emocional de estos debates, el investigador también analizó el sentimiento de los discursos. Debido a que el texto era una mezcla de hindi e inglés, y porque los discursos eran a menudo muy largos, un solo modelo computacional tenía dificultades para obtener la respuesta correcta. En su lugar, el investigador combinó los juicios de varios modelos diferentes, permitiendo que votaran sobre si un discurso era positivo, negativo o neutral. Este enfoque de ensamble proporcionó un resultado más confioso. El análisis mostró que la gran mayoría de los discursos fueron clasificados como negativos. Este hallazgo sugiere que el discurso parlamentario en la India está fuertemente enfocado en la crítica, la resolución de problemas y la planteamiento de preocupaciones, en lugar de en el elogio o el encuadre positivo. La confianza en estas predicciones fue moderada, lo que refleja la dificultad inherente de interpretar el lenguaje político formal que mezcla dos idiomas y que a menudo trata temas complejos y matizados.

Finalmente, el investigador probó si su nuevo conjunto de datos era útil para estudios futuros. Entrenó varios modelos de aprendizaje computacional para predecir el tema de un discurso basándose únicamente en su texto. Los modelos fueron capaces de aprender los patrones de los datos con un alto grado de precisión, demostrando que los temas que había identificado eran consistentes y significativos. Los modelos con mejor desempeño fueron aquellos que podían recordar el flujo de una oración a lo largo del tiempo, sugiriendo que el contexto de un discurso es crucial para comprender su tema. Este éxito confirmó que el conjunto de datos limpio y organizado es un recurso robusto, capaz de soportar investigaciones más profundas sobre el comportamiento político y las tendencias de las políticas.

El trabajo realizado por este investigador transforma un archivo caótico de páginas escaneadas en una biblioteca estructurada y buscable del pensamiento humano. Al convertir registros no estructurados en un conjunto de datos limpio, ha abierto la puerta a un nuevo tipo de ciencia política, una que puede analizar la historia completa del debate parlamentario con la velocidad y la escala de una computadora. Aunque los datos no son perfectos y los métodos utilizados aún están evolucionando, la base que ha construido permite a los investigadores ver patrones en el ruido. Ofrece una forma de observar el desarrollo de la historia de los debates de una nación, no solo como una colección de palabras, sino como una historia estructurada de cómo una democracia argumenta, decide y avanza.