Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates

No vasto arquivo da governança humana, a palavra falada detém um poder único. Quando os legisladores de uma nação se reúnem para debater leis, orçamentos e crises, eles criam um registro vivo de como uma sociedade pensa, argumenta e decide seu futuro. Para pesquisadores, essas transcrições são um tesouro, oferecendo uma maneira de medir o pulso de uma democracia, rastrear a ascensão e queda das preocupações políticas e compreender o tom emocional das políticas públicas. No entanto, transformar essas palavras faladas em algo que um computador possa estudar é frequentemente uma tarefa monumental. Os registros brutos são frequentemente desordenados, enterrados em documentos digitalizados, misturados entre diferentes idiomas e poluídos com ruídos procedimentais que obscurecem os argumentos reais. Para dar sentido a esse caos, cientistas utilizam um campo chamado processamento de linguagem natural, que ensina as máquinas a ler e compreender o texto humano. Ao limpar esses registros e organizá-los, os pesquisadores podem fazer grandes perguntas: Quais questões dominam a conversa? Como os políticos se sentem sobre elas? E como esses temas mudam ao longo do tempo?

Um pesquisador do Instituto Indiano de Tecnologia da Informação em Nagpur assumiu esse desafio especificamente para a Rajya Sabha, a câmara alta do parlamento da Índia. Por anos, os registros oficiais desses debates estiveram disponíveis online, mas existem como documentos digitalizados não estruturados que são difíceis de analisar. O pesquisador partiu para construir uma ponte entre esses arquivos brutos e desordenados e os dados limpos e organizados necessários para a análise computacional moderna. Seu objetivo não era apenas armazenar o texto, mas transformá-lo em uma biblioteca estruturada onde cada discurso é identificado, limpo e etiquetado com seu tema principal. Este trabalho cria um conjunto de dados fundamental que permite a qualquer pessoa estudar a história do discurso político indiano usando poderosas ferramentas computacionais.

A jornada começou com a coleta de dados brutos. O pesquisador acessou o site oficial do parlamento e baixou milhares de registros de debates abrangendo de 2008 a 2025. Eles focaram em um período específico onde os registros estavam disponíveis como arquivos digitais estruturados, eventualmente reunindo mais de 6.300 documentos. Esses arquivos não eram simples documentos de texto; eram imagens digitalizadas de páginas, o que significava que o texto estava preso dentro de imagens. Para libertar as palavras, o pesquisador usou uma tecnologia chamada reconhecimento óptico de caracteres, que atua como um olho digital capaz de ler letras de uma imagem. Esse processo converteu as páginas digitalizadas em texto bruto, mas o resultado estava longe de ser perfeito. O texto extraído estava cheio de erros, cabeçalhos repetidos, números de página e fragmentos de frases que não faziam sentido por si só.

Limpar este texto exigiu uma abordagem cuidadosa e passo a passo. O pesquisador teve que remover o ruído procedimental, como títulos repetidos e notas administrativas, deixando apenas as palavras reais ditas pelos membros do parlamento. Eles também tiveram que resolver o enigma de quem disse o quê. No texto bruto, o nome de um orador frequentemente aparecia logo antes de dois pontos, seguido por seu discurso. O pesquisador escreveu um programa para encontrar esses padrões, separando o fluxo contínuo e longo de texto em discursos individuais. Eles removeram títulos honoríficos e corrigiram linhas quebradas, garantindo que cada discurso fosse um bloco coerente associado a uma pessoa específica e uma data. O resultado foi uma coleção massiva e organizada de quase 95.000 discursos individuais, totalizando quase 9 milhões de palavras, todos prontos para análise.

Uma vez que o texto estava limpo, o pesquisador enfrentou o próximo desafio: entender sobre o que eram esses discursos. Como os dados não possuíam rótulos, eles não podiam simplesmente procurar o tópico. Em vez disso, utilizaram uma abordagem híbrida que combinava o raciocínio humano com o agrupamento estatístico. Primeiro, utilizaram um grande modelo de linguagem, um tipo de programa de computador avançado treinado em vastas quantidades de texto, para ler cada discurso e sugerir uma descrição curta de seu tema principal. Essas sugestões foram então inseridas em um sistema de agrupamento (clustering), que reuniu discursos semelhantes com base em seu significado. O pesquisador descobriu que os discursos naturalmente se dividiam em cerca de 47 grupos distintos. Para tornar esses grupos ainda mais claros, utilizaram um método estatístico para extrair as palavras mais comuns de cada grupo, revelando os assuntos centrais sendo discutidos.

A análise revelou um quadro claro do cenário parlamentar. Os tópicos variavam de temas amplos como segurança nacional e terrorismo a preocupações específicas sobre agricultura, educação e saúde. Alguns agrupamentos focavam no orçamento e financiamento governamental, enquanto outros lidavam com bem-estar social e pobreza. O pesquisador atribuiu nomes claros e legíveis por humanos a esses grupos, como "Agricultores e Agricultura" ou "Medicina e Saúde", criando um mapa dos problemas que mais importam para o parlamento indiano. Eles então rastrearam como esses tópicos apareciam ao longo do tempo, observando como o foco dos debates mudava com as mudanças nas estações do calendário político e o surgimento de eventos nacionais.

Para entender o tom emocional desses debates, o pesquisador também analisou o sentimento dos discursos. Como o texto era uma mistura de hindi e inglês, e porque os discursos eram frequentemente muito longos, um único modelo de computador tinha dificuldade em obter a resposta correta. Em vez disso, o pesquisador combinou os julgamentos de vários modelos diferentes, permitindo que eles votassem se um discurso era positivo, negativo ou neutro. Essa abordagem de conjunto (ensemble) proporcionou um resultado mais confiável. A análise mostrou que a vasta maioria dos discursos foi classificada como negativa. Essa descoberta sugere que o discurso parlamentar na Índia é fortemente focado em crítica, resolução de problemas e levantamento de preocupações, em vez de elogio ou enquadramento positivo. A confiança nessas previsões foi moderada, refletindo a dificuldade inerente de interpretar a linguagem política formal que mistura dois idiomas e muitas vezes lida com questões complexas e matizadas.

Finalmente, o pesquisador testou se seu novo conjunto de dados era útil para estudos futuros. Eles treinaram vários modelos de aprendizado de máquina para prever o tópico de um discurso baseando-se apenas em seu texto. Os modelos foram capazes de aprender os padrões dos dados com um alto grau de precisão, provando que os tópicos que eles identificaram eram consistentes e significativos. Os modelos com melhor desempenho foram aqueles que conseguiam lembrar o fluxo de uma frase ao longo do tempo, sugerindo que o contexto de um discurso é crucial para entender seu assunto. Esse sucesso confirmou que o conjunto de dados limpo e organizado é um recurso robusto, capaz de suportar investigações mais profundas sobre comportamento político e tendências de políticas públicas.

O trabalho realizado por este pesquisador transforma um arquivo caótico de páginas digitalizadas em uma biblioteca estruturada e pesquisável do pensamento humano. Ao transformar registros não estruturados em um conjunto de dados limpo, ele abriu as portas para um novo tipo de ciência política, uma que pode analisar toda a história do debate parlamentar com a velocidade e a escala de um computador. Embora os dados não sejam perfeitos e os métodos utilizados ainda estejam evoluindo, a base que eles construíram permite que pesquisadores vejam padrões no ruído. Oferece uma maneira de observar o desenrolar da história dos debates de uma nação, não apenas como uma coleção de palavras, mas como uma história estruturada de como uma democracia argumenta, decide e avança.