💻 computer science

Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates

본 논문은 인도 의회 담론의 계산적 분석을 가능하게 하기 위해, 화자 식별, 날짜 매칭, LLaMA 기반 주제 분류를 포함하여 비정형 온라인 기록으로부터 추출한 구조화되고 정제되었으며 주제가 라벨링된 라지야 사바(Rajya Sabha) 토론 코퍼스를 제시한다.

원저자: Divwardhan Agrawal

게시일 2026-10-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Divwardhan Agrawal

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인류 통치의 방대한 기록 속에서, 구어(spoken word)는 독특한 힘을 지니고 있습니다. 국가의 입법자들이 법률, 예산, 위기에 대해 토론하기 위해 모일 때, 그들은 사회가 어떻게 생각하고, 논쟁하며, 미래를 결정하는지를 보여주는 살아있는 기록을 만들어냅니다. 연구자들에게 이러한 녹취록은 민주주의의 맥박을 측정하고, 정치적 관심사의 흥망성쇠를 추적하며, 공공 정책의 감정적 어조를 이해할 수 있는 보물창고와 같습니다. 그러나 이 구어들을 컴퓨터가 연구할 수 있는 형태로 바꾸는 것은 종종 엄청난 과업이 됩니다. 원본 기록은 종종 지저도서화된 스캔 문서 속에 묻혀 있거나, 여러 언어가 뒤섞여 있고, 실제 논쟁을 가로막는 절차적 소음으로 가득 차 있어 매우 무질서합니다. 이 혼돈을 파악하기 위해 과학자들은 자연어 처리(NLP)라고 불리는 분야를 사용하는데, 이는 기계가 인간의 텍는 읽고 이해하도록 가르치는 기술입니다. 이러한 기록들을 정제하고 정리함으로써, 연구자들은 거대한 질문을 던질 수 있습니다. 어떤 이슈가 대화를 지배하는가? 정치인들은 그것들에 대해 어떻게 느끼는가? 그리고 이러한 주제들은 시간이 흐름에 따라 어떻게 변하는가?

인도 정보기술연구소(IIIT) 나그푸르 캠퍼스의 한 연구자가 인도 의회의 상원인 라지야 사바(Rajya Sabha)를 대상으로 이 도전에 직접 뛰어들었습니다. 수년 동안 이 토론의 공식 기록들은 온라인으로 제공되어 왔지만, 분석하기 어려운 비구조화된 스캔 문서 형태로 존재해 왔습니다. 이 연구자는 이러한 가공되지 않은 무질서한 파일들과 현대적 컴퓨터 분석에 필요한 깨끗하고 조직된 데이터 사이의 가교를 구축하고자 했습니다. 그들의 목표는 단순히 텍스트를 저장하는 것이 아니라, 모든 연설이 식별되고, 정제되며, 주요 주제가 태깅된 구조화된 라이브러리로 변환하는 것이었습니다. 이 작업은 누구나 강력한 계산 도구를 사용하여 인도 정치 담론의 역사를 연구할 수 있도록 하는 기초적인 데이터셋을 만들어냅니다.

여정은 원시 데이터의 수집에서 시작되었습니다. 연구자는 공식 의회 웹사이트에 접속하여 2008년부터 2025년까지의 수천 개의 토론 기록을 다운로드했습니다. 그들은 기록이 구조화된 디지털 파일로 존재하는 특정 기간에 집중했으며, 결과적으로 6,300개 이상의 문서를 수집했습니다. 이 파일들은 단순한 텍스트 문서가 아니었습니다. 이들은 페이지를 스캔한 이미지였으며, 이는 텍스트가 사진 안에 갇혀 있음을 의미했습니다. 단어들을 해방시키기 위해 연구자는 광학 문자 인식(OCR) 기술을 사용했는데, 이는 이미지를 읽을 수 있는 디지털 눈과 같은 역할을 합니다. 이 과정을 통해 스캔된 페이지들이 원시 텍스트로 변환되었으나, 그 결과는 결코 완벽하지 않았습니다. 추출된 텍스트는 오류, 반복되는 헤더, 페이지 번호, 그리고 그 자체로는 의미가 없는 문장 파편들로 가득 차 있었습니다.

이 텍스트를 정제하는 데는 세심하고 단계적인 접근 방식이 필요했습니다. 연구자는 반복되는 제목이나 행정적 메모와 같은 절차적 소음을 제거하여, 의원들이 실제로 발언한 단어들만을 남겨야 했습니다. 또한 누가 무엇을 말했는지에 대한 퍼즐도 풀어야 했습니다. 원시 텍кси트에서 화자의 이름은 종종 콜론(:) 바로 앞에 나타나며 그 뒤에 발언이 이어졌습니다. 연구자는 이러한 패턴을 찾아내어 길고 연속적인 텍스트 스트림을 개별 연설로 분리하는 프로그램을 작성했습니다. 그들은 경칭을 제거하고 끊어진 줄을 수정하여, 각 연설이 특정 인물 및 날짜와 연결된 일관된 텍스트 블록이 되도록 했습니다. 그 결과, 거의 900만 단어에 달하는 약 95,000개의 개별 연설로 이루어진 거대하고 조직된 컬렉션이 완성되었으며, 이는 모두 분석 준비를 마친 상태였습니다.

텍스트가 깨끗해진 후, 연구자는 다음 과제인 이 연설들이 무엇에 관한 것인지 이해하는 문제에 직면했습니다. 데이터에 라벨이 없었기 때문에 단순히 주제를 찾아낼 수 없었습니다. 대신, 그들은 인간과 유사한 추론과 통계적 그룹화를 결합한 하이브리드 접근 방식을 사용했습니다. 먼저, 방대한 양의 텍스트로 학습된 고급 컴퓨터 프로그램인 거대 언어 모델(LLM)을 사용하여 각 연설을 읽고 주요 주제에 대한 짧은 설명을 제안하도록 했습니다. 이러한 제안들은 클러스터링 시스템으로 전달되어, 의미에 따라 유사한 연설들을 그룹화했습니다. 연구자는 연설들이 자연스럽게 약 47개의 뚜렷한 그룹으로 분류된다는 것을 발견했습니다. 이 그룹들을 더욱 명확하게 만들기 위해, 통계적 방법을 사용하여 각 그룹에서 가장 흔한 단어들을 추출함으로써 논의되는 핵심 주제를 드러냈습니다.

분석 결과, 의회의 풍경이 명확하게 드러났습니다. 주제는 국가 안보와 테러와 같은 광범위한 테마부터 농업, 교육, 보건에 관한 구체적인 관심사까지 다양했습니다. 어떤 클러스터는 예산과 정부 자금에 집중했고, 다른 클러스터는 사회 복지와 빈곤을 다루었습니다. 연구자는 이러한 그룹들에 "농업 및 농민", "의료 및 보건"과 같이 명확하고 사람이 읽기 쉬운 이름을 부여하여, 인도 의회에서 가장 중요한 이슈들의 지도를 만들었습니다. 그런 다음 연구자들은 이러한 주제들이 시간에 따라 어떻게 나타나는지를 추적하며, 정치적 달력의 계절 변화와 국가적 사건의 등장에 따라 토론의 초점이 어떻게 이동하는지를 관찰했습니다.

토론의 감정적 어조를 이해하기 위해, 연구자는 또한 연설의 감성(sentiment)을 분석했습니다. 텍스트가 힌디어와 영어가 섞여 있었고 연설이 매우 긴 경우가 많았기 때문에, 단일 컴퓨터 모델로는 정확한 답을 얻기 어려웠습니다. 대신, 연구자는 여러 가지 서로 다른 모델의 판단을 결합하여, 특정 연설이 긍정적인지, 부정적인지, 혹은 중립적인지에 대해 투표하게 하는 앙상블 접근 방식을 사용했습니다. 이 방식은 더 신뢰할 수 있는 결과를 제공했습니다. 분석 결과, 대다수의 연설이 부정적으로 분류되었습니다. 이 발견은 인도의 의회 담론이 찬양이나 긍정적인 프레임보다는 비판, 문제 해결, 그리고 우려 제기에 크게 집중되어 있음을 시사합니다. 예측의 신뢰도는 보통 수준이었는데, 이는 두 언어가 섞여 있고 종종 복잡하고 미묘한 문제를 다루는 격식 있는 정치 언어를 해석하는 데 따르는 본질적인 어려움을 반영합니다.

마지막으로, 연구자는 자신들의 새로운 데이터셋이 향도 연구에 유용한지 테스트했습니다. 그들은 텍

기술 요약: 혼돈의 정제 – 라자야 사바(Rajya Sabha) 토론을 통한 구조화된 코퍼스 구축

문제 정의
의회 토론은 국가 정책 형성과 정치적 담론을 이해하는 데 있어 매우 중요한 기록이다. 그러나 현재 인도 라자야 사바(상원)의 전사 기록은 공식 산사드(Sansad) 포털에서 비구조화, 반구조화 또는 스캔된 PDF 문서 형태로만 제공되고 있다. 이러한 기록들은 상당한 불일치, 노이즈, 그리고 기계 판독 가능한 형식의 부재로 인해 대규모 계산 분석을 저해한다. 계산 정치학이 구조화된 코퍼스(예: Hansard)를 통해 서구권에서는 크게 발전했으나, 로히트와 싱(Rohit and Singh, 2018)의 로크 사바(Lok Sabha) 연설 데이터셋 구축 사례가 있음에도 불구하고, 라자야 사바의 경우 주제 모델링, 감성 분석, 입장 탐지(stance detection)와 같은 자연어 처리(NLP) 작업에 적합한 표준화되고 정제된 데이터셋이 결여되어 있다.

방법론
저자는 가공되지 않은 비구조적 라자야 사바 토론 전사본을 구조화되고 라벨링된 분석 가능한 코퍼스로 변환하기 위한 엔드 투 엔드(end-to-end) 파이프라인을 제안한다. 방법론은 다음 단계로 구성된다:

데이터 획득 및 추출:
- 스크레이핑: 커스텀 파이프라인을 개발하여 산사드 포털을 스크레이핑함으로써 세션 213부터 세션 268(2008~2025년 커버)까지의 PDF를 수집하였다. 이전 세션들은 불규칙한 HTML 형식으로 인해 제외되었다.
- OCR 처리: PDF에 디지털 텍스트가 내장되어 있지 않았기 때문에, 저자는 pdf2image를 사용하여 페이지를 고해상도 이미지로 변환한 후 Pytesseract를 이용해 광학 문자 인식(OCR)을 수행하였다. 이 단계는 힌디어-영어 혼용 콘텐츠를 처리하였다.
- 정제: 규칙 기반 접근 방식을 통해 절차적 부산물(헤더, 푸터, 페이지 번호, 세션 제목)과 노이즈(중단 표시인 "(Interruptions)", 불규칙한 기호, 일관되지 않은 공백 등)를 제거하였다.
- 화자 분할: 콜론(:) 앞에 위치한 화자 이름을 식별하여 연속적인 전사본을 개별적인 발언 단위로 분할하였다.
데이터셋 컴파일:
- 분할된 발언들은 speech-id, date, time, speaker, speech 텍xt를 포함하는 통합된 CSV 파일로 컴파일되었다. 최종 데이터셋은 94,848개의 발언과 약 898만 단어로 구성된다.
주제 모델링 (하이브리드 LLM 지원 방식):
- 필터링: 노이즈를 줄이기 위해 30단어 미만의 짧은 발언들을 필터링하였으며, 그 결과 약 60,000개의 정제된 코퍼스를 얻었다.
- LLM 주제 힌팅: 로컬에서 실행되는 LLaMA 3.2 모델(Ollama 활용)을 사용하여 각 발언에 대한 예비 주제 기술어(descriptor)를 생성하였다.
- 클러스터링: 생성된 기술어들을 paraphrase-multilingual-MiniLM-L12-v2 모델을 사용하여 임베딩하였다. K-평균 클러스터링을 수행하였으며, 최적의 클러스터 수( $k=47$ )는 실루엣 점수 분석, PCA 시각화 및 수동 의미 검토를 통해 결정되었다.
- 키워드 추출: 각 클러스터 내에서 잠재 디리클레 할당(LDA)을 적용하여 지배적인 키워드를 추출하였다.
- 라벨링: LDA 출력에서 가장 빈번한 상위 두 개의 키워드를 결합한 휴리스틱 방식을 사용하여 인간이 읽을 수 있는 주제 라벨(예: "농업 및 농민")을 생성하였다. 또한, 클러스터의 어휘적 일관성을 측정하기 위해 "포커스 점수(focus score)"를 계산하였다.
- 매핑: 각 발언은 자신의 의미론적 임베딩과 주제 기술어 사이의 가장 높은 코사인 유사도를 기준으로 주제 라벨이 할당되었다.
감성 분석:
- 발언의 길이와 힌디어-영어 혼용 특성으로 인해 단일 모델로는 불충분하다고 판단하였다. 저자는 세 가지 사전 학습된 트랜스포머 모델(cardiffnlp/twitter-xlm-roberta-base-sentiment, tabularisai/multilingual-sentiment-analysis, nlptown/bert-base-multilingual-uncased-sentiment)을 결합한 앙상블 접근 방식을 채택하였다.
- 발언을 문장 단위로 분할한 뒤, 가중치 앙상블을 통해 처리하고 이를 집계하여 전체 발언 수준의 감성(긍정, 중립, 부정)과 신뢰 점수를 결정하였다.
지도 학습 기반 평가:
- 비지도 학습으로 도출된 주제 라벨의 일관성을 검증하기 위해, 저자는 발언 임베딩으로부터 주제를 예측하도록 지도 학습 기반의 딥러닝 모델(ANN, SimpleRNN, LSTM, BiLSTM, GRU)을 훈련시켰다.

주요 결과

데이터셋 구축: 6,365개의 PDF 파일을 94,848개의 발언을 가진 구조화된 데이터셋으로 성공적으로 변환하였다.
주제 모델링: 하이브리드 파이프라인을 통해 47개의 독특한 주제를 식별하였다. 일관성 분석(Cv 지표) 결과, 6개의 주제는 높은 일관성( $\ge 0.65$ ), 31개는 중간, 10개는 낮은 일관성을 보였다. 높은 일관성을 보인 주제에는 사법, 사회 정의, 안보, 농업 등이 포함되었다.
감성 분석: 의회 담론의 비판적 성격을 반영하여, 앙상블 모델은 대다수의 발언을 "부정적"으로 분류하였다. 신뢰 점수는 일반적으로 중위권(0.35–0.42)에 머물렀는데, 이는 공식적인 정치 언어의 모호성과 코드 스위칭(code-mixing) 현상에 기인한다.
지도 학습 예측: 순환 신경망(RNN)이 피드포워드 ANN 베이스라인보다 우수한 성능을 보였다. SimpleRNN이 **76.00%**로 가장 높은 정확도를 기록했으며, LSTM(75.96%), BiLSTM(75.98%), GRU(75.91%)가 그 뒤를 이었다. ANN은 69.98%를 기록했다. 이는 비지도 학습으로 도출된 주제 라벨이 텍스트 내의 학습 가능한 순차적 패턴을 포착하고 있음을 시사한다.

의의 및 주장
본 논문은 인도 의회 담론의 계산적 연구를 위한 기초적 기여로서, 특히 구조화된 데이터의 부재라는 라자야 사바의 공백을 메우는 데 위치를 둔다. 저자는 자신의 주요 성과가 라자야 사바 토론의 구조화되고 기계 판독 가능한 코퍼스를 구축한 것이며, 이를 통해 인도 의회 토론의 계산적 연구(로히트와 싱의 2018년 로크 사바 데이터셋 등)를 상원으로 확장했다고 주장한다.

본 연구는 다음을 입증한다:

데이터 엔지니어링의 중요성: 엄격한 OCR, 정제 및 분할 파이프라인을 통해 비구조적 PDF를 분석 가능한 데이터로 효과적으로 변환할 수 있다.
하이브리드 모델링의 유효성: LLM 생성 힌트와 전통적인 클러스터링(K-means) 및 확률적 모델링(LDA)을 결합하면 다국어 및 저자원 환경에서도 해석 가능한 주제를 도출할 수 있다.
라벨 일관성: 비지도 학습으로 도출된 주제를 예측하는 지도 학습 모델의 높은 정확도는 구축된 코퍼스의 내부 일관성과 신뢰성을 검증한다.

저자는 이 데이터셋과 방법론적 프레임워크가 계산 정치학, 공공 정책 분석, 인도 의회 담론의 언어 모델링 분야의 후속 연구를 위한 강력한 출발점을 제공한다고 결론짓는다. 또한, 데이터가 "완벽하게 깨끗한" 상태는 아니지만, 다운스트림 애플리케이션을 위한 견고한 경험적 자원으로서 기능한다고 명시하였다.

유사한 논문