SinhaLegal: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts

이 논문은 1981 년부터 2014 년까지의 1,206 개의 법률 문서로 구성된 약 200 만 단어 규모의 SinhalaLegel 코퍼스를 소개하고, 이를 통해 스리랑카 법률 텍스트에 대한 정보 추출 및 분석을 위한 중요한 NLP 자원을 마련했다고 요약할 수 있습니다.

핵심

📚 1. 왜 이 도서관이 필요할까요? (배경)

스리랑카의 공용어인 싱할라어로 된 법률 문서 (법률과 법안) 는 매우 중요합니다. 하지만 이 문서들은 대부분 스캔된 이미지 (PDF) 형태로만 남아 있었습니다.

• 문제점: 컴퓨터는 이미지 속 글자를 읽을 수 없습니다. 마치 손으로 쓴 편지를 컴퓨터가 읽으려다 보니 글자가 뭉개지거나 엉뚱한 글자로 변해버리는 상황과 같습니다.
• 목표: 연구자들은 이 '읽을 수 없는' 문서들을 컴퓨터가 이해할 수 있는 '깨끗한 텍스트'로 바꾸고, 이를 분석할 수 있는 **데이터 세트 (재료)**를 만들고 싶었습니다.

🛠️ 2. 도서관을 짓는 과정 (방법론)

연구자들은 다음과 같은 4 단계 과정을 거쳤습니다.

① 자료 수집 (책장 채우기)

• 스리랑카 정부 웹사이트와 GitHub 에서 1981 년부터 2014 년까지의 법률 (Acts) 1,065 편과 법안 (Bills) 141 편을 모았습니다. 총 1,206 개의 문서입니다.
• 비유: 마치 40 년 치의 낡은 법전들을 한곳으로 모아온 것과 같습니다.

② OCR 작업 (글자 읽기)

• 구글의 Document AI라는 강력한 '로봇 사서'를 투입했습니다. 이 로봇은 이미지 속 글자를 텍스트로 변환했습니다.
• 하지만 로봇도 완벽하지 않아서, 긴 문서 (15 페이지 이상) 는 잘게 쪼개서 읽어야 했습니다.

③ 필터링 (불량품 제거)

• 모든 문서가 쓸모 있는 것은 아니었습니다.
  • 양면 인쇄로 글자가 겹쳐서 읽히지 않는 것 → 버림
  • 50 페이지가 넘는 너무 긴 문서 (표나 복잡한 레이아웃 때문에 글자가 엉망이 됨) → 버림
  • 여러 열로 나뉘어 있는 문서 → 버림
• 결과적으로 2,865 개 중 1,206 개의 '최고급' 문서만 남겼습니다.

④ 손질 작업 (청소 및 정리)

• 로봇이 읽은 텍스트에는 오류가 많았습니다.
  • "페이지 번호", "도장", "물방울" 같은 불필요한 것들 제거.
  • 문장 사이사이의 불필요한 공백 정리.
  • 틀린 철자를 사람이 직접 고침 (원어민 연구자가 수작업).
• 비유: 마치 낡은 책의 표지를 벗기고, 찢어진 페이지를 붙이고, 오타를 수정하여 새 책처럼 깨끗하게 만드는 과정입니다.

🔍 3. 도서관을 분석해 보니 (평가 결과)

이제 만들어진 SINHALEGAL 데이터베이스를 분석해 보았습니다.

• 규모: 약 200 만 단어가 담겨 있습니다.
• 특징: 법률 용어는 일반 말과 다릅니다.
  • 반복되는 단어: "그리고 (සහ)", "하기 위해 (සඳහා)" 같은 접속사들이 매우 자주 나옵니다.
  • 희귀한 단어: "특정 사건", "독특한 기관명" 같은 단어는 한 번만 나오기도 합니다.
  • 비유: 법률 문서는 매일 같은 메뉴를 반복해서 주문하는 식당과 같습니다. "밥, 국, 반찬"은 매일 나오지만, 가끔 "특별 메뉴"가 나오기도 하죠.
• 엔티티 인식 (NER): 컴퓨터가 문서에서 날짜, 사람 이름, 기관명, 금액 등을 찾아내는 능력을 테스트했습니다. 약 2 만 9 천 개의 중요한 정보를 찾아냈습니다.
• 주제 분석: 문서들을 묶어보니 법률 개정, 선거, 연금, 위원회 같은 주제가 자주 등장한다는 것을 발견했습니다.

🤖 4. 인공지능은 이걸 잘 이해할까요? (언어 모델 평가)

최신 인공지능 (LLM) 들에게 이 법률 데이터를 먹여보았습니다.

• 결과: 인공지능은 일반적인 스리랑카 말보다 법률 문장을 더 잘 예측했습니다.
• 이유: 법률 문장은 형식이 정해져 있고 반복되는 패턴이 많기 때문입니다.
  • 비유: 일반 대화는 "오늘 날씨 어때? 밥 뭐 먹지?"처럼 매번 달라서 예측하기 어렵지만, 법률 문장은 "이 법은 ~에 해당한다"처럼 형식이 정해져 있어 인공지능이 "다음에 뭐가 나올지" 쉽게 맞출 수 있습니다.

💡 5. 결론: 왜 이 연구가 중요한가요?

이 SINHALEGAL 프로젝트는 스리랑카의 법률 연구에 **비로소 '디지털 시대의 나침반'**을 제공한 것입니다.

• 이전: 법률 문서는 이미지로만 있어서 검색하거나 분석하기가 거의 불가능했습니다.
• 이제: 컴퓨터가 읽을 수 있는 형태로 정리되었기 때문에, 법률 요약, 정보 추출, 과거 법률 변화 분석 등이 가능해졌습니다.

한 줄 요약:

"오래되고 읽기 힘든 스리랑카 법전들을 로봇이 읽고, 사람이 다듬어, 컴퓨터가 이해할 수 있는 보물창고로 만든 프로젝트입니다."

이 데이터는 앞으로 인공지능이 법률을 도와주는 '법률 비서'를 만드는 데 필수적인 기초 자료가 될 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 스리랑카의 법률 텍스트 처리 부재: 스리랑카의 공용어인 싱할라어 (Sinhala) 는 인도 - 유럽어족에 속하지만, NLP(자연어 처리) 관점에서는 저자원 언어 (Low-resource language) 로 분류됩니다. 특히 법률 분야는 전문 용어와 복잡한 문장 구조를 가지며, 기존에 싱할라어 법률 도메인 전용 데이터셋이 존재하지 않았습니다.
• 디지털화 및 OCR 의 한계: 많은 법률 문서가 스캔된 PDF 형식으로만 존재하며, OCR(광학 문자 인식) 을 통한 텍스트 추출 시 레이아웃 보존, 노이즈 제거, 다중 열 구조 등의 문제로 인해 고품질의 기계 판독 가능 텍스트를 얻기 어렵습니다.
• 연구의 필요성: 법률 요약, 정보 추출, 분석 및 시계열 분석 (Diachronic analysis) 을 수행하기 위해 체계적으로 구축된 고품질 싱할라어 법률 코퍼스가 절실히 필요했습니다.

2. 방법론 (Methodology)

저자들은 1981 년부터 2014 년까지의 싱할라어 법률 문서 (Acts) 와 2010 년부터 2014 년까지의 법률안 (Bills) 을 대상으로 한 데이터셋 구축 프로세스를 다음과 같이 수행했습니다.

• 데이터 수집 (Data Acquisition):
  • GitHub 에 공개된 'Sri Lanka Document Dataset'에서 2,865 개의 PDF 파일 (Acts 1,529 개, Bills 1,336 개) 을 수집했습니다.
  • 초기 수집 단계에서 OCR 정확도가 낮은 다중 열 레이아웃이나 복잡한 포맷을 가진 공보 (Gazettes) 는 제외했습니다.
• 데이터 조직화 및 OCR 추출:
  • 문서 유형과 출판 연도에 따라 계층적 디렉토리 구조로 정리했습니다.
  • Google Document AI를 사용하여 OCR 을 수행했습니다. (이전 연구에서 싱할라어 스캔 문서에 대해 Tesseract 나 Surya 보다 높은 정확도를 보임).
  • 페이지 수 제한 (15 페이지) 으로 인해 긴 문서는 청크 (Chunk) 단위로 분할하여 처리했습니다.
• 필터링 (Filtration):
  • 품질 기반 필터링: OCR 신뢰도 (Confidence Score) 가 0.6 미만의 저품질 문서를 제외했습니다.
  • 연도 및 페이지 수 제한: Acts 는 19812014 년, Bills 는 20102014 년으로 범위를 제한했습니다. 또한, 50 페이지를 초과하거나 복잡한 표/레이아웃이 포함된 문서는 OCR 오류 가능성을 이유로 제거했습니다.
  • 최종 결과: 1,206 개의 고품질 문서 (Acts 1,065 개, Bills 141 개) 가 최종 코퍼스로 선정되었습니다.
• 후처리 (Post-Processing):
  • 싱할라어 원어민 연구자가 수동으로 텍스트를 정제했습니다.
  • 수정 항목: 오타 및 깨진 단어 수정, 페이지 번호 및 푸터 제거, 불필요한 반복 제목 제거, 인장 (Seal) 및 가격 정보 제거, 불일치하는 공백 및 줄바꿈 정리, OCR 에 의해 생성된 불필요한 특수 문자 제거.
• 메타데이터 생성: 각 문서에 대해 문서 ID, 유형, 연도, 페이지 수, OCR 청크 수, 전체 OCR 신뢰도 등을 포함한 구조화된 메타데이터 파일을 생성했습니다.

3. 주요 기여 (Key Contributions)

• SINHALEGAL 코퍼스 공개: 약 200 만 단어 (2,022,207 토큰) 로 구성된 최초의 싱할라어 법률 전용 대규모 벤치마크 코퍼스를 공개했습니다.
• 체계적인 데이터 구축 파이프라인: OCR 추출부터 수동 정제, 필터링, 메타데이터 생성에 이르는 법률 텍스트 처리를 위한 표준화된 워크플로우를 제시했습니다.
• 도메인 특화 분석: 법률 텍스트의 어휘적 다양성, 빈도 분석, 개체명 인식 (NER), 토픽 모델링 등을 통해 싱할라어 법률 텍스트의 구조적, 언어적 특성을 심층적으로 분석했습니다.
• LLM 성능 평가: 다양한 대규모 언어 모델 (Llama-3.1, Mistral, Falcon 등) 을 사용하여 일반 싱할라어 텍스트와 법률 텍스트에 대한 Perplexity(어색도) 를 비교 평가했습니다.

4. 결과 (Results)

• 통계적 특성:
  • 평균 문서 길이: 1,677 토큰 (중앙값 1,213 토큰).
  • 어휘 다양성: 전체 39,169 개의 고유 단어 유형을 가지며, Type-Token Ratio(TTR) 는 Acts 가 0.7315, Bills 가 0.7456 으로 높게 나타났습니다.
  • 빈도 분석: 상위 100 개 단어가 전체 텍스트의 약 46% 를 차지하여 법률 텍스트의 반복적이고 공식적인 특성을 보여줍니다.
• 개체명 인식 (NER):
  • 규칙 기반 (Rule-based) NER 파이프라인을 구축하여 날짜, 직함, 기관, 법률명, 인물, 금액 등 6 가지 유형의 개체를 추출했습니다.
  • 총 28,937 개의 개체가 추출되었으며, 문서당 평균 24 개의 개체가 포함되어 개체 밀도가 높음을 확인했습니다.
• 토픽 모델링 (LDA):
  • 10 개의 토픽을 추출하여 '법률 (Act)', '기관 (Court, Parliament)', '위원회 (Commission)', '선거', '연금', '금전' 등의 주제가 반복됨을 확인했습니다.
• 언어 모델 평가 (Perplexity):
  • 일반 싱할라어 코퍼스 (MADLAD CulturaX) 에 비해 SINHALEGAL 코퍼스에서 모든 언어 모델의 Perplexity 점수가 낮았습니다.
  • 이는 법률 텍스트가 반복적인 구조와 공식적인 표현을 사용하여 예측 가능성이 높음을 시사합니다. (예: Llama-3.1 은 일반 3.05 vs 법률 2.55).
• 정확도 평가:
  • 텍스트 정규화 (Normalization) 후 Word Error Rate (WER) 는 23.44%, Character Error Rate (CER) 는 24.06% 로 측정되었습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 NLP 의 격차 해소: 싱할라어 법률 연구에 필수적인 기초 자원을 제공함으로써, 법률 NLP 연구의 중요한 공백을 메웠습니다.
• 실용적 응용 가능성: 이 데이터셋은 법률 문서 요약, 정보 추출, 판례 예측, 법률 텍스트 분석 등 다양한 NLP 태스크의 훈련 및 평가에 활용될 수 있습니다.
• 향후 연구 방향: 현재는 Acts 와 Bills 로 제한되어 있으나, 향후 공보 (Gazettes) 등 다른 법률 문서 유형을 포함하고 문서를 섹션 단위로 세분화하는 등의 확장이 제안되었습니다.

이 논문은 싱할라어 법률 텍스트의 디지털화와 NLP 기술 적용을 위한 토대를 마련한 중요한 연구로 평가됩니다.