Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
이 논문은 생성적 데이터 증강을 통해 트랜스포머 기반 모델, 구체적으로 XLM-RoBERTa를 미세 조정하는 것이 저자원 전근대 세르비아 키릴 문헌에 대한 개체명 인식 성능과 일반화 능력을 유의미하게 향상시킨다는 것을 입증하며, 약 0.92의 도메인 내 F1 점수를 달성하고 더 넓은 역사 연구를 위해 50%의 합성 데이터로 학습된 권장 모델을 확립한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 역사의 고요한 구석에서, 자연어 처리라고 알려진 컴퓨터 과학의 특화된 분야가 과거를 기계가 읽을 수 있도록 만들기 위해 노력하고 있다. 이 분야는 컴퓨터에게 인간의 언어를 단순한 단어의 나열이 아니라, 특정 이름(사람, 장소, 집단)이 뚜렷한 의미를 지니는 구조화된 체계로서 이해하도록 가르친다. 현대 언어의 경우, 이 작업은 매우 정확해져서 소프트웨어가 뉴스 기사나 소셜 미디어 피드를 즉각적으로 스캔하여 특정 도시나 인물에 대한 모든 언급을 추출할 수 있게 해준다. 그러나 동일한 기술은 역사적 텍스트를 마주했을 때 어려움을 겪는다. 이러한 문헌들은 종종 일상적인 대화에서 사라진 철자와 문법을 사용하며, 현대의 글쓰기에 비해 훨씬 적은 양으로 존재하기 때문이다. 언어가 희귀하고 데이터가 부족할 때, 현대의 뉴스를 잘 처리하는 컴퓨터들은 수 세기 전의 단어들 앞에서 비틀거리곤 한다. 이는 역사학자와 기록물 관리자들이 디지털 도구를 사용하여 자신들의 컬렉션을 탐구하고자 할 때 장벽을 만드는데, 소프트웨어가 중세 칙서에서 왕의 이름과 일반 명사를 신뢰성 있게 구별하지 못하기 때문이다.
한 연구팀은 고대 세르비아 키릴 문자로 된 전근대 텍ست를 인식하도록 고급 컴퓨터 모델을 가르침으로써 이 간극을 메우기 위해 나섰다. 그들은 특정 과제에 집중했다. 바로 모델이 학습한 예시와 철자, 문체 또는 시기가 다를 수 있는, 한 번도 본 적 없는 문서를 다룰 수 있을 만큼 견고하게 만드는 방법이다. 이를 위해 그들은 생성적 데이터 증강(generative data augmentation)이라고 불리는 기법을 활용했다. 역사학자들이 수천 개의 새로운 문서를 수동으로 라벨링하는 느리고 비용이 많이 드는 과정을 기다리는 대신, 연구진은 강력한 인공지능에게 새로운 합성 학습 예시를 작성하도록 요청했다. 그들은 이 AI가 중세 칙서와 법률 문서의 스타일을 모방하도록 유도하여, 이름과 장소에 대한 올바른 라벨을 갖춘 채 실제와 비슷하게 보이고 들리는 수천 개의 가짜 문장들을 만들어냈다. 그런 다음, 지역에 특화된 모델과 여러 언어를 학습한 모델이라는 두 가지 유형의 현대 언어 모델을 테스트하여, 어떤 모델이 이러한 실제와 합성 데이터의 혼합으로부터 가장 잘 학습할 수 있는지 확인했다.
연구진은 14세기의 왕실 칙서와 편지를 포함한 실제 중세 문헌 컬ৰ렉션으로 시작했다. 이 텍스트들은 사람의 이름, 장소, 또는 특정 집단에 대한 참조를 나타내는 모든 사례를 표시한 전문가들의 정교한 주석 작업을 거쳤다. 이 원래의 컬렉션은 약 3,000개의 문장만을 포함하고 있어 정교한 컴퓨터 모델을 훈련시키기에는 제한적인 양이었다. 이 토대를 확장하기 위해, 팀은 생성형 AI 시스템을 사용하여 원래 텍스트의 패턴을 따르는 새로운 문장들을 생성했다. 그들은 세 가지 버전의 학습 데이터를 제작했다. 하나는 합성 문장이 전체의 30%를 차지하는 버전, 다른 하나는 50%를 차지하는 버전, 그리고 세 번째는 합성 예시가 원래 데이터셋의 크기를 두 배로 늘린 버전이었다. 이를 통해 연구진은 설령 일부가 인위적으로 생성된 것이라 할지라도, 더 많은 예시를 컴퓨터에 입력하는 것이 역사적 언어의 미묘한 차이를 이해하는 데 도움이 되는지 테스트할 수 있었다.
연구진이 이 모델들을 학습에 사용했던 것과 동일한 유형의 문서들로 테스트했을 때, 결과는 인상적이었다. 실제와 합성 데이터가 혼합된 모델, 특히 합성 데이터가 30% 포함된 버전은 높은 수준의 정확도를 달성하며 대다수의 경우에서 이름과 장소를 정확히 식별해 냈다. 이 성능은 다른 수학적 구조에 의존하던 이전 방식의 컴퓨터 모델보다 현저히 뛰어났다. 그러나 진정한 시험은 연구진이 학습에 포함되지 않은 완전히 새로운 역사적 문서들을 모델에게 읽게 했을 때 찾아왔다. 이 새로운 텍스트들에는 1500년의 유언장, 1778년에 작성된 빈의 한 교회 필사본, 그리고 14세기 중반의 왕실 칙서들이 포함되어 있었다. 이 문서들은 서로 다른 시대와 문체를 나타냈으며, 모델이 단순히 학습 예시를 암기한 것인지 아니면 실제로 언어를 학습한 것인지를 시험하는 압박이 되었다.
결과는 합성 데이터로 학습된 모델들이 이전의 시스템들보다 훨씬 더 적응력이 높다는 것을 보여주었다. 50%의 합성 데이터를 사용한 모델은 모든 새로운 문서에 대해 가장 신뢰할 수 있는 것으로 증명되었으며, 가장 오래되고 문체가 다른 텍스트를 마주했을 때도 높은 수준의 정확도를 유지했다. 30%의 합성 데이터로 학습된 모델이 익숙한 텍스트에서는 약간 더 나은 성능을 보였지만, 50% 버전은 생소한 텍스트들을 더 일관성 있게 처리했다. 이는 적당한 양의 합성 예시를 추가하는 것이 컴퓨터가 언어에 대한 더 유연한 이해를 구축하도록 도와, 철자나 맥락이 변하더라도 패턴을 인식할 수 있게 한다는 점을 시사한다. 연구진은 모델들이 자주 등장하는 사람의 이름을 식별하는 데는 매우 뛰어나지만, 더 희귀하고 다양한 장소 이름이나 집단 참조에 대해서는 여전히 약간 어려움을 겪는다는 것을 발견했다.
이 연구는 합성 예시를 생성하는 것이 컴퓨터에게 역사적 텍스트를 읽히는 강력한 도구이지만, 단순한 만능 해결책은 아니라고 결론짓는다. 합성 데이터의 양이 중요하다. 너무 적으면 충분한 도움이 되지 않을 수 있고, 너무 많으면 모델을 혼란스럽게 하는 노이즈를 유입시킬 수 있다. 최선의 결과는 합성 데이터가 실제 역사적 기록을 압도하지 않으면서도 이를 보완하는 균형 잡힌 접근 방식에서 나왔다. 연구진은 훈련된 모델과 사용된 데이터를 공개함으로써 디지털 인문학을 위한 새로운 도구를 제공했다. 이 작업은 적절한 역사적 전문 지식과 현대 인공지능의 결 조합을 통해, 우리가 수 세기 동안의 필사본 속에 숨겨진 이름과 장소를 밝혀내어 과거를 학자와 일반 대중 모두에게 더 접근 가능하게 만들 수 있음을 보여준다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.