Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields

인간 언어의 광활한 풍경 속에서 컴퓨터는 텍스트를 읽고 이해하는 데 있어 놀라울 정도로 능숙해졌지만, 여전히 한 가지 근본적인 과제에서 비틀거리고 있습니다. 바로 사람, 장소, 조직의 이름을 인식하는 일입니다. 개체명 인식(named entity recognition)이라고 알려진 이 도전 과제는 기계가 문장을 보고 어떤 단어가 특정 인물, 위치 또는 회사를 지칭하는지 결정하고, 이를 주변의 일반적인 단어들과 구별해낼 것을 요구합니다. 연구자들이 수십 년 동안 수백만 개의 주석이 달린 텍스트 예시를 수집해 온 영어와 같은 언어의 경우, 컴퓨터는 높은 정확도로 이 작업을 수행하는 법을 배웠습니다. 그러나 전 세계에서 사용되는 수천 개의 다른 언어들의 경우, 그토록 방대한 예시 라이브러리는 존재하지 않습니다. 많은 경우, 언어학자와 컴퓨터 과학자들이 다룰 수 있는 문장은 불과 몇 문장에 불과하며, 이는 전통적인 방식으로는 컴퓨터에게 해당 언어의 이름을 인식하도록 가르치는 것을 거의 불가능하게 만듭니다. 이러한 격차는 세계 언어의 상당 부분을 현대 디지털 도구로부터 보이지 않게 만들어, 정보 접근과 소통에 장벽을 형성합니다.

존스 홉킨스 대학교의 한 연구팀은 이러한 저자원 언어에서 컴퓨터가 이름을 인식하는 법을 가르치는 새로운 방법을 탐구함으로써 이 간극을 메우기 위해 나섰습니다. 각 언어를 위한 별도의 고립된 시스템을 구축하려 하는 대신, 그들은 컴퓨터가 이미 잘 알고 있는 언어로부터 학습하고 그 지식을 아주 조금 알고 있는 언어에 적용할 수 있게 하는 방법을 개발했습니다. 그들 접근 방식의 핵심은 컴퓨터가 단어를 하나의 전체 단위로 보는 것이 아니라, 단어의 구성 요소인 개별 글자와 문자를 살펴보도록 가르치는 것입니다. 잘 기록된 언어에서 문자들이 어떻게 결합하여 이름을 형성하는지 분석함으로써, 컴퓨터는 관련이 있지만 데이터가 부족한 언어에서 유사한 패턴을 인식하기 시작할 수 있습니다. 연구자들이 '전이 학습(transfer learning)'이라 부르는 이 기술은 본질적으로 컴퓨터가 한 언어에 대해 발달시킨 직관을 빌려와, 두 언어가 공통된 가족 관계나 구조적 뿌리를 공유한다면 다른 언어를 이해하는 데 도움을 줄 수 있도록 합니다.

연구진은 갈리시아어와 우크라이나어부터 타갈로그어와 힌디어에 이르기까지 15가지의 서로 다른 언어를 대상으로 이 아이디어를 테스트했습니다. 그들은 먼저 컴퓨터가 대상 언어에 대해 단 100개의 훈련 데이터 문장에만 접근할 수 있는 시나리오를 만들었는데, 이는 표준적인 컴퓨터 모델이 유용한 것을 학습하기에는 너무나 적은 양입니다. 이 어려운 설정에서 그들은 두 가지 유형의 컴퓨터 모델을 비교했습니다. 첫 번째는 인간 전문가가 컴퓨터가 이름을 포착할 수 있도록 특정 규칙과 특징을 수동으로 설계하는 데 의존하는 전통적인 모델이었습니다. 두 두 번째는 데이터로부터 스스로 특징을 자동으로 학습하도록 설계된 신경망 기반의 더 복잡하고 새로운 모델이었습니다. 컴퓨터가 다른 언어의 도움 없이 단 100개의 문장으로부터 학습해야 했을 때, 전통적인 모델이 실제로 더 나은 성능을 보였습니다. 방대한 양의 데이터를 필요로 하는 것으로 알려진 신경 네트워크는 어려움을 겪었고 낮은 정확도 점수를 기록했습니다. 이는 충분한 데이터가 없는 상황에서는 복잡한 신경망 방식이 아직 독자적으로 설 준비가 되지 않았음을 확인시켜 주었습니다.

하지만 연구진이 교차 언어 전이(cross-lingual transfer) 요소를 도입하자 이야기는 완전히 바뀌었습니다. 그들은 갈리시아어를 위한 스페인어, 또는 우크라이나어를 위한 러시아어와 같이 대상 언어와 관련된 언어로부터 얻은 대량의 훈련 데이터를 컴퓨터에 제공했습니다. 이 새로운 설정에서 신경 네트워크 모델은 앞서 나갔습니다. 풍부하고 잘 기록된 언어로부터 얻은 지식을 공유함으로써, 신경 네트워크는 서로 관련 있는 언어들 사이에서 이름이 무엇인지에 대한 일반적인 표현을 학습할 수 있었습니다. 모델은 이름이 한 언어로 쓰였든 다른 언어로 쓰였든 상관없이 특정한 문자 패턴을 공유한다는 것을 배웠습니다. 이를 통해 모델은 이해를 일반화하고 훨씬 더 나은 성능을 발휘할 수 있었는데, 이는 이 전이 방법을 사용할 때 전통적인 모델보다 정확도가 거의 10포인트 가까이 급등하는 극적인 개선을 보여주었습니다.

이 연구는 또한 이 방법이 대상 언어의 데이터가 매우 적을 때 가장 잘 작동한다는 것을 밝혀냈습니다. 연구진이 컴퓨터에 대상 언어에 대한 10,000개의 문장이라는 대규모 데이터셋을 제공했을 때, 다른 언어에서 데이터를 빌려오는 이점은 사라졌으며 신경 모델은 스스로 잘 작동했습니다. 이는 이 기술이 특히 결핍 문제를 해결하기 위해 설계되었음을 시사하며, 현대 인공지능 시스템을 훈련하는 데 필요한 방대한 아카이브가 부족한 언어들을 위한 생명줄 역할을 한다는 것을 의미합니다. 연구진은 신경 네트워크가 단어 전체가 아닌 문자를 분석하는 능력이 이 성공의 핵심임을 발견했는데, 이는 시스템이 단어 기반 시스템이 놓칠 수 있는 언어 간의 미묘한 연결 고리를 찾을 수 있게 해주었기 때문입니다. 모델의 내부 구성 요소들을 언어 전반에 걸쳐 결합함으로써, 컴퓨터는 특정 언어의 어휘를 초월하여 '개체명'이라는 개념을 추상화할 수 있었습니다.

궁극적으로, 이 연구는 세계의 가장 자원이 부족한 언어들에 최첨단 언어 기술을 가져오는 것이 가능하다는 것을 보여주지만, 이는 이러한 시스템을 훈련하는 방식의 변화를 요구합니다. 연구 결과는 복잡한 신경 네트워크가 강력하긴 하지만, 모든 상황에서 작동하는 마법 같은 해결책은 아니며, 데이터가 부족할 때 기능하기 위해서는 적절한 종류의 지원이 필요하다는 것을 보여줍니다. 신경 네트워크의 딥러닝 능력과 관련 언어로부터 학습하는 전략을 결합함으로써, 연구진은 실행 가능한 길을 제시했습니다. 이 접근 방식은 지구상의 모든 언어에 대해 수백만 개의 문장을 수동으로 주석 달아야 하는 불가능한 과업을 요구하지 않습니다. 대신, 기존의 자원을 활용하여 오랫동안 소외되었던 언어들의 이해를 끌어내는 실질적인 방법을 제공하며, 디지털 언어 처리의 혜택이 인류의 훨씬 더 넓은 범위에 확장될 수 있도록 보장합니다.