Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

현대 인공지능의 세계에서 컴퓨터는 인간처럼 단어를 읽지 않습니다. 그들은 텍스트를 긴 문자열로 인식하며, 이를 이해하기 위해 그 문자열을 더 작고 관리 가능한 조각들로 나누어야 합니다. 이 조각들을 '서브워드(subwords)'라고 부릅니다. 컴퓨터가 "unhappiness"라는 단어를 이해하려고 노력하는 모습을 상상해 보십시오. 컴퓨터는 이를 "un", "happi", "ness"로 나눌 수도 있고, 혹은 "unhappiness"를 하나의 덩어리로 볼 수도 있습니다. 컴퓨터가 이러한 단어들을 어디서 자를지 결정하는 방식을 '토큰화(tokenization)'라고 합니다. 수년 동안 표준적인 방법은 특정 글자 조합이 방대한 양의 텍 есть에서 얼마나 자주 나타나는지를 살펴봄으로써 컴퓨터가 스스로 이러한 절단 지점을 학습하도록 하는 것이었습니다. 이 통계적 접근 방식은 효율적이지만, 한 가지 약점이 있습니다. 그것은 단순히 데이터상에서 흔하게 발생하는 지점이라는 이유만으로 접두사와 어근 사이, 또는 어근과 접미사 사이를 가로질러 단어의 의미 있는 부분을 잘라버리곤 한다는 점입니다. 이는 컴퓨터의 언어 이해를 덜 투명하게 만들고, 특히 복잡한 단어를 다룰 때 때때로 정확도를 떨어뜨립니다.

상하이 통지 대학교의 연구진은 다른 길을 탐색했습니다. 그들은 만약 컴퓨터에게 단어 부분들에 대한 사전으로부터 부드러운 자극을 준다면, 컴퓨터가 더 언어학적으로 타당한 위치에서 단어를 자르는 법을 배울 수 있을지 질문을 던졌습니다. 순수하게 원시 통계에만 의존하는 대신, 그들은 연구진은 형태론적 어휘집(morphological lexicon)—수천 개의 영어 단어에 대한 접두사, 어근, 접미사를 나열한 특수 데이터베이스—을 학습 과정 중에 가이드로 사용하는 시스템을 도입했습니다. 연구진은 컴퓨터가 사전을 완벽하게 따르도록 강요하지도 않았고, 훈련 데이터의 모든 단어를 수동으로 라벨링할 것을 요구하지도 않았습니다. 대신, 그들은 사전을 '약한 신호(weak signal)', 즉 "만약 당신이 단어를 여기서 자르려 한다면, 이 절단 지점이 알려진 접두사나 접미사와 일치하므로 이를 유지하는 것을 고려해 보는 것이 좋겠다"라고 말하는 미묘한 힌트로 취급했습니다. 그들은 이 아이디어를 단어를 자르는 도구인 세 가지 서로 다른 유형의 컴퓨터 토크나이저에 대해 테스트했습니다. 결과는 이 간단한 가이드가 컴퓨터가 스스로 학습할 때보다 훨씬 더 잘 단어의 실제 형태론적 경계와 일치하도록 도왔다는 것을 보여주었습니다.

이 연구는 컴퓨터가 단어를 나누는 법을 배우는 데 사용하는 세 가지 구체적인 방법에 초점을 맞췄습니다. 첫 번째로, '바이트 페어 인코딩(Byte Pair Encoding)'이라 알려진 방법은 가장 빈번하게 등장하는 글자 쌍을 병합하는 것에서 시작하는 매우 인기 있는 방식입니다. 두 번째는 많은 거대 언어 모델을 움직이는 것과 유사한 스타일의 훈련 방식으로, 글자 조합이 그 연관성에 기반하여 얼마나 잘 어우러지는지를 살펴봅니다. 세 번째는 다양한 단어 세그먼트의 가능성을 계산하는 확률적 방법입니다. 연구진은 약 70,000개의 영어 단어에 대한 분석을 포함하고 있는 'MorphoLex'라는 대규모 데이터베이스를 가져와서, 이를 접두사, 어근 또는 어간, 접미사를 위한 세 가지 단순한 목록으로 변환했습니다. 훈련 단계에서 컴퓨터가 자신의 어휘(vocabulary)에 어떤 글자 조합을 포함할지 결정할 때, 시스템은 이 목록들을 확인했습니다. 만약 잠재적인 절단 지점이 알려진 접두사, 어근 또는 접미사와 일치하면, 컴퓨터는 해당 옵션의 순위에 작은 가산점을 주었습니다. 이는 언어학적으로 의미 있는 단위가 선택될 가능성을 약간 더 높였지만, 데이터가 충분히 강력하다면 컴퓨터는 여전히 텍text의 통계적 패턴을 따를 수 있도록 자유를 주었습니다.

이 실험의 결과는 세 가지 방법 모두에서 명확하고 일관되었습니다. 연구진이 컴퓨터의 절단 지점이 단어의 실제 형태론적 경계와 얼마나 잘 일치하는지 측정했을 때, 가이드를 받은 버전이 표준 버전보다 더 우수한 성능을 보였습니다. 개선 효과가 가장 극적이었던 것은 바이트 페어 인코딩 방식이었는데, 이 방식은 올바른 단어 경계를 식별하는 정확도가 5퍼센트 포인트 상승했습니다. 확률적 방법 또한 3퍼센트 포인트 이상의 유의미한 이득을 보였습니다. 세 번째인 연관성 기반 접근 방식은 1퍼센트 포인트가 조금 넘는 작은 개선을 보였습니다. 이러한 이득은 단순히 테스트 설정상의 요행이 아니었습니다. 연구진은 결과가 단순히 컴퓨터가 테스트되는 특정 단어들을 암기했기 때문이 아님을 확실히 하기 위해 평가를 신중하게 설계했습니다. 그들은 모든 가능한 접두사와 접미사를 포함하는 테스트 세트와 그렇지 않은 테스트 세트, 두 가지 다른 테스트 세트를 만들었습니다. 또한 사전의 일부를 사용하여 컴퓨터를 가르치고, 완전히 별개의 부분을 사용하여 테스트를 진행했습니다. 컴퓨터가 사전에 없던 단어들에 대해 테스트를 받을 때조차 개선 효과는 유지되었으며, 이는 시스템이 단어를 분절하는 더 나은 방법을 진정으로 학습했음을 시사합니다.

가장 흥미로운 발견 중 중 하나는 서로 다른 컴퓨터 방식들이 동일한 가이드에 어떻게 반응했는가 하는 점이었습니다. 순수하게 빈도에 의존하는 방식은 자신의 어휘를 가장 많이 변경하여, 기존의 표준적인 절단 지점들을 새로운 언어학적 가이드가 적용된 것들로 교체했으며, 이것이 정확도의 가장 큰 향상으로 이어졌습니다. 확률적 방법은 어휘를 덜 변경했지만 여전히 강력한 성능 향상을 달성했습니다. 연관성 기반 방식은 단어가 어떻게 어우러지는지에 대한 내부 논리를 이미 어느 정도 갖추고 있었음에도 불구하고 어휘를 가장 급격하게 변경했으나, 정확도 향상은 가장 작았습니다. 이는 사전 가이드의 가치가 컴퓨터가 원래 어떻게 학습하려고 했는지에 따라 달라짐을 시사합니다. 단순히 숫자를 세는 법만 배우는 컴퓨터에게 사전은 자신이 놓치고 있던 결정적인 구조를 제공합니다. 반면, 이미 패턴의 연관성을 찾는 컴퓨터에게 사전은 도움이 되긴 하지만 덜 혁신적인 교정을 제공합니다.

연구진은 또한 시스템이 단순한 단어와 복잡한 단어를 얼마나 잘 처리하는지도 살펴보았습니다. 빈도 기반 방식의 경우, 단어가 한 부분으로 이루어져 있든 세 부분으로 이루어져 있든 개선 정도는 정확히 동일했습니다. 확률적 방법의 경우, 개선은 주로 단순한 단어에서 나타났으며, 복잡한 단어들은 표준 방식에 의해 이미 잘 처리되고 있었습니다. 이러한 세부적인 분석은 형태론적 어렉사(lexicon)를 사용하는 이점이 균일하지 않으며, 컴퓨터가 학습하는 구체적인 방식과 상호작용한다는 것을 보여줍니다. 연구는 이러한 언어적 자원이 두 가지 목적을 수행할 수 있다고 결론짓습니다. 그것들은 값비싼 수동 라벨링 데이터 없이도 컴퓨터가 더 나은 어휘 구조를 학습하도록 돕는 가벼운 가이드 역할을 할 수 있습니다. 동시에, 이들은 개선 사항이 실제적인 것인지 아니면 단순히 학습과 테스트에 동일한 데이터를 사용했기 때문에 나타난 결과인지를 확인하여, 이러한 시스템을 더 공정하게 평가할 수 있는 방법도 제공합니다. 이 연구는 단순하고 눈에 띄지 않는 사전의 힌트만으로도 인공지능이 인간 언어의 구성 요소를 더 명확하게 이해하도록 도울 수 있음을 입증합니다.