당신이 로봇에게 사람이 쓰는 글을 읽고 인간의 감정을 이해하도록 가르치려 한다고 상상해 보세요. 인간은 이 데 매우 능숙합니다. 우리는 "이 영화 정말 좋아(I love this movie)"라는 문장이 행복하게 들리고, "이 영화 정말 최악이야(This movie is terrible)"라는 문장이 슬프게 들린다는 것을 압니다. 하지만 컴퓨터는 글을 읽는 데 형편없습니다. 컴퓨터에게 텍ek스트는 그저 암호 해독 키가 없는 비밀 코드, 즉 기호들의 뒤섞임일 뿐입니다. 오랫동안 과학자들은 "‘love’라는 단어가 나타나면 행복 점수를 1점 추가한다"와 같은 수천 개의 엄격한 규칙을 작성하여 컴퓨터를 가르치려 노력했습니다. 하지만 언어는 무질서하고 예외가 많아서, 이러한 규칙책 방식은 너무 거대해지고 관리하기 혼란스러워졌습니다.

그때 더 똑똑한 아이디어가 등장했습니다. 컴퓨터에게 규칙책을 주는 대신, 모든 단어가 거대하고 보이지 않는 지도 속에서 자신만의 비밀스러운 "주소" 또는 좌표 세트를 가진 사전을 주는 것입니다. 이 지도에서 의미가 비슷하거나 비슷한 상황에서 등장하는 단어들은 서로 이웃하며 삽니다. "왕(King)"과 "여왕(Queen)"은 같은 거리에 살 수 있지만, "왕"과 "바나나(Banana)"는 서로 다른 도시에 삽니다. 이것을 "단어 임베딩(word embedding)"이라고 부릅니다. 이것은 단어를 컴퓨터가 계산할 수 있는 숫자로 변환하여, 컴퓨터가 단어들이 지도상의 어디에 위치하는지를 보고 문장의 의미를 추측할 수 있게 해줍니다. 이것이 당신이 이제 읽게 될 논문의 핵심 이야기입니다. 우리가 미리 만들어진 이 "단어 지도"들을 사용하여, 간단한 컴퓨터 두뇌가 영화 리뷰가 행복한지 슬픈지 구별하도록 가르칠 수 있을까요?

영화 리뷰 탐정 이야기

이 논문은 아프리카 수학 과학 연구소(African Institute for Mathematical Sciences)의 학생인 살로몬 카봉고 카베나무(Salomon Kabongo Kabenamualu)가 수행한 조사로, 이 "단어 지도"들이 실제 세상에서 얼마나 잘 작동하는지 확인하고자 했습니다. 구체적으로 그는 다음과 같은 탐정 게임을 설정했습니다. 컴퓨터가 인터넷 영화 데이터베이스(IMDb)의 영화 리뷰 5만 개를 보고, 작성자가 영화를 좋아했는지 아니면 싫어했는지를 알아낼 수 있을까요?

이 게임을 하기 위해 살로몬은 컴퓨터에게 읽는 법을 가르쳐야 했습니다. 그는 텍스트를 숫자로 번역하기 위해 세 가지 다른 방법을 시도했으며, 이는 마치 세 명의 서로 다른 번역가처럼 행동하는 것과 같았습니다.

번역가 1: "Bag of Words" (아무것도 모르는 자루)
먼저, 그는 "Bag of Words"(구체적으로는 TF-IDF라고 불리는 방식)라는 고전적인 방법을 시도했습니다. 스크래블(Scrabble) 타일이 든 자루를 상상해 보세요. 문장의 글자들을 자루에 쏟아붓고 흔들어 섞습니다. 그리고 "good"이 몇 번 나오는지, "bad"가 몇 번 나오는지는 세지만, 순서는 버립니다. 당신은 문장이 "The movie was good"이었는지 아니면 "Good was the movie"였는지 알 수 없습니다.
살로몬은 이 방법이 처음에는 괜찮다는 것을 발견했습니다. 그는 새로운 리뷰에 대해 약 **79.9%**의 정답률을 보였습니다. 하지만 함정이 있었습니다. 컴퓨터가 부정행위를 하고 있었던 것입니다. 컴퓨터는 훈련용 리뷰를 너무 잘 외워버린 나머지, 새로운 리뷰를 접했을 때 실패했습니다. 이는 마치 연습 문제를 완벽히 암기했지만, 새로운 문제는 풀지 못하는 학생와 같았습니다. 컴퓨터는 과적합(overfitting) 상태였습니다. 즉, 훈련 데이터의 특정 단어들에 너무 집중한 나머지 더 큰 그림을 놓친 것입니다.

번역가 2: "FastText" 지도 (이웃 안내원)
다음으로, 살로몬은 "fastText"라고 불리는 더 똑똑한 번역가를 시도했습니다. 이 방법은 단순히 전체 단어를 보는 것이 아니라, 단어의 작은 조각들(예: "un-"이나 "-ing")을 살펴보고 "unhappy"가 "happy"와 관련이 있다는 것을 이해합니다. 또한 수백만 개의 다른 문장 속에서 단어가 어떻게 사용되는지에 따라 배치된 미리 만들어진 지도를 사용합니다.
이 방법을 사용했을 때, 컴퓨터의 정확도는 오히려 **66.35%**로 떨어졌습니다. 왜 그랬을까요? 이 특정 지도가 영화 리뷰에 등장하는 일부 단어들(속어나 오타 등)을 알지 못했기 때문입니다. 이는 마치 거리의 절반이 빠져 있는 지도로 도시를 항해하려는 것과 같았습니다. 컴퓨터는 모르는 단어 때문에 혼란에 빠졌고 포기해 버렸습니다.

번역가 3: "Google" 지도 (슈퍼 네비게이터)
마지막으로, 살ло몬은 구글(Google)이 만들고 텐서플로 허브(TensorFlow Hub)라는 라이브러리에 호스팅된 거대한 사전 훈련 지도(pre-trained map)를 사용하는 세 번째 접근 방식을 시도했습니다. 이 지도는 영어 위키피디아 전체를 읽으며 구축되었습니다. 매우 거대하며 거의 모든 단어를 알고 있었습니다.
이번에 컴퓨터는 단순히 단어를 읽는 것에 그치지 않고, 가중 평균(구체적으로는 Weighted Continuous Bag of Words)을 사용하여 단어들의 의미를 하나의 요약 벡터로 결합했습니다. 이 방식은 단어들을 하나의 표현으로 집계하지만, 논문에서는 이 임베딩을 가중 합계로 시퀀스화하는 것이 실제로 모델 특징들의 구성과 의존성을 포착하는 데 도움을 주었다고 언급합니다. 이는 마치 색들을 팔레트 위에서 섞어, 단순히 색들을 나열하는 것이 아니라 어떤 색들이 존재하고 어떻게 상호작용하는지에 따라 완벽한 "슬픔"이나 "기쁨"의 색조를 만들어내는 것과 같았습니다.
결과는 어땠을까요? 컴퓨터는 테스트 리뷰의 **86.5%**를 맞혔습니다. 이것이 가장 좋은 성적이었습니다. 혼동 행렬(컴퓨터가 실수를 한 부분을 보여주는 차트)을 보면, 컴퓨터는 다른 방법들보다 긍정적인 리뷰와 부정적인 리뷰를 구분하는 데 훨씬 더 뛰어난 성능을 보였습니다.

그들은 무엇을 배웠는가?
여기서의 주요 발견은 이러한 사전 훈련된 "단어 지도"(임베딩)를 사용하는 것이 판도를 바꾸는 게임 체인저라는 점입니다. 살로몬이 사용한 컴퓨터 모델은 상대적으로 단순했지만(단 몇 개의 디지털 뉴런 층만 가짐), 좋은 지도를 제공함으로써 컴퓨터가 기존의 "Bag of Words" 방식보다 텍스트 속의 '감정'을 훨씬 더 잘 이해할 수 있게 해주었습니다.

논문은 비결이 컴퓨터가 단순히 단어를 보는 것이 아니라, 중요도에 따라 가중치가 부여된 단어들의 집합적 의미를 본 데 있다고 시사합니다. "Google" 지도는 매우 뛰어나서 컴퓨터가 한 번도 본 적 없는 단어도 처리할 수 있었고, 빈틈을 메워 컴퓨터가 막히지 않도록 도와주었습니다.

결론
살로몬은 단순한 방법들도 제 자리가 있지만, 텍스트를 이해하는 미래는 이러한 깊이 있는 사전 훈련된 지도들에 달려 있다고 결론짓습니다. 또한 그는 작은 문제점을 지적합니다. 이러한 강력한 도구 중 상당수가 대기업에 의해 만들어지며, 젊은 연구자들이 이를 수정하거나 개선하기 어렵다는 점입니다. 그는 미래에는 이러한 도구들이 더 많은 사람에게 열려 있고, 누구나 이를 활용해 발전시킬 수 있기를 바랍니다.

요약하자면, 이 논문은 만약 당신이 컴퓨터에게 인간의 감정을 이해시키고 싶다면, 단순히 사전 하나를 주는 것이 아니라 세상의 지도를 주고, 스스로 그 여정을 배우게 해야 한다는 것을 보여줍니다.