Lexicons and grammars for language processing: industrial or handcrafted products?

당신이 로봇에게 인간의 언어를 이해하는 법을 가르치려 한다고 상상해 보십시오. 이를 위해 당신은 로봇에게 '사전'과 '규칙서'를 주어야 합니다. 이 논문은 아주 중요한 질문을 던집니다: 우리는 이 사전과 규칙서를 숙련된 목수가 독특한 의자를 깎아 만들듯 손으로 직접 만들어야 할까요, 아니면 기계를 사용하여 공장에서 대량 생산해야 할까요?

저자인 에릭 라포르트(Éric Laporte)는 "공장" 방식(자동화)이 인기를 끌고 있지만, "수작업" 방식(언어학자들이 직접 작업하는 것)이 비록 더 오래 걸리더라도 훨씬 더 높은 품질의 결과를 만들어낸다고 주장합니다.

다음은 간단한 비유를 사용한 이 논문의 주요 요점 정리입니다:

1. 두 가지 접근 방식: 장인 vs. 조립 라인

• 수작업 방식 (장인): 언어학자들이 자리에 앉아 깊이 고민하며 규칙과 정의를 수동으로 작성하는 것을 포함합니다. 그들은 문장을 테스트하고, "이게 자연스러운가?"라고 스스로에게 묻고, 항목 하나하나를 구축해 나갑니다.

  • 비유: 수제 마요네즈를 생각해보십시오. 그것을 만드는 데는 시간, 노력, 기술이 필요합니다. 달걀과 기름을 손으로 직접 휘저어야 합니다. 하지만 그 결과물은 풍부하고 복식적이며 맛이 좋습니다.
  • 실제: 이러한 자원들(WordNet이나 FrameNet 같은 것들)은 믿기 힘들 정도로 상세합니다. 단어의 존재뿐만 아니라, 그 단어가 문장 속에서 정확히 어떻게 쓰이는지, 다양한 맥락에서 어떤 의미를 갖는지, 그리고 단어를 바꿨을 때 어떻게 변하는지까지 정확히 알고 있습니다.

• 산업적 방식 (조립 라인): 컴퓨터 프로그램을 사용하여 방대한 양의 텍스트(코퍼스)를 스캔하고 규칙과 정의를 자동으로 추측하는 방식입니다.

  • 비유: 인스턴트 커피를 생각해보십시오. 빠르고 저렴하며 몇 초 만에 한 잔을 만들 수 있습니다. 하지만 실제 커피가 가진 깊이와 복잡함은 부족합니다.
  • 실제: 이러한 자원들은 소프트웨어에 의해 빠르게 구축됩니다. 단순한 작업(단어 개수 세기 등)에는 훌륭하지만, 인간의 언어를 작동하게 하는 미묘하고 깊은 의미를 놓치는 경우가 많습니다.

2. "속도"에 대한 문제

논문은 산업적 방법은 빠르지만, 수작업은 느리다는 점을 지적합니다.

• 공장: 컴퓨터는 몇 년 안에 백만 개의 단어를 스캔할 수 있습니다.
• 장인: 언어학자 팀은 단 6,000개의 동사를 설명하기 위해 10년이 걸릴 수도 있습니다. 왜냐하면 그들은 매우 깊고 세심한 작업을 수행하기 때문입니다.

저자의 견해: 무언가가 오래 걸린다고 해서 그것이 나쁜 것은 아닙니다. 사실, 수작업에 들이는 시간이야말로 결과물을 더 좋게 만드는 이유입니다. 저자는 이를 음악에 비유합니다. 바이올린을 연주하는 데는 수년간의 연습과 노력이 필요하지만, 그 소리는 전자 피아노보다 더 감동적입니다. "지루하다"는 특성은 결함이 아니라 품질의 징표입니다.

3. "지루함"이라는 핑계

많은 컴퓨터 과학자들은 수작업이 "너무 지루하고 시간이 많이 걸린다"고 주장합니다. 저자는 이것을 약한 논거라고 부릅니다.

• 주장: "손으로 하기엔 너무 지루하니, 기계를 사용하자."
• 반박: 저자는 이것이 마치 "나는 요리하는 게 싫으니, 패스트푸드만 먹겠다"라고 말하는 것과 같다고 말합니다. 어떤 과업이 어렵다고 해서 그 결과물이 가치 없는 것은 아닙니다. 만약 연구자들이 그 일을 지루하다고 느낀다면, 낮은 품질의 기계 제작 제품에 안주할 것이 아니라 그 일을 즐기는 언어학자를 고용하면 됩니다(분업).

4. "주관성"이라는 신화

비판자들은 수작업 자원이 "주관적"(개인적 의견에 기반함)이고 "오류가 발생하기 쉽지만", 기계는 "객관적"이라고 말합니다.

• 실제: 저자는 언어학자들이 자신의 작업이 정확하도록 엄격한 규칙을 준수한다고 주장합니다. 그들은 단순히 추측하는 것이 아니라, 수천 개의 예시를 테스트하고, 다른 전문가들과 확인하며, 규칙이 제대로 작동하는지 확인하기 위해 형식 논리를 사용합니다.
• 비유: 이것은 마치 심사위원단이 새로운 레시피를 맛보는 것과 같습니다. 만약 심사위원 모두가 맛있다고 동의한다면, 그것은 단순히 "한 사람의 의견"이 아니라 검증된 사실입니다. 논문은 충분한 전문가들이 함께 협력한다면 수작업 자원이 기계 생성 자원만큼이나 신뢰할 수 있다고 주장합니다 lack.

5. "블랙박스" 문제

이것은 매우 중요한 기술적 포인트입니다.

• 수작업 자원: 만약 컴퓨터가 수작업으로 만든 규칙서를 사용하여 실수를 저질렀다면, 인간은 그 책을 보고 어떤 특정 규칙이 실패했는지 찾아내어 수정할 수 있습니다. 이는 마치 정비사가 자동차 엔진을 살펴보고 느슨해진 볼트를 조이는 것과 같습니다.
• 산업적 자원: 이것들은 종종 "통계적 추측"에 기반합니다. 만약 시스템이 실수를 하면, 왜 그런 오류가 났는지 쉽게 알 수 없습니다. 이를 고치려면 컴퓨터에 더 많은 데이터를 입력하고 제대로 학습하기를 기도해야 합니다. 때로는 한 가지 실수를 고치면 다른 부분이 망가지기도 합니다. 이는 블랙박스를 흔들면서 운 좋게 잘 작동하기를 바라는 것과 같습니다.

6. 팀 간의 긴장 관계

논문은 두 집단 사이의 경쟁 관계를 설명합니다.

1. 언어학자: 상세한 수작업 자원을 만드는 사람들.
2. 컴퓨터 과학자: 자동화된 산업적 도구를 만드는 사람들.

저자는 이 경쟁이 어리석다고 생각합니다. 그들은 서로가 필요합니다! 언어학자는 데이터를 관리하기 위해 컴퓨터가 필요하고, 컴퓨터 과학자는 기계가 스스로 알아낼 수 없는 언어의 깊은 이해를 제공해 줄 언어학자가 필요합니다.

결론

논문은 현재 "산업적" 접근 방식이 과학계에서 인기를 끌고 있다고 결론짓는데, 이는 주로 그것이 트렌디하고 현대 기술의 "빠르고 저렴한" 사고방식에 부합하기 때문입니다.

하지만 저자는 복잡한 작업(번역이나 깊은 의미 이해 등)을 위해서는 수작업 방식이 우월하다고 믿습니다. 이에 반대하는 논거들(너무 느리거나 주관적이라는 점)은 대부분 힘든 일을 피하기 위한 핑계일 뿐, 과학적 사실이 아닙니다. 최선의 길은 어느 한 쪽을 선택하는 것이 아니라, "장인"의 방식이 진정으로 지능적인 언어 시스템을 구축하는 데 필요한 고품질의 재료를 만들어낸다는 점을 인식하는 것입니다.