Lexicons and grammars for language processing: industrial or handcrafted products?

あなたは、ロボットに人間の言語を理解させる方法を教えようとしていると想像してください。そのために、ロボットに「辞書」と「ルールブック」を与える必要があります。この論文は、大きな問いを投げかけています。これらの辞書やルールブックを作る際、熟練した大工が一点物の椅子を精巧に作り上げるように手作業で作るべきか、それとも工場で機械を使って大量生産すべきか？ ということです。

著者であるエリック・ラポルト（Éric Laporte）は、「工場」による手法（自動化）が人気を集めている一方で、「手作り」による手法（言語学者による作業）の方が、たとえ時間がかかったとしても、実際にははるかに高品質な結果を生み出すと主張しています。

以下は、簡単な比喩を用いたこの論文の主要なポイントの解説です。

1. 二つのアプローチ：職人と組立ライン

• 手作りのアプローチ（職人）: 言語学者が深く思考し、手作業でルールや定義を書き出すプロセスです。彼らは文章をテストし、「これは正しい響きか？」と自問自答しながら、一つ一つの項目を積み上げていきます。

  • 比喩: 自家製マヨネーズを想像してみてください。それを作るには、時間、労力、そして技術が必要です。卵と油を手でかき混ぜなければなりません。しかし、その結果得られるものは、豊かで複雑で、美味しいものです。
  • 現実: これらのリソース（WordNetやFrameNetなど）は非常に詳細です。単に言葉が存在することを知っているだけでなく、その言葉がどのように文章に組み込まれるのか、文脈によってどのように意味が変わるのか、あるいは単語を入れ替えた時にどう変化するのかまで正確に把握しています。

• 工業的アプローチ（組立ライン）: コンピュータプログラムを使用して、膨大なテキストの山（コーパス）をスキャンし、ルールや定義を自動的に推測させるプロセスです。

  • 比喩: インスタントコーヒーを想像してみてください。それは速くて安く、数秒で作ることができます。しかし、本物のコーヒーのような深みや複雑さには欠けています。
  • 現実: これらのリソースはソフトウェアによって迅速に構築されます。単純なタスク（単語のカウントなど）には優れていますが、人間の言語を機能させている微妙で深い意味を見落としがちです。

2. 「スピード」の問題

論文では、工業的な手法は速いが、手作りは遅いという点に触れています。

• 工場: コンピュータは数年で100万語をスキャンできます。
• 職人: 言語学者のチームが、わずか6,000個の動詞を記述するだけでも10年かかることがあります。なぜなら、彼らは深く丁寧な作業を行っているからです。

著者の見解: 何かが時間がかかるからといって、それが悪いというわけではありません。実際、手作りに費やされる時間は、その結果がより優れている理由なのです。著者はこれを音楽に例えています。バイオリンを弾くには長年の練習と努力が必要ですが、その音色は電子ピアノよりも心を動かすものです。「退屈な」作業であることは、品質の証であり、欠陥ではないのです。

3. 「退屈」という言い訳

多くのコンピュータ科学者は、手作業による構築は「あまりにも退屈で時間がかかりすぎる」と主張します。著者はこれを弱い論理だと断じています。

• 議論: 「手作業で行うのは退屈すぎるから、機械を使おう。」
• 反論: 著者は、これは「料理をするのが嫌いだから、ファストフードしか食べない」と言うのと同じだと述べています。あるタスクが困難だからといって、その結果の価値が下がるわけではありません。もし研究者がそれを退屈だと感じるなら、無理に自分たちでやるのではなく、その作業を愛する言語学者を雇うべきです（分業の原則）。質の低い機械製の製品に妥協してはいけません。

4. 「主観性」という神話

批判者たちは、手作りのリソースは「主観的（個人の意見に基づいている）」で「エラーが発生しやすい」一方で、機械は「客観的」であると言います。

• 現実: 著者は、言語学者が正確性を確保するために厳格なルールに従っていると主張しています。彼らは単に推測しているのではなく、何千もの例をテストし、他の専門家と確認し合い、ルールが成立するように形式論理を用いています。
• 比喩: これは、審査員パネルが新しいレシピを試食するようなものです。もし全員が「美味しい」と同意すれば、それは単なる「一人の意見」ではなく、検証された事実となります。論文は、十分な数の専門家が協力して取り組めば、手作りのリソースは機械生成のものと同等の信頼性を持つと主張しています。

5. 「ブラックボックス」問題

これは極めて重要な技術的ポイントです。

• 手作りのリソース: もしコンピュータが手作りのルールブックを使用して間違いを犯した場合、人間はそのルールブックを見て、どの特定のルールが失敗したのかを確認し、修正することができます。それは、整備士が車のエンジンを見て、緩んでいるボルトを締め直すようなものです。
• 工業的なリソース: これらは多くの場合、「統計的な推測」に基づいています。もしシステムが間違いを犯しても、なぜそうなったのかを簡単に知ることはできません。修正するためには、コンピュータにより多くのデータを投入し、正しい方法を学習することを祈るしかありません。時には、一つの間違いを直そうとすると別の場所が壊れてしまうこともあります。それは、ブラックボックスを振って、うまくいくことを祈るようなものです。

6. チーム間の緊張関係

論文では、二つのグループのライバル関係について述べています。

1. 言語学者: 詳細な手作りのリソースを構築する人々。
2. コンピュータ科学者: 自動化された工業的なツールを構築する人々。

著者は、このライバル関係は馬鹿げていると考えています。彼らは互いに必要としているのです！言語学者はデータを管理するためにコンピュータを必要としていますし、コンピュータ科学者は、機械が自力では解明できない言語の深い理解を提供してくれる言語学者を必要としているのです。

結論

論文は、現在の科学界では「工業的」なアプローチが主流であるが、それは単に現代のテクノロジーにおける「速くて安い」という考え方に合致しており、流行っているからに過ぎないと結論づけています。

しかし、著者は、複雑なタスク（翻訳や深い意味の理解など）においては、手作りのアプローチが優れていると信じています。これに対する批判（時間がかかりすぎる、あるいは主観的であるといった意見）は、その多くは、困難な作業を避けるための言い訳であり、科学的な事実ではありません。最善の道は、どちらか一方を選ぶことではなく、「職人」の手法こそが、真に知的な言語システムを構築するために必要な高品質の材料を生み出すものであると認識することなのです。