Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
本論文は、強力なグローバル・プリプロセッシングを適用するのではなく、言語検出、重複排除クラスター、および品質スコアによってOCRテキストに注釈を付与することで、メタデータの保持とユーザー制御によるフィルタリングを可能にする、カスタマイズ可能なオープンソースの多言語パイプラインである「Enriched Text」を紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何世紀にもわたる人類の思想を、数百の異なる言語で収蔵する、百万冊近い本を持つ図書館を想像してみてください。数十年にわたり、これらの巻物は機械によってスキャンされ、物理的なページがデジタルテキストへと変換されてきました。しかし、このデジタルテキストはしばしば乱雑です。そこには、あらゆるページの底部に繰り返されるページ番号や、上部に走るヘッダーなど、スキャニングプロセスによるノイズが含まれています。また、行の終わりで不自然に分断された単語も含まれています。このテキストから学習しようとするコンピュータにとって、このようなノイズは大きな障害となります。データをクリーニングするための標準的な手法は、多くの場合、大量の情報を捨て去ることを伴います。例えば、英語以外のすべてのテキストを削除したり、他のものと似ている段落をすべて削除したりといった方法です。これらはデータをより綺麗にしますが、同時に、その多様な多言語の歴史や、本としての構造的な文脈を剥ぎ取ってしまうことになります。
ハーバード・ロースクールの研究チームは、異なるアプローチを採用しました。彼らは、乱れた部分を捨て去る代わりに、それらを注意深く整理するシステムを構築したのです。彼らはその成果を「エンリッチド・テキスト（Enriched Text）」と呼んでいます。単一の簡略化された言葉の流れを生み出すのではなく、彼らのパイプラインは元のテキストを損なうことなく保持しつつ、デジタル的な注釈のレイヤーを追加します。これは、あらゆる段落に対して、その段落が何であるか、どの言語であるか、そしてそれが他のものの複製であるかどうかをコンピュータに正確に伝える、一連の見えないラベルを追加することだと考えてください。これにより、データを使用する誰もが、固定されたフィルターによって決定を下されるのではなく、自分自身で何を保持し、何を無視するかを決定できるようになります。
このプロジェクトは、もともとGoogleとの提携を通じてデジタル化された、ハーバード・ライブラリの983,004巻という膨大なコレクションから始まりました。このコレクションには、約2420億のユニット（トークンと呼ばれる）が含まれており、約250の異なる言語をカバーしています。研究者たちは、ソース素材の完全性を失うことなく、このコレクションを現代の人工知能にとって利用可能なものにしたいと考えました。彼らは、データを準備するための標準的なコンピュータサイエンスの実践が、英語以外のテキストを積極的にフィルタリングし、スペースを節約するためにコピーのように見えるものを削除するという緊張関係に直面しました。しかし、歴史的な図書館にとって、英語以外のテキストを削除することはコレクションの半分を失うことを意味し、重複を削除することは長い本の連続性を壊すことを意味します。
これを解決するために、チームは細心の注意を払う司書のように機能する処理パイプラインを作成しました。まず、スキャニングプロセスによって導入された一般的なエラーを修正することで、テキストをクリーンアップしました。ページの途中に入り込みがちな、ページの上部と下部に現れるページ番号やヘッダーを取り除きました。ハイフンで区切られた単語を正しく再結合し、行をまたいで分割された単語を修正しました。また、「エンドマター（巻末事項）」、つまり目次、索引、参考文献といった本の巻頭および巻末のセクションを、本編の物語や議論から分離しました。決定的なのは、これらのセクションを削除しなかったことです。代わりに、ユーザーが本文だけを読んだり、索引を別途研究したりできるように、これらにラベルを付けたのです。
システムはその後、本をより小さく意味のある断片へと分解しました。個々の文章を特定し、単にページがめくられた場所ではなく、議論されているトピックに基づいて段落をグループ化しました。これは、一つのページに二つの異なるトピックが含まれている場合や、一つのトピックが多くのページにわたる場合があるため、非常に重要です。主題に基づいてテキストをグループ化することで、研究者たちはコンピュータがアイデアの流れを理解しやすくしました。また、複数の本に登場する段落も特定しました。これらの重複を削除するのではなく、それらに印を付けたのです。一つのバージョンの段落が「代表的な」コピーとして強調され、他のものは重複としてタグ付けされます。これにより、アイデアが異なる本や言語の間でどのように再利用され、共有されてきたかという歴史が保存されます。
最も洗練されたステップの一つは、テキストの品質を測定することでした。研究者たちは小さなコンピュータモデルを使用して、すべての段落を読み、その言語の予測可能性と流暢さに基づいてスコアを割り当てました。「ビット・パー・バイト（bits-per-byte）」と呼ばれるこのスコアは、その段落が質の高い散文である可能性が高いのか、あるいは、表が単一のブロックとして読み取られたような、質の悪いスキャンによるガラクタであるのかを識別するのに役立ちます。これにより、ユーザーは高価な計算を自ら実行することなく、最悪の品質のテキストをフィルタリングすることができます。
最終的な結果として、2170億のトークンを含む、13億以上の注釈付き段落に整理されたデータセットが得られました。研究者たちは、このアプローチが、その複雑さを維持しながらテキストをク消去することに成功したことを発見しました。例えば、英語のテキストがコレクションの大部分を占めている一方で、システムは、多くの非英語の書籍が、引用や学術的な参照として頻繁に使用されるラテン語やギリシャ語を相当量含んでいることを正しく特定したことが分かりました。また、時間の経過とともに、現代のコンピュータにとってテキストがより予測可能になることも分かりました。つまり、19世紀や20世紀の書籍は、17世紀の書籍よりも、私たちが今日使用している言語に似た響きを持っているということです。
チームはパイプライン全体をオープンソースソフトウェアとして公開しており、これは誰でも自分の書籍コレクションを処理できることを意味します。また、ユーザーがデータを解析するための小さなツールも提供しており、ユーザーは注釈を剥ぎ取って単純な単語のリストにすることも、あるいは注釈を保持して本の構造を研究することもできます。削除するのではなく注釈を付けることを選択することで、研究者たちは、機械にとってよりクリーンでありながら、人間にとってより豊かなリソースとなるものを作り上げました。彼らは、データ処理の未来は、乱れた部分を捨てることにあるのではなく、それらをいかに整理するかを学ぶことにあることを示しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。