Using LLMs for Ontology generation by video summarization

デジタル情報の広大な風景の中で、ある執拗な課題が存在します。それは、コンピュータに単にデータを保存させるだけでなく、概念間の関係性を理解させる方法を教えることです。すべての本が主題ではなく表紙の色によって分類されている図書館を想像してみてください。特定の物語を見つけ出すことは、ほぼ不可能でしょう。コンピューティングの世界では、この問題は「オントロジー」を作成することによって解決されます。オントロジーとは、スポーツや医学といった特定の分野における知識の構造化された地図のようなものだと考えてください。それはその分野内の主要な概念を定義し、決定的なことに、それらを結びつける線を引きます。この地図により、機械は人間の理解を模倣するように、推論、検索、および情報の共有を行うことができるようになります。しかし、これらの地図の構築は、伝統的に、専門家チームがすべての用語と接続を手動で定義する必要がある、遅くてコストのかかるプロセスでした。デジタルコンテンツの量、特に動画形式のボリュームが爆発的に増加する中で、手動による構築という旧来の手法は、そのペースに追いつけずにいます。

ダマスカス大学のハレド・オマール博士による最近の研究で詳述されている新しいアプローチは、高度な人工知能を使用して、これらの知識地図を動画から直接構築することで、人間の労働というボトルネックを回避しようとする試みです。この研究は、大規模言語モデルとして知られる特定の種類の人工知能に焦点を当てています。これらは膨大な量のテキストで学習されたシステムであり、驚くほど流暢に人間の言語を読み、理解し、生成することができます。これらのモデルはこれまでテキストの要約に使用されてきましたが、この研究はより大胆な問いを投げかけています。すなわち、「彼らは動画を見ることができ、その核心的なメッセージを理解し、その主題の形式的な知識地図を自動的に構築できるのか？」という問いです。研究によれば、その答えは有望な「イエス」です。研究者たちは、まず動画を簡潔な記述による要約に変換し、次にその要約をコンピュータが動画の内容について推論できる構造化されたデータ形式へと変換するという、2段階のシステムを開発しました。

プロセスは、単純な入力から始まります。それはYouTube上の動画へのリンクです。システムは、動画像を処理するという意味で、人間のように動画を見るわけではありません。代わりに、まず動画から話されている言葉を抽出し、テキストのトランスクリプト（書き起こし）を作成します。このトランスクリプトは、研究者がクラウドコストを避けるために自身のローカルコンピュータ上で実行したLlama 3.2と呼ばれる強力な人工知能モデルに投入されます。このモデルは熟練した編集者のように振る舞い、トランスクリプトを読み、それを管理可能な塊へと分解します。モデルは各セクションを要約し、それらの要約を一つの首尾一貫した物語へと結合します。この物語は単なるランダムな文章の集まりではありません。それは、動画のメインテーマを強調し、言及されている最も重要な人物や物体を特定し、主要な結論を抽出するように注意深く構成されています。その結果、元の動画のエッセンスを捉えた、クリーンなテキストベースの物語が得られます。

このテキストによる要約の準備ができたら、システムは第2段階、つまり物語を形式的な地図へと変えるプロセスへと移行します。ここでは、Gemini Pro 002という別の人工知能モデルが引き継ぎます。研究者はこのモデルに対し、知識の設計者として振る舞うよう指示する特定の指示（プロンプト）を与えます。モデルには、要約を確認し、動画のドメイン（領域）を特定し、その中にある主要な概念をリストアップするよう求められます。次に、モデルはこれらの概念を取り上げ、それらの間のつながりを描き始め、それらが互いにどのように関連しているかを定義します。最後に、モデルはこの構造をRDFとして知られる標準的な形式で出力します。これは、異なるコンピュータシステムが情報をシームレスに交換し、理解することを可能にするデータの記述方法です。生の動画リンクから構造化された知識地図に至るまでの全ワークフローは、用語や関係性を定義するための人間の介入を必要とせず、自動的に行われます。

この自動化された手法が実際に機能するかどうかをテストするために、研究者たちはスポーツに焦点を当てた100本の動画のデータセットにこれを適用しました。彼らは単にシステムを実行して結果を待つのではなく、高い基準に対してそのパフォーマンスを測定しました。プロセスの最初の部分である動画の要約については、AIによる記述された要約を動画の元のタイトルと比較し、意味がどの程度一致しているかを確認しました。システムは高いレベルの一致を示し、要約は約95パーセントの割合でタイトルと一致しました。第2の部分である知識地図の作成については、研究者たちはAIが生成した地図を人間の専門家が作成した地図と比較しました。これが、機械が単に言葉を理解しているだけでなく、知識の構造を理解しているかどうかの真のテストとなります。この比較において、自動化されたシステムは、人間の専門家の地図を85パーセントの精度で再現することに成功しました。プロセス全体を見たとき、研究者たちは90パーセントの総合的な精度を算出しました。

この研究の意義は、インターネット上の増え続ける動画コンテンツの海をどのように管理するかという点において重要です。これらの知識地図の作成を自動化することにより、本システムは人間の専門家への過度な依存を軽減し、以前は不可能であった規模で動画データを整理し理解することを可能にします。研究者たちは、今回のテストはスポーツ動画に対して行われたものの、この手法はあの分野に限定されるものではなく、医学の講義、教育チュートリアル、あるいは動画が主要な情報源となるあらゆるドメインに適用できると指摘しています。研究は、デジタル知識を整理する未来が、人工知能が抽出と構造化という重労働を担当し、人間がより高次の検証と応用へと集中できる、このようなハイブリッドなシステムにあることを示唆しています。この研究は、適切なツールさえあれば、動画像を構造化された、機械が読み取り可能な世界の理解へと変えるという複雑なタスクが、もはや単なる理論的な可能性ではなく、実用的な現実であることを示すデモンストレーションとなっています。