An Agentic Hybrid Top-Down and Bottom-Up Approach to Knowledge Graph Generation
本論文は、Wikidataにおけるトップダウンのグラウンディングとボトムアップのリフレクションを組み合わせることで、ノイズの多い非構造化HRデータから、スケーラブルで自己修復可能な多言語スキル知識グラフを自律的に生成するエージェンティックなハイブリッド・パイプラインを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、誰もが自分の得意分野を叫んでいる、巨大で混沌とした図書館だと想像してみてください。ある人は完璧な英語を話し、ある人はフランス語やドイツ語、スペイン語を話し、またある人はまだ発明されていないようなスラングを使っています。採用の世界において、この図書館はめちゃくちゃな状態です。もし企業が「プロジェクトマネージャー（Project Manager）」を探そうとしても、ある優秀な候補者が「Webプロジェクトマネジメント（Web Project Management）」や「Gestion de Projet」と書いていた場合、コンピュータはその言葉が同じ意味であることを知らないため、その候補者を見逃してしまうかもしれません。ここで「ナレッジグラフ（Knowledge Graphs）」が登場します。ナレッジグラフとは、アイデアを繋ぐ、非常に整理された地図のようなものだと考えてください。単なる言葉のリストではなく、「プロジェクトマネジメント」という大きなハブがあり、そこから「Webプロジェクトマネジメント」という小さな枝がぶら下がっているようなウェブ構造です。目標は、その叫び声が飛び交う乱雑な図書館を、コンピュータが人間を適切な仕事へと導くための、クリーンで正確な地図へと変えることです。
しかし、この地図を作ることは困難です。厳格なルールブック（政府の職業リストのようなもの）を用いてトップダウンで描こうとすれば、ルールブックにまだ存在しない、新しくて面白い、あるいは変わった職業を見落としてしまいます。あるいは、ボトムアップで、コンピュータに自律的に推測させ、グループ化させることもできますが、そうするとコンピュータが架空の職業を捏造したり、一つの職業を10個の異なる名前へと分割してしまったりする、混沌とした混乱を招くことがよくあります。本論文では、これら両方の良いところを組み合わせた、賢い新しい地図の構築方法を紹介しています。それは、既知の事項のための厳格なルールブックと、未知の事項のためのスマートで自己修正機能を持つロボットチームを混ぜ合わせる方法です。
研究者たちは、ヨーロッパのフリーランスプラットフォームであるMaltと協力し、「エージェンティック・ハイブリッド（Agentic Hybrid）」と呼ぶ、探偵ロボットのチームのように機能するシステムを構築しました。その仕組みは以下の通りです。まず、システムは人間が書いた「gestion de projet web」（フランス語でウェブプロジェクトマネジメント）のような乱雑なスキルを取り込み、それを「Wikidata」と呼ばれる信頼できる既存の地図に一致させようと試みます。Wikidataは、ロボットが完全に信頼している「事実のWikipedia」のようなものです。もしスキルがWikidataにあるものと一致すれば、成功です！ロボットはその位置を確定させ、対象となる5つの言語（英語、フランス語、ドイツ語、オランダ語、スペイン語）全体で正確かつ一貫性を保ちます。
しかし、もしそのスキルが全く新しいもので、Wikidataに存在しない場合はどうなるでしょうか？そこで「エージェンティック（Agentic）」な部分が真価を発揮します。システムは単に諦めたり、デタラメを作ったりするのではなく、特別な「リフレクション（内省）」ループを使用します。これは、ロボットが下書きを書き、その後立ち止まって、「待てよ、これは正しいか？他のスキルと適合しているか？」と自問自答する様子を想像してください。もしロボットが、あるスキルがメインの「プロジェクトマネジメント」という傘の下に入るには具体的すぎると判断した場合、それを捨て去るのではなく、代わりに新しい特別な「孤立した（orphan）」枝を作成します。その枝に固有のIDと明確な名前（例：「Web Project Management」）を与え、メインのハブへとリンクさせます。システムはこのプロセスを何度も繰り返し、自身の作業をチェックし、重複を統合し、地図が可能な限り正確になるまで整理整頓を行います。
本論文は、この手法が非常にうまく機能することを示していますが、それは魔法ではなく、厳密なプロセスに基づいています。彼らは、実際のフリーランサーによる36,000件以上の生々しく乱雑なスキル記述を用いてテストを行いました。システムは膨大な量の記述を整理することに成功しましたが、対処できなかったものについても正直に報告しています。全試行のうち、入力が混乱していたり曖昧であったりしたために、スキルを地図に一致させる試みの約19%が「誤った推測」となりました。さらに、システムは、それらが単に有効なスキルではなかったり（「NOT_A_SKILL」エラーなど）、意味的なノイズであったりすると判断した入力の13.7%を積極的に拒否しました。しかし、実際に処理できたデータについては、結果は目覚ましいものでした。システムは、入力されたデータのうち27,743件を整理・分類し、それらを約13,300個の明確で標準的なスキルカテゴリに集約しました。これは、有効なデータに対して、混乱を半分以上に削減し、数千もの紛らわしいバリエーションを整然とした構造化されたリストに変えたことを意味します。さらに優れたことに、システムは5つの言語すべてを完璧に操り、フランス語の話し手とドイツ語の話し手が同じ仕事を見つけられるよう、66,490個の標準化されたラベルを作成しました。
研究者たちは、この「ハイブリッド」アプローチが、厳格なルールブックのみを使う方法や、単にコンピュータに推測させる方法よりもはるかに優れていることを見出しました。既知のスキルをWikidataに紐付けることで、コンピュータが架空の職業を作り出す問題（「ハルシネーション／幻覚」と呼ばれる問題）を回避しました。一方で、新しいスキルのために「リフレクション」ループを使用することで、ルールブックがまだ捉えていない新しい、台頭しつつある職業を見逃すこともありませんでした。その結果、ジョブマーケットの変化に合わせて自らを更新できる、生きている、呼吸しているようなスキルの地図が誕生しました。これにより、企業は適切な人材を、人々は適切な仕事を見つけることが非常に容易になります。それは、図書館にあるすべての本を知っているだけでなく、新しく届いた本を即座にどこに分類すべきかを知っており、かつ、間違った推測をするのではなく、正確に「これはよく分かりません」と言える能力を持つ司書がいるようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。