Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

技術的サマリー：求人情報からゼロから構築する AI スキルとタスクのカスタム分類体系

問題定義
労働市場、特に人工知能（AI）に関する急速な進化は、スキルとタスクの変化を追跡するための、オープンで詳細な分類体系の作成を必要としています。独占的な分類体系は存在しますが、データアクセスの制限や標準化の欠如に悩まされることが多く、人材育成や教育設計といった公共財としての有用性を制限しています。大規模言語モデル（LLM）は、求人情報などの大規模なテキストコーパスから分類体系の構築を自動化する道を提供しますが、そのような大規模データをどのように活用するのが最善かという点において、重要なギャップが残されています。具体的には、より多くのデータを含めること（拡張による）か、データを厳密にフィルタリングすることのどちらが、ドメイン固有のカバレッジと明確さを向上させるかは不明確です。先行研究は小規模なデータセットに焦点を当てたり、シード分類体系に依存したりしており、大規模で非構造化されたコーパスに対する設計パラメータの体系的な評価は未踏査のままです。

手法：TAXONOMYBUILDER
著者は、大規模な非構造化の求人情報テキストを階層的な分類体系に変換するように設計された体系的なパイプライン、TAXONOMYBUILDERを提案します。この手法は主に 3 つの段階で動作します。

1. セットアップとコンテキストマイニング:

   • 候補抽出: システムは、キュレーションされた 590 件の AI 関連キーワードのリストを用いたキーワードベースの検索を実行し、大規模な求人情報コーパスから候補文を抽出します。
   • スコアリングとフィルタリング: 偽陽性（例：溶接工具としての「トーチ」と、ライブラリとしての「トーチ」）を軽減するため、文の埋め込みとキーワードの埋め込み間のコサイン類似度に基づくハイブリッド手法で候補にスコアを付けます。安定性のため、3 つの埋め込みモデル（ALL-MINILM-L12-V2、GTE-LARGE、EMBEDDINGGEMMA-300M）の平均値を使用します。
   • 設定変数: 本研究は、3 つの主要な設計上の決定事項を検証します。
     • データ拡張: コーパスから意味的に類似した文を候補セットに追加します（閾値 > 0.9）。
     • パーセンタイルフィルタリング: ノイズを削減するため、スコア付けされた候補の上位 25 パーセンタイル、50 パーセンタイル、または 75 パーセンタイルのみを保持します。
     • ソフトクラスタリング: クラスタに適合しない「ノイズ」ポイントを、最も近いクラスタの重心に再割り当てします。

2. 基盤の形成（葉レベル）:

   • クラスタリング: 候補文を HDBSCAN（UMAP による 10 次元への次元削減付き）を用いてクラスタリングします。
   • 生成ラベリング: LLM（GPT-4o-mini）が各クラスタの候補文を要約し、簡潔なラベルを生成します。
   • プルーニング: 生成されたラベルは類似度ベースのチェックを受け、非常に類似したラベル（コサイン類似度 > 0.95）は冗長性を除去するために集約されます。

3. 構築（階層的構築）:

   • 処理は垂直方向に反復します。現在のレベルのラベルが、次のレベルのクラスタリングとラベリングの入力として機能します。
   • ラベルの数が閾値（デフォルト 10）を下回るか、最大深度（デフォルト 5）に達すると処理は停止します。

データセット
このパイプラインは、2 つの米国の大規模な求人情報コーパスで評価されました。

• NLx: 2024 年～2025 年の 3212 万件の求人情報。
• USAJOBS: 2017 年～2023 年の 154 万件の連邦政府の求人情報。
  各コーパスの最も最近のデータの一部は、外部妥当性の評価のためのテストセットとして保持されました。

評価指標
著者は、24 の実験設定（データセットあたり 12 設定）にわたる多面的な評価戦略を採用しました。

• クラスタリングの質: クラスタの定義を測定するためのシルエット係数。
• LLM-as-a-Judge: LLM（GPT-5.4-Nano）が、明確さ（精度、曖昧さ、一貫性、アクセシビリティ）、階層的一貫性、直交性（独自性、非重複）、完全性（カバレッジ、深度、バランス）の 4 つのカテゴリで分類体系を評価しました。
• ドメインカバレッジ: 生成された分類体系のラベルが、保持された求人情報文を AI 関連として分類する能力によって測定されます。これには、さまざまな類似度閾値（$\tau$）における「寛容」（少なくとも 1 つの LLM が同意）と「厳格」（両方の LLM が同意）のカバレッジ率、ならびに「ラベル利用率」の指標が含まれます。

主要な結果
因子分散分析（ANOVA）によって分析された実験結果は、直感に反する発見を示しています。「少ないことは多いことである（Less is more）。」

• データ拡張: より多くのデータがカバレッジを向上させるという直感に反し、データ拡張は厳格なカバレッジ率とラベル利用率を著しく低下させました。これは、生成された分類体系の質を低下させるノイズを導入しました。
• フィルタリング: より厳格なフィルタリング（高いパーセンタイル、例：スコアの上位 25 パーセンタイルまたは 50 パーセンタイルのみを保持）は、一般的にクラスタの適合性、直交性、ラベル利用率を向上させました。
• ソフトクラスタリング: ソフトクラスタリング（ノイズポイントの再割り当て）は、データ拡張が使用されていない場合にのみ有益でした。拡張と組み合わせると、有意な改善は得られませんでした。
• トレードオフ: 本研究は、評価閾値の厳格さに応じて、データ含入とカバレッジ性能の間に逆の関係があることを特定しました。より大きくノイズの多い分類体系（低いフィルタリング）は、非常に高い類似度閾値（例：$\tau=0.9$）では優れていましたが、より明確に定義された概念を持つより簡潔でフィルタリングされた分類体系の方が、低い閾値（例：$\tau=0.6$）ではそれらを上回りました。

貢献と意義
本論文は 4 つの主要な貢献をなしています。

1. 体系的調査: 大規模ドメインにおける自動化された分類体系構築における、最適なデータ使用（拡張対フィルタリング）という未踏査の課題に取り組んでいます。
2. TAXONOMYBUILDER: 非構造化テキストから階層的な分類体系を構築するための、汎用性のあるオープンソースパイプラインを導入し、AI 職場スキルという複雑なドメインで実証しました。
3. 実証的証拠: 慎重な拡張、厳格なクラスタリング、選択的なフィルタリングが、無制限なデータ含入よりも包括的かつ簡潔な分類体系をもたらすという明確な提言を提供しています。
4. オープンリソース: 著者は、さらなる研究と人材育成を支援するため、構築された AI スキル分類体系と TAXONOMYBUILDER ツール（Python パッケージおよび GitHub で利用可能）を公開しました。

結論
著者は、大規模なデータコーパスは分類体系構築のための肥沃な基盤を提供する一方で、無差別なデータの含入は有害となり得ると結論付けています。本研究は、「少ないことは多いことである」という哲学を提唱しており、高品質で解釈可能、かつドメインに関連する分類体系を作成するには、選択的なフィルタリングとノイズの慎重な処理が不可欠であると主張しています。この研究は、これらの知見はケース固有のものであることに注意を促し、将来の研究は設計上のトレードオフの探求を続け、実世界での汎用性のための評価指標を形式化する必要があると述べています。