🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

本論文は、数十億規模のコーパス内から潜在的な学習ソースを効率的に特定することで、LLM によって生成されたコードのスケーラブルかつ高精度な出所追跡を可能にするベクトル検索と古典的フィンガープリンティングを組み合わせるハイブリッド 2 段階パイプラインである SOURCETRACKER および HYBRIDSOURCETRACKER を紹介する。

原著者： Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが美味しくて新しい料理を創作したシェフだと想像してください。そのレシピが特定の料理本から着想を得たものなのか、それとも有名なシェフの作品を一字一句そのまま無意識にコピーしてしまったものなのかを知りたいとします。ここで、人間のシェフの代わりに、「料理人」が何十億冊もの料理本を読み込んだ超賢いAI（大規模言語モデル）だと想像してみてください。

問題は、AI がレシピをコピーした場合、しばしば材料の名前を変更したり（「砂糖」を「甘味料」に置き換えるなど）、手順を少し入れ替えたりする点です。従来の剽窃チェック方法は、世界中のあらゆる料理本のすべてのページをすべて読み通して一致するものを探す図書館司書のようなものです。もし図書館に何十億冊もの本があれば、この司書が答えを見つけるには何年もかかってしまいます。

この論文は、この問題を解決するための新しい超高速システム「SOURCETRACKER」と、2 段階のプロセス「HYBRIDSOURCETRACKER (HST)」を紹介しています。その仕組みを、簡単な比喩を用いて説明します。

1. 問題：10 億本の干し草の山の中の針

著者らは、AI モデルが学習データの一部を「記憶」してしまうことがあると説明しています。コードを生成する際、学習データに含まれるコードの断片とほとんど同一の断片を出力することがあり、変数名をいくつか変更したとしても同様です。

旧来の方法（ウィノウイング）: 何十億冊もの本の図書館から特定の文を見つけるために、すべての本を最初から最後まで読み通すことを想像してください。これは正確ですが、信じられないほど遅いです。図書館が成長すれば、かかる時間もそれに比例して増えます（線形時間）。
新たな課題: 現代の AI 学習データセットはあまりにも巨大（何十億もの断片）であるため、従来の「すべてを読み通す」方法は実用的になるには遅すぎます。

2. 解決策：2 段階の探偵チーム

著者らは、コードの元のソースを迅速かつ正確に特定する 2 段階の探偵チームとして機能するハイブリッドシステムを開発しました。

段階 1：「スマート・スニファー」（SOURCETRACKER）

まず、SOURCETRACKERと呼ばれる専門の AI モデルを構築しました。これは特定の香りを嗅ぎ分けるように訓練された犬だと考えてください。

すべての単語を読む代わりに、このモデルはコードの断片を「香りのプロファイル」（数学的なベクトル）に変換します。
Qdrant というハイテクデータベース（超高速マップのようなもの）を使用します。図書館全体を検索するのではなく、犬が空気を嗅いで、その香りに一致する可能性が最も高いトップ 100 の本を瞬時に指し示します。
速度: この段階は驚くほど高速で、何十億冊の本があっても数ミリ秒しかかかりません。なぜなら、「対数的」な検索を使用しているからです（すべてのページを読むのではなく、索引を確認し、棚を確認し、本を確認するというように、本を見つける方法）。

段階 2：「法医学的検査官」（ウィノウイング）

「スマート・スニファー」が候補をトップ 100 に絞り込んだ後、2 人目の探偵が介入します。これは古典的なウィノウイングアルゴリズムです。

これはトップ 100 の本を見て、ページ上の指紋を確認する法医学の専門家だと考えてください。
いくつかの単語が変更されていても、コードの正確な構造を比較して一致するかどうかを確認します。
何十億冊ではなく 100 冊しかチェックする必要がないため、この段階も非常に高速です。

3. 結果：高速かつ正確

この論文では、1000 万のコード断片からなる大規模なデータセットでこのシステムをテストしました。その結果は以下の通りです。

短い断片: コード断片が非常に短い場合（1 文程度など）、「スマート・スニファー」は完璧ではなく、正確な一致を見つけるには従来の「法医学的検査官」（ウィノウイング）の方が優れています。
より長い断片: コード断片が長い場合（60 語以上）、ハイブリッドシステム（HST）は従来の方法単独よりも優れています。超高速を維持しながら、より頻繁に正しいソースを特定します。
「ほぼ正しい」一致: 著者らは結果を判断するために別の AI も使用しました。その結果、システムが正確な元のコード（「グランドトゥルース」）を見つけられなくても、非常に類似したコードを見つけることがよくあることがわかりました。これは、「これは正確なオリジナルではありませんが、このコードファミリーから来たように見えます」とユーザーに伝えるのに役立ちます。

4. なぜこれが重要なのか

この論文は、AI 生成コードが倫理的かつ合法的であるためには、その出所を知る必要があると主張しています。

透明性: このシステムにより、ユーザーは AI 生成コードが単に他者の作品のコピーかどうかを確認できます。
スケーラビリティ: 何十億冊もの本の図書館で、数年待つ代わりに瞬時に剽窃をチェックできることを実証しています。

注意点

著者らは限界についても率直に述べています。

図書館が必要です: このシステムを使用するには、元の学習データ（本の図書館）にアクセスする必要があります。AI がアクセスできない秘密のデータで学習された場合、ソースを追跡することはできません。
創造的な変更: AI がコードを大きく変更した場合（変数名の変更だけでなく、論理を完全に書き換えた場合）、システムはつながりを見つけるのに苦労する可能性があります。

要約すると: この論文は、「スマート・スニファー」と「法医学的検査官」のチームを提示しており、AI 生成コードの元のソースを特定するために何十億ものコード断片を瞬時にスキャンし、特に長いコードの断片において、速度と高い精度のバランスを取ることができます。

技術概要：LLM 生成コードスニペットのための効率的かつスケーラブルな出所追跡

問題定義
コード補完や生成における大規模言語モデル（LLM）（例：Codex、CodeLlama、StarCoder）の普及は、盗作やライセンス遵守に関する重大な法的・倫理的課題をもたらしている。LLM は訓練データを「暗記」し、帰属表示なしにコードを逐語的、あるいは識別子名の変更などの軽微な適応を伴って再現する可能性がある。MOSS システムで使用されるような Winnowing などの古典的フィンガープリンティング技術は盗作検出に有効であるが、線形時間探索アルゴリズムに依存している。このアプローチは、しばしば数十億のサンプルを超える現代の事前学習コーパスに対しては計算上非現実的である。無限 n-gram 検索のような既存のスケーラブルな解決策は対数時間複雑性を提供するが、ノイズやコードの適応に対して極めて敏感であり、LLM の出力に共通する逐語的ではない類似性を検出できない。

手法
著者は、スケーラビリティと高検出精度のバランスを取るために設計されたハイブリッドな 2 段階の出所追跡パイプラインである**HYBRIDSOURCETRACKER（HST）**を提案する。このシステムは、ベクトルデータベース検索と従来のフィンガープリンティングを統合する：

SOURCETRACKER（第 1 段階）： 対照言語 - 画像事前学習（CLIP）損失を用いて微調整された 3 億パラメータの双方向エンコーダ。このモデルは、小さなコード断片のベクトル表現を、対応する完全なソーススニペットのベクトル表現と整合させるように訓練される。訓練にはTHESTACKV2からの 1000 万スニペットのデータセットが使用される。訓練中、モデルは逐語的なコピー（タイプ 1 クローン）と、頻出識別子が確率的にランダムな文字列に置換された「適応済み」断片（タイプ 2 クローン）の両方に曝される。これはドメイン適応をシミュレートするためである。
- 検索： 推論時、コード断片がエンコードされ、Qdrantベクトルデータベース（HNSW インデックスを使用）に対してクエリが実行され、最も類似した上位 100 の候補スニペットが検索される。この段階は、データセットサイズに対して対数時間複雑性（ $O(\log N)$ ）で動作する。
Winnowing リランキング（第 2 段階）： SOURCETRACKER によって検索された上位 100 の候補は、Winnowingアルゴリズムに付される。この段階では、候補とクエリ断片に対して構文フィンガープリント（ハッシュ）を生成し、フィンガープリント集合の正確なジャッカード類似度に基づいて再ランキングを行う。Winnowing プロセスを固定サイズの候補セット（100 項目）に制限することで、システム全体はフィンガープリンティングのノイズ耐性を活用しつつ、対数時間複雑性を維持する。

主な貢献

SOURCETRACKER モデル： 小さな断片から完全なコードスニペットを検索するために特別に微調整された 3 億パラメータのエンコーダの公開。逐語的および適応済みコードの両方を処理可能。
HST パイプライン： ベクトル検索と Winnowing を逐次的に組み合わせるハイブリッド手法の導入。このアプローチは、対数検索時間複雑性の理論的保証を提供しつつ、従来のフィンガープリンティング手法と同等、あるいはそれ以上の検出性能を達成する。
二重評価フレームワーク： 論文は二重評価戦略を採用している：
- グランドトゥルース指標： THESTACKV2 の既知のサブセットに対する Recall@N と平均逆順位（MRR）の使用。
- LLM ベースのジャッジ： グランドトゥルースではない検索スニペットのセマンティック類似性を評価するために LLM（Qwen3 Coder）を使用。厳密な検索における「誤り」であっても、インスピレーションの関連する源を表す可能性があることを認識している。

結果
システムは、検索空間が 1,000 から 100,000 サンプルの範囲にある THESTACKV2 の 1000 万スニペットのサブセットで評価された。

ウィンドウサイズに対する性能： 小さな断片（≤30 トークン）の場合、Winnowing 単独は非常に効果的である。しかし、ウィンドウサイズが≥60 トークンの場合、HST および SOURCETRACKER は Winnowing 単独を常に上回り、HST は平均逆順位（MRR）で最大 5.4% の改善を示した。
スケーラビリティ： Winnowing は線形時間複雑性を示し、大規模データセットにおけるボトルネックとなるのに対し、HST は対数複雑性を維持する。外挿された結果は、数十億のサンプルを含むデータセットであっても、クエリ遅延がミリ秒範囲に留まることを示唆している。
ロバストネス： ハイブリッドアプローチは識別子名の変更（タイプ 2 クローン）に対して耐性を示す。LLM ベースのジャッジ評価により、システムが正確な「ゴールデン」ソースを検索できない場合でも、高いセマンティック類似性を持つスニペットを検索することが明らかになった（より大きなウィンドウでは 5 点満点で 2.0〜2.6 点）。これは、正確な一致が隠蔽されていても、システムが関連する影響を特定していることを示唆している。
OLMOTRACE との比較： 著者は、OLMOTRACE（接尾辞配列ベースのアプローチ）は効率的であるが、15 トークンを超えるコンテキストウィンドウでは困難に直面し、HST が正常に特定する文脈的類似性を捉えられないことを発見した。

意義と主張
この論文は、ベクトル検索とフィンガープリンティングを統合することで、LLM によって生成されたコードに対するスケーラブルかつ高精度な出所追跡が可能になると主張している。著者は、このアプローチがソフトウェア開発における透明性と倫理的帰属の重要な必要性に対処すると論じている。

ただし、著者は限界と広範な影響については控えめな姿勢を保っている：

訓練データへの依存： システムの適用性は、コードを生成するために使用された特定の訓練データセットの利用可能性に依存する。
「誤り」の性質： 論文は、グランドトゥルースとしてラベル付けされていない検索スニペットは、ソースと非常に類似している可能性があり、厳密なグランドトゥルース評価は、インスピレーションの源を求めるエンドユーザーにとってのシステムの有用性を過小評価する可能性があることを強調している。
透明性への要請： 著者は、LLM の内部記憶傾向のみに依存することは危険であると結論づけている。効果的な出所追跡と著者帰属を可能にするための事実上の要件として、訓練データセットとその基盤となるソースの公開を提唱している。