The Grand Software Supply Chain of AI Systems
本論文は、検証可能性、バージョン管理、観測可能性、追跡可能性という 4 つの構造的な欠陥を特定することにより、AI システムがその全ライフサイクルにわたって脆弱となる要因を明らかにし、これら欠陥が AI ソフトウェアサプライチェーンを分析の重要領域として確立するものであることを示しており、そのリスクは、約 4 億行のコードを含む参照スタックの膨大な規模と複雑さによって具体化されている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大でハイテクなレストランを建設すると想像してください。伝統的なレストランでは、明確なレシピ、材料のリスト、そして手順を正確に守るシェフが存在します。料理の味が悪い場合、それは特定の材料や調理工程の特定のステップにまで遡って特定できます。
この論文は、AI システムとは、レシピが透明インクで書かれ、材料が予告なく味を変え、厨房のスタッフは誰にも知らせずにオーブンやコンロを絶えず入れ替えているようなレストランに似ていると主張します。
以下に、この論文の発見をシンプルな比喩を用いて解説します。
1. 「大供給網」（キッチン）
著者らは、AI は単一のソフトウェアではなく、互いに連携する数百もの異なるソフトウェアツールの巨大な連鎖であると述べています。彼らはこれをソフトウェア供給網と呼んでいます。
その規模の大きさを示すため、彼らは「リファレンス・スタック」（多くの企業が使用する標準的なツールセット）を測定しました。その結果、以下が判明しました。
- 48 の主要プロジェクト（メインシェフのような役割）。
- 4,664 の直接依存関係（これらのシェフが使用する材料）。
- 11,508 のトランシティブ・パッケージ（それらの材料が使用する材料）。
- 3 億 9,200 万行のコード（レシピブックの総規模）。
比喩: ハンバーガーを注文すると想像してください。あなたは単にハンバーガーを買っているだけだと思っています。しかし実際には、バンズ、牛肉、チーズ、レタス、レタスを切ったナイフ、牛肉を運んできたトラックのすべてが、それぞれ独自の供給網を持っています。AI において、この連鎖はあまりにも深く広大であるため、最終的な「ハンバーガー」（AI モデル）の内部に何が含まれているかを、単一の人物が正確に知っている者はいません。
2. キッチンの 4 つの層
この論文は、この供給網を 4 つの明確な領域に分割しています。
- データ収集（農場）: 生材料（データ）の収集。ウェブのスクレイピング、データのクリーニング、ラベル付け（サイズ別に分けられたリンゴの選別のようなもの）が含まれます。
- モデル学習（調理）: 材料を使って食事を調理すること。ここで AI は学習します。これには大規模なコンピュータと複雑な数学が関与します。
- 推論（提供）: 顧客に食事を提供すること。これは、ユーザーが AI に質問し、AI が回答する瞬間です。会話の流れを管理するツールや安全フィルターが関与します。
- 横断的基盤（配管と電気）: すべてが動作する共有インフラ（サーバー、コンテナ、監視ツールなど）。ここで電源が切れると、レストラン全体が停止します。
3. 4 つの大きな問題（「ギャップ」）
この論文は、通常のソフトウェアと比較して、なぜこの AI 供給網が危険で管理不能なのかを示す 4 つの主要な理由を特定しています。
A. 検証可能性ギャップ（「魔法のレシピ」問題）
- 通常のソフトウェア: プログラムを書けば、同じコードで再度実行すると、全く同じ結果が得られます。改ざんされていないことを証明するために、「ハッシュ」（デジタル指紋）を確認できます。
- AI システム: AI の学習は、嵐の中でケーキを焼くようなものです。たとえ全く同じレシピと材料を使っても、風（コンピュータのハードウェアにおけるランダム性）によって、ケーキの膨らみ方が毎回わずかに異なる可能性があります。
- 結果: 特定の AI モデルが主張通りに作成されたことを証明することはできません。ハッカーがモデルを「毒入り」のものに差し替えた場合、正当な AI の「指紋」は二度と全く同じにならないため、ファイルを見るだけではそれを見分けることができません。
B. バージョン管理ギャップ（「無言の交換」問題）
- 通常のソフトウェア: ライブラリを更新すると、ソフトウェアは通常即座に破損するか、「バージョン 1.0 を使用している」と明示的に宣言する必要があります。
- AI システム: AI コンポーネントは密結合ですが、「シートベルト」がありません。例えば、特定の「アダプター」（AI を支援するツール）は、それが学習された「ベースモデル」の正確なバージョンでのみ機能します。
- 結果: 企業が裏で AI モデルを無言で更新した場合、その上に構築されたツールは失敗し始めたり奇妙に振る舞ったりするかもしれませんが、システムはクラッシュしません。ただ間違った答えを出すだけです。古いバージョンは消えてしまったため、元に戻す「取り消し」ボタンはありません。
C. 観測可能性ギャップ（「無言の故障」問題）
- 通常のソフトウェア: 何か壊れると、エラーメッセージ（大きなクラッシュ音）が表示されます。
- AI システム: AI システムは静かに劣化します。データが変化したりモデルが更新されたりすると、AI は単に少し悪い答えを出すようになるかもしれません。クラッシュするのではなく、ただ「愚か」になったり、バイアスが強まったりするだけです。
- 結果: 顧客が不満を言い始めるまで、AI が壊れていることに気づかないかもしれません。その頃には、供給網のどの部分が問題を引き起こしたのかを特定するのは困難です。
D. 追跡可能性ギャップ（「系譜の喪失」問題）
- 通常のソフトウェア: 最終製品を原材料まで直線的（木構造）に遡って追跡できます。
- AI システム: AI の系譜は入り組んだ網のようになっています。モデルは更新されたデータセットで学習され、その後他のモデルとマージされ、さらに小型版に蒸留されるかもしれません。
- 結果: 悪い材料（例えば、学習データセット内の違法な画像）が見つかった場合、その悪い材料を与えられた AI モデルがどれであったかを簡単に追跡することはできません。この論文は、研究者がデータセット内で違法コンテンツを発見した実例を挙げていますが、そのデータセットで学習された何千もの AI モデルのうち、どのモデルが「汚染」されたかを自動的に特定できなかったと述べています。
4. 結論
この論文は、この供給網を修正しない限り、安全な AI を実現できないと結論付けています。現在、私たちは砂の基礎の上に高層ビルを建設しています。通常のソフトウェアを保護するために使用するツール（ハッシュの確認やバージョンの固定など）は、AI には機能しません。なぜなら、AI はランダム性と複雑で変動する依存関係の上に構築されているからです。
結論: AI 業界は巨大で複雑な機械を構築していますが、部品が変化するのを防ぐ方法、内部に何が含まれているかを証明する方法、壊れた部品がどこから来たかを追跡する方法については、まだ見出せていません。これら 4 つのギャップが修正されるまで、AI システムは隠された攻撃や無言の故障に対して脆弱なままです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。