Practical Principles for AI Cost and Compute Accounting
本論文は、技術的な抜け穴を塞ぎ、戦略的なゲーミングを防ぎ、かつ責任あるリスク軽減を阻害することなく一貫した規制の実施を確保するために、AIのコストおよび計算資源の会計基準を設計するための7つの原則を提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能システムがより強力になるにつれ、政府はどの機械を厳格に監視し、どの機械をそうでないとするかを決定するための信頼できる方法を模索している。課題は、これらのシステムが複雑であり、その内部構造が技術企業のプライベートなサーバーの中に隠されていることが多いことである。これを解決するために、政策立案者たちは、モデルの構築にかかる費用と、学習に必要な計算能力という2つの測定可能な事実に注目した。これらの数値は、実際の知能や潜在的な危険性の代わりとなる「プロキシ（代理指標）」として機能する。論理は単純明快である。もしプロジェクトに膨大な資源の投資が必要であれば、それは社会にリスクをもたらす可能性のある高度な能力を備えている可能性が高いということだ。欧州や米国の法律は、一定の支出額や計算能力のラインを超えたプロジェクトは厳重に監視されなければならないという前提のもと、これらの閾値を使用して規制を開始しつつある。しかし、研究者のスティーブン・キャスパー、ルーク・ベイリー、ティム・シュライヤーによる新しい論文は、これらのリソースを数えるための明確なルールがなければ、巧妙な開発者が悪用できる穴が満載であると主張している。
研究者たちは、企業が自らの活動の真の規模を隠すことを可能にしている現在の技術的な曖昧さを修正しようとしている。彼らは、現在の提案がモデルの創造における全行程を考慮できていないことが多いことを特定した。例えば、開発者が、はるかに大規模で高価な「教師」モデルの回答を模倣するように教えることで、より小さく安価なモデルを訓練する場合がある。規制が最終段階のみをカウントする場合、元の教師モデルの膨大な訓練コストは無視され、新しいプロジェクトが欺瞞的に安価に見えてしまう。同様に、企業は異なる法的実体にまたがって作業を分割したり、オープンソースのツールを使用したりすることで、制限を回避しようとする可能性がある。これらの問題に対処するため、著者らは、操作が困難で執行しやすい会計基準を設計するための7つの実践的な原則を提案している。
第一かつ最も重要な原則は、プロジェクトの最初から最終的なシステムに至るまで、投じられたすべてのドルとすべての計算単位をカウントすることである。これには、データの準備作業、蒸留に使用される教師モデルの訓練、さらには途中で破棄された失敗した実験さえも含まれる。著者らは、カウントを最終的な訓練実行のみに限定することは、「蒸馏（ディスティレーション）の抜け穴」を生み出し、モデルの知能の真のコストを隠蔽することになると主張している。上流工程の全会計を要求することで、規制当局はシステムの能力の背後にある実際の投資を見ることができるようになる。
同時に、論文は、すべてをカウントすべきではないことも示唆している。開発者は、オープンソースのデータセットや、現在のプロジェクトが始まるずっと前に公開された公開済みの学習済みモデルなど、すでに誰にでも自由に利用可能なリソースのコストを除外することを許可されるべきである。これにより、ルールが共有された基盤を利用したことを罰するのではなく、企業が行っている独自の努力に焦点を当てることができる。しかし、著者らは重要な注意書きを加えている。もし企業が完成途中のモデルを一般に公開し、その後すぐにそれを引き継いで完成させた場合、その初期の作業もカウントされるべきである。これは、企業がモデルを一時的に公開してから密かに開発を継続することで、会計を「リセット」しようとする戦略を防ぐためのものである。
この枠組みは、AIを賢くするためではなく、安全にするために行われる作業があることも認識している。有害なコンテンツを訓練データからフィルタリングしたり、犯罪計画を助けることを拒否するようにモデルをテストしたりする活動は、コスト計算から除外されるべきである。目標は、企業が正しいことを行うことに対して、金銭的な罰則を受けないようにすることであり、社会へのリスクを軽減させることである。これらの免除が正当であることを確実にするため、著者らは、企業に対して詳細な項目別報告書を提供することを求めている。これらの報告書は財務監査のように機能し、開発者に、何を行ったのか、なぜそれを行ったのか、そして正確なデータが利用できなかった場合に使用した推定値を含め、どのように数値を計算したのかを詳細に説明させるものである。
最後に、論文は、規制が総コストと総計算能力という2つの独立したトリガーを使用することを推奨している。これら2つの指標は、例えば、安価だが計算量が多いデータと、高価だが効率的な人間によるデータを使用するなど、それぞれ独立して操作される可能性があるため、両方をセーフティネットとして持つことで、システムを回避することが非常に困難になる。著者らはまた、これらの基準が静的なものであってはならないとも強調している。テクノロジーが進化し効率化が進むにつれ、閾値やルールは定期的に（おそらく数ヶ月ごと）更新されなければ、効果を維持できない。この適応性がなければ、今日機能しているルールが明日には時代遅れとなり、会計ルールがイノベーションの速度に追いつかないという理由だけで、危険なシステムが法の網をすり抜けてしまうことになる。
研究者たちは、完璧な会計システムは存在しないものの、これらの原則は、透明性があり、一貫しており、公共の利益に沿ったルールを作成するための強固な基礎を提供するものであると結論づけている。戦略的なゲームプレイ（不正操作）を許す抜け穴を塞ぎ、責任あるリスク管理を促進することで、これらのガイドラインは、政府が最も高度な人工知能を監視しつつ、同レベルのリスクを負わない小規模な開発者を阻害しないようにする一助となる。究極の目的は、AIプロジェクトの真の規模が可視化される規制環境を作り上げ、最も強力なシステムが要求される注意を受けるようにすることである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。