PyPI API Drift: A Release-Level Record of Public API Changes in 1,872 Popular Python Libraries, with a Checker and a Benchmark for Version-Aware Code Generation

現代のソフトウェアという広大で変化し続ける風景の中で、Pythonは科学研究からウェブアプリケーションに至るまであらゆるものに力を提供する、支配的な言語として君臨しています。その強みは、開発者が車輪の再発明をすることなく複雑なタスクを処理するためにプロジェクトに組み込める、「ライブラリ」として知られる膨大な既成ツールのエコシステムにあります。しかし、これらのツールは静止した記念碑ではありません。それらは絶えず進化し続ける生きた存在です。開発者はバグの修正、速度の向上、あるいは新機能の追加のために、頻繁にこれらを更新します。その過程で、ユーザーが頼りにしている特定のコマンドや指示を、密かに削除したり変更したりすることがあります。人間のプログラマーにとって、こうした変化を追跡することは、リリースノートを読んだり同僚に尋ねたりすることで解決できる管理可能な課題です。しかし、コードを書く次世代の人工知能アシスタントにとって、この進化は独特かつ持続的な問題となります。これらのAIモデルは、多くの異なる時代からの膨大なコードのアーカイブに基づいて学習しており、数年前には正しかった指示を書くことを学びますが、それらは現在では壊れている可能性があります。ユーザーがインストールしているツールの正確なバージョンを知る方法がなければ、AIはもはや存在しないコマンドを自信満々に提案してしまい、プロジェクトを停止させるエラーを引き起こす可能性があります。

これを解決するために、プシュカル・デヴァナハッリ・ゴパクリシュナ（Pushkar Devanahalli Gopalakrishna）という研究者が、これらのツールが時間の経過とともにどのように変化するかを記録した、大規模で詳細な記録を作成しました。「PyPI API Drift」と呼ばれるこのプロジェクトは、最も人気のある1,872のPythonライブラリに関する歴史的アーカイブとして機能します。すべてのコードを実行してテストしようとすると、不可能に近いほど低速で高価になるため、この研究者はライブラリを構成するデジタルファイルを直接調べる手法を開発しました。これらのファイルのうち必要な部分のみを精査することで、システムは各ライブラリのあらゆる最近のリリースにおいて、どのようなコマンド、関数、設定が利用可能であったかを正確にマッピングできます。このプロセスは、2021年から2026年後半までの間にリリースされた55,000以上の具体的なソフトウェアバージョンをカバーしています。その結果、特定の機能がいつ追加され、いつ名前が変更され、いつ完全に削除されたかを追跡する精密な台帳が完成しました。決定的なことに、このシステムは、本当に消えてしまったものと、単に移動したり名前が変わったりしたものを区別し、記録の確実性を示す信頼レベルを各エントリに付与しています。

この変化の規模は重大です。分析の結果、マイナーなソフトウェアアップデート（通常は安全で後方互換性があると想定されているもの）の約13.4パーセントに、既存のコードを壊す変更が少なくとも1つ含まれていることが明らかになりました。さらに驚くべきことに、メジャーバージョンのジャンプの約64パーセント、およびマイナーバージョンの約30パーセントに、古いコードを失敗させる変更が含まれていました。このデータは、ソフトウェアのアップデートが厳格で予測可能な安全性のパターンに従うという一般的な仮定に異を唱えるものです。研究者は、削除された機能のうち、自動化されたツールが容易に検知できる形で公式に「非推奨（deprecated）」や「削除予定（coming soon to be removed）」とマークされていたものは、ごくわずかであることを見出しました。多くの場合、警告はテキスト文書や条件付きメッセージの中に隠されており、コンピュータプログラムが読み取ることができないため、開発者やAIアシスタントはコードが壊れるまで暗闇に取り残されることになります。

この記録が有用であることを証明するために、研究者はその正確性と有用性をテストするためのツールセットを構築しました。一つのツールは、特定のソフトウェアバージョンに対してもはや有効ではないコマンドを使用しているかどうかをスキャンするチェッカーとして機能します。もう一つのツールは、AIアシスタントのための検索システムとして機能し、コマンドを記述する前にその履歴を照会することを可能にします。最も重要なことに、一連の実験によって、AIにこの歴史的記録へのアクセスを与えることが、実際に優れたコードを書く助けになるかどうかをテストしました。AIがソフトウェアのアップデートによって壊れたコードを修正しなければならないテストにおいて、AIがこの記録を参照できる場合、その成功率は大幅に向上しました。助けがない場合、AIがコードを正しく修正できたのは半分未満でした。歴史的記録を与えられたとき、その成功率は70パーセント近くまで跳ね上がり、新しいソフトウェアの公式ドキュメントを与えられた場合よりも高い性能を示しました。これは、精密なバージョン固有の変更履歴を持つことが、一般的な指示を読むことよりもAIにとって価値が高いことを示唆しています。

また、このプロジェクトは、他の研究者が自身のAIモデルがこれらのバージョン変更にいかに対応できるかを測定するための標準化されたテストセットである、数千のコードスニペットからなるベンチマークも作成しました。調査結果は、AIモデルは強力ではあるものの、存在するものが何であり、何が消滅したのかについての信頼できる最新のマップを備えていない限り、ソフトウェアの急速な進化に苦戦することを裏付けています。記録によれば、Pythonライブラリの景観は以前考えられていたよりもはるかに流動的であり、小さなアップデートであっても破壊的な変更が頻繁に発生しています。これらの変化の明確で高精度なマップを提供することで、この研究は、進化するソフトウェアの世界の中で迷うことなくナビゲートできる、よりスマートなコーディングアシスタントを構築するための基盤を提供しています。データは現在、誰でも利用できるように公開されており、コミュニックがデジタル世界の絶え間ない動きに歩調を合わせるためのツールを構築し続けられるようにしています。