The Substrate Collapse: AI Code Generation Invalidates Authorship-Based Knowledge Metrics

ビッグアイデア：地図はもはや、領土ではない

あなたが、ある巨大で古くからある都市のレイアウトを誰が知っているのかを突き止めようとしている場面を想像してみてください。何十年もの間、誰がその通りを知っているかを推測する唯一の方法は、「誰が建物を建てたか」を見ることでした。もし特定の人物が建てた家を見つけたら、「よし、この人はその家の配線がどうなっているか、配管がどこを通っているか、レバーを引いたらどうなるかを知っているはずだ」と仮定できました。

この論文は、AIがそのルールを壊してしまったと主張しています。

今や、ロボットが家を建てることができ、人間はただ書類にサインをしてそれを承認するだけで済みます。人間の名前は依然として権利証（「著者性」）に残っていますが、その人間はその家がどのように機能しているかについて、何一つ知らないかもしれません。論文ではこれを**「基質崩壊（Substrate Collapse）」**と呼んでいます。土台となるもの（「構築すること」と「知ること」の間の繋がり）が崩れ去り、私たちの古い測定ツールはすべて使い物にならなくなりました。

---

1. 旧来の手法：「化石」理論

かつて、ソフトウェアエンジニアは**「トラック・ファクター（Truck Factor）」**のような指標を使用していました。これは、「もしリード開発者が明日トラックに轢かれたら、プロジェクトは死ぬのか？」という問いです。

これを計算するために、彼らはコードの中にある「化石」を探しました。

• 誰がコードの行を書いたのか？
• 誰がファイルを編集したのか？
• 誰が変更をコミットしたのか？

論理： コードを書いたのであれば、それを書くために理解していなければなりません。したがって、コードに残されたあなたの名前の「足跡」は、あなたがシステムを理解していることを示す信頼できる兆候でした。それはまるで化石を見つけるようなものでした。岩（コード）が存在することは、そこに動物（理解）が存在したことの証明だったのです。

2. 崩壊：ロボットの建築家

現在、AIツール（エージェント）がコードを書いています。人間の開発者はAIに対して「ログインシステムを作って」と頼み、AIは数秒でそれを実行します。人間はそれを見て、おそらく「承認」をクリックし、マージします。

問題点：

• 人間の名前が今もコードに残っている（足跡）。
• しかし、人間はそれを書いていないため、それを完了させるために必ずしも理解している必要はありませんでした。
• AIは書きましたが、AIは人間のように説明できる形で「理解」しているわけではありません。

例え話：
体温計を想像してみてください。長年、もし体温計が100°Fを示していれば、その人は熱があるのだと分かっていました。それがルールでした。
ここで、人が実際に病気であるかどうかに関わらず、体温計を100°Fに加熱できる機械を発明したとします。

• 体温計は依然として完璧に100°Fを示しています。
• しかし、その数値はもはや、その人が熱を出しているかどうかを教えてはくれません。
• ツールが壊れたのではなく、**「読み取り値」と「現実」の間の「繋がり」**が壊れたのです。

論文によれば、私たちの「トラック・ファクター」はこの壊れた体温計なのです。数値は出ますが、その数値は誰がソフトウェアを本当に理解しているのかを教えてはくれません。

3. なぜ古いツールを「修正」できないのか

「数値を微調整すればいいのではないか？ 例えば、AIが書いた場合はコードの重み付けを変えるとか」と思うかもしれません。

論文は、それは不可能であると述べています。重みを調整しても解決しません。

• 例え話： バケツの重さを量ることで、中にどれくらいの水が入っているかを知ろうとしている場面を想像してください。もし誰かが密かに水を砂に入れ替えてしまったら、重さは変わりますが、その重さの「意味」は失われています。スケールを再校正して水の量を当てようとしても無理です。なぜなら、バケツの中身はすでに砂に変わってしまっているからです。
• 「誰がコードに触れたか」と「誰がコードを理解しているか」の繋がりは永遠に失われました。古いデータに対していくら数学的な調整を行っても、それを取り戻すことはできません。

4. 警告サイン（「歪み」）

論文は、ソフトウェアの世界ですでに、人々が正確な理由は分からずとも、何かがおかしいと感じている兆候が出ていると指摘しています。

• 「偽りの自信」のギャップ： 開発者はAIによって生産性が上がったと感じていますが、研究によれば、実際にはAIの仕事が正しいかどうかを確認することに時間を費やしているため、むしろ遅くなっています。
• 「チャーン（変更）」の混乱： コードの記述と削除が増えていますが、それがバグの修正（良いこと）によるものなのか、AIのミスによる絶え間ない手直し（悪いこと）によるものなのか、判別できなくなっています。ツールはもはやその違いを識別できません。
• 表面 vs 深層： AIは表面的なタイポ（スペルミス）の修正（スペルチェッカーのようなもの）には優れていますが、しばしば深い論理的エラーを引き起こします。それを直すには、人間がシステムを真に理解している必要があります。

5. 私たちに必要なもの： 「足跡」ではなく「理論」を測る

論文は、私たちは「誰がコードを書いたか」を見るのをやめ、「誰が実際にシステムを理解しているか」を測るべきだと主張しています。

• 旧指標： 「誰がこのファイルに触れたか？」（著者性）
• 必要な新指標： 「この人は、なぜシステムがそのように動くのかを説明できるか？」（理解度）

課題：
「理解」を測ることは、「コードの行数」を数えるよりもはるかに困難です。それは、学生が本棚に何冊の本を持っているかを数えること（簡単）と、本を見ずに数学の問題を解けるかどうかをテストすること（難しい）の違いのようなものです。

論文はこう認めています。「私たちはまだこの新しいツールを持っていない」。これは未解決の問題です。しかし、最も重要なステップは、古いツールは死んだという事実を認識し、それらを修理しようとするのではなく、新しいものを構築し始めることです。

6. 予測（テスト）

論文は、自らの正しさを証明するために大胆な予測を行っています。

• シナリオ： 見た目上は完璧に見えるソフトウェアチームを想像してください。彼らは高い「トラック・ファクター」を持っています（多くの人がコードに触れているため、安全に見えます）。
• 現実： コードがAI生成であるため、誰も深い論理を理解していません。
• 結果： 奇妙で新しい問題が発生したとき、チームは対処に失敗します。彼らは行き詰まり、パニックに陥り、解決に長い時間を要します。
• 証明： 古い「トラック・ファクター」という指標は、「あなたは安全です！」と言いますが、現実は「あなたは危機にあります」となります。このギャップこそが、古い指標が壊れていることの証明なのです。

まとめ

• 過去： コードを書いたのであれば、それを理解していた。私たちは知識を、誰が何を書いたかを数えることで測定していた。
• 現在： AIがコードを書き、人間はただ承認するだけ。コードに残された「署名」は、もはや「私はこれを理解している」という意味を持たない。
• 結果： 私たちの古い安全チェック（トラック・ファクターなど）は、今や嘘をついている。それらは、誰が作業に「署名」したかを測っており、誰が作業を「知っているか」を測ってはいない。
• 解決策： 私たちは、単なる著者性ではなく、**「実際の理解」**を測る新しい方法を発明する必要がある。それができるまでは、私たちは古い計器が安全を示しているのを信じて、目隠しをしたまま飛行しているようなものである。古い計器が示す一方で、「熱（リスク）」は実際に上昇しているのである。