The Birth, Life, and Death of Internal Organization

学習機械の研究において、科学者たちは、これらのシステムが経験を積むにつれてどのように変化するかを理解するために長い間模索してきた。コンピュータが新しいスキルを習得するとき、その内部設定は変化し、その振る舞いは進化する。長年、研究者たちは、機械の内部パターンがいかに互いに似ているかを見たり、単純なツールで機械の思考を「読み取れる」かどうかをテストしたりすることで、これらの変化を追跡しようとしてきた。支配的な考え方は、もし二つの機械の内部が似ており、あるいは両者が同じ情報を明らかにするようにデコードできるのであれば、それらは同じことを行っているに違いないというものであった。しかし、このアプローチは、思考やルールの物理的な場所がそのアイデンティティの最も重要な部分であると仮定している。それは、機械の内部構造を、都市の座標そのものよりも都市自体の方が重要であるとする地図のように扱うものである。この視点は、ある決定的な問いを未解決のまま残している。すなわち、変化し続ける部品の集合体は、いつ、自律した生命を持つ明確で組織化された実体となるのか？ それには始まり、中間、そして終わりがあるのだろうか？ そして、もしその実体が消滅したとき、そこに何かが残るのだろうか？

独立系研究者であるユシュアン・デン（Yuxuan Deng）による新しい研究は、焦点を作の内容（見た目）から、それが実際に何を成すかへと移すことで、これらの問いに取り組んでいる。内部パターンが似ているかどうかを問う代わりに、研究者は異なる問いを投げかけた。もし機械を特定のやり方で突っついたとき、未来が特定の、名前の付いた方法で変化するかどうか、という問いである。この研究では、「組織（organization）」を、それが機械の内部のどこに存在するのではなく、それがどのように結果を制御するかによって定義している。もし一連の内部変化が一貫して特定の結果をもたらすならば、その一連の要素は単一の、生きている組織として扱われる。研究者はその後、これらの組織が誕生し、成長し、変化し、そして死んでいく様子を観察し、それらが臓器の移植と同じように、一つの機械から別の機械へと移動できるかどうかをテストした。

研究は、大規模な現実世界のビデオ推薦データセットから始まった。システムには、ユーザーがビデオを視聴したりクリックしたりした何百万ものインタラクションが投入されたが、研究者はここにひねりを加えた。彼らは、推奨されるビデオのいくつかを他のビデオとランダムに入れ替えたのである。これにより、システムが変化する現実に基づいて結果を予測することを学ばなければならない、自然実験が創出された。研究者たちは、システムが学習していく過程を観察し、特定の内部変化が、いつ、特定の将来の結果（例えば、ユーザーがビデオを長時間視聴することなど）を確実に予測し始めるのかを探った。彼らは、これらの組織が即座には現れないことを見出した。組織は、システムが以前は同じものとして扱っていた二つの異なる結果を区別することを学んだときに誕生した。この瞬間以前は、システムの内部変化は互換性のあるものだったが、この瞬間以降、特定の目標を達成するためには特定の内部的な調整が必要となった。これが、形ではなく、未来を操る独自の能力によって定義される「組織」の誕生であった。

誕生した後、これらの組織は驚くべき回復力（レジリエンス）を示した。システムが同じ種類のフィードバックを受け取り続ける限り、組織は存続し、その地位を維持した。しかし、フィードバックが変化すると、組織は単に消失するのではなく、再編成された。それは新しい現実に合わせて内部構造を変化させ、時には新しいルールに適応するためにその振る舞いさえも逆転させた。最も衝撃的な証拠は、研究者が組織を「殺す」ことに決めたときであった。彼らは、その組織が依存していた特定のフィードバックを取り除き、事実上、その命綱を断ち切った。多くの場合、組織は即座に死に、結果に影響を与える能力を失った。しかし、かつてこの組織を運んでいた機械の物理的な部分は消失しなかった。いくつかの事例では、「担い手（キャリア）」は活動を続け、むしろ強まった。たとえそれが本来の目的を失っていたとしてもである。それはまるで、意図された用途に使われなくなった後も、道具箱の中に残り続ける道具のようであった。これは、組織とそれを保持する物理的な物質が二つの異なるものであることを証明した。組織は死ぬことができる一方で担い手は生き残ることができ、逆に、担い手は組織なしに存在することも可能であった。

研究は次に、これらの組織が移動可能であるかどうかをテストした。研究者たちは、稼働中の組織を一つの機械から取り出し、それを一度も見たことがない別の機械へと移植しようとした。二つの機械が同じ種類のタスクと、同じ種類の結果に対して訓練されていた場合、移植は成功した。受け入れ側の機械は、その内部パーツがドナー（提供側）とは全く異なっていても、即座に同じ特定の将来の結果を生み出す能力を獲得した。これは、組織のアイデンティティが特定の座標や特定の機械のデザインに結びついているのではないことを示した。それは、内部的なアクションと外部的な結果との間の関係性に結びついていたのである。しかし、このアイデンティティには厳格な境界が存在した。研究者が、組織を、根本的に互換性のないルールを持つ全く異なる種類の結果に対して訓練された機械へと移植しようとしたとき、移植は失敗した。受け入れ側の機械の内部パーツはドナーとほぼ同一であったにもかかわらず、組織は根を下ろすことができなかった。組織は普遍的な物体ではなく、その特定のコンテキスト（文脈）が生み出した生き物であった。

最後に、研究者たちはこのライフサイクルのダイナミクスを探求した。彼らは、組織の誕生が、システムが特定の目的のために内部パーツを動員できるかどうかに依存していることを見出した。もしシステムが適切な種類のフィードバックによって支えられていなければ、組織は形成されないか、あるいは解消される。研究は、これらの遷移がランダムではないことを示した。それらは、結果の間の区別を維持するためにシステムが新しいパーツを動員するか、あるいは区別を維持する圧力が取り除かれたときに、それらの区別を再び統合させるかというパターンに従っていた。研究者たちは、いくつかのケースにおいてこれらの遷移を予測することができたが、これがあらゆる状況におけるあらゆる機械に適用される普遍的な法則ではないことを強調した。ルールは、機械がどのように学習するか、およびその機械が受け取るフィードバックの性質によって依存していた。

この研究の示唆するところは、学習システムに対する私たちの理解にとって極めて深い。それは、機械の内部にあるスキルの「座（場所）」を探すのではなく、それを定義する機能的な関係性を探し始めるべきであることを示唆している。組織とは、特定の場所に置かれた静的な物体ではなく、適切な結果によってのみ存在する動的なプロセスである。それは誕生し、変化し、そして死ぬことができ、かつてそれを保持していた物理的な殻だけを残していく。この視点は、人工知能に対する私たちの考え方を変える。それは、学習された振る舞いのアイデンティティは、コードや機械の重みの中に固定されているのではなく、それが操作する環境に完全に依存している、脆弱で生きているものであることを意味する。環境が変われば、組織は変わる。環境が消えれば、たとえ機械自体が無傷であっても、組織は死ぬのである。

本研究は、あらゆる学習システムを説明する普遍的な理論を見出したと主張しているわけではない。すべての機械が同じように振る舞うことや、あらゆるシステムにおける組織のライフサイクルを今や完璧に予測できることを示唆しているのではない。むしろ、テストされた特定のシステムにおいて、これらの組織を追跡するための明確で測定可能な方法を提供したのである。研究は、それらがいつ誕生し、いつ死に、いつ移動できるのかを特定できることを示した。それは、学習された振る舞いのアイデンティティが、それを保持する物理的なパーツではなく、それが生み出す結果に関連していることを証明した。これは、学習機械の「内面的な生活」を理解するための重要な一歩であり、構造という静的な視点から、機能という動的な視点への移行である。研究者たちは、組織の命が、風の中の炎のように儚く、文脈に依存するものであっても、観察可能で、操作可能であり、理解可能な現象であることを示したのである。