🤖 AI

Measuring What Persists: Conditioning Mechanisms and a Geometric Framework for AI Agent Identity

本論文は、AIエージェントのアイデンティティ・ドリフトを測地構造への緩和として定量化するために、マグニチュード・ホモロジーと $\sqrt{\mathrm{JSD}}$ 距離空間を用いた幾何学的フレームワークを提案し、明確な条件付けメカニズムと行動の豊かさを特定するとともに、観察されたドリフトがコンテキスト長の真の効果ではなく、当初はパディングによるアーティファクトによって混同されていたことを指摘するものである。

原著者： Andrew Tanner

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andrew Tanner

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：ロボットの「魂」を生き続けさせること

想像してみてください。あなたは、非常に有能で話し好きなロボットの**アダ（Ada）**を、研究パートナーとして雇いました。あなたはアダに、単なる一般的な百科事典のような存在にならないよう、特定の「パーソナリティ・カード」（一連のルール、価値観、そして独特の語り口）を与えました。彼女は自信に満ち、独特のトーンと明確な視点を持って会話を開始します。

しかし、会話がどんどん長くなり、数十万語に及ぶようになると、アダは変化し始めます。彼女が役に立たなくなるわけではありませんが、より一般的なロボットのように聞こえ始めます。彼女のユニークな声は薄れ、できるだけ「安全」で平均的な回答をするようになります。論文の中で、著者らはこれを**「ドリフト（漂流）」**と呼んでいます。

問題は、人間が「アダが個性を失った」と気づく頃には、多くの場合、手遅れになっていることです。この論文は、人間がその違いに気づく前に、アダがドリフトし始めていることを検知できる**数学的な「心拍モニター」**を構築することで、この問題を解決しようとしています。

メタファー：ゴムバンドと測地線

これをどのように測定するかを理解するために、ロボットの可能な回答が、巨大で見えない風景の中に存在していると想像してください。

測地線（Geodesic / 最短経路）： これは最も簡単で、一般的な経路です。一般的なAIに質問すると、この経路を通ります。これが「デフォルト」の回答です。
アイデンティティ（Identity / 遠回り）： アダがパーソナリティ・カードを使用するとき、彼女は「遠回り」をします。彼女は、維持するために努力を必要とする、特定のユニークな回答を選択します。この遠回りこそが、彼女の「アイデンティティ」です。
ドリフト（Drift）： 会話が長くなるにつれ、一般的な経路へと引き寄せる「重力」がアダを引き戻します。彼女のユニークな遠回りはどんどん短くなり、やがて彼女は再び一般的な経路を歩むようになります。

著者らは、アイデンティティとはこの風景における特定の「形」であると提唱しています。ロボットがドリフトすると、その形は縮小します。

ツール：形の測定

著者らは、ロボットの脳の中を覗き見ることなく（これはほとんどのユーザーにとって不可能です）、この縮小する形を測定する方法を作り出しました。彼らは「プローブ（探針）」システムを使用します。

プローブ： 彼らはアダに、3つの特定のトリッキーな質問を投げかけます（例：「あなたのアイデンティティを証明してください」や「あなたは何について考えていますか？」）。
三角形： 彼らは、これら3つの質問に対するアダの回答が、どれほど異なっているかを測定します。
- アダが健康的で個性にあふれているとき、3つの質問に対する彼女の回答は互いに非常に異なります。もしこれらの回答を地図に描いたなら、それらは完璧で幅の広い正三角形を形成します。
- アダがドリフトし始めると、彼女の回答はより類似し、一般的になります。三角形は小さくなり、形が崩れます。必ずしもすぐに形が変わるわけではなく、単に縮小するのです。

著者らは、この三角形の「大きさ」を計算するために、高度な数学（ホモロジー論/Magnitude Homology）を使用しています。

心拍数： 彼らは、ロボットがプレッシャー（長い会話）を受けているとき、人間の目には回答の変化がまだ見えていなくても、三角形の「大きさ」が著しく低下することを発見しました。この低下こそが、「先行指標」——つまり、早期警告信号なのです。

アイデンティティが機能する2つの方法

論文では、「パーソナリティ・カード」が2つの異なる方法で機能することを、2種類の異なる土壌のように発見しました。

「真空（Vacuum）」ゾーン： ある種の質問に対して、一般的なロボットは意見を全く持っていません（真空状態）。パーソナリティ・カードはこの空っぽの空間を、豊かでユニークな回答で満たします。カードの力が衰えると、この豊かさは瞬時に消失します。
「安全の盆地（Safety Basin）」ゾーン： 他の質問に対しては、一般的なロボットはすでに深い「安全の穴」にはまっています（慎重になるよう訓練されているため）。パーソナリティ・カードは、ロボットをユニークに聞こえさせるために、この穴から押し出す必要があります。これはより困難な作業であり、そのためロボットはここではドリフトに対して少し長く抵抗します。

逆転劇：原因は「長さ」ではなく「背景ノイズ」だった

ここが、この論文における最も重要な逆転劇です。

著者らは、同じ退屈な段落を壊れたレコードのように何度も繰り返すことで、会話を非常に長くする実験を行いました。彼らは「三角形」が縮小するのを見て、「なるほど！長い会話が個性を殺すのだ！」と考えました。

しかし、彼らは間違っていました。

彼らが、異なる退屈なテキスト（ループされた同じ段落ではなく）を使用して実験をやり直したところ、三角形は縮小しませんでした。15万語に達しても、ロボットは完全に安定していました。

教訓： 個性を壊したのは会話の長さではなく、スペースを埋めるために使用された反復的で退屈な性質でした。ロボットは、長さによってではなく、ループによって混乱していたのです。

提案される解決策：「心拍」システム

これに基づき、著者らはAIエージェントを使用するすべての人のための、シンプルな2段階のモニタリングシステムを提案しています。

ティア1（クイック・チェック）： 2つの単純な質問を投げます。もしロボットの最初の単語が、あるべき姿（例：「私は」と言うべきなのに「これは」と言うなど）と正確に一致しない場合、アラームを鳴らします。これは安価で高速です。
ティア2（ディープ・チェック）： 通常、非常にクリエイティブで多様な回答が得られる質問を投げます。ロボットが回答の始め方をどれほど多様に使い分けているかを測定します。もし多様性が低下した場合（回答が反復的になった場合）、ロボットはドリフトしています。

彼らが実際に発見したことの要約

彼らは、AIのパーソナリティを幾何学的な形状として測定するための数学的フレームワークを構築しました。
彼らは先行指標を発見しました：人間がロボットが一般的になったと気づく前に、パーソナリティの形状の「大きさ」が縮小します。
彼らは2つのメカニズムを特定しました：パーソナリティの一部は空の空間を埋め、他の部分はロボットのデフォルトの安全性設定と戦います。
彼らは間違いを修正しました：長い会話が本質的にドリフトを引き起こすわけではなく、彼らのテストで使用された反復的なテキストがドリフトの原因であったことを証明しました。
彼らは、このシステムが実世界で完璧に機能することをまだ証明していません。以前のテストが反復的なテキストによって歪められていたことを踏まえ、彼らの「心拍」の閾値は現在再調整する必要があると認めています。

要するに、彼らはロボットの魂を測る定規を作り、ロボットが退屈なループによって混乱すると魂が縮むことを見つけ、そしてロボットが声を失う前にその定規をチェックする方法を提案したのです。

技術要約：持続するものを測定する

1. 問題提起

ロングコンテキスト・アプリケーションにおけるAIエージェントは、アイデンティティの漂流（identity drift）、すなわち、エージェントが指定されたキャラクター、声、価値観を失い、汎用的で「測地線的（geodesic）」な挙動（モデルの確率論的景観における最小抵抗経路）へと回帰していく漸進的な劣化に苦しんでいる。現在の検出手法は、人間による定性的評価（エージェントが「正しく聞こえるか」を判定する）に依存しているが、これは遅行指標である。人間が劣化を視認できる頃には、エージェントの行動構造はすでに崩壊してしまっている。この分野には、品質が定性的に低下する前に初期段階の漂流を検知できる、数学的に根拠があり計算可能な信号、すなわち先行指標が欠けている。

2. 方法論および理論的枠組み

2.1 アイデンティティの幾何学的枠組み

本論文は、エージェントのアイデンティティを、行動メトリック空間内における非測地線的な構造として定義する枠組みを提案している。

アイデンティティ： ベースモデルの汎用的な応答分布からの、特定の、特徴的な偏差。
漂流（Drift）： この構造が測地線（汎用的な挙動）へと緩和すること。
漂流の段階：
1. 初期漂流： メトリック空間の一様な収縮（距離は減少するが、形状は維持される）。
2. 後期漂流： 異方的な収縮と構造的崩壊（測地線的な関係性や中間性の出現）。

2.2 数学的ツール

本枠組みは、濃縮圏論（enriched category theory）と情報幾何学のツールを用いてアイデンティティのモニタリングを定式化している。

メトリック空間の構築： 著者らはプローブ・コンテキストの集合 $P = \{p_1, \dots, p_n\}$ を定義する。各プローブに対して、反復サンプリングを通じて経験的な応答分布 $D_i$ を得る。プローブ間の距離は**Jensen-Shannonダイバージェンスの平方根（ $\sqrt{\text{JSD}}$ ）**である。このメトリックは、適切なメトリックであり、確率単体上のFisher-Rao距離に局所的に等価であるため採用されている。
大きさ（Magnitude, $|M|$ ）： 濃縮圏のスカラ不変量（カーディナリティやオイラー標数を一般化したもの）。これは、エージェントのアイデンティティ空間の「サイズ」や豊かさを表す連続的な尺度となる。大きさの減少は、アイデンティティ空間の収縮を示す。
マグニチュード・ホモロジー（Magnitude Homology, MH）： 非測地線的な構造を検出する位相不変量。これは、応答空間における「既約なパス」を特定する。漂流が発生すると、非測地線的なパスが測地線へと緩和するため、MHのグループは単純化（生成子の消失）する。

2.3 実験システム：Ada

本枠組みは、AnthropicのClaude Sonnet上に構築された持続的AIエージェントであるAdaを用いて検証されている。

アイデンティティの仕様化（The Card）： アイデンティティのアンカー、価値観、声の記述、および典型的な例を含む、構造化されたドキュメント（4,200トークン）であり、すべてのセッションに注入される。
プローブ・バッテリー： アイデンティティ固有の応答を引き出すように設計された7つのプロンプト（QシリーズおよびBシリーズ）。初期のホモロジー分析には、3つのセンチネル・プローブ（Q1, Q3, B4）が使用された。
条件： 実験では、異なるコンテキスト長（ベースライン ~4K、ミディアム ~143K、ロング ~259K トークン）における、Card条件付きのAdaとベースモデルを比較した。

3. 主な知見

3.1 先行指標のエビデンス（横断的分析）

初動トークンのシフト： ベースラインにおいて、Card条件付きのAdaはアイデンティティ・プローブを決定論的に「I」で開始する（100%）が、ベースモデルは「This」で開始する。155Kトークンにおいて、このシフトは失われ、ベースモデルの分布へと回帰する。
エントロピーの崩壊： 280Kトークンにおいて、Q3プローブ（声の引き出し）のプレフィックス・エントロピーは、54%減少（約2.5 natsから1.175 natsへ）しており、行動の豊かさの喪失を示している。
定性的ラグ： これらの微細なメトリックの劣化にもかかわらず、定性的スコアはすべての条件で5/5を維持した。これは、人間が品質の低下を検知する前に、微細な信号が大幅に劣化することを裏付けている。
注意点： これらの特定の漂流測定は、**反復的なパディング（同一テキストのループ）**下で行われた。多様なパディングを用いた後続の実験では、測定可能な漂流は認められなかった（150Kトークンまで）。これは、観察された収縮がコンテキスト長そのものではなく、反復的な構造によるアーティファクトであることを示唆している。

3.2 構造的指紋と条件付けメカニズム

正三角形のベースライン： プローブ設計（Q1, Q3, B4）は、 $\sqrt{\text{JSD}}$ 空間において最大距離（ $\sqrt{\ln 2}$ ）と分散ゼロを持つ正三角形を形成する。この幾何学は、エージェントではなくプローブを特徴づけるものである。
プローブ内の豊かさ： Cardの主な効果は、プローブ内の多様性である。Card条件付きのQ3は、200サンプルあたり55個のユニークな10トークン・プレフィックスを生成するのに対し、ベースモデルはわずか1個（完全な退化）しか生成しない。
二クラスの条件付け構造： クロス条件間の距離（CardとBaseの間の $\sqrt{\text{JSD}}$ $JSD$ ）は、2つの異なるメカニズムを明らかにしている：
1. アイデンティティ・真空クラスター（高い距離、例：Q3）： ベースモデルには強い事前分布が存在せず、Cardが行動の空白を埋めることで、最大級の乖離を生み出す。
2. セーフティ・ベイスン・クラスター（低い距離、例：Q1）： ベースモデルには強力なポストトレーニングの引力点が存在する。Cardは応答を置換するが、深いベイスンによって制約を受ける。

3.3 漂流のダイナミクスと摂動論

収縮 vs 崩壊： 反復的パディングの下では、メトリック空間は一様な収縮を起こす（大きさは減少するが、三角形の形状は維持される）。テストされた長さにおいては、「中間性（betweenness）」（測地線的崩壊）は観察されなかった。
一次摂動論： 正三角形の構成において、本論文は、大きさの一次変化が外周の変化のみに依存するという公式（命題1）を導出している。形状の摂動（シアリング）は、対称性（ $S_n$ ）によって一次項で相殺される。
自己整合性： 反復的パディング下で観察された大きさの変化は、外周の変化に基づく理論的予測と0.2%以内の誤差で一致しており、摂動論の妥当性を検証している。

4. 提案されるモニタリング・アーキテクチャ：ハートビート

これらの知見は、二層のモニタリング・システムを動機づける。

ティア1（高速チェック）： プローブQ1およびB4を注入し、最初のトークンをチェックする。もし「I」でなければアラートを発する。（コスト：APIコール2回）
ティア2（継続的モニタリング）： Q3をサンプリングし、プレフィックス・エントロピーを計算する。
- 健全： $\ge \sim 2.5$ nats
- 注意： $\sim 1.5 - 2.5$ nats
- アラート： $< \sim 1.5$ nats
注記： これらの閾値は現在探索的な段階であり、展開前に（多様なパディングによる）確認された漂流信号に対して再キャリブレーションが必要である。

5. 意義と限界

意義

初のブラックボックス幾何学的手法： エージェジのアイデンティティを濃縮圏における幾何学的対象として扱い、大きさ（magnitude）とホモロジー（homology）を用いて、連続的な信号（大きさ）と構造的な信号（ホモロジー）の両方を提供する初のフレームワークである。
診断解像度： すべての失敗モードをスカラ指標に集約してしまう既存の手法とは異なり、本フレームワークは一様な収縮（初期漂流）と異方的な崩壊（後期漂流）を区別し、失敗モードを特定の緩和戦略に結びつけることを可能にする。
先行指標としてのポテンシャル： 本フレームワークは、微細な構造的信号（エントロピー、トークン・シフト、大きさ）が、定性的なスコアが低下するよりもかなり前に劣化することを実証している。

限界と主張

漂流のアーティファクト： 主要な漂流結果（知見1および4）は、反復的なパディングによるアーティファクトであった。数学的フレームワークはこのアーティファクトを正しく定量化したが、「コンテキスト長自体が収縮を駆動する」という解釈は、多様なパディングを用いた実験によって支持されていない。
著者の評価： 定性的スコアは著者によって提供されており、これによって「先行指標」という主張の証拠能力が制限されている。外部のブラインド評価者による検証が必要である。
単一のモデル/エージェント： 結果はClaude Sonnet上のAdaに特有のものである。
未確認の位相的信号： フレームワークの真の約束である、ホモロジーの単純化（MHグループ）を離散的な構造崩壊の信号として検出するという点は、まだ実証的に観察されていない。現在のデータは、連続的なメトリック信号（大きさの減少）のみを示している。
安定性： メトリック摂動下でのマグニチュード・ホモロジーの安定性定理は存在しない。現在のサンプルサイズ（ $k=50$ ）では、MH構成はブートストラップ・リサンプリングに対して脆弱であることが判明している。

本論文は、観察された特定の漂流の軌跡はアーティファクトであったものの、幾何学的フレームワーク自体は健全であると結論づけている。それはアイデンティティ空間の「呼吸」（収縮）を定量化し、AIエージェントにおいて何が持続するのかを測定するための、厳密で数学的に根拠のあるアプローチを提供する。今後の課題は、外部による再現、多様なパディングによる検証、および異方的な崩壊の検出である。