Adoption Telemetry: Measuring Enterprise AI Adoption from Production Signals
本論文は、プロダクションにおける利用シグナルを5段階のチェンジマネジメントの進行過程にマッピングすることでエンタープライズAIの導入状況を測定するフレームワークおよびオープンソースの実装（NANTE）である「アドプション・テレメトリ」を導入するものであり、その閾値を将来的な実証的検証のためのテスト可能な構成概念として明示的に定義している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の職場では、ある静かなパラドックスが定着している。企業はタスクを自動化し、仕事の進め方を再構築することを期待して、人工知能ツールの導入を急いできた。しかし、ほぼ普遍的な展開にもかかわらず、その結果は芳しくない。研究によれば、これらのプロジェクトの大部分は測定可能な財務的価値を生み出すことができず、多くは完全に放棄されている。専門家の間でのコンセンサスは、技術自体が問題なのではないということだ。機械は設計通りに機能している。失敗の原因は人間的な要素にある。組織は、従業員の実際の働き方を変えることに苦慮しているのである。彼らは、単に新しいツールを試しただけのチームと、そのツールを中心に日々のルーチンを根本的に再編成したチームとの違いを判別できていない。現在の測定ツールはこの区別を見落としている。それらは、何人がボタンをクリックしたか、あるいはシステムが何度開かれたかを数えることはできるが、仕事そのものが変化したかどうかを見ることはできない。このギャルプにより、リーダーたちは推測するしかなくなり、なぜ導入が停滞しているのか、あるいはどのように修正すべきかを診断することができなくなっている。
「アドプション・テレメトリ（採用テレメトリ）」と呼ばれる新しいアプローチは、目に見えない行動変容のプロセスを可視化し、測定可能なものに変えることで、この問題を解決しようとしている。サーベイや単純な活動カウントに頼るのではなく、この手法は採用をエンジニアリングの問題として扱う。これは、人々が日常的に使用するシステムの中に残されたデジタル・フットプリントを分析することで、組織がどのようにAIに適応しているかを理解できると提唱している。デーモン・A・ヤング率いる研究者たちは、この作業のために、ツールの使用回数、セッションの長さ、タロ完遂されたタスクの成否といった「生産シグナル」を読み取り、それらを特定の変化の段階へとマッピングするフレームワークを構築した。目標は、単に使用回数を数えることではなく、ツールが存在することを知っている状態から、日々の仕事の構造にそれを織り込むまでの道のりの、どの地点で従業員が立ち往生しているのかを正確に特定することである。
この新しいフレームワークの中核となるのは、「NANTE」と呼ばれる5段階のモデルである。これは、Notice（気づく）、Attempt（試みる）、Navigate（使いこなす）、Transform（変容させる）、Embed（定着させる）の頭文字をとったものである。各段階は、人が新しい能力に対してどのように関わるかを示す明確な節目を表している。最初の3つの段階、すなわちNotice、Attempt、Navigateは「広がり（breadth）」を測定する。これらは、ツールが存在することを知っているか、少なくとも一度は試したか、そして繰り返し使用するために戻ってきているかを追跡する。最後の2つの段階、TransformとEmbedは「深さ（depth）」を測定する。ここにおいて真の変化が起こる。「Transform」とは、ツールが複雑で多段階のワークフローの一部となり、実務を遂行するために成功裏に使用されている状態を意味する。「Embed」とは、統合が極めて深く、そのツールを取り除くことがチームの成果を阻害するほどであることを意味する。研究者たちは、ほとんどの組織が第3段階と第4段階の境界線で足踏みしていることを発見した。人々はツールを使用しているが、仕事の習慣を変えていないのである。この新しいシステムは、この特定の「崖」を可視化し、単に探索しているだけのチームと、テクノロジーを真に統合したチームを区別するように設計されている。
このアイデアが機能するかどうかをテストするため、研究者たちはオープンソースのツールキットを構築し、一連のシミュレーション集団を作成して、システムが異なるタイプの採用失敗を正しく識別できるかどうかを確認した。彼らは6つの明確なシナリオを設計した。一つはツールを正常に採用した健全なグループであり、残りの五つは、採用が失敗する一般的な形態を表している。これらの失敗には、ツールを試したが深く使いこなせなかったチーム、ツールについて知ってはいるが一度も使い始めなかったチーム、頻繁に使用しているがタスクの遂行に失敗したチーム、そして一部の「チャンピオン」だけがツールを使用し、他のメンバーは使用していないチームが含まれる。シミュレーションの結果、システムはこれらのグループを機械的に区別できることが示された。例えば、健全なチームと「浅い停滞（shallow plateau）」状態のチームを区別することができた。標準的な使用状況のダッシュボード上では、両方のグループはアクティブユーザー数が多いため、同一に見える可能性がある。しかし、この新システムは、健全なチームはワークフローへの深い統合段階に移行している一方で、もう一方のチームは表面的なレベルで停滞していることを見抜いた。また、チームがスキル不足のために失敗しているのか、それともモチベーションの欠如のために失敗しているのかも正しく特定した。
研究者たちは、このシステムがシミュレーションにおいては機能するものの、各段階を定義するために使用される具体的な数値はまだ証明された事実ではない、という点に注意を払っている。例えば、「繰り返しの使用」とカウントするために何週間の使用が必要かといった閾値は、テストおよび調整可能な出発点としての提案である。現在のエビデンスは合成データからのものであり、まだ実世界の企業によるものではない。著者は、これらのルールを実際のビジネス成果に対して検証していないことを明示している。彼らは、システムを実データでテストするためのパートナーシップを組織に求めており、それによって閾値を較正し、診断が現実と一致するかを確認できると考えている。それまでは、このシステムは最終的な結論ではなく、構造化された仮説として捉えられるべきである。また、研究者たちはシステムの限界についても認めている。このシステムは、人々が何を感じ、何を考えているかを測定することはできず、彼らが「何をしたか」のみを測定できる。人々がマネージャーを満足させるためにツールを使っているふりをしているかどうかを検知することはできず、また、人間の介入なしに動作する自律型エージェントの成功を完全に測定することもできない。
この研究が重要なのは、ツールそのものだけでなく、そのようなツールが欠けていたという議論にある。研究者によれば、採用を適切に測定できていないことは偶然ではなく、構造的な問題である。通常、これらの測定を担当する異なるグループ、すなわちAIを構築する者、ソフトウェアを売る者、そして組織変更を管理する者は、それぞれ別個のサイロの中で活動している。AIの構築者は、コードが機能しているかどうかに集中する。ソフトウェアの販売者は、人々がログインしているかどうかに集中する。チェンジマネージャーは、調査における人々の発言に集中する。どのグループも、テクニカルなデータと人間の行動変容モデルを組み合わせたシステムを構築してこなかった。この新しいフレームワークは、これらの視点を一つの計測器へと統合することで、そのギャップを埋めようとするものである。これは、次なるエンタープライズAIのステップは、より優れたアルゴリズムではなく、人間がいかに実際に仕事を変えているかを見通す、より優れた方法であることを示唆している。不可視なものを可視化することで、組織は初めて、導入時の初期の興奮を乗り越え、持続的な採用という真の課題に対処できるようになるかもしれない。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。