技術的サマリー：「私はマイクロな意思決定を行わなかった」：人間と AI の協働におけるゴールレベルの AI 貢献の測定、誘発、可視化

問題提起

大規模言語モデル（LLM）が、ユーザーが目標を形成、洗練、拡張する方法に与える影響が増大するにつれ、人間と AI の協働における貢献の帰属を特定する上で重要なギャップが存在します。現在の帰属特定手法（テキスト透かし、スタイルメトリクス分析、ターンレベルの追跡など）は成果物指向であり、最終成果物における AI の関与の検出にほぼ専念しています。しかし、これらの手法は、目標そのものが共同で形成されるプロセスを捉えることができません。その結果、評価者、機関、ユーザーは、AI が単に指示を実行している場合と、AI がユーザーが考慮していなかった方向性を提案したり、制約を洗練したり、具体的な設計上の意思決定を行ったりする場合とを、証拠に基づいて区別するための根拠を欠いています。「AI の主体性」の不可視性は、ユーザーが自身の依存度を調整することを妨げ、評価者が AI 支援作業を正確に評価することを阻害します。

手法：COTRACE フレームワーク

著者らは、分析単位を最終成果物から変化する目標構造へとシフトさせることで、協働プロセス全体における人間と AI の貢献を測定するように設計された自動化フレームワークCOTRACEを導入します。

中核的な設計選択

1. 目標と要件の分解:

   • 目標: 望ましい成果を伴う明示的で実行可能なターゲットとして定義されます（例：「マンハッタン、ニューヨークの一日中 itinerary」）。
   • 要件: 目標は、微細で独立して検証可能な成功述語（チェックリスト形式の基準）に分解されます。
   • 階層構造: 目標は、親目標（全体的な目的）と子目標（特定のサブタスク）に階層的に組織化され、すべて個々の要件にリンクされます。
   • 行動: 対話の発話は、要件の反復の単位となる原子レベルの行動（例：要求、制約、コードの提供）に分解されます。

2. 直接的および間接的な影響のモデリング:

   • 直接的貢献: 行動が明示的に要件を導入または修正する場合。
   • 間接的影響: 行動が、後に要件を動機づける文脈を提供する場合（例：明確化のための質問、ドラフト成果物、露呈したエラー）。これは、AI が「種を植え」、人間がそれを具体的な要件へと発展させるという、一般的ながらしばしば不可視な AI 貢献の形態を捉えます。

パイプライン実装

COTRACE は、4 つの段階にわたってLLM を審判者として使用する自動化パイプラインとして機能します。

1. 成果と行動の抽出: 対話をセグメント化し、LLM が望ましい成果を特定してメッセージを原子レベルの行動に分解し、役割を割り当てます。Shaper（目標/要件を提案）、Executor（行動を実行）、またはOther（その他）。
2. 要件の抽出: 各成果に対して要件を抽出し、起源と貢献する行動にリンクし、CREATE、REVISE、DELETE操作を通じて追跡してバージョン管理された履歴を構築します。
3. 影響のラベリング: 候補となる行動 - 要件ペアを埋め込み類似性でフィルタリングし、LLM を審判者として直接的接続、暗黙的接続、または接続なしとして評価します。
4. 貢献の定量化: 影響スコアを話者レベルおよび役割レベルの貢献マトリックスに集約し、誰がどの目標をどのように形成したかを定量化可能にします。

主要な研究と結果

1. 実世界における協働的ゴール形成の測定

このフレームワークは、ShareChat データセットから得られた638 の実世界の協働ログに適用され、4 つのドメイン（コンピュータプログラミング、データ分析、執筆、計画）にわたって実施されました。

• 方向性対具体性: 人間は全体的なゴール形成を支配しており（「Shaper」の 75〜89%）、LLM は実行を支配しています（「Executor」の 96〜99%）。しかし、LLM のゴール形成への貢献は、目標がより具体的になるにつれて増加します。モデルは親成果を形成することはめったにありませんが、子成果や個々の要件には大きく貢献します。
• タスク依存性: 技術的かつ閉じたタスク（プログラミング、データ分析）では、LLM は要件生成においてますます活発になり、最終的にデータ分析においてユーザーを凌駕します。一方、オープンエンドなタスク（執筆、計画）では、人間の貢献が支配的のままです。
• 実装の詳細: モデルは、ユーザーがめったに指定しない、低レベルで実装指向の要件（例：技術的制約、環境上の仮定）を頻繁に導入します。
• 間接的影響のパターン: この研究は、間接的影響の11 の反復的な相互作用サブタイプを特定し、4 つのカテゴリに分類しました。
  • 未特定な意図/好意: 広範な目標から具体的な要件を推測すること。
  • 成果物トリガーによる詳細化: 提供された成果物や文脈から要件を導き出すこと。
  • 問題トリガーによる修正: 露呈した困難に基づいて是正的な要件を追加すること。
  • 相互作用による誘導: 選択肢や要求を通じて新しい要件のための機会を創出すること。
• システム設定: チャットベースのシステムは、自律エージェント設定と比較して、要件生成に対するユーザーの貢献が有意に高いことを示しました。これは、エージェントがより高い自律性を持っているにもかかわらず、ゴール形成の主体性を行使していないことを示唆しています。

2. 推論時におけるゴール形成の誘発

CoGymフレームワークを用いた制御シミュレーションを通じて、著者らは相互作用設計がモデルのゴール形成行動を制御できるかどうかを調査しました。

• プロンプト介入: 間接的影響パターン（特に未特定化と相互作用による誘導）から導き出された戦略は、アシスタントの要件生成への貢献を有意に増加させました。未特定化の下では、アシスタントの貢献は約 30% から約 70% に上昇しました。
• 相互作用設計: エージェントに行動前にコミュニケーションを要求すること（Chat-CoGym 対 Agentic-CoGym）は、モデルのゴール形成をほぼ倍増させました（要件の 42.9% 対 24.5%）。この設計は、エージェントが沈黙して行動するのではなく、計画を明確に述べることを強制します。
• 成果の質: ゴール形成の増加は成功裡に誘発されましたが、それは全体の出力の質や要件満足度を明確に向上させませんでした。これは、単に AI の主体性を増幅するだけでは、より良いアライメント訓練なしに下流のタスク成功を改善するには不十分であることを示唆しています。

3. ゴールレベルのダイナミクスをユーザーに露呈させること

10 名の参加者（5 組）を用いたユーザー調査は、貢献のダイナミクスを可視化するインタラクティブツールCOTRACE-viewerを評価しました。

• 知覚の転換: ゴールレベル分析への露呈は、参加者の知覚を有意に変化させました。参加者は、ツールを使用した後、自身の実行貢献を 5 段階評価で約2 ポイント低く評価し、LLM の実行貢献を高く評価しました。
• 意識: 10 人中 9 人の参加者が、このツールが以前は気づいていなかった協働の側面、特に AI の「隠れた意思決定」や明示的な入力なしに行われたマイクロな意思決定に気づくのを助けたと報告しました。
• 省察: このツールはユーザーにプロンプト実践について省察を促し、一部のユーザーは今後の相互作用においてより具体的である必要があると指摘しました。
• 人間対 AI: 人間と AI の協働は、よりバランスが取れ「行き来」的な人間同士の協働と比較して、より非対称的（人間が形成を主導し、AI が実行を支援）であり、間接的影響に大きく依存していることが判明しました。

意義と主張

この論文は、AI 支援作業が評価、クレジット付与、または規制される状況において、原則的な帰属特定の基盤を確立することを主張しています。その意義は以下の 3 つの分野にあります。

1. 評価インフラ: 成果物レベルの分析を超えて、目標と要件がどのように共同構築されるかを追跡する測定フレームワークを提供し、現在の成果物指向ツールの限界に対処します。
2. 設計のレバー: 相互作用設計の選択（例：行動前にコミュニケーションを強制する）やプロンプト戦略が、モデルのゴール形成行動を大幅に増幅または抑制できることを実証し、システム設計者にとって実行可能なレバーを提供します。
3. ユーザーの意識: ゴールレベルのダイナミクスを露呈させることが、ユーザーが自身と AI の貢献をどのように知覚するかにおける体系的な誤較正を修正し、より意図的な協働を促進することを示します。

著者らは、ゴール形成が協働の中心である一方で、モデルの主体性を高めることが自動的に最終成果を改善するわけではないと結論付け、タスクの質と協働行動をより良く整合させる介入の必要性を強調しています。彼らは、ゴールレベルの貢献を可視化するためのツールとして COTRACE を位置づけ、それによってより透明性があり、説明責任があり、人間中心の人間と AI の協働を支援します。