技術的サマリー：人工的労力

問題提起

実労務タスクは、参加者に認知コストの高い活動を実行させることで、人間の労力、パフォーマンス、疲労、およびインセンティブへの反応性を測定するように設計された、実験経済学における基礎的な方法論的ツールである。これらのタスクの妥当性は、タスクを完了するエージェントが人間であるという、批判的かつしばしば暗黙の前提に依存している。

大規模言語モデル（LLM）の急速な普及とマルチモーダル推論能力の向上に伴い、この前提は、特に非監督のオンライン環境（例：オンライン労働市場、ウェブベースの実験）において、ますます不安定になっている。もし LLM が、極めて低い限界費用で高い精度を以て標準的な実労務タスクを解決できるならば、これらのタスクは人間の労力を測定する機能を持ち得なくなる。その代わり、それらは有能な AI モデルへのアクセスを測定するものとなり、構成妥当性を損ない、収益化のための悪意ある「タスク・マッシング」を可能にする可能性がある。先行研究では AI を用いた調査生成が探求されてきたが、最先端の LLM が経済学者が日常的に使用する特定の実労務タスクを効果的に解決できるかに関する直接的な証拠は欠如している。

方法論

著者らは、OpenAI、Google、Anthropic の 3 大プロバイダーから提供される 23 種類の最先端 LLM の能力を評価する包括的なベンチマークを実施し、8 つの標準的な実労務タスクの解決を試みた。

タスク:
本研究では、知覚、算術、推論の要求度を一覧とする Otree リポジトリで利用可能な 8 つのタスクを用いた。

1. 加算: 3 つの整数を合計する。
2. ゼロの計数: 15×10 の二進数表内のゼロを数える。
3. 文字デコーディング: 文字から数字への対応表を用いて文字列をデコードする。
4. 数値ペアの合計: 4×4 のグリッド内で合計が 10.0 となる数値のペアを特定する。
5. 数列の完成: 数学的数列の次の要素を予測する。
6. 数独: 一部が埋められた 6×6 のグリッドを解く。
7. 歪曲テキスト: 歪曲された画像から 12 文字の英数字文字列を転写する。
8. 文字列入力: 画像から 9 文字の特殊文字列を再現する。

実験設定:

• モデル: ハイク（Haiku）、フラッシュライト（Flash Lite）、ナノ（Nano）などの軽量モデルから、オパス（Opus）、プロ（Pro）、GPT-5.4 などの最先端モデルまでを網羅する 23 モデル。すべてのモデルはマルチモーダル入力をサポートする。
• 手順: タスクは画像を含む HTML ページとしてレンダリングされた。入力は OpenRouter API を介して送信された。各モデルはタスクあたり 20 回の独立した実行を行った。
• 採点: 回答は、正解と完全に一致した場合にのみ正解として採点され、部分点は与えられなかった。
• 処置: 言語的インセンティブとペルソナ・フレーミングに対する LLM の感受性をテストする 2×2 設計を採用した。
  • T0（対照）: 中立的なプロンプト。
  • T1: 標準的ペルソナ、金銭的インセンティブなし。
  • T2: 標準的ペルソナ、言語的金銭的インセンティブ（正解 1 件あたり$0.50）。
  • T3: 人間ペルソナ、金銭的インセンティブなし。
  • T4: 人間ペルソナ、言語的金銭的インセンティブ。
• 費用分析: 本研究では、入力/出力トークンの使用量とプロバイダーの価格に基づき、タスクあたりの総 API 費用を計算し、典型的なオンライン実験の出来高払い（正解 1 件あたり$0.25）と比較した。

主要な貢献と結果

1. タスクの難易度と自動化への脆弱性

パフォーマンスはタスクの種類によって大きく異なる。

• 高度に自動化可能: 小規模で構造化された入力と初歩的な操作を伴うタスク（加算、数値ペアの合計、文字デコーディング、数列の完成）は、ほとんどのモデルによってほぼ完璧な精度（90〜100%）で解決される。
• 抵抗性のあるタスク: 複雑な視覚検索、列挙、または組み合わせ推論を必要とするタスク（数独、ゼロの計数、文字列入力）は依然として困難であり、最上位モデルであっても精度は 25% から 37% の範囲にとどまる。
• 中間: 歪曲テキストの転写は中間に位置し（77.4%）、純粋な推論ではなく知覚ノイズによって制限される。

2. モデルのパフォーマンスと進化

• ティアとプロバイダー: パフォーマンスは主にモデルのティア（例：オパス/プロ対ソネット/フラッシュ）によって決定され、プロバイダーによるものではない。最上位モデルは 80% 超の平均精度を達成するのに対し、中位モデルは約 60% を達成する。
• 急速な改善: 新リリースは、同じティア内でも先行するバージョンを常に上回る。最も顕著な gains は中位ティアで観察され、これらのタスクを自動化できるモデルのセットが急速に拡大し、よりアクセスしやすくなっていることを示唆している。
• ** cherry-picking（最適選択）:** 各特定のタスクに対して最高性能のモデルを選択する戦略的エージェントは、平均精度 93.1% を達成でき、単一のモデルを使用する場合（82.5%）よりも著しく高い。これは、エージェントが最適なツールを選択する知識を持っている場合でさえ、「抵抗性のある」タスクも高い率で解決可能であることを意味する。

3. 代替の経済的妥当性

人間の労力の LLM による代替は、経済的に支配的である。

• 費用対効果: 試験された最も高価なモデルであっても、タスクあたり（20 回の実行）$0.40 未満の費用である。より安価なモデルは$0.05 未満である。
• 純利益: 正解 1 件あたり$0.25 という保守的な出来高払いにおいて、試験されたすべてのモデルは正味の利益を生み出す（タスクあたり約$2.66 から$3.92 の範囲）。
• 結論: 人間の参加者を LLM に置き換えることは、単に実行可能であるだけでなく、利益追求型エージェントにとって極めて収益性が高い。

4. インセンティブとペルソナへの不感応性

• 効果なし: 金銭的インセンティブの言語的提示や「人間として振る舞う」よう指示することは、LLM のパフォーマンスに統計的に有意な影響を与えなかった。
• メカニズム: 人間とは異なり、LLM には限界収益に基づいて調整する「労力マージン」が存在しない。その計算プロセスはアーキテクチャとプロンプトによって固定されており、プロンプトのテキストは基礎的な推論手順を変更しない。
• 診断的潜在性: LLM における学習効果、疲労、またはインセンティブへの反応性の欠如は、潜在的な診断ツールを提供する。反復試行における平坦な精度プロファイルと、安定した分散の組み合わせは、人間による完了ではなく自動化された完了を示唆する可能性がある。

意義と提言

本論文は、非監督環境における実労務タスクの使用に関する境界条件を確立する。すなわち、参加者がタスク完了を LLM に安価に外部委託できる場合、観察されるパフォーマンスはもはや真の人間の労力を反映しないというものである。著者らは、AI の時代においてこれらのタスクの構成妥当性が損なわれていると主張する。

これらの知見に基づき、著者らは研究者に対して 3 つの実践的な提言を行う。

1. タスク選択: 参加者の真正性が懸念される場合、純粋な計算タスク（例：加算）よりも知覚スキルを必要とするタスク（例：ゼロの計数、文字列入力）を優先すること。なぜなら、現在の LLM は前者に対してより困難を感じるからである。
2. インセンティブ・スクリーニング: 参加者に金銭的インセンティブあり・なしで同様のタスクを実行させることで、インセンティブ言語をスクリーニング装置として使用すること。異なる行動は、人間と LLM を区別するのに役立つ可能性がある。
3. 動的モニタリング: セッション内のダイナミクスを監視すること。学習や疲労の典型的な人間のパターンの欠如は、自動化された応答を特定するのに役立つ可能性がある。

本研究は、LLM が特に中位モデルにおいて改善を続けるにつれて、自動化に対して脆弱な実労務タスクのセットは拡大する可能性があり、実験経済学における労力の測定方法の再評価が必要であると結論づけている。