📈 economics

Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

この論文は、LLM を用いて既存の調査では捉えられない職業タスクの認知内容という潜在変数を測定するための理論的・実践的基盤を確立し、労働経済学における新しい指標（AHC_o）の構築と妥当性検証を通じて、AI による業務の補完と代替の二つの次元を明らかにしたことを示しています。

原著者： Cristian Espinal Maya

公開日 2026-04-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cristian Espinal Maya

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎯 核心となる問題：「見えないもの」をどう測る？

経済学者たちは、**「ある仕事をする際に、どれだけ『人間の判断力』や『創造性』が求められているか」**という数値を知りたいと常に悩んでいます。
でも、これは目に見えない「幽霊」のようなものです。

看護師の「診断力」や、金融アナリストの「直感」を、アンケートで「1 から 10 まで評価してください」と聞いても、答えはバラバラで、信頼できません。
従来の方法（専門家 panel やアンケート）は、**「高価で、遅く、主観的」**という欠点がありました。

💡 新しい解決策：AI を「物差し」として使う

この論文の著者は、**「AI 自体を、新しい『物差し』として使えばいいのではないか？」**と考えました。
AI は膨大な量の文章（仕事の説明書や専門書など）を読んでいるので、人間の専門家よりも「この仕事は AI にどの程度任せることができるか（または AI にどの程度置き換わるか）」を、一貫して評価できるはずです。

しかし、**「AI が出した点数が、本当に信頼できる『経済データ』として使えるのか？」という疑問が生まれます。
そこで著者は、AI を信頼できる「物差し」として使うための「4 つのルール（条件）」**を定めました。

📏 AI 物差しの「4 つのルール」

ルール 1：結果に左右されない（中立性）
- AI に「この仕事は AI に任せるべきか？」と聞く際、「その仕事でいくら稼げるか」や「雇用がどうなるか」といった結果の話を混ぜてはいけないというルールです。
- たとえ話: 「このリンゴの甘さを測る際、そのリンゴがいくらで売れるかという話を混ぜてはいけません。味そのものだけを測ってください」という感じです。
ルール 2：本当に測りたいものを捉えているか（関連性）
- AI の点数が、他の信頼できる指標（既存の研究など）と一致している必要があります。
- たとえ話: 新しい体重計が、既にある有名な体重計とほぼ同じ数値を示せば、「これは本物の体重を測れている」と言えます。
ルール 3：順序が正しいか（一貫性）
- 「AI に任せる度合いが高い」仕事ほど、点数も高くなる必要があります。
- たとえ話: 身長が高い人ほど、体重計の数値も高い（相関がある）ように、仕事の難易度と点数の順番がズレてはいけません。
ルール 4：誰が測っても同じ（モデル不変性）
- 異なる AI モデル（例：Claude の「Haiku」と「Sonnet」）に測らせても、「誰が 1 位で誰が 10 位か」という順番は変わらない必要があります。
- たとえ話: 身長を測る際、A さんのメジャーと B さんのメジャーで「1 ㎝のズレ」があっても、「背が高い順」のランキングが変わらなければ OK です。

🧪 実験：AI 物差しが機能したか？

著者は、このルールに従って**「Augmented Human Capital Index（AI によって強化される人間の能力指数）」**という新しい指標を作りました。

対象: O*NET（アメリカの職業データベース）にある約 19,000 種類の「仕事の内容」を AI に読み込ませ、評価させました。
コスト: 従来の専門家パネルなら数ヶ月かかる作業を、AI なら 6 時間、わずか 5 ドル（約 700 円）で完了しました。

🏆 実験結果のハイライト

他の指標とよく一致した（信頼性 OK）
- 既存の AI 関連指標と非常に高い相関（0.85）があり、「この AI 物差しは本物だ」と証明されました。
「置き換え」と「強化」は別物だ（見分けがつかない）
- 従来の研究では混同されがちだった「AI に仕事を奪われる（Substitution）」と「AI に手伝われる（Augmentation）」は、実は全く異なる 2 つの次元であることが、統計分析で明らかになりました。
- たとえ話: 「自動運転車に運転を任せる（置き換え）」と「ナビゲーターに案内を頼む（強化）」は、全く別の話だと分かったのです。
AI 同士の喧嘩も計算できる（誤差の修正）
- 2 つの AI に測らせると、少し点数がズレることがあります。しかし、この「ズレ」が統計的に予測可能なパターン（古典的な測定誤差）であることが分かりました。
- 著者は、**「2 つの AI の結果を組み合わせる」**という高度な統計手法（ORIV）を使うことで、このズレを修正し、より正確な数値を導き出せることを証明しました。

🌍 この研究が意味すること

この論文は、**「経済学における『ものさし』の革命」**を告げています。

以前: 人間の頭脳や判断力といった「見えない価値」を測るのは、高価で時間がかかり、不正確だった。
今: AI を使えば、安価で、高速で、かつ統計的に信頼できる「見えない価値」の測定が可能になった。

これは労働経済学だけでなく、**「法律文書の分析」「政策の質の評価」「企業の報告書の透明性」など、「文章の意味を数値化したい」**あらゆる分野に応用できます。

結論として：
AI はもはや「答えを出す道具」だけでなく、**「経済の深層にある『見えない力』を測るための、新しい精密なメジャー」**として使えるようになったのです。著者は、この新しいメジャーを使うための「正しい使い方（ガイドライン）」もセットで提供しています。

論文要約：測定不能なものを測定する：労働経済学における潜在認知変数の測定ツールとしての大規模言語モデル（LLM）

著者: Cristian Espinal Maya (Universidad EAFIT)
日付: 2026 年 4 月（ワーキングペーパー）
JEL コード: C18, C55, J24, O33

1. 研究の背景と問題意識

経済学、特に労働経済学では、賃金や雇用といった観測可能なデータだけでなく、「職業タスクの認知的内容（例：定型的情報処理か、文脈に依存した判断か）」や「AI による補完可能性」といった**潜在変数（Latent Variables）**の測定が理論上重要である。しかし、これらの変数は従来の調査手法では以下の限界に直面している：

専門家パネル（O*NET 等）: 高コスト、時間がかかり、新規構成概念に対する評価者間信頼性が低い。
クラウドソーシング: 迅速だが、専門知識の欠如によるノイズが多い。
特許マッチングやキーワード検索: 技術能力の代理変数に過ぎず、タスクのセマンティック（意味的）なニュアンス（AI による「補完」か「代替」かの区別）を捉えきれない。

本研究は、大規模言語モデル（LLM）を、観測不可能な経済変数を測定するための計量経済学的な「測定ツール（Instrument）」として体系化することを目的としている。

2. 理論的枠組み：LLM を計量経済学的ツールとするための条件

LLM が生成したスコアが、潜在変数の有効な代理変数（測定値）として回帰分析に使用可能であるためには、以下の 4 つの条件が満たされる必要があると著者は定式化した。

意味的独立性（Semantic Exogeneity）:
- LLM のプロンプトは、賃金や雇用などの労働市場のアウトカムを参照せず、タスク記述の「意味内容」のみに基づいてスコアリングされること。
- 形式化：測定誤差と結果方程式の誤差項の共分散がゼロであること。
構成概念の関連性（Construct Relevance）:
- LLM スコアが潜在変数と正の相関を持つこと。
- 収束妥当性（既存指標との相関）、予測妥当性、外観妥当性（専門家レビュー）によって検証される。
単調性（Monotonicity）:
- LLM スコアが高いほど、潜在変数の値も高い（または低い）という順序関係が保たれること。これにより回帰係数の符号が解釈可能になる。
モデル不変性（Model Invariance）:
- 異なる LLM モデル間でも、職業の順位付け（ランキング）が一貫していること。絶対値のレベルシフトは許容されるが、順序は保たれる必要がある。

3. 実証分析：拡張型人的資本指数（AHCo）の構築

著者は上記の枠組みを応用し、生成 AI による職業タスクの「補完可能性（Augmentability）」を測定する**拡張型人的資本指数（Augmented Human Capital Index: AHCo）**を構築した。

データ: O*NET のバージョン 30.2 に含まれる 18,796 のタスク記述。
モデル: Claude Haiku 4.5 を使用して、各タスクの「AI による補完可能性（0-100）」と「代替リスク（0-100）」をスコアリング。
集計: 職業レベルの指数は、タスクの重要度で重み付けした平均値として算出。
検証サンプル: 20% のサブサンプル（3,666 タスク）を Claude Sonnet 4 で再スコアリングし、評価者間信頼性を検証。

4. 主要な結果

4.1 妥当性の検証

収束妥当性: AHCo は既存の AI 曝露指標（Felten AIOE, Eloundou GPT exposure など）と強い正の相関を示した（Eloundou γとの相関 $r=0.85$ 、Felten AIOE との相関 $r=0.79$ ）。
弁別妥当性: 「AI による補完」を測る AHCo と、「直接自動化（代替）」を測る指標（Eloundou αなど）との相関は低く（ $r=0.21$ ）、これらが異なる構成概念であることを確認した。
次元分析（PCA）: 11 種類の AI 指標を用いた主成分分析により、AI 関連指標は「一般的な認知 AI 関連性（PC1）」と「補完対代替（PC2）」の 2 つの次元に分離されることが示された。AHCo は主に「補完」の次元に負荷を持つ。

4.2 評価者間信頼性（Inter-Rater Reliability）

モデル間一致性: Claude Haiku と Sonnet によるスコアリングの結果、タスクレベルで Pearson 相関 $r=0.76$ 、クリッペンドルフの $\alpha=0.71$ （基準値 0.7 を超える）を記録。
バイアスの性質: Sonnet は Haiku より平均 8.6 ポイント高いスコアを出す傾向（レベルシフト）があったが、Bland-Altman プロットによりこのバイアスが一定であることが確認された。標準化を行えば回帰係数に影響しない（Proposition 1）。
プロンプト感応性: 4 種類の異なるプロンプト形式でテストしたところ、タスク自体の分散がプロンプトによる分散を上回っており、順位付けはプロンプトの文言変化に対してロバストであった。

4.3 計量経済学的性質と ORIV 推定

測定誤差構造: モデル間の不一致は、古典的な測定誤差（Classical Measurement Error）の構造に従うことが示された。
ORIV（Obviously Related Instrumental Variables）推定:
- 2 つの独立したモデル（Haiku と Sonnet）のスコアを相互に道具変数として使用し、測定誤差による減衰バイアスを補正した。
- 結果、OLS 推定量（0.080）に対し、ORIV 推定量は 25% 大きい値（0.100）を示し、理論的な減衰係数（ $\hat{\lambda} \approx 0.88$ ）と整合的であった。
- これは、LLM スコアが有効な道具変数として機能し、ORIV 法によって真の効果を回復できることを実証した。

4.4 予測妥当性（Horse Race）

賃金決定方程式において、AHCo と従来の自動化リスク指標（Frey-Osborne）を併用すると、単独で使用する場合よりも説明力（ $R^2$ ）が向上した。AHCo は自動化リスクとは異なる「補完性」という独自の情報を提供することが確認された。

5. 貢献と意義

理論的貢献: LLM を経済変数の測定ツールとして使用する際の 4 つの妥当性条件（意味的独立性、構成概念の関連性、単調性、モデル不変性）を初めて定式化し、実証的に検証可能な枠組みを提供した。
方法論的革新: 従来の専門家パネルに比べて、コストと時間の劇的な削減（18,796 タスクのスコアリングに約 5 ドル、6 時間 vs 数ヶ月）を実現しつつ、高い信頼性と妥当性を達成する方法論を示した。
実証的発見: 「AI による補完」と「AI による代替」は明確に異なる次元であることを実証し、AHCo が補完性を捉える独自の指標であることを示した。
一般化可能性: この手法は労働経済学に限らず、契約条項の分析、政策文書の評価、司法判断の定量化など、テキストのセマンティック内容を大規模に定量化する必要があるあらゆる分野に応用可能である。

6. 実践者へのガイドライン

著者は、LLM を測定ツールとして使用する際の以下のプロトコルを推奨している：

プロンプトは結果変数（賃金など）を参照せず、意味内容のみに基づくように設計する。
少なくとも 2 つの異なる LLM モデルを使用してモデル不変性を評価する。
モデル間の Spearman $\rho$ と Krippendorff's $\alpha$ を報告する（ $\alpha > 0.7$ を目標）。
回帰分析前にスコアを標準化してレベルバイアスを除去する。
2 つの独立したモデルスコアが利用可能な場合は、ORIV 推定を用いて測定誤差を補正する。
プロンプトの感応性を分析し、分散分解を行う。
既存の関連指標との比較による外部妥当性の検証を行う。

結論

本研究は、LLM を経済学的な潜在変数の測定ツールとして体系的に利用するための最初の包括的な枠組みを提供した。LLM 生成スコアは、既存の最良の指標と高い収束妥当性を持ち、測定誤差構造が古典的な減衰バイアスに従うため、標準的な計量経済学的手法（ORIV など）で補正可能であることを示した。これは、経済測定におけるコストと品質のフロンティアを大きく前進させる画期的な手法である。