📈 economics

Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

Cet article établit un cadre théorique et pratique validant l'utilisation des grands modèles de langage comme instruments de mesure pour des variables cognitives latentes en économie du travail, en démontrant leur fiabilité pour quantifier la granularité des tâches professionnelles et en révélant deux dimensions distinctes d'impact de l'IA : l'augmentation et la substitution.

Auteurs originaux : Cristian Espinal Maya

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cristian Espinal Maya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📝 Le Titre : Comment mesurer l'invisible avec une "Machine à Parler" ?

Imaginez que vous essayez de mesurer la cuisine d'un chef. Vous ne pouvez pas simplement peser les ingrédients (les tâches manuelles), car le vrai secret, c'est l'intelligence, la créativité et le jugement du chef (les tâches cognitives). C'est ce qu'on appelle une "variable latente" : quelque chose de réel, mais qu'on ne peut pas voir directement ni peser sur une balance.

Dans l'économie du travail, les chercheurs veulent savoir : "Quelles tâches d'un métier peuvent être aidées par l'Intelligence Artificielle (IA) ?" et "Quelles tâches seront remplacées par elle ?".

Le problème ? Les anciennes méthodes (comme des sondages ou des experts humains) sont lentes, coûteuses et parfois subjectives. C'est comme essayer de mesurer la température d'une pièce avec un thermomètre en bois : ça ne marche pas très bien.

🤖 La Solution : Utiliser les LLMs comme des "Thermomètres Numériques"

L'auteur de ce papier, Cristian Espinal Maya, propose une idée révolutionnaire : utiliser les Grands Modèles de Langage (LLM), comme ceux qui font fonctionner les chatbots intelligents, pour mesurer ces tâches invisibles.

Imaginez que vous avez un juge très bien éduqué qui a lu des millions de livres, de descriptions de métiers et de rapports sur la technologie. Ce juge ne se trompe pas souvent. L'auteur dit : "Utilisons ce juge numérique pour noter chaque tâche d'un métier."

Mais attention ! On ne peut pas juste demander au robot de noter n'importe quoi. Il faut s'assurer que ce robot est un bon instrument de mesure.

🛡️ Les 4 Règles d'Or pour faire confiance au Robot

Pour que les notes données par le robot soient utiles en économie (comme pour calculer les salaires ou la productivité), elles doivent respecter quatre règles, un peu comme les règles d'un bon thermomètre :

La Règle de l'Objectivité (Exogénéité Sémantique) : Le robot ne doit regarder que la description de la tâche. Il ne doit jamais savoir combien gagne le travailleur ou s'il risque de se faire licencier. Si le robot sait que le métier paie bien, il pourrait biaiser sa note. Il doit être aveugle aux résultats économiques.
La Règle de la Pertinence (Validité de Construct) : La note du robot doit vraiment correspondre à la réalité. Si le robot dit qu'un métier est "très augmentable par l'IA", d'autres mesures fiables doivent être d'accord avec lui.
La Règle de l'Ordre (Monotonie) : Si un métier est vraiment plus "augmentable" qu'un autre, le robot doit lui donner une note plus haute. L'ordre doit être logique.
La Règle de la Stabilité (Invariance du Modèle) : Si vous demandez la même chose à deux robots différents (par exemple, un "Haiku" et un "Sonnet"), ils ne doivent pas donner le même chiffre exact, mais ils doivent être d'accord sur le classement. Si le robot A dit que le métier X est le meilleur, le robot B doit aussi dire que X est le meilleur, même s'il lui donne une note un peu différente.

🧪 L'Expérience : Le "Baromètre du Capital Humain"

L'auteur a mis cette théorie à l'épreuve en créant un nouvel indice appelé AHCo (l'Indice de Capital Humain Augmenté).

La Mission : Il a demandé à un robot (Claude Haiku) de lire 18 796 descriptions de tâches (comme "analyser des données financières" ou "diagnostiquer une maladie") et de noter à quel point l'IA pouvait aider l'humain.
Le Test : Il a comparé ses résultats avec 6 autres indices existants (créés par d'autres chercheurs ou via des brevets).
Le Résultat : C'est une réussite ! Son "thermomètre" correspond très fort (85% de similitude) avec les meilleurs outils existants, mais il est beaucoup plus précis pour distinguer l'aide de l'IA (augmentation) de son remplacement (substitution).

🤝 La Confiance entre Robots : Le "Juge et son Contre-Juge"

Pour prouver que son robot ne fait pas n'importe quoi, l'auteur a fait une expérience drôle : il a demandé à deux robots différents (Haiku et Sonnet) de noter les mêmes tâches.

Résultat : Ils ne donnent pas exactement le même chiffre (l'un est un peu plus sévère que l'autre), mais ils sont d'accord sur l'ordre des métiers. C'est comme deux juges de gymnastique : l'un note 8.5 et l'autre 9.0, mais ils sont tous les deux d'accord pour dire que la gymnaste A est meilleure que la gymnaste B.
L'astuce mathématique : Grâce à cette différence de notes, les économistes peuvent utiliser une technique spéciale (appelée ORIV) pour "corriger" les erreurs de mesure et obtenir le vrai chiffre, un peu comme si on prenait la moyenne de deux mesures imparfaites pour trouver la vérité.

💡 Pourquoi c'est important pour tout le monde ?

Avant, pour mesurer ces choses, il fallait payer des experts humains pendant des mois. C'était cher et lent.
Aujourd'hui, avec cette méthode :

Coût : Quelques dollars.
Temps : Quelques heures.
Qualité : Très élevée.

Cela ouvre la porte à plein d'autres utilisations :

Analyser des milliers de contrats juridiques pour voir s'ils sont justes.
Évaluer des lois pour voir si elles sont favorables à l'innovation.
Comprendre la qualité des décisions de justice.

🎯 En Résumé

Ce papier dit : "Les robots intelligents ne sont pas seulement des outils pour écrire des emails. Ils peuvent devenir des instruments de mesure scientifiques précis pour l'économie, à condition de respecter quelques règles strictes."

C'est une nouvelle façon de voir le monde du travail : au lieu de deviner quelles tâches sont intelligentes, nous pouvons maintenant les mesurer avec une précision inédite, grâce à l'IA elle-même.

1. Problématique et Contexte

L'économie du travail fait face à un problème de mesure persistant : de nombreuses variables théoriques centrales sont latentes (non observables directement), notamment le contenu cognitif des tâches professionnelles.

Limites des approches actuelles : Les panels d'experts (comme ceux d'O*NET) sont coûteux, lents et sujets à une faible fiabilité inter-évaluateur. Les annotations par crowdsourcing introduisent du bruit non expert, et les méthodes basées sur les brevets ou les mots-clés manquent de nuances sémantiques pour distinguer l'augmentation par l'IA de la substitution.
Objectif : Établir les fondements théoriques et pratiques pour utiliser les Modèles de Langage (LLM) comme instruments de mesure valides pour des variables économiques latentes, en particulier pour quantifier le potentiel d'augmentation des tâches par l'IA générative.

2. Cadre Théorique : Les LLM comme Instruments Économétriques

L'auteur formalise quatre conditions nécessaires pour qu'un score généré par un LLM constitue un instrument valide pour une variable latente $H^*$ (ex: l'augmentabilité d'une occupation) :

Exogénéité Sémantique : Le prompt de notation ne doit faire référence qu'au contenu sémantique des tâches (descriptions, compétences), et non aux résultats du marché du travail (salaires, emploi). Cela garantit que l'erreur de mesure est orthogonale au résidu de l'équation de résultat.
Pertinence du Construct (Construct Relevance) : Le score du LLM doit être corrélé positivement avec la variable latente. Cela se vérifie par la validité convergente (corrélation avec d'autres mesures), la validité prédictive et la validité de face.
Monotonie : Un score LLM plus élevé doit correspondre à une plus grande quantité de la variable latente (relation croissante), assurant l'interprétabilité du signe des coefficients de régression.
Invariance du Modèle : Le classement des occupations doit être cohérent à travers différents modèles LLM, même si leurs niveaux absolus diffèrent (biais de niveau systématique autorisé).

Propositions clés :

Un biais de niveau systématique entre modèles n'affecte pas les coefficients de régression si les scores sont standardisés.
Si deux modèles produisent des erreurs de mesure indépendantes, l'estimation par Variables Instrumentales Évidemment Corrélées (ORIV) peut corriger le biais d'atténuation classique.

3. Méthodologie et Application Empirique

L'auteur applique ce cadre à la construction de l'Indice de Capital Humain Augmenté (AHCo).

Données : 18 796 énoncés de tâches uniques de la base O*NET (v30.2).
Protocole de notation :
- Utilisation de Claude Haiku 4.5 pour évaluer le potentiel d'augmentation (0-100) et le risque de substitution (0-100) pour chaque tâche.
- L'indice au niveau de l'occupation est une moyenne pondérée par l'importance des tâches.
- Un échantillon de validation (20 %, n=3 666) a été re-noté indépendamment par Claude Sonnet 4.
Comparaison : L'indice AHCo est comparé à six indices existants (Felten AIOE, Eloundou GPT, Webb, Frey-Osborne, Eisfeldt, etc.) sur 207 occupations (niveau SOC 6 chiffres).
Analyses de robustesse :
- Fiabilité inter-évaluateur (Haiku vs Sonnet).
- Analyse de sensibilité aux prompts (4 variantes).
- Comparaison tripartite (Haiku, Sonnet, GPT-4o-mini).

4. Résultats Clés

A. Validité et Fiabilité

Validité Convergente : Forte corrélation avec les meilleures mesures existantes ( $r = 0,85$ avec Eloundou $\gamma$ , $r = 0,79$ avec Felten AIOE).
Validité Discriminante : Faible corrélation avec les mesures de substitution pure ( $r = 0,21$ avec Eloundou $\alpha$ ), confirmant que l'augmentabilité et le risque d'automatisation sont des construits distincts.
Fiabilité Inter-évaluateur :
- Corrélation Pearson entre Haiku et Sonnet : $r = 0,76$ .
- Coefficient $\alpha$ de Krippendorff (ajusté) : 0,71, dépassant le seuil de fiabilité acceptable.
- Un biais de niveau systématique existe (Sonnet note en moyenne 8,6 points de plus), mais il est constant (confirmé par le graphique Bland-Altman) et n'affecte pas les résultats économétriques après standardisation.
Invariance du Modèle : Le classement des occupations est préservé entre les modèles, bien que les calibrations absolues diffèrent. La fiabilité est plus forte au sein de la même famille de modèles (Claude) qu'entre familles (Claude vs GPT).

B. Structure de l'Erreur de Mesure et Correction Économétrique

Structure de l'erreur : La désaccord entre modèles suit une structure d'erreur de mesure classique (atténuation).
Estimation ORIV : En utilisant les scores Sonnet comme instrument pour les scores Haiku dans une équation de Mincer augmentée :
- Le coefficient OLS est de $+0,080$ .
- Le coefficient ORIV corrigé est de $+0,100$ (soit une augmentation de 25 %).
- Ce résultat est cohérent avec le facteur d'atténuation estimé ( $\hat{\lambda} = 0,88$ ) et proche des estimations par IV externes ($0,234$), prouvant que la méthode ORIV corrige efficacement le biais d'atténuation.

C. Dimensionnalité (ACP)

L'Analyse en Composantes Principales (ACP) sur 11 indices révèle deux dimensions distinctes :

PC1 (62 % de variance) : Rélevance cognitive générale de l'IA.
PC2 (15 % de variance) : Opposition entre Augmentation (chargement négatif pour AHCo) et Substitution (chargement positif). L'AHCo capture spécifiquement la dimension d'augmentation.

D. Sensibilité aux Prompts

Bien que le choix du prompt affecte l'échelle absolue des scores, le classement des occupations reste robuste. La variance induite par le prompt est moindre que la variance liée à la nature des tâches elles-mêmes.

5. Signification et Contributions

Innovation Méthodologique : Ce papier fournit le premier cadre systématique validant l'usage des LLM comme instruments économétriques pour des variables latentes, en passant d'une simple "génération de scores" à une validation rigoureuse des conditions d'instrumentation.
Efficacité Coût-Qualité : La méthode permet de scorer 18 796 tâches pour environ 5 $ et en 6 heures, contre des mois de travail pour des panels d'experts, tout en maintenant une fiabilité statistique élevée.
Généralisabilité : La méthodologie s'applique au-delà de l'économie du travail, à tout domaine nécessitant la quantification sémantique de documents, politiques ou institutions (analyse de contrats, évaluation de politiques publiques, raisonnement judiciaire, divulgations financières).
Recommandations Pratiques : L'auteur propose un protocole pour les praticiens incluant l'utilisation d'au moins deux modèles, la standardisation des scores, l'utilisation de l'estimation ORIV, et la validation externe.

En conclusion, l'article démontre que les LLM, lorsqu'ils sont utilisés sous des conditions de validité strictes (exogénéité sémantique, invariance, etc.), constituent des instruments supérieurs ou complémentaires aux méthodes traditionnelles pour mesurer les variables cognitives latentes en économie.