Résumé Technique : Effort Artificiel

Énoncé du Problème

Les tâches à effort réel constituent un outil méthodologique fondamental en économie expérimentale, conçu pour mesurer l'effort humain, la performance, la fatigue et la réactivité aux incitations en exigeant des participants qu'ils réalisent des activités cognitivement coûteuses. La validité de ces tâches repose sur une hypothèse critique, souvent implicite : que l'agent accomplissant la tâche est humain.

Avec la diffusion rapide des grands modèles de langage (LLM) et leur capacité croissante au raisonnement multimodal, cette hypothèse devient de plus en plus précaire, en particulier dans des environnements en ligne non supervisés (par exemple, les marchés du travail en ligne, les expériences web). Si les LLM peuvent résoudre des tâches canoniques à effort réel avec une grande précision à un coût marginal négligeable, ces tâches pourraient cesser de fonctionner comme des mesures de l'effort humain. Au contraire, elles pourraient involontairement mesurer l'accès à des modèles d'IA capables, compromettant la validité de construit et permettant potentiellement un « broyage de tâches » malveillant à des fins de revenus. Alors que la littérature antérieure a exploré l'IA dans la génération d'enquêtes, il manque de preuves directes concernant la capacité des LLM les plus avancés à résoudre efficacement les tâches spécifiques à effort réel utilisées couramment par les économistes.

Méthodologie

Les auteurs ont mené une évaluation comparative complète de la capacité de 23 LLM de pointe provenant de trois principaux fournisseurs (OpenAI, Google et Anthropic) à résoudre huit tâches canoniques à effort réel.

Tâches :
L'étude a utilisé huit tâches disponibles dans le dépôt Otree, couvrant un spectre de demandes perceptives, arithmétiques et de raisonnement :

1. Addition : Somme de trois entiers.
2. Comptage de Zéros : Comptage des zéros dans un tableau binaire de 15×10.
3. Décodage de Lettres : Décodage d'une chaîne de caractères à l'aide d'un tableau de correspondance lettre-chiffre.
4. Somme de Paires de Nombres : Identification d'une paire de nombres dans une grille de 4×4 dont la somme est égale à 10,0.
5. Complétion de Séquence : Prédiction de l'élément suivant dans une séquence mathématique.
6. Sudoku : Résolution d'une grille partiellement remplie de 6×6.
7. Texte Déformé : Transcription d'une chaîne alphanumérique de 12 caractères à partir d'une image déformée.
8. Saisie de Chaîne : Reproduction d'une chaîne de 9 caractères de caractères spéciaux à partir d'une image.

Configuration Expérimentale :

• Modèles : 23 modèles allant des niveaux légers (par exemple, Haiku, Flash Lite, Nano) aux niveaux de pointe (par exemple, Opus, Pro, GPT-5.4). Tous les modèles prennent en charge les entrées multimodales.
• Procédure : Les tâches ont été rendues sous forme de pages HTML avec images. Les entrées ont été envoyées via l'API OpenRouter. Chaque modèle a effectué 20 exécutions indépendantes par tâche.
• Notation : Les réponses ont été notées comme correctes uniquement si elles correspondaient exactement à la vérité terrain ; aucun crédit partiel n'a été accordé.
• Traitements : Un plan factoriel 2×2 a testé la sensibilité des LLM aux incitations verbales et au cadrage de la persona :
  • T0 (Contrôle) : Prompt neutre.
  • T1 : Persona standard, aucune incitation monétaire.
  • T2 : Persona standard, incitation monétaire verbale (0,50 $ par réponse correcte).
  • T3 : Persona humaine, aucune incitation monétaire.
  • T4 : Persona humaine, incitation monétaire verbale.
• Analyse des Coûts : L'étude a calculé le coût total de l'API par tâche en fonction de l'utilisation des jetons d'entrée/sortie et des tarifs des fournisseurs, en le comparant aux taux à la pièce typiques des expériences en ligne (0,25 $ par réponse correcte).

Contributions et Résultats Clés

1. Difficulté des Tâches et Susceptibilité à l'Automatisation

La performance varie considérablement selon le type de tâche.

• Fortement Automatisables : Les tâches impliquant de petites entrées structurées et des opérations élémentaires (Addition, Somme de Paires de Nombres, Décodage de Lettres, Complétion de Séquence) sont résolues avec une précision quasi parfaite (90–100 %) par la plupart des modèles.
• Tâches Résistantes : Les tâches nécessitant une recherche visuelle complexe, un dénombrement ou un raisonnement combinatoire (Sudoku, Comptage de Zéros, Saisie de Chaîne) restent difficiles, avec des précisions allant de 25 % à 37 % même pour les modèles de premier plan.
• Intermédiaires : La transcription de texte déformé se situe au milieu (77,4 %), limitée par le bruit perceptif plutôt que par le raisonnement pur.

2. Performance des Modèles et Évolution

• Niveau vs Fournisseur : La performance est déterminée principalement par le niveau du modèle (par exemple, Opus/Pro vs Sonnet/Flash) plutôt que par le fournisseur. Les modèles de premier plan atteignent une précision moyenne supérieure à 80 %, tandis que les modèles de niveau intermédiaire atteignent environ 60 %.
• Amélioration Rapide : Les nouvelles versions surpassent systématiquement leurs prédécesseurs au sein d'un même niveau. Les gains les plus significatifs sont observés dans les niveaux intermédiaires, suggérant que l'ensemble des modèles capables d'automatiser ces tâches s'élargit rapidement et devient plus accessible.
• Sélection Stratégique (Cherry-Picking) : Un agent stratégique sélectionnant le modèle le plus performant pour chaque tâche spécifique pourrait atteindre une précision moyenne de 93,1 %, nettement supérieure à l'utilisation d'un seul modèle (82,5 %). Cela implique que même les tâches « résistantes » peuvent être résolues à des taux élevés si l'agent possède la connaissance pour sélectionner l'outil optimal.

3. Viabilité Économique de la Substitution

La substitution de l'effort humain par des LLM est économiquement dominante.

• Efficacité des Coûts : Même les modèles les plus coûteux testés coûtent moins de 0,40 $ par tâche (20 exécutions). Les modèles moins chers coûtent moins de 0,05 $.
• Gain Net : À un taux à la pièce conservateur de 0,25 $ par réponse correcte, chaque modèle testé génère un gain net positif (allant d'environ 2,66 $à 3,92$ par tâche).
• Conclusion : Remplacer les participants humains par des LLM n'est pas seulement faisable, mais hautement rentable pour un agent à la recherche de profits.

4. Insensibilité aux Incitations et à la Persona

• Aucun Effet : Les offres verbales d'incitations monétaires ou les instructions de « se comporter comme un humain » n'ont eu aucun effet statistiquement significatif sur la performance des LLM.
• Mécanisme : Contrairement aux humains, les LLM n'ont pas de « marge d'effort » à ajuster en fonction des rendements marginaux. Leur processus computationnel est fixé par l'architecture et l'invite ; le texte de l'invite n'altère pas la procédure d'inférence sous-jacente.
• Potentiel Diagnostique : L'absence d'effets d'apprentissage, de fatigue ou de réactivité aux incitations chez les LLM fournit un outil diagnostique potentiel. Un profil de précision plat sur des essais répétés, combiné à une variance stable, peut signaler une complétion automatisée plutôt que humaine.

Importance et Recommandations

L'article établit une condition limite pour l'utilisation des tâches à effort réel dans des contextes non supervisés : lorsque les participants peuvent externaliser à bas coût l'accomplissement de la tâche vers un LLM, la performance observée peut ne plus refléter un effort humain authentique. Les auteurs soutiennent que la validité de construit de ces tâches est compromise à l'ère de l'IA.

Sur la base de ces résultats, les auteurs proposent trois recommandations pratiques pour les chercheurs :

1. Sélection des Tâches : Privilégier les tâches nécessitant des compétences perceptives (par exemple, comptage de zéros, saisie de chaîne) par rapport à celles purement computationnelles (par exemple, addition) lorsque l'authenticité des participants est une préoccupation, car les LLM actuels éprouvent plus de difficultés avec les premières.
2. Filtrage par Incitations : Utiliser le langage des incitations comme dispositif de filtrage en demandant aux participants d'effectuer des tâches similaires avec et sans incitations monétaires ; un comportement divergent peut aider à distinguer les humains des LLM.
3. Surveillance Dynamique : Surveiller les dynamiques au sein de la session, car l'absence de schémas humains caractéristiques d'apprentissage et de fatigue peut aider à identifier les réponses automatisées.

L'étude conclut que, alors que les LLM continuent de s'améliorer, en particulier dans les modèles de niveau intermédiaire, l'ensemble des tâches à effort réel vulnérables à l'automatisation s'étendra probablement, nécessitant une réévaluation de la manière dont l'effort est mesuré en économie expérimentale.