Resumen Técnico: Esfuerzo Artificial

Enunciado del Problema

Las tareas de esfuerzo real son una herramienta metodológica fundamental en la economía experimental, diseñadas para medir el esfuerzo humano, el rendimiento, la fatiga y la respuesta a los incentivos al exigir a los participantes que realicen actividades cognitivamente costosas. La validez de estas tareas se basa en un supuesto crítico, a menudo implícito: que el agente que completa la tarea es humano.

Con la rápida difusión de los Modelos de Lenguaje Grande (LLM) y su creciente capacidad en el razonamiento multimodal, este supuesto es cada vez más inseguro, particularmente en entornos en línea no supervisados (por ejemplo, mercados laborales en línea, experimentos basados en la web). Si los LLM pueden resolver tareas canónicas de esfuerzo real con alta precisión a un costo marginal insignificante, estas tareas podrían dejar de funcionar como medidas del esfuerzo humano. En cambio, podrían medir inadvertidamente el acceso a modelos de IA capaces, comprometiendo la validez de constructo y permitiendo potencialmente un "moldeado de tareas" malicioso para obtener ingresos. Si bien la literatura previa ha explorado la IA en la generación de encuestas, existe una falta de evidencia directa sobre si los LLM de última generación pueden resolver eficazmente las tareas específicas de esfuerzo real utilizadas rutinariamente por los economistas.

Metodología

Los autores realizaron una evaluación exhaustiva (benchmark) de la capacidad de 23 LLM de última generación de tres proveedores principales (OpenAI, Google y Anthropic) para resolver ocho tareas canónicas de esfuerzo real.

Tareas:
El estudio utilizó ocho tareas disponibles en el repositorio Otree, que abarcan un espectro de demandas perceptivas, aritméticas y de razonamiento:

1. Suma: Sumar tres enteros.
2. Contar Ceros: Contar ceros en una tabla binaria de 15×10.
3. Decodificación de Letras: Decodificar una cadena utilizando una tabla de mapeo de letras a dígitos.
4. Suma de Pares de Números: Identificar un par de números en una cuadrícula de 4×4 que sumen 10.0.
5. Completar Secuencia: Predecir el siguiente elemento en una secuencia matemática.
6. Sudoku: Resolver una cuadrícula de 6×6 parcialmente llena.
7. Texto Distorsionado: Transcribir una cadena alfanumérica de 12 caracteres desde una imagen distorsionada.
8. Ingreso de Cadena: Reproducir una cadena de 9 caracteres de caracteres especiales desde una imagen.

Configuración Experimental:

• Modelos: 23 modelos que abarcan desde niveles ligeros (por ejemplo, Haiku, Flash Lite, Nano) hasta de vanguardia (por ejemplo, Opus, Pro, GPT-5.4). Todos los modelos admiten entradas multimodales.
• Procedimiento: Las tareas se renderizaron como páginas HTML con imágenes. Las entradas se enviaron a través de la API de OpenRouter. Cada modelo realizó 20 ejecuciones independientes por tarea.
• Puntuación: Las respuestas se puntuaron como correctas solo si coincidían exactamente con la verdad fundamental; no se otorgó crédito parcial.
• Tratamientos: Un diseño 2×2 probó la sensibilidad de los LLM a los incentivos verbales y al encuadre de la personalidad:
  • T0 (Control): Prompt neutral.
  • T1: Personalidad estándar, sin incentivo monetario.
  • T2: Personalidad estándar, incentivo monetario verbal ($0.50 por respuesta correcta).
  • T3: Personalidad humana, sin incentivo monetario.
  • T4: Personalidad humana, incentivo monetario verbal.
• Análisis de Costos: El estudio calculó el costo total de la API por tarea basado en el uso de tokens de entrada/salida y los precios del proveedor, comparándolo con las tarifas por pieza típicas de experimentos en línea ($0.25 por respuesta correcta).

Contribuciones y Resultados Clave

1. Dificultad de la Tarea y Susceptibilidad a la Automatización

El rendimiento varía significativamente según el tipo de tarea.

• Altamente Automatizables: Las tareas que involucran entradas pequeñas y estructuradas y operaciones elementales (Suma, Suma de Pares de Números, Decodificación de Letras, Completar Secuencia) se resuelven con una precisión casi perfecta (90–100%) por la mayoría de los modelos.
• Tareas Resistentes: Las tareas que requieren búsqueda visual compleja, enumeración o razonamiento combinatorio (Sudoku, Contar Ceros, Ingreso de Cadena) siguen siendo desafiantes, con precisiones que oscilan entre el 25% y el 37% incluso para los modelos de primer nivel.
• Intermedias: La Transcripción de Texto Distorsionado se sitúa en el medio (77.4%), limitada por el ruido perceptivo más que por el razonamiento puro.

2. Rendimiento del Modelo y Evolución

• Nivel vs. Proveedor: El rendimiento está determinado en gran medida por el nivel del modelo (por ejemplo, Opus/Pro vs. Sonnet/Flash) más que por el proveedor. Los modelos de primer nivel logran una precisión promedio superior al 80%, mientras que los modelos de nivel medio logran aproximadamente el 60%.
• Mejora Rápida: Las versiones más nuevas superan consistentemente a sus predecesoras dentro del mismo nivel. Las ganancias más significativas se observan en los niveles de gama media, lo que sugiere que el conjunto de modelos capaces de automatizar estas tareas se está expandiendo rápidamente y volviéndose más accesible.
• Selección Estratégica (Cherry-Picking): Un agente estratégico que seleccione el modelo de mejor rendimiento para cada tarea específica podría lograr una precisión promedio del 93.1%, significativamente mayor que usar un solo modelo (82.5%). Esto implica que incluso las tareas "resistentes" pueden resolverse a altas tasas si el agente tiene el conocimiento para seleccionar la herramienta óptima.

3. Viabilidad Económica de la Sustitución

La sustitución del esfuerzo humano por LLM es económicamente dominante.

• Eficiencia de Costos: Incluso los modelos más costosos probados cuestan menos de $0.40 por tarea (20 ejecuciones). Los modelos más baratos cuestan menos de $0.05.
• Ganancia Neta: A una tarifa por pieza conservadora de $0.25 por respuesta correcta, cada modelo probado genera una ganancia neta positiva (que oscila entre ~$2.66 y$3.92 por tarea).
• Conclusión: Reemplazar a los participantes humanos con LLM no solo es factible, sino altamente rentable para un agente que busca beneficios.

4. Insensibilidad a los Incentivos y la Personalidad

• Sin Efecto: Las ofertas verbales de incentivos monetarios o las instrucciones para "comportarse como un humano" no tuvieron un efecto estadísticamente significativo en el rendimiento de los LLM.
• Mecanismo: A diferencia de los humanos, los LLM no tienen un "margen de esfuerzo" para ajustar según los rendimientos marginales. Su proceso computacional está fijo por la arquitectura y el prompt; el texto del prompt no altera el procedimiento de inferencia subyacente.
• Potencial Diagnóstico: La ausencia de efectos de aprendizaje, fatiga o respuesta a incentivos en los LLM proporciona una herramienta de diagnóstico potencial. Un perfil de precisión plano a lo largo de ensayos repetidos, combinado con una varianza estable, puede señalar una finalización automatizada en lugar de humana.

Significado y Recomendaciones

El artículo establece una condición límite para el uso de tareas de esfuerzo real en entornos no supervisados: cuando los participantes pueden externalizar económicamente la finalización de la tarea a un LLM, el rendimiento observado puede ya no reflejar un esfuerzo humano genuino. Los autores argumentan que la validez de constructo de estas tareas se ve comprometida en la era de la IA.

Basándose en estos hallazgos, los autores ofrecen tres recomendaciones prácticas para los investigadores:

1. Selección de Tareas: Preferir tareas que requieran habilidades perceptivas (por ejemplo, contar ceros, ingreso de cadenas) sobre las puramente computacionales (por ejemplo, suma) cuando la autenticidad del participante sea una preocupación, ya que los LLM actuales luchan más con las primeras.
2. Filtrado por Incentivos: Utilizar el lenguaje de incentivos como dispositivo de filtrado pidiendo a los participantes que realicen tareas similares con y sin incentivos monetarios; un comportamiento divergente puede ayudar a distinguir a los humanos de los LLM.
3. Monitoreo Dinámico: Monitorear la dinámica dentro de la sesión, ya que la ausencia de patrones humanos característicos de aprendizaje y fatiga puede ayudar a identificar respuestas automatizadas.

El estudio concluye que a medida que los LLM continúen mejorando, particularmente en los modelos de gama media, el conjunto de tareas de esfuerzo real vulnerables a la automatización probablemente se expandirá, haciendo necesaria una reevaluación de cómo se mide el esfuerzo en la economía experimental.