Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

1. El Problema: La Medición de Variables Latentes

La economía enfrenta un problema persistente de medición: muchas variables teóricamente fundamentales son latentes, es decir, no pueden observarse directamente en encuestas, registros administrativos o datos de mercado.

• Ejemplo central: El contenido cognitivo de las tareas ocupacionales. Preguntas como "¿cuánto del trabajo de un analista financiero implica procesamiento de información rutinaria versus juicio contextual?" o "¿cuán aumentable es el razonamiento diagnóstico de una enfermera por la IA?" son difíciles de responder con instrumentos existentes.
• Limitaciones de los enfoques actuales:
  • Paneles de expertos (O*NET): Costosos, lentos y con baja fiabilidad inter-evaluador para constructos nuevos.
  • Anotación crowdsourced: Rápida pero introduce ruido de no expertos.
  • Emparejamiento basado en patentes: Proporciona un proxy indirecto de capacidad tecnológica, no del contenido de la tarea.
  • Búsqueda de palabras clave: No captura matices semánticos (ej. distinguir entre sustitución y aumento por IA).

2. Metodología y Marco Teórico

El paper propone un marco sistemático para utilizar Modelos de Lenguaje Grande (LLMs) como instrumentos de medición econométricos para variables latentes.

A. Condiciones de Validez (El Marco Teórico)

El autor formaliza cuatro condiciones bajo las cuales una puntuación generada por un LLM constituye un instrumento válido ($\hat{H}_{LLM}$) para una variable latente ($H^*$):

1. Exogeneidad Semántica: El prompt de puntuación debe referirse únicamente al contenido semántico de las tareas (descripciones, habilidades), nunca a resultados del mercado laboral (salarios, empleo). Esto asegura que el error de medición no esté correlacionado con el término de error de la ecuación de resultados.
2. Relevancia del Constructo: La puntuación del LLM debe estar correlacionada con la variable latente. Esto se verifica mediante validez convergente (correlación con otras medidas), validez predictiva y validez de cara (revisión experta).
3. Monotonicidad: Puntuaciones más altas del LLM deben corresponder a una mayor presencia de la variable latente, asegurando que el signo de los coeficientes de regresión sea interpretable.
4. Invarianza del Modelo: La clasificación (ranking) de las ocupaciones debe ser consistente entre diferentes modelos de LLM, incluso si existen sesgos de nivel (diferencias en la media absoluta).

B. Aplicación Empírica: Índice de Capital Humano Aumentado (AHCo)

• Datos: 18,796 declaraciones de tareas únicas de O*NET (versión 30.2).
• Modelo Principal: Claude Haiku 4.5.
• Procedimiento: Se evalúa el potencial de aumento y el riesgo de sustitución por IA generativa. El índice a nivel de ocupación es un promedio ponderado por importancia.
• Validación Cruzada: Una submuestra (20%, n=3,666) fue re-puntuada independientemente por Claude Sonnet 4 para evaluar la fiabilidad inter-evaluador (entre modelos).

3. Contribuciones Clave

1. Formalización Teórica: Establece las condiciones formales para usar LLMs como instrumentos econométricos, superando la simple demostración de que "pueden generar puntuaciones".
2. Evaluación Empírica Exhaustiva: Valida el índice AHCo contra seis índices existentes de exposición a la IA (Felten, Eloundou, Webb, Frey-Osborne, Eisfeldt) en 207 ocupaciones.
3. Caracterización del Error de Medición: Demuestra que el desacuerdo entre modelos sigue una estructura de error de medición clásico (atenuación), lo que permite correcciones econométricas estándar como la estimación ORIV (Instrumentos de Variables Obviamente Relacionadas).

4. Resultados Principales

Validez y Confiabilidad

• Validez Convergente: El índice AHCo muestra una correlación muy fuerte con las mejores medidas existentes ($r = 0.85$ con Eloundou $\gamma$, $r = 0.79$ con Felten AIOE).
• Validez Discriminante: Correlación baja ($r = 0.17-0.21$) con medidas de sustitución directa (automatización pura), confirmando que "aumento" y "sustitución" son constructos distintos.
• Fiabilidad Inter-evaluador (Modelos):
  • Correlación Pearson entre Haiku y Sonnet: $r = 0.76$.
  • Alfa de Krippendorff (ajustado por media): $\alpha = 0.71$ (supera el umbral de 0.7).
  • Invarianza: Aunque Sonnet tiene un sesgo de nivel sistemático (+8.6 puntos), el ranking de las ocupaciones se mantiene. La estandarización elimina este sesgo para regresiones.
• Sensibilidad al Prompt: El análisis de varianza muestra que la varianza a nivel de tarea domina sobre la varianza inducida por el prompt. Diferentes formulaciones de prompts mantienen la consistencia en el ranking.

Análisis Dimensional (PCA)

El Análisis de Componentes Principales revela dos dimensiones distintas en las medidas de exposición a la IA:

1. PC1 (62% de varianza): Relevancia cognitiva general de la IA (todos los índices cargan positivamente).
2. PC2 (15% de varianza): Eje de Aumento vs. Sustitución. El índice AHCo carga negativamente en este eje (representando aumento), mientras que las medidas de sustitución cargan positivamente.

Propiedades Econométricas y Corrección de Sesgo

• Estructura de Error: El desacuerdo entre modelos confirma un error de medición clásico.
• Estimación ORIV: Al usar las puntuaciones de Sonnet como instrumento para las de Haiku (y viceversa) en una ecuación de Mincer aumentada:
  • El coeficiente ORIV es un 25% mayor que el OLS ($0.100$ vs $0.080$), corrigiendo el sesgo de atenuación.
  • El resultado es consistente con estimaciones de IV externas previas.
  • El estadístico F de primera etapa es extremadamente alto ($F = 111,917$), confirmando la fuerza del instrumento.

Validez Predictiva

En una "carrera de caballos" (horse race) de regresión, el AHCo y el índice de Frey-Osborne aportan información complementaria. Juntos aumentan el $R^2$ en 0.86 puntos porcentuales más que las variables de control por separado.

5. Significado e Implicaciones

• Cambio de Paradigma en Medición: La metodología representa un salto en la frontera costo-calidad. Puntuar 18,796 tareas costó aproximadamente $5 USD y tomó 6 horas, en comparación con los meses y costos de los paneles de expertos tradicionales.
• Generalizabilidad: El enfoque no se limita a la economía laboral. Es aplicable a cualquier dominio donde el contenido semántico de documentos, políticas o instituciones deba cuantificarse a escala (ej. análisis de contratos, evaluación de políticas públicas, razonamiento judicial, divulgaciones financieras).
• Estándar Futuro: A medida que los LLMs mejoren, la fiabilidad aumentará, pero las cuatro condiciones de validez propuestas (exogeneidad semántica, relevancia, monotonicidad, invarianza) se establecen como el estándar necesario para validar cualquier instrumento basado en IA en investigación económica.

Conclusión: El paper demuestra que los LLMs, cuando se utilizan bajo un marco riguroso de validación y corrección de errores de medición, son instrumentos superiores y viables para medir variables cognitivas latentes que antes eran inaccesibles para la econometría empírica.