Resumo Técnico: LLMs como Instrumentos para Variáveis Cognitivas Latentes na Economia do Trabalho

1. O Problema de Pesquisa

A economia enfrenta um desafio persistente de medição: muitas variáveis centrais à teoria são latentes, ou seja, não podem ser observadas diretamente em pesquisas, registros administrativos ou dados de mercado. Um exemplo canônico é o conteúdo cognitivo das tarefas ocupacionais.

• Limitações das abordagens atuais:
  • Painéis de especialistas (ex: O*NET): Caros, lentos e com baixa confiabilidade interavaliador para novos construtos.
  • Anotação via crowdsourcing: Rápida, mas introduz ruído de não especialistas.
  • Correspondência baseada em patentes: Oferece um proxy indireto através da capacidade tecnológica, não do conteúdo da tarefa.
  • Correspondência de palavras-chave: Falha em capturar nuances semânticas (ex: distinguir se uma tarefa é substituída ou aumentada por IA).

O artigo propõe uma alternativa sistemática: utilizar Modelos de Linguagem Grandes (LLMs) como instrumentos de medição para variáveis econômicas latentes, especificamente para quantificar o conteúdo cognitivo das tarefas com um nível de granularidade impossível de alcançar com instrumentos existentes.

2. Metodologia e Estrutura Teórica

2.1. O Quadro Teórico: Condições de Validade

O autor formaliza quatro condições sob as quais uma pontuação gerada por LLM constitui um instrumento válido para variáveis latentes em análises de regressão:

1. Exogeneidade Semântica: O prompt de pontuação deve referenciar apenas o conteúdo semântico das tarefas (descrições, habilidades), e não resultados de mercado de trabalho (salários, emprego). Formalmente, a covariância entre o erro de medição e o erro da equação de resultado deve ser zero.
2. Relevância do Construto: A pontuação do LLM deve estar correlacionada com a variável latente. Isso é estabelecido através de validade convergente (correlação com outras medidas), validade preditiva e validade de face.
3. Monotonicidade: Pontuações mais altas do LLM devem corresponder a uma maior presença da variável latente, garantindo que o sinal dos coeficientes de regressão seja interpretável.
4. Invariância do Modelo: A classificação (ranking) das ocupações deve ser consistente entre diferentes modelos de LLM, mesmo que existam deslocamentos sistemáticos nos níveis absolutos das pontuações.

2.2. Aplicação Empírica: O Índice de Capital Humano Aumentado (AHCo)

O framework é aplicado para medir a "augmentabilidade" (potencial de aumento) das tarefas ocupacionais por IA Generativa.

• Dados: 18.796 declarações de tarefas únicas do O*NET (versão 30.2).
• Modelos:
  • Claude Haiku 4.5: Avaliou todas as tarefas (pontuação de augmentação e risco de substituição).
  • Claude Sonnet 4: Reavaliou uma subamostra de 20% (n = 3.666) para verificar confiabilidade.
  • GPT-4o-mini: Utilizado para comparação entre famílias de modelos.
• Cálculo do Índice: Média ponderada pela importância das pontuações de augmentação em nível de ocupação.

3. Principais Contribuições

1. Formalização Teórica: Estabelece as condições formais para o uso de LLMs como instrumentos econométricos, superando a visão de que eles são apenas geradores de texto.
2. Validação Empírica Abrangente: Valida o índice AHCo contra seis índices existentes de exposição à IA (incluindo Felten AIOE, Eloundou GPT exposure, Webb, Frey-Osborne, etc.).
3. Caracterização do Erro de Medição: Demonstra que a discordância entre modelos segue uma estrutura de erro de medição clássico, permitindo correções econométricas padrão, como a estimação ORIV (Obviously Related Instrumental Variables).

4. Resultados Chave

4.1. Validade Convergente e Discriminante

• Convergência: O índice AHCo apresenta forte correlação com as melhores medidas existentes:
  • $r = 0,85$ com o índice Eloundou $\gamma$ (exposição combinada).
  • $r = 0,79$ com o índice Felten AIOE.
• Discriminação: O índice mostra baixa correlação ($r = 0,21$) com medidas de automação direta (Eloundou $\alpha$), confirmando que "augmentação" e "substituição" são construtos distintos.

4.2. Dimensionalidade (Análise de Componentes Principais - PCA)

A PCA de 11 índices revela duas dimensões dominantes:

1. PC1 (62% da variância): Relevância cognitiva geral da IA (todos os índices carregam positivamente).
2. PC2 (15% da variância): Eixo "Augmentação vs. Substituição". O AHCo carrega negativamente neste eixo, enquanto índices de risco de automação carregam positivamente, validando teoricamente que o AHCo captura especificamente o potencial de aumento.

4.3. Confiabilidade Interavaliador (Inter-Rater Reliability)

• Acordo entre Modelos (Haiku vs. Sonnet):
  • Correlação de Pearson: $r = 0,76$.
  • Coeficiente $\alpha$ de Krippendorff (ajustado à média): $0,71$ (acima do limiar de 0,7 para confiabilidade aceitável).
  • Viés de Nível: O Sonnet pontuou em média 8,6 pontos a mais que o Haiku, mas o ranking das ocupações foi preservado. O viés sistemático não afeta coeficientes de regressão se as pontuações forem padronizadas.
• Comparação entre Famílias (Claude vs. GPT): A confiabilidade é moderada entre famílias diferentes ($r \approx 0,43$), sugerindo que modelos da mesma família são preferíveis para instrumentação cruzada.

4.4. Propriedades Econométricas e Correção de Viés

• Estrutura de Erro: A discordância entre modelos confirma a presença de erro de medição clássico (atenuação).
• Estimação ORIV: Ao usar a pontuação do Sonnet como instrumento para a do Haiku (e vice-versa) em uma equação de Mincer aumentada:
  • O coeficiente ORIV foi 25% maior que o OLS ($0,100$ vs $0,080$), corrigindo o viés de atenuação.
  • O resultado ORIV alinha-se com estimativas de IV externo de estudos anteriores.
• Validade Preditiva: O AHCo adiciona poder preditivo complementar ao índice Frey-Osborne, explicando uma variância adicional de 0,86 pontos percentuais no salário.

4.5. Sensibilidade ao Prompt

Análises de sensibilidade mostram que, embora a escala absoluta varie com diferentes formulações de prompt, o ranking das ocupações permanece robusto. A variância induzida pelo prompt é menor que a variância inerente às tarefas em si.

5. Significado e Generalização

Impacto na Economia do Trabalho

O estudo demonstra que LLMs podem superar painéis de especialistas em custo e velocidade, mantendo ou superando a qualidade da medição.

• Custo-Eficiência: Pontuar 18.796 tarefas custou aproximadamente US$ 5 e levou 6 horas, comparado a meses de trabalho de painéis de especialistas para o O*NET.

Generalização para Outras Áreas

A metodologia não se limita à economia do trabalho. É aplicável a qualquer domínio onde o conteúdo semântico de documentos, políticas ou instituições precise ser quantificado em escala, desde que:

1. A variável latente seja definida pelo conteúdo semântico do texto.
2. A variável não possa ser pesquisada diretamente em escala.
3. Múltiplos LLMs possam fornecer classificações independentes.

Aplicações potenciais citadas:

• Análise de contratos (cláusulas protetivas vs. exploratórias).
• Avaliação de políticas públicas (orientação à inovação, carga regulatória).
• Raciocínio judicial (qualidade e consistência de decisões).
• Divulgações financeiras (informatividade vs. obscuridade).

Conclusão

O artigo estabelece um novo padrão para a medição de variáveis cognitivas latentes na economia. Ao formalizar condições de validade e demonstrar empiricamente que os escores de LLMs podem ser corrigidos para erros de medição via ORIV, o trabalho abre caminho para uma nova geração de pesquisas empíricas que utilizam a inteligência artificial não apenas como objeto de estudo, mas como uma ferramenta fundamental de medição econométrica.