Are Economists Open to AI? Text as Data as Survey on Professional Sentiment and Academic Research Trends

Resumo Técnico: "Text as Data as Survey" (TaDaS)

Problema de Pesquisa
As pesquisas tradicionais para medir atitudes profissionais enfrentam diversas restrições: são dispendiosas, lentas para serem atualizadas, difíceis de reconstruir retrospectivamente e vulneráveis ao viés de autopercepção, particularmente quando as perguntas são sensíveis ou ligadas ao status. Por outro lado, embora a internet ofereça arquivos abundantes de texto naturalmente ocorrido (postagens, comentários, publicações), esses dados brutos são ruidosos, fracamente estruturados, selecionados pela plataforma e carecem de um framework de perguntas definido pelo pesquisador. Consequentemente, converter texto não estruturado em medidas de atitude comparáveis, semelhantes a uma pesquisa, permanece um desafio metodológico. Este artigo aborda a questão específica de como medir o sentimento profissional em relação à Inteligência Artificial (IA) entre economistas, um tópico onde os dados de pesquisa direta são escassos e a reconstrução retrospectiva é difícil.

Metodologia: O Framework TaDaS
O artigo introduz o TaDaS (Text as Data as Survey), um framework de medição projetado para converter texto naturalmente ocorrido em evidências semelhantes a pesquisas, vinculando um "corpus de perguntas" a um "corpus de respostas" por meio de recuperação semântica entre datasets. O framework opera sob o princípio da extração de informação de dupla eficiência:

1. Extração Eficiente de Perguntas (Corpus de Perguntas):

   • Fonte de Dados: O corpus de perguntas consiste em 1,3 milhão de postagens relacionadas à pesquisa do Economics Job Market Rumors (EJMR), um fórum profissional anônimo.
   • Triagem: Para evitar a comparação de tópicos focais com ruídos de fundo irrelevantes, o framework utiliza agrupamento baseado em densidade hierárquica (HDBSCAN) para filtrar o texto bruto. Isso retém "vizinhanças semânticas focais" (ex: discussões sobre IA) e suas "vizinhanças de comparação" imediatas, enquanto exclui ramos sem tópicos de pesquisa vizinhos (ex: discussões sobre comida ou carros).
   • Objetivo: Isso cria um conjunto de perguntas empíricas com uma estrutura de comparação local, reduzindo o erro de medição decorrente da esparsidade e de textos fracamente informativos.

2. Extração Eficiente de Respostas (Corpus de Respostas):

   • Fonte de Dados: O corpus de respostas compreende 53.585 publicações de elite da economia e finanças (nível ABS 4*). Essas publicações servem como um mapa rotulado da fronteira da pesquisa.
   • Construção de Tópicos: Títulos e resumos são incorporados usando All-RoBERTa Large v1. Vetores de alta dimensão são comprimidos via UMAP e agrupados usando HDBSCAN. Palavras-chave de nível de cluster são recuperadas usando TF-IDF baseado em classe (c-TF-IDF) para definir 32 tópicos de pesquisa distintos (ex: IA, Econometria, Economia de Gênero).
   • Mapeamento: As postagens do fórum são projetadas nos centros de tópicos derivados das publicações via similaridade de cosseno em um espaço semântico compartilhado. Isso gera medidas contínuas de exposição ao tópico em vez de rótulos rígidos, permitindo que uma postagem seja parcialmente relacionada a múltiplas dimensões (ex: IA e Machine Learning).

3. Pontuação de Atitude:

   • Mecanismo de Pontuação: Uma vez que as postagens do fórum são filtradas e mapeadas para direções de tópicos específicas, um decodificador de seguimento de instruções (Gemma 3 12B IT) pontua as respostas.
   • Dimensões: O modelo gera pontuações limitadas [0, 1] para seis dimensões de atitude distintas: abertura, negatividade, toxicidade, arrogância, curiosidade e confusão.
   • Validação: O prompt de pontuação é desenhado para alinhar-se à intuição da anotação humana, distinguindo entre engajamento construtivo, rejeição categórica, alarmismo e humor neutro.

Aplicação Empírica e Resultados
O framework é aplicado para analisar as reações dos economistas à IA conforme ela se torna mais visível em periódicos de elite. O estudo constrói uma variável "Tendência de IA" que representa a intensidade anual de publicações relacionadas à IA no corpus de elite.

• Achados Transversais: Em uma comparação estática, discussões relacionadas à IA no EJMR são significativamente menos abertas, menos curiosas e mais negativas, arrogantes e tóxicas em comparação com discussões sobre outros tópicos de pesquisa. Isso sugere uma base de resistência profissional seletiva.
• Achados de Interação Dinâmica: A análise central interage a exposição à IA no lado do fórum com a Tendência de IA no lado da publicação. Os resultados mostram uma mudança favorável em todas as seis dimensões conforme a visibilidade da IA em periódicos de elite aumenta:
  • Mudanças Positivas: Abertura e curiosidade aumentam.
  • Mudanças Negativas: Negatividade, toxicidade, arrogância e confusão diminuem.
  • Interpretação: À medida que a IA ganha visibilidade na fronteira de pesquisa formal, o tom do discurso profissional muda da resistência para o engajamento e a adaptação.

Testes de Robustez
O artigo valida seus achados através de vários testes rigorosos:

• Benchmarks Comparativos: Substituir a IA por "Economia de Plataforma" (um tópico adjacente à tecnologia) e "Economia de Gênero" (um tópico social) revela que o padrão da IA é distinto. Embora a Economia de Plataforma mostre alguns efeitos de mainstreaming similares, a Economia de Gênero não replica a mudança favorável das seis dimensões, sugerindo que a trajetória da IA é única devido à sua natureza dual como objeto de pesquisa e ferramenta de pesquisa.
• Controles Expandidos: O modelo é reestimado controlando simultaneamente para o conjunto completo de 32 exposições de tópicos, tendências e interações. A interação favorável da IA permanece robusta, descartando a possibilidade de que o resultado seja meramente um proxy para mudanças gerais de fronteira.
• Restrição Pré-2023: Observações de 2023 em diante (pós-lançamento público do ChatGPT) são removidas. O padrão de interação favorável persiste na amostra pré-2023, indicando que o resultado não é apenas um artefato da familiaridade direta dos usuários com ferramentas de IA generativa, mas também é impulsionado pelo movimento conjunto com a visibilidade do lado da publicação.

Principais Contribuições e Significância
O artigo reivindica significância tanto nos domínios metodológico quanto substantivo:

1. Contribuição Metodológica: O TaDaS oferece uma arquitetura escalável para recuperar medidas retrospectivas e não reativas de sentimento profissional a partir de arquivos de texto existentes. Ele preenche a lacuna entre o texto não estruturado e evidências semelhantes a pesquisas sem exigir nova coleta de dados, abordando as limitações das pesquisas tradicionais quanto a custo, velocidade e viés de autopercepção.
2. Contribuição Substantiva: O estudo documenta que a resistência profissional à IA não é estática. Descobre-se que, conforme a IA ganha visibilidade em publicações acadêmicas de alto prestígio, o tom do discurso profissional em fóruns anônimos torna-se mais aberto e menos hostil. Isso sugere que o reconhecimento em periódicos de elite pode servir como um mecanismo para reduzir a tensão em torno de novas tecnologias nas comunidades profissionais.
   3.Escopo: O framework é apresentado como generalizável, capaz de vincular fóruns profissionais a patentes, documentos de política ou avaliações de produtos para estudar a difusão de ideias e tecnologias em vários campos.

O artigo conclui que, embora o EJMR não seja uma pesquisa representativa de todos os economistas, ele serve como um valioso arquivo comportamental para observar ansiedade de status, controle de acesso (gatekeeping) e adaptação em escala, desde que a análise foque em padrões de discurso repetidos em vez de crenças privadas médias.