Are Economists Open to AI? Text as Data as Survey on Professional Sentiment and Academic Research Trends

기술 요약: "데이터로서의 텍스트로서의 설문조사" (TaDaS)

문제 제기
전문가적 태도를 측정하기 위한 전통적인 설문조사는 상당한 제약에 직면해 있다: 비용이 많이 들고, 업데이트 속도가 느리며, 사후적으로 재구성하기 어렵고, 특히 민감하거나 지위와 관련된 질문의 경우 자기 제시 편향(self-presentation bias)에 취약하다. 반대로, 인터넷은 자연스럽게 발생하는 텍스트(게시물, 댓글, 출판물)의 풍부한 아카이브를 제공하지만, 이 가공되지 않은 데이터는 노이즈가 많고, 구조가 약하며, 플랫폼에 의해 선택된 것이며, 연구자가 정의한 질문 프레임워크가 결여되어 있다. 결과적으로, 비정형 텍스트를 비교 가능한 설문조사 형태의 태도 척도로 변환하는 것은 방법론적인 과제로 남아 있다. 본 논문은 경제학자들의 인공지능(AI)에 대한 전문적 정서(professional sentiment)를 어떻게 측정할 것인가라는 구체적인 질문을 다룬다. 이 주제는 직접적인 설문 데이터가 부족하고 사후적 재구성이 어려운 영역이다.

방법론: TaDaS 프레임워크
본 논문은 "질문 코퍼스(question corpus)"를 교차 데이터셋의 의미론적 검색을 통해 "답변 코퍼스(answer corpus)"와 연결함으로써, 자연 발생적 텍스트를 설문조사와 유사한 증거로 변환하도록 설계된 측정 프레임워크인 **TaDaS (Text as Data as Survey)**를 소개한다. 이 프레임워크는 이중 효율적 정보 추출 원칙에 따라 작동한다:

1. 효율적 질문 추출 (질문 코퍼스):

   • 데이터 소스: 질문 코퍼스는 익명의 전문가 포럼인 Economics Job Market Rumors (EJMR)에서 수집한 130만 개의 연구 관련 게시물로 구성된다.
   • 스크리닝: 초점 주제를 무관한 배경 노이즈와 비교하는 것을 방지하기 위해, 프레임워크는 계층적 밀도 기반 클러스터링(HDBSCAN)을 사용하여 원문 텍스트를 스크리닝한다. 이는 "초점 의미론적 근접 영역"(예: AI 관련 토론)과 그 즉각적인 "비교 근접 영역"은 유지하되, 연구 주제와 관련된 이웃이 없는 가지(예: 음식이나 자동차에 관한 토론)는 제외한다.
   • 목표: 이를 통해 국소적 비교 구조를 가진 경험적 질문 세트를 생성하여, 희소성 및 정보력이 약한 텍스트로부터 발생하는 측정 오차를 줄인다.

2. 효율적 답변 추출 (답변 코퍼스):

   • 데이터 소스: 답변 코퍼스는 53,585개의 엘리트 경제 및 금융 출판물(ABS 4* 등급)로 구성된다. 이 출판물들은 연구 최전선에 대한 라벨링된 지도로 기능한다.
   • 주제 구축: 제목과 초록은 All-RoBERTa Large v1을 사용하여 임베딩된다. 고차원 벡터는 UMAP을 통해 압축되며, HDBSCAN을 사용하여 클러스터링된다. 클러스터 수준의 키워드는 클래스 기반 TF-IDF(c-TF-IDF)를 사용하여 32개의 뚜렷한 연구 주제(예: AI, 계량경제학, 젠더 경제학)로 복구된다.
   • 매핑: 포럼 게시물은 공유된 의미 공간 내에서 코사인 유사도를 통해 출판물 유래 주제 중심점으로 투영된다. 이는 하드 레이블(hard labels) 대신 연속적인 주제 노출 측도를 산출하여, 하나의 게시물이 여러 차원(예: AI와 머신러닝)에 부분적으로 관련될 수 있도록 한다.

3. 태도 점수 산정:

   • 점수 산정 메커니즘: 포럼 게시물이 스크리닝되고 특정 주제 방향으로 매핑되면, 지시 이행 디코더(Gemma 3 12B IT)가 답변을 채점한다.
   • 차원: 모델은 여섯 가지 뚜렷한 태도 차원에 대해 [0, 1] 범위의 유계 점수를 생성한다: 개방성(openness), 부정성(negativity), 독성(poisonousness), 오만함(arrogance), 호기심(curiosity), 혼란(confusion).
   • 검증: 채점 프롬프트는 인간의 주석 작업 직관과 일치하도록 설계되어, 건설적 참여, 범주적 거부, 공포 조장, 그리고 중립적 유머를 구분한다.

경험적 적용 및 결과
프레임워크는 엘리트 저널에서 AI의 가시성이 높아짐에 따라 경제학자들의 반응을 분석하는 데 적용된다. 본 연구는 엘리트 코퍼스 내 AI 관련 출판물의 연간 강도를 나타내는 "AI 트렌드" 변수를 구축한다.

• 횡단면적 결과: 정적인 비교에서, EJMR의 AI 관련 토론은 다른 연구 주제에 대한 토론에 비해 유의미하게 덜 개방적이고, 덜 호기적이며, 더 부정적이고, 오만하며, 독성적이다. 이는 선택적 전문적 저항의 기저 상태를 시사한다.
• 동적 상호작용 결과: 핵심 분석은 포럼 측의 AI 노출과 출판 측의 AI 트렌드를 상호작용시킨다. 결과는 엘리트 저널 내 AI 가시성이 증가함에 따라 여섯 가지 차원 모두에서 우호적인 변화가 나타남을 보여준다:
  • 긍정적 변화: 개방성과 호기심이 증가한다.
  • 부정적 변화: 부정성, 독성, 오만함, 혼란이 감소한다.
  • 해석: 공식적인 연구 최전선에서 AI의 가시성이 높아짐에 따라, 전문적 담론의 어조는 저항에서 참여와 적응으로 변화한다.

강건성 검증
논문은 다음과 같은 엄격한 테스트를 통해 발견된 내용을 검증한다:

• 비교 벤치마크: AI를 "플랫폼 경제학"(기술 인접 주제) 또는 "젠더 경제학"(사회적 주제)으로 대체했을 때, AI 패턴은 독특함을 드러낸다. 플랫폼 경제학은 일부 유사한 주류화 효과를 보이지만, 젠더 경제학은 여섯 차원의 우호적 변화를 재현하지 못한다. 이는 AI의 궤적이 연구 대상이자 연구 도구라는 이중적 성격에 따른 고유한 것임을 시사한다.
• 확장된 통제 변수: 32개 주제 노출, 트렌드 및 상호작용 전체 세트를 동시에 통제하여 모델을 재추정했다. 우호적인 AI 상호작용은 여전히 강건하게 유지되었으며, 이는 결과가 단순히 일반적인 최전선 변화의 대리 변수(proxy) 때문이 아님을 입증한다.
• 2023년 이전 제한: 2023년 이후(ChatGPT 공개 이후)의 관측치를 제거했다. 우호적인 상호작용 패턴은 2023년 이전 샘플에서도 지속되었으며, 이는 결과가 생성형 AI 도구에 대한 직접적인 사용자 친숙도 때문만이 아니라 출판 측 가시성과의 공동 움직임에 의해 주도됨을 나타낸다.

주요 기여 및 의의
본 논문은 방법론적 및 실질적 영역 모두에서 의의를 주장한다:

1. 방법론적 기여: TaDaS는 기존 텍스트 아카이브로부터 사후적이고 비반응적인(non-reactive) 전문적 정서를 회복하기 위한 확장 가능한 아키텍처를 제공한다. 이는 새로운 데이터 수집 없이도 비정형 텍스트와 설문조사 형태의 증거 사이의 간극을 메우며, 비용, 속도 및 자기 제시 편향과 관련된 전통적 설문조사의 한계를 해결한다.
2. 실질적 기여: 본 연구는 AI에 대한 전문적 저항이 정체되어 있지 않음을 기록한다. 엘리트 학술 출판물에서 AI의 가시성이 높아짐에 따라, 익명 포럼의 전문적 담론의 어조가 더 개방적이고 덜 적대적으로 변한다는 것을 발견했다. 이는 엘리트 저널의 인정을 통한 가시성 확보가 전문 커뮤니티 내의 새로운 기술을 둘러싼 긴장을 완화하는 메커니즘으로 작용할 수 있음을 시사한다.
3. 범위: 이 프레임워크는 전문 포럼을 특허, 정책 문서 또는 제품 리뷰와 연결하여 아이디어와 기술의 확산을 연구할 수 있는 일반화 가능한 것으로 제시된다.

결론적으로, EJMR이 모든 경제학자를 대표하는 설문조사는 아닐지라도, 분석의 초점을 평균적인 사적 신념이 아닌 반복되는 담론 패턴에 둔다면, 규모 있는 상태 불안(status anxiety), 게이트키핑(gatekeeping), 그리고 적응을 관찰할 수 있는 가치 있는 행동 아카이브 역할을 수행한다고 밝힌다.