기술 요약: AI 도입 및 역량에 관한 오픈 소스 경제 지표

문제 정의

생성형 AI에 대한 전 세계적인 투자와 광범위한 조직적 도입에도 불구하고, 특정 노동 과업에 미치는 AI의 세밀한 영향에 관한 실증적 증거는 여전히 불투명하다. AI의 경제적 영향을 측정하는 기존 방식들은 다음과 같은 결정적인 한계를 지닌다:

• 설문 조사: 사회적 바람직성 편향(social desirability bias)으로 인해 과소 보고될 위험이 있다.
• 통제된 실험: 단일 직업군에 국한되는 경우가 많아 광범위한 경제적 관점을 제시하지 못한다.
• 기존 채팅 분석: 사용자-LLM 채팅을 직업적 과업에 매핑하는 기존 연구들(예: Handa et al., Chatterji et al.)은 독점 데이터에 의존하여 재현성을 저해한다. 또한, 단순히 채팅을 분류하는 것만으로는 해당 과업을 수행하는 AI의 실제 성능이나 역량을 측정할 수 없다.
• 역량 벤치마크: 기존 벤치마크(예: GDPval, Remote Labor Index)는 맞춤형으로 생성된 과업이나 인간이 채점한 결과물에 의존하는 경우가 많아 모호성을 유발하고 평가 규모를 제한한다.

따라서 직업별 AI 도입률과 실제 사용 사례에서 관찰되는 특정 과업을 실행하는 AI 에이전트의 기능적 역량을 동시에 측정할 수 있는 오픈 소스 기반의 재현 가능한 프레가임워크가 필요하다.

방법론

저자들은 이러한 격차를 해소하기 위해 두 부분으로 구성된 시스템인 **오픈 소스 경제 지표(Open Source Economic Index)**와 **경제적 역량 벤치마크(Economic Capability Benchmark)**를 제안한다.

1. 오픈 소스 경제 지표 (도입 측정)

이 시스템은 공개적으로 사용 가능한 데이터를 활용하여 어떤 직업 분야가 AI를 활용하고 있는지, 그리고 그 활용의 깊이가 어느 정도인지를 정량화한다.

• 데이터 소스: 본 연구는 비유해(non-toxic) 인간-LLM 상호작용의 집합체인 WildChat-4.8M 데이터셋을 활용한다.
• 필터링 파이프라인:
  1. 언어/고유성: 고유한 영어 채팅만을 필터링한다.
  2. 직업 관련성: gpt-oss-120b를 사용하여 채팅을 "직업 관련성 있음"(업무 또는 전문적 과업과 관련됨)으로 분류한다. 이를 통해 약 789,000개의 관련 채팅을 추출한다.
  3. 의미론적 매핑: 관련 채팅을 O*NET(Occupational Information Network) 과업에 매핑한다.
     • 1단계: 채팅을 단일 요청(request)으로 요약한다.
     • 2단계: Qwen3-Embedding-0.6B를 사용하여 임베딩을 생성하고 O*NET 과업(2,087개의 상세 업무 활동, 332개의 중간 단계, 41개의 업무 활동)에 대해 최근접 이웃 탐색(nearest-neighbor search)을 수행한다.
     • 3단계: gpt-4o-mini를 필터로 사용하여 핵심 기술이나 활동이 채팅과 실제로 겹치는 과업만을 유지한다.
• 집계: 채팅은 과업 수에 따라 가중치가 부여되며, 직업 수준으로 집계되어 표현도(representation)와 침투 깊이(penetment depth) 지수를 생성한다.

2. 경제적 역량 벤치마크 (성능 측정)

이 시스템은 AI 에이전트가 도입 지표에서 확인된 과업들을 자율적으로 또는 협업적으로 실행할 수 있는지 평가한다.

• 시나리오 생성:
  • O*NET 과업과 Smithery의 MCP(Model Context Protocol) 서버를 기반으로 한다.
  • 시스템은 Smithery 서버를 크롤링하고, 도구의 품질을 검증하며, 임베딩을 사용하여 O*NET 과업과 사용 가능한 도구를 의미론적으로 매칭한다.
  • 시나리오는 (직업, 과업, 서버) 튜플로 생성되며, LLM은 특정 도구 호출 답변 키(tool-call answer keys)를 포함한 현실적인 업무 요청을 생성하도록 프롬프트된다.
• 평가 모드:
  • 단일 턴(Single-Turn): 워크플로우의 자율적 실행.
  • 멀티 턴(Multi-Turn): 시뮬레이션된 사용자 에이전트가 핵심 파라미터를 숨겨서, AI가 명확한 질문을 던지도록 요구하는 협업적 실행(역전된 역할 수행).
• 평가 차원 (LLM-as-Judge):
  • 도구 호출 정확도(Tool Call Accuracy): 올바른 도구와 인자(arguments)를 사용하는지에 대한 이진(binary) 체크(기능적 동등성).
  • 워크플로우 완료(Workflow Completion): 다단계 시퀀싱 및 데이터 흐름을 평가하는 1~5 척도.
  • 근거 제시(Grounding): 주장이 도구 출력에 의해 뒷받침되는지 아니면 환각(hallucination)인지 평가하는 1~5 척도.
  • 자율성 및 후속 질문 품질(Autonomy & Follow-up Quality): 멀티 턴 시나리오에 특화된 것으로, 독립성 및 정보 수집 능력을 측정한다.

주요 결과

도입 관련 결과

• 섹터 집중도: AI 도입은 예술, 디자인, 엔터테인먼트, 비즈니스 및 금융, 그리고 컴퓨터 및 수학 분야에서 가장 높게 나타났다.
• 낮은 도입률: 법률 서비스는 다른 화이트칼라 직종에 비해 놀라울 정도로 낮은 LLM 적응력을 보였다.
• 사용 깊이: 도입은 눈에 띄지만, 깊은 침투는 제한적이다. 직업의 75% 이상에서 AI를 사용하는 직업은 단 **0.4%**에 불과했다(기존의 독점적 연구에서의 약 4%와 대조적임).
• 기술 활용: 인지적 기술(글쓰기, 프로그래밍, 비판적 사고, 독해력)이 지표를 주도하고 있다.

역량 관련 결과

저자들은 약 5,000개의 생성된 시나리오를 통해 9개의 고빈도 직업군(예: 프로그래머, 인사 전문가, 저널리스트)을 대상으로 Kimi-k2.5 모델을 테스트했다.

• 거시적 vs 미시적 성능: AI 에이전트는 높은 수준의 워크플로우 완료(평균 점수 ~4.08/5)에서는 강한 역량을 보이지만, 세부적인 디테일에서는 자주 오류를 범한다.
• 도구 호출 정확도: 필요한 도구 호출 중 약 **60%**만이 정확하게 실행되었다. 오류는 주로 환각된 인자(argument)를 사용하거나 필수 파라미터를 누락하는 경우에 발생했다.
• 근거 제시(Grounding): 평균 근거 점수는 ~3.7/5로, 주장이 도구 출력에 의해 뒷받침되지 않는 환각 현상이 무시할 수 없는 수준으로 나타났다.
• 인간 참여(Human-in-the-Loop): 멀티 턴 시나리오에서 사용자 협업은 워크플로우 완료도를 높이지만, 도구 호출 정확도와 근거 제시 능력은 오히려 저하시키는 경향이 있다. 이는 세밀한 단계에서 인간의 감독이 여전히 중요하다는 것을 시사한다.
• 불일치: 이론적 역량(에이전트가 벤치마크에서 할 수 있는 것)은 현재의 실제 도입 깊이보다 앞서는 경우가 많으나, 완전한 직업적 대체는 어려울 것으로 보인다. 협업적 워크플로우가 순수 자율 실행보다 더 효과적이기 때문이다.

의의 및 기여

본 논문은 AI 경제학 및 평가 분야에 다음과 같은 기여를 한다고 주장한다:

1. 재현성: 오픈 소스인 WildChat 데이터셋과 오픈 소스 매핑 파이프라인을 활용함으로써, 저자들은 독점적인 경제 지표에 대한 투명한 대안을 제공하여 AI 도입 트렌드에 대한 독립적인 검증을 가능하게 한다.
2. 세밀한 역량 평가: 이 벤치마크는 단순한 인간 대비 승률이나 정적인 과업을 넘어선다. 이는 O*NET에 기반하고 도구로 매개되는 워크플로우 상에서 에이전트를 평가하며, 자율적 실행과 협업적 조종을 구분한다.
3. 미묘한 노동 시장 통찰: 본 연구는 즉각적이고 완전한 자동화라는 내러티브에 도전한다. AI가 거시적 워크플로우는 처리할 수 있지만, 세밀한 도구 사용에서의 오류와 정확성 및 근거 제시를 위한 인간의 개입 필요성이 노동 영향의 "들쭉날로한 경계(jagged frontier)"를 정의한다고 제안한다.
4. 방법론적 혁신: MCP 서버와 O*NET 분류 체계의 통합은 정적인 맞춤형 과업이 아닌, 현실의 소프트웨어 생태계를 반영하는 확장 가능하고 역동적인 벤치마크를 구축한다.

저자들은 AI 도입이 성장하고 있지만, 높은 수준의 워크플로우 성공도와 도구 실행 및 오류 수정 과정에서의 빈번한 인간 개입 필요성 사이의 간극으로 인해, 상당한 직업 대체 위험은 현재 완화된 상태라고 결론짓는다.