기술 요약: 언어 모델의 경제적 평가

문제 정의

프런티어 AI의 경제적 영향은 산업 리더들과 경제학자들 사이에서 GDP 성장 및 일자리 대체에 관한 상충하는 예측이 존재함에 따라 매우 불확실한 상태로 남아 있습니다. 이러한 불확실성의 주요 원인은 기존 AI 벤치마크와 실제 노동 경제에서 수행되는 과업 간의 불일치입니다. 현재의 벤치마크는 수학 및 코딩(노력의 39.7%)과 같은 도메인에 과도하게 집중되어 있는데, 이는 미국 직업의 극히 일부(3.5%)만을 차지합니다. 또한, OpenAI의 GDPval과 같은 기존 경제 평가 방식은 커버리지(미국 직업의 약 5%만 포함)가 제한적이고 비용이 지나치게 높다는 단점이 있습니다. 아울러, 모델의 역량은 급격히 향상되고 있음에도 불구하고, 전체 업무 활동 스펙트럼 전반에 걸쳐 현재의 구체적인 모델 역량을 바탕으로 노동 시장의 영향에 대한 추론을 뒷받침할 수 있는 인프라가 부족한 실정입니다.

방법론

저자들은 미국 노동 경제 전반에 걸친 언어 모델(LM)의 역량을 측정하기 위해 설계된 오픈 소스 평가 스위트인 ECONEVALS를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소로 구축되었습니다.

1. 분류 체계 및 데이터 그라운딩(Data Grounding)

본 평가는 1,016개의 직업을 2,087개의 세부 업무 활동(DWA) 및 18,796개의 구체적인 과업으로 매핑하는 미국 노동부의 O*NET 분류 체계에 근거합니다. 실제 사용 사례를 반영하기 위해 저자들은 다단계 검색 파이프라인을 채택했습니다.

• 실제 데이터: WildChat, LMSys, Chatbot Arena에서 450만 개의 공개 사용자 챗봇 대화 데이터를 수집했습니다.
• 검색 파이프라인: 비용 관리를 위해 임베딩 기반 검색을 사용하여 유망한 DWA를 식별한 후, 언어 모델을 이용한 계층적 분류(hierarchical triage)를 통해 대화를 업무 카테고리로 분류했습니다. 이 접근 방식은 높은 정밀도(0.91)를 달성하는 동시에 전체 분류 대비 비용을 약 300배 절감했습니다.
• 합성 데이터: 공개 데이터가 부족한 나머지 93%의 DWA를 보완하기 위해 시뮬레이션 기반의 합성 데이터 생성 파이프라인을 개발했습니다. 여기에는 특정 시간 절감 시나리오를 정당화하는 프롬프트를 생성하기 위해 작업자 페르소나와 인터뷰어 역할을 수행하는 과정이 포함되며, 현실성과 답변 가능성을 보장하기 위해 LM을 통한 검증 과정을 거칩니다.

2. 벤치마킹

이 스위트는 226개의 벤치마크를 통해 10개의 다양한 모델(OpenAI, Google, Anthropic 및 오픈 소스 모델 포함)을 평가합니다.

• 실제 사용자 쿼리에 기반한 143개의 DWA 수준 벤치마크.
• 합성 데이터에 기반한 40개의 DWA 수준 벤치마크.
• GDPval과 정렬된 43개의 직업 수준 벤치마크.
• 스코어링: 평가 대상 모델을 참조 모델(o3-mini)과 비교하여 이진 선호도(더 나음, 더 나쁨, 동일함 등)를 도출하는 언어 모델 판사(judge)를 사용하여 점수를 산출합니다.

3. 시뮬레이션 기반 노출 측정

정적인 벤치마크를 넘어, 저자들은 시간 절감을 추정하기 위한 화이트박스 시뮬레이션 기반 노출 측정법을 도입했습니다. 고정된 역량 목록을 가정하는 "블랙박스" 루브릭 기반 측정 방식과 달리, 이 방법은 다음과 같이 작동합니다.

• 작업자가 특정 과업을 완료하기 위해 LM 챗봇을 사용하는 과정을 시뮬레이션합니다.
• 과업을 세분화된 단계로 분해합니다.
• 단계별 기준 시간을 추정하고, 각 단계에서 현재 LM 역량에 의해 기여할 수 있는 시간 절감량을 계산합니다.
• 이러한 절감량을 합산하여 과업 수준의 노출 점수를 산출하며, 특정 병목 현상(예: 개인정보 보호 제약, 물리적 상호작용 요구사항, 독점 시스템 등)을 식별하는 추론 트레이스를 함께 제공합니다.

주요 결과

벤치마크 성능

• 커버리지 및 비용: GDPval의 직업 커버리지가 5% 미만인 것에 비해, ECONEVALS는 합성 데이터를 통해 미국 직업의 100%를, 실제 데이터를 통해 DWA의 6.9%(상한선 38.6%)를 커버합니다. ECONEVALS 벤치마크 생성 비용은 $1,000 미만으로 추정되며, 이는 GDPval의 $500,000 이상과 대조됩니다.
• 모델 차별화: 경제 벤치마크는 가공되지 않은 공개 사용 데이터보다 모델 성능의 변동성을 더 크게 유도합니다. 예를 들어, gpt-oss-120B는 가공되지 않은 사용 데이터에서는 공동 1위를 기록했으나, 경제 벤치마크에서는 다른 모델들을 명확한 차이로 앞질렀습니다.
• 예측 타당성: 합성 벤치마크는 겹치는 직업에 대해 GDPval 점수와 0.67의 스피어먼 상관관계를 보였으며, GDPval 결과를 예측하는 데 있어 일반적인 역량 벤치마크보다 우수한 성능을 보였습니다.

노출 및 채택 격차

• 잠재적 시간 절감: 현재 모델은 **미국 직업의 46.6%**에서 작업자에게 상당한 시간(≥50%의 과업)을 절감해 줄 수 있습니다.
• 채택 지연: 높은 예상 노출도에도 불구하고, 상당한 시간 절감이 예측되는 과업의 **79.4%**는 Anthropic의 Claude 데이터에서 관찰된 사용량이 거의 없거나 전혀 없었습니다.
• 병목 현상: 시뮬레이션 기반 분석 결과, 시간 절감을 가로막는 주요 장벽은 단순한 LM의 내재적 한계(물리적 상호작용 등)가 아니라, 구체적으로 개인정보 보호 제약과 독점 시스템인 것으로 나타났습니다. 루브릭 기반 측정 방식은 "물리적으로 불가능한" 과업과 "가능하지만 개인정보/독점 시스템에 의해 차단된" 과업을 구분하지 못합니다.

의의 및 주장

본 논문은 AI 역량과 노동 시장 영향 사이의 간극을 메우기 위한 기초 인프라를 제공한다고 주장합니다. 그 의의는 다음과 같습니다.

1. 경제적 추론의 그라운딩: 경제적 평가를 추상적인 역량 목록에서 현재 모델 성능에 기반한 과업 수준의 시뮬레이션으로 전환합니다.
2. 확장성 및 투명성: 비용이 많이 드는 폐쇄형 벤치마크에 대한 저비용 오픈 소스 대안을 제공하여, 모델과 경제가 진화함에 따라 지속적인 업데이트가 가능하도록 합니다.
3. 실제 장벽 식별: 시간 절감을 분해함으로써, 역량과 채택 사이의 격차가 기술적 미성숙함보다는 조직적, 규제적 요인(개인정보 보호, 독점 시스템)에 의해 발생한다는 것을 밝혀냅니다.
4. 실행 가능한 통찰력: 저자들은 시뮬레이션된 작업자 상호작용의 기초 데이터를 공개함으로써, 실제 인간 작업자들이 현재의 언어 모델로부터 이점을 더 잘 얻어내는 방법을 발견하는 데 도움이 될 것이라고 주장합니다.

저자들은 기술적 범위가 현재의 LM 챗봇에 국한되고, 경제적 범위가 현재의 미국 노동 경제에 국한된다는 점을 인정하며 신중한 태도를 유지합니다. 이들은 미래의 GDP 성장을 예측하는 것이 아니라, 현재의 시간 절감 잠재력과 이를 실현하는 데 방해가 되는 구체적인 병목 현상을 이해하는 데 필요한 측정 도구를 제공하는 것을 목적으로 합니다.