Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics
이 논문은 기존 설문조사로는 측정할 수 없는 직업의 인지적 과업 내용을 정량화하기 위해 대규모 언어 모델 (LLM) 을 유효한 측정 도구로 활용하는 이론적·실무적 기반을 제시하고, 이를 통해 증강과 대체라는 두 가지 차원을 포착하는 새로운 인적자본 지수를 개발하여 노동경제학 및 광범위한 분야에서 대규모 의미 콘텐츠 정량화의 가능성을 입증했습니다.
경제학자들은 직업이 가진 **'인지적 능력'**이나 'AI 에 의해 대체될 가능성' 같은 눈에 보이지 않는 개념 (잠재 변수) 을 연구하고 싶어 합니다. 하지만 기존의 방법은 한계가 있었습니다.
전문가 패널: 비싸고 느리며, 사람마다 평가 기준이 달라서 일관성이 없습니다. (예: 100 명의 요리사가 "이 요리는 얼마나 창의적인가?"를 평가하면 결과가 제각각일 수 있음)
단순 키워드: "컴퓨터"라는 단어가 있다고 해서 무조건 AI 와 관련이 있는 건 아닙니다. (예: "컴퓨터를 켠다"와 "컴퓨터를 프로그래밍한다"는 완전히 다름)
2. 해결책: AI 를 '정직한 심판관'으로 세우다
저자는 **"거대한 언어 모델 (LLM)"**을 새로운 측정 도구로 사용하자고 제안합니다. AI 는 수많은 직업 설명과 기술 문서를 읽었기 때문에, 인간의 전문가 못지않게 (심지어 더 빠르고 저렴하게) 직업의 성격을 분석할 수 있다는 것입니다.
하지만 중요한 건 **"AI 가 만든 점수가 진짜로 믿을 만한가?"**입니다. 이를 증명하기 위해 저자는 4 가지 검증 기준을 세웠습니다.
🛡️ 4 가지 검증 기준 (AI 점수가 믿을 만한 이유)
중립성 (Semantic Exogeneity):
비유: 요리 평가자가 "이 요리의 가격이 얼마인가?"를 보지 않고, 오직 "맛과 향"만 보고 점수를 매기는 것.
의미: AI 가 점수를 매길 때, 임금이나 고용 같은 '결과'를 보지 않고 오직 '업무 내용' 자체만 보게 해야 합니다. 그래야 편향되지 않습니다.
관련성 (Construct Relevance):
비유: 새로운 체중계가 기존에 알려진 정확한 체중계와 비슷한 수치를 보여줄 때.
의미: AI 가 만든 점수가 기존에 알려진 다른 신뢰할 만한 지표들과 잘 맞아떨어져야 합니다.
일관된 방향성 (Monotonicity):
비유: 체중계가 1kg 이 늘어날 때마다 숫자가 1 씩 올라가야 한다는 것.
의미: AI 점수가 높을수록 '대체 가능성'이나 '보완 가능성'이 실제로 더 높다는 것을 의미해야 합니다.
모델 불변성 (Model Invariance):
비유: 다른 두 명의 심판관 (예: AI 모델 A 와 B) 이 같은 요리를 평가했을 때, 절대적인 점수는 다를 수 있어도 "어느 요리가 더 맛있는지" 순위는 같아야 한다.
의미: 다른 AI 모델을 써도 직업들의 순위는 비슷하게 나와야 신뢰할 수 있습니다.
🧪 실제 실험: "증강 인간 자본 지수 (AHCo)" 만들기
저자는 이 이론을 실제로 적용해 보았습니다.
데이터: 미국의 O*NET(직업 정보 데이터베이스) 에 있는 18,796 개의 업무 설명을 AI (Claude Haiku) 에게 분석시켰습니다.
결과: AI 가 매긴 점수는 기존에 유명한 6 가지 AI 영향력 지표들과 **매우 높은 상관관계 (약 0.85)**를 보였습니다. 즉, AI 가 만든 점수가 현실을 잘 반영한다는 뜻입니다.
재미있는 발견: AI 분석을 통해 **'대체 (Substitution)'**와 **'보완 (Augmentation)'**은 완전히 다른 두 가지 차원이라는 것을 밝혀냈습니다.
대체: AI 가 인간을 완전히 대체하는 경우 (예: 단순 반복 작업)
보완: AI 가 인간의 능력을 도와주는 경우 (예: 의사 진단 보조) 이 두 가지는 서로 다른 성질이라는 것을 AI 가 잘 구분해냈습니다.
📉 통계적 검증: "실수 (오차) 를 보정하다"
AI 가 완벽하지는 않습니다. 가끔 다른 AI 모델이 같은 업무를 보고 다른 점수를 매기기도 하죠.
비유: 두 개의 자 (AI 모델) 로 길이를 재면 1cm 씩 차이가 날 수 있습니다. 하지만 이 차이가 무작위적으로 발생한다면, 통계학적인 방법 (ORIV) 으로 그 오차를 보정하면 진짜 길이를 정확히 알 수 있습니다.
결론: 이 논문에 따르면, AI 가 만든 데이터의 오차는 통계학적으로 보정 가능한 '고전적 오차' 구조를 따릅니다. 즉, 이 데이터를 경제 분석에 써도 된다는 뜻입니다.
💡 왜 이 연구가 중요한가? (요약)
비용과 시간의 혁명: 예전에는 전문가들이 수개월 동안 조사해야 했던 일을, AI 는 6 시간 만에 5 달러 (약 7,000 원) 정도로 해냈습니다.
새로운 도구: 이제 경제학자들은 눈에 보이지 않는 '직업의 성질'을 정량적으로 측정할 수 있는 강력한 도구를 갖게 되었습니다.
범용성: 이 방법은 노동 경제학뿐만 아니라, 법률 문서 분석, 정책 평가, 기업 보고서 분석 등 텍스트로 된 복잡한 개념을 측정해야 하는 모든 분야에 적용 가능합니다.
한 줄 요약:
"이 논문은 AI 를 단순히 채팅하는 친구가 아니라, **경제학자들이 눈에 보이지 않는 개념을 정밀하게 측정할 수 있는 '신뢰할 만한 자'**로 쓸 수 있음을 수학적으로 증명하고, 그 사용법을 안내하는 매뉴얼입니다."
1. 연구 배경 및 문제 제기 (Problem)
경제학, 특히 노동경제학에서는 많은 핵심 변수가 잠재적 (Latent) 이어서 직접 관찰이나 설문조사, 행정 기록으로 측정하기 어렵다는 고질적인 문제가 존재합니다. 대표적인 예로 직업의 인지적 내용 (예: 금융 분석가의 업무 중 routine 정보 처리와 상황적 판단의 비율, 간호사의 진단적 추론과 문서화 작업의 AI 증강 가능성 등) 이 있습니다.
기존의 측정 방법론들은 다음과 같은 한계를 가집니다:
전문가 패널 (O*NET 등): 비용이 많이 들고 느리며, 새로운 구성개념에 대한 평가자 간 신뢰도 (Inter-rater reliability) 가 낮음.
크라우드소싱: 빠르지만 비전문가 노이즈가 발생함.
특허 기반 매칭: 직접적인 작업 내용 대신 기술적 능력을 간접적으로 대변함.
단순 키워드 매칭: AI 에 의한 '대체 (Substitution)'와 '증강 (Augmentation)'을 구분하는 세밀한 의미적 뉘앙스를 포착하지 못함.
이 논문은 이러한 한계를 극복하기 위해 대형 언어 모델 (LLM) 을 잠재적 경제 변수를 측정하는 계량경제학적 도구 (Instrument) 로 사용하는 체계적인 대안을 제시합니다.
2. 방법론 및 이론적 프레임워크 (Methodology & Theoretical Framework)
저자는 LLM 이 생성한 점수가 잠재 변수 (H∗) 의 유효한 측정치 (Noisy Measure) 가 되기 위해 충족해야 할 4 가지 유효성 조건을 형식화했습니다.
의미적 외생성 (Semantic Exogeneity): LLM 프롬프트는 직업 작업의 의미적 내용 (기술, 활동 등) 만을 참조해야 하며, 임금, 고용, 생산성 등 노동 시장 결과 변수를 언급해서는 안 됩니다. (프롬프트와 결과 오차항의 공분산이 0 이어야 함).
구성개념 관련성 (Construct Relevance): LLM 점수는 잠재 변수와 양의 상관관계를 가져야 합니다. 이는 수렴 타당성 (Convergent validity), 예측 타당성, 외관 타당성 (Face validity) 을 통해 검증됩니다.
모델 불변성 (Model Invariance): 서로 다른 LLM 모델 (예: Haiku vs Sonnet) 을 사용하더라도 직업 간 순위 (Ranking) 는 일관되어야 합니다. (절대적 점수 차이는 허용되나 순위는 유지되어야 함).
응용 사례:
Augmented Human Capital Index (AHCo): O*NET 의 18,796 개 작업 문장을 Claude Haiku 4.5 를 통해 'AI 증강 가능성'과 '대체 위험'으로 점수화하여 직업별 지수를 구성했습니다.
검증: 6 가지 기존 AI 노출 지수 (Felten, Eloundou, Webb 등) 와 비교 분석하고, 두 개의 다른 LLM 모델 (Haiku vs Sonnet) 을 사용한 교차 검증 및 ORIV(Obviously Related Instrumental Variables) 추정을 수행했습니다.
3. 주요 기여 (Key Contributions)
이론적 정립: LLM 을 계량경제학적 도구로 사용할 때의 4 가지 유효성 조건을 수학적으로 정의하고 검증 가능한 기준으로 제시했습니다.
실증적 평가: 구체적인 지수 (AHCo) 를 개발하여 207 개 직업에 대해 6 가지 기존 지수와 비교, 수렴 및 판별 타당성을 입증했습니다.
계량경제적 특성 규명: LLM 점수 간의 불일치가 '고전적 측정 오차 (Classical Measurement Error)' 구조를 따르며, 이를 보정하기 위해 ORIV 추정이 유효함을 증명했습니다.
4. 주요 결과 (Key Results)
가. 타당성 검증 (Validity)
수렴 타당성: AHCo 지수는 가장 유사한 기존 지수인 Eloundou GPT-γ 와 상관계수 0.85, Felten AIOE 와 0.79의 높은 상관관계를 보였습니다.
판별 타당성: '증강 (Augmentation)'과 '대체 (Substitution)'는 서로 다른 차원임을 확인했습니다. (Eloundou 직접 자동화 지수와의 상관은 0.17 로 낮음).
PCA 분석: 11 개 AI 노출 지수에 대한 주성분 분석 (PCA) 결과, 두 가지 주요 차원 (일반적 AI 인지 관련성, 증강 vs 대체) 이 존재함이 확인되었으며, AHCo 는 주로 '증강' 차원에 부하 (Loading) 되었습니다.
나. 신뢰도 및 측정 오차 (Reliability & Measurement Error)
평가자 간 신뢰도: Haiku 와 Sonnet 모델 간의 교차 검증 (n=3,666) 에서 Pearson 상관계수 0.76, Krippendorff's α0.71을 기록하여 신뢰할 만한 수준을 달성했습니다.
모델 불변성: 모델 간 절대적 점수 차이 (Systematic level bias) 는 존재했으나 (Sonnet 이 평균 8.6 점 높음), 직업 간 순위는 강력하게 보존되었습니다.
측정 오차 구조: 모델 간 불일치는 고전적 측정 오차 (Classical Attenuation) 와 일치하며, 이를 보정할 수 있음을 증명했습니다.
다. 계량경제적 추정 (Econometric Estimation)
ORIV 보정: Sonnet 점수를 Haiku 점수의 도구변수로 사용하여 ORIV 추정을 수행한 결과, OLS 추정치보다 25% 더 큰 계수가 도출되었습니다. 이는 측정 오차로 인한 감쇠 편향 (Attenuation Bias) 이 보정되었음을 의미합니다.
OLS (Haiku): +0.080
ORIV (Haiku, Sonnet as IV): +0.100
외부 IV (기존 연구): +0.234
예측 타당성: AHCo 지수는 기존 자동화 위험 지수 (Frey-Osborne) 와 보완적인 정보를 제공하여 wage 방정식의 설명력 (R2) 을 추가로 0.86%p 향상시켰습니다.
라. 프롬프트 민감도 (Prompt Sensitivity)
다양한 프롬프트 변형 (4 가지) 을 테스트한 결과, 프롬프트에 따른 절대적 점수 변화는 있었으나, 직업 간 순위는 robust 하게 유지되었습니다.
5. 의의 및 시사점 (Significance)
비용 - 품질의 혁신: 18,796 개의 작업 문장을 점수화하는 데 약 5 달러와 6 시간이 소요되었으며, 이는 O*NET 의 기존 전문가 패널 조사 (수개월 소요, 고비용) 에 비해 비용 효율성이 극대화되었습니다.
범용성: 이 방법론은 노동경제학을 넘어 계약 분석, 정책 평가, 사법적 추론, 기업 공시 분석 등 문서의 의미적 내용을 대규모로 정량화해야 하는 모든 분야에 적용 가능합니다.
실무 가이드라인: 연구자들은 LLM 을 측정 도구로 사용할 때 (1) 결과 변수가 아닌 의미적 내용만 프롬프트에 포함하고, (2) 최소 2 개 이상의 모델을 사용하여 교차 검증하며, (3) 점수를 표준화하고 ORIV 를 활용하여 측정 오차를 보정할 것을 권고합니다.
결론
이 논문은 LLM 을 단순한 텍스트 생성 도구를 넘어, 잠재적 인지 변수를 측정하는 엄밀한 계량경제학적 도구로 격상시켰습니다. 제시된 4 가지 유효성 조건과 실증적 검증 (높은 신뢰도, 측정 오차 보정 가능성) 을 통해, LLM 기반 측정법이 기존 방법론의 한계를 극복하고 노동경제학 및 관련 분야에서 새로운 표준이 될 수 있음을 입증했습니다.