Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

기술 요약: 구인 공고를 기반으로 AI 기술 및 업무에 대한 맞춤형 분류 체계 구축

문제 제기
인공지능 (AI) 과 관련된 노동 시장의 급속한 진화는 기술 및 업무의 변화를 추적하기 위한 개방적이고 세분화된 분류 체계의 생성을 필요로 합니다. 독점적 분류 체계가 존재하지만, 데이터 접근 제한과 표준화 부재로 인해 인력 개발 및 교육 설계와 같은 공공재로서의 활용도가 제한됩니다. 대규모 언어 모델 (LLM) 이 방대한 텍스트 코퍼스 (예: 구인 공고) 로부터 분류 체계를 자동화할 수 있는 경로를 제공하지만, 이러한 대규모 데이터를 최적으로 활용하는 방법에 대한 이해에는 여전히 중요한 격차가 존재합니다. 구체적으로, 데이터 증강을 통해 더 많은 데이터를 포함하는 것이 데이터 엄격 필터링보다 도메인별 커버리지와 명확성을 더 잘 제공하는지 여부는 불분명합니다. 이전 연구들은 소규모 데이터셋에 집중하거나 시드 분류 체계에 의존하여, 대규모 비정형 코퍼스를 위한 설계 매개변수의 체계적 평가는 미개척 상태로 남아 있습니다.

방법론: TAXONOMYBUILDER
저자들은 대규모 비정형 구인 공고 텍스트를 계층적 분류 체계로 변환하도록 설계된 체계적인 파이프라인인 TAXONOMYBUILDER를 제안합니다. 이 방법은 세 가지 주요 단계로 운영됩니다:

1. 설정 및 컨텍스트 마이닝:

   • 후보 추출: 시스템은 590 개의 AI 관련 키워드로 구성된 큐레이션 목록을 사용하여 키워드 기반 검색을 수행하여 방대한 구인 공고 코퍼스에서 후보 문장을 추출합니다.
   • 점수 매기기 및 필터링: 오탐지 (예: "torch"를 용접 도구로 오인하거나 라이브러리로 오인하는 경우) 를 완화하기 위해, 문장 임베딩과 키워드 임베딩 간의 코사인 유사도를 기반으로 한 하이브리드 방법을 사용하여 후보에 점수를 매깁니다. 안정성을 위해 세 가지 임베딩 모델 (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) 의 평균을 사용합니다.
   • 구성 변수: 본 연구는 세 가지 주요 설계 결정을 조사합니다:
     • 데이터 증강: 코퍼스에서 의미적으로 유사한 문장을 후보 세트에 추가합니다 (임계값 > 0.9).
     • 백분위 필터링: 노이즈를 줄이기 위해 점수가 매겨진 후보 중 상위 25 백분위, 50 백분위, 또는 75 백분위만 유지합니다.
     • 소프트 클러스터링: 클러스터에 적합하지 않은 "노이즈" 포인트를 가장 가까운 클러스터 중심점으로 재할당합니다.

2. 기반 형성 (리프 레벨):

   • 클러스터링: 후보 문장은 HDBSCAN 을 사용하여 클러스터링됩니다 (UMAP 을 사용하여 10 차원으로 차원 축소).
   • 생성적 라벨링: LLM(GPT-4o-mini) 이 각 클러스터에 대한 간결한 라벨을 생성하여 후보 문장을 요약합니다.
   • 가지치기: 생성된 라벨은 유사도 기반 검사를 거칩니다; 매우 유사한 라벨 (코사인 유사도 > 0.95) 은 중복을 제거하기 위해 집계됩니다.

3. 상향식 구축 (계층적 구성):

   • 이 과정은 수직적으로 반복됩니다: 현재 수준의 라벨이 다음 수준의 클러스터링 및 라벨링을 위한 입력으로 사용됩니다.
   • 라벨 수가 임계값 (기본값 10) 미만으로 떨어지거나 최대 깊이 (기본값 5) 에 도달할 때까지 이 과정이 중단됩니다.

데이터셋
본 파이프라인은 두 개의 대규모 미국 구인 공고 코퍼스에서 평가되었습니다:

• NLx: 2024~2025 년의 3,212 만 건의 구인 공고.
• USAJOBS: 2017~2023 년의 154 만 건의 연방 구인 공고.
  각 코퍼스에서 가장 최근 데이터의 일부는 외부 타당성 평가를 위한 테스트 세트로 홀드아웃되었습니다.

평가 지표
저자들은 24 가지 실험 구성 (데이터셋당 12 가지) 에 걸쳐 다면적 평가 전략을 적용했습니다:

• 클러스터링 품질: 클러스터 정의를 측정하기 위한 실루엣 점수.
• LLM-as-a-Judge: LLM(GPT-5.4-Nano) 이 네 가지 범주에서 분류 체계를 평가했습니다: 명확성 (정밀도, 모호성, 일관성, 접근성), 계층적 일관성, 직교성 (구별성, 중첩 부재), 그리고 완전성 (커버리지, 깊이, 균형).
• 도메인 커버리지: 결과 분류 체계 라벨이 홀드아웃된 구인 문장을 AI 관련으로 분류하는 정도를 측정했습니다. 여기에는 다양한 유사도 임계값 ($\tau$) 에서의 "관대" (적어도 하나의 LLM 이 동의함) 및 "엄격" (두 LLM 이 모두 동의함) 커버리지율과 함께 "라벨 활용" 지수가 포함되었습니다.

주요 결과
팩토리얼 ANOVA 를 통해 분석된 실험 결과는 역설적인 발견을 보여줍니다: "적은 것이 더 많다 (Less is more)."

• 데이터 증강: 더 많은 데이터가 커버리지를 향상시킨다는 직관과 달리, 데이터 증강은 엄격한 커버리지율과 라벨 활용을 현저히 감소시켰습니다. 이는 결과 분류 체계의 품질을 저하시키는 노이즈를 도입했습니다.
• 필터링: 더 엄격한 필터링 (더 높은 백분위, 예: 점수의 상위 25 백분위 또는 50 백분위만 유지) 은 일반적으로 클러스터 적합도, 직교성, 라벨 활용을 향상시켰습니다.
• 소프트 클러스터링: 소프트 클러스터링 (노이즈 포인트 재할당) 은 데이터 증강이 사용되지 않을 때만 유익했습니다. 증강과 결합될 경우 유의미한 개선을 제공하지 않았습니다.
• 상충 관계: 연구는 평가 임계값의 엄격도에 따라 데이터 포함과 커버리지 성능 간의 역관계를 확인했습니다. 더 크고 노이즈가 많은 분류 체계 (낮은 필터링) 는 매우 높은 유사도 임계값 (예: $\tau=0.9$) 에서 더 잘 수행되었지만, 더 간결하고 필터링된 분류 체계는 더 잘 정의된 개념으로 인해 더 낮은 임계값 (예: $\tau=0.6$) 에서 더 우수한 성과를 거두었습니다.

기여 및 의의
본 논문은 네 가지 주요 기여를 합니다:

1. 체계적 조사: 대규모 도메인에서 자동화된 분류 체계 구축을 위한 최적의 데이터 사용 (증강 대 필터링) 에 대한 미개척된 질문에 대응합니다.
2. TAXONOMYBUILDER: 비정형 텍스트로부터 계층적 분류 체계를 구축하는 일반화 가능한 오픈 소스 파이프라인을 도입하며, AI 직장 기술이라는 복잡한 도메인에서 이를 시연합니다.
3. 실증적 증거: 무제한적인 데이터 포함보다 신중한 증강, 엄격한 클러스터링, 선택적 필터링이 더 포괄적이면서도 간결한 분류 체계를 산출한다는 명확한 권장 사항을 제공합니다.
4. 오픈 리소스: 저자들은 추가 연구와 인력 개발을 지원하기 위해 구축된 AI 기술 분류 체계와 TAXONOMYBUILDER 도구 (Python 패키지와 GitHub 에서 이용 가능) 를 공개합니다.

결론
저자들은 방대한 데이터 코퍼스가 분류 체계 구축을 위한 비옥한 기반을 제공하지만, 무분별한 데이터 포함은 해로울 수 있다고 결론지었습니다. 본 연구는 선택적 필터링과 노이즈의 신중한 처리가 고품질, 해석 가능, 도메인 관련 분류 체계를 생성하는 데 필수적인 "적은 것이 더 많다"는 철학을 옹호합니다. 이 연구는 이러한 발견이 사례별 특성을 가지며, 향후 연구는 설계 상충 관계를 계속 탐구하고 실제 세계 일반화를 위한 평가 지표를 공식화해야 한다고 경고합니다.