VietJobs: A Vietnamese Job Advertisement Dataset

이 논문은 베트남 전역의 34 개 주에서 수집된 48,092 개의 구직 공고로 구성된 대규모 공개 데이터셋 'VietJobs'을 소개하고, 이를 기반으로 직업 분류 및 급여 추정 과제를 수행한 생성형 LLM 들의 성능을 평가하여 베트남 NLP 및 노동 시장 분석 연구의 새로운 기준을 제시합니다.

핵심

1. 새로운 도서관 개관: 'VietJobs' (베트남 잡스)

베트남에는 수많은 구인광고가 인터넷에 떠돌아다닙니다. 하지만 이전까지는 이 광고들이 너무 흩어져서, 연구자들이 "어, 이 광고가 어떤 직종이야?", "월급은 얼마일까?"라고 분석하기가 정말 어려웠습니다. 마치 책이 없는 도서관이나, 책이 있지만 정리되지 않아서 찾을 수 없는 도서관 같았죠.

이 연구팀은 48,092 개의 구인광고를 모아서 **'VietJobs'**라는 거대한 디지털 도서관을 지었습니다.

• 규모: 이 도서관에는 1,500 만 단어 이상의 텍스트가 들어있습니다.
• 범위: 베트남의 34 개 주와 도시, 모든 산업 분야 (영업, 공학, 의료 등 16 가지) 를 다룹니다.
• 특징: 단순히 글만 있는 게 아니라, 직무 분류, 월급 정보, 근무 형태 등 마치 **색인 (인덱스)**이 잘 되어 있어 찾기 쉽도록 정리했습니다.

2. 도서관 사서들의 시험: AI 가 이 책을 읽을 수 있을까?

이제 이 거대한 도서관을 제대로 이해할 수 있는 **'AI 사서 (대형 언어 모델, LLM)'**들을 불러모아 시험을 보았습니다. 두 가지 주요 과제를 주었죠.

과제 1: "이 광고는 어떤 직종이야?" (직무 분류)

• 상황: AI 에게 구인광고 내용을 보여주고, "이건 '영업'이야, '공학'이야, 아니면 '의료'야?"라고 맞추게 했습니다.
• 시험 방식:
  • 무작정 맞추기 (Zero-shot): 예시 없이 바로 맞혀보게 함.
  • 예시 보고 맞추기 (Few-shot): 몇 가지 예를 보여주고 패턴을 익혀서 맞혀보게 함.
  • 공부하고 맞추기 (Fine-tuned): 이 데이터로 직접 학습시켜서 맞혀보게 함.
• 결과: Qwen2.5와 Llama-SEA-LION이라는 AI 들이 특히 잘했습니다. 특히 예시를 몇 개만 보여줘도 (Few-shot) 금방 패턴을 파악해서 정답을 맞췄습니다. 반면, 베트남어에 특화된 일부 AI 는 오히려 무작정 맞추기에서 더 잘하기도 했습니다. (이는 거대한 다국어 데이터를 배운 AI 가 언어의 맥락을 더 잘 이해한다는 뜻입니다.)

과제 2: "이 직무의 월급은 얼마일까?" (월급 예측)

• 상황: "이 회사는 어디에 있고, 어떤 직원을 뽑으며, 경험이 얼마나 필요한지"를 보고 **월급 (베트남 동, VND)**을 예측하게 했습니다.
• 결과:
  • 아무것도 배우지 않고 맞추기 (Zero-shot) 는 월급을 예측하는 데 실패했습니다. (월급은 숫자이고 맥락이 중요하기 때문입니다.)
  • 하지만 **다른 데이터까지 합쳐서 학습 (Fine-tuned)**시키니 정확도가 확 올라갔습니다.
  • 특히 Llama-SEA-LION이라는 AI 가 가장 똑똑하게 월급을 예측했습니다. 동남아시아 지역의 언어와 문화적 뉘앙스를 잘 이해하고 있기 때문입니다.

3. 왜 이 연구가 중요할까요? (일상적인 비유)

이 연구는 단순히 데이터를 모은 것을 넘어, 베트남의 노동 시장을 거울처럼 비추는 도구를 만든 것입니다.

• 공정한 채용을 위한 거울: 구인광고에 "여자는 안 됩니다", "젊어야 합니다" 같은 편견이 숨어있을 수 있습니다. 이 AI 를 이용하면 그런 편견을 찾아내어 더 공정한 채용 환경을 만들 수 있습니다.
• 월급의 투명성: "협상 가능"이라고만 적혀 있는 월급을 AI 가 분석하면, 실제 시장 가격이 얼마인지 알 수 있어 구직자들이 더 유리한 협상을 할 수 있습니다.
• 저자원 언어의 승리: 영어는 데이터가 넘쳐서 AI 가 잘하지만, 베트남어는 그렇지 않았습니다. 이 연구는 베트남어라는 '작은 언어'도 AI 시대에 잘 따라갈 수 있다는 것을 증명했습니다.

4. 한 줄 요약

"베트남의 구인구직 시장을 정리한 거대한 데이터 도서관을 만들고, 그곳을 가장 잘 읽는 AI 사서들을 찾아낸 연구입니다. 이 기술은 앞으로 더 공정한 채용과 정확한 월급 분석을 가능하게 할 것입니다."

이 연구는 AI 가 단순히 글을 읽는 것을 넘어, 사회의 경제적 흐름을 이해하고 돕는 도구가 될 수 있음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

• 데이터 부재: 베트남의 노동 시장과 채용 언어를 분석하기 위한 대규모, 잘 주석 처리된 공개 데이터셋이 부족합니다. 기존 연구는 주로 영어 등 고자원 언어에 집중되어 있으며, 베트남어는 톤 (tone) 구조, 복합 어형성, 영어와의 코드 스위칭 (code-switching) 등으로 인해 NLP 처리가 어렵고 데이터가 희소합니다.
• 사회적 편향 및 불투명성: 온라인 채용 플랫폼의 구인 공고에는 성별, 연령, 외모 등에 대한 명시적 언급이 포함되어 있어 고용 기회와 임금에 영향을 미칠 수 있으나, 이를 체계적으로 분석할 자료가 부족합니다. 또한, 임금 정보가 불완전하거나 일관성이 없어 예측 모델 개발에 한계가 있었습니다.
• 기존 데이터셋의 한계: 기존에 존재하던 베트남어 구인 공고 데이터셋 (예: Kaggle 의 Vietnam Jobs Dataset) 은 전체 텍스트 설명이 누락되거나 직업 분류 체계가 표준화되지 않아 NLP 기반 분석에 적합하지 않았습니다.

2. 방법론 (Methodology)

• 데이터 수집 (Data Collection):
  • 소스: 베트남 전역 (34 개 성 및 시) 의 주요 온라인 채용 플랫폼인 'TopCV'에서 2025 년 7 월에 수집되었습니다.
  • 규모: 총 48,092 개의 구인 공고, 1,500 만 단어 이상의 텍스트로 구성되었습니다.
  • 기술 스택: 오픈소스 크롤링 프레임워크인 Crawl4AI를 사용하여 HTML 템플릿을 파싱하고, GPT-4o 및 Gemini 2.5와 같은 LLM 을 활용하여 비정형 데이터를 구조화된 형식 (직무 제목, 카테고리, 급여, 기술 등) 으로 추출했습니다.
• 데이터 전처리 및 표준화:
  • 직업 분류 체계: 원본 플랫폼의 24 가지 카테고리 중 의미 중복이 있는 항목을 통합하여 ISCO-08, O*NET, ESCO 표준에 기반한 16 가지 직종 카테고리 (예: 영업, 제조, IT 등) 로 재정의했습니다.
  • 급여 정보: 급여를 '최소', '최대', '평균' (월 단위, 백만 동) 의 정량적 필드로 정규화했습니다. 전체 공고의 약 71.5% 에 명시된 급여 범위를 포함합니다.
• 실험 설계:
  • 작업: 두 가지 핵심 태스크인 **직무 카테고리 분류 (Job Category Classification)**와 **급여 추정 (Salary Estimation)**을 수행했습니다.
  • 모델 평가: Hugging Face 의 다양한 생성형 LLM (Qwen2.5, Llama-SEA-LION, PhoGPT 등) 을 대상으로 Zero-shot, Few-shot, Fine-tuned 설정에서 성능을 비교 평가했습니다.
  • 파인튜닝: LoRA (Low-Rank Adaptation) 를 사용하여 효율적으로 모델을 파인튜닝했으며, 데이터는 학습 (80%), 개발 (10%), 테스트 (10%) 로 분할되었습니다.

3. 주요 기여 (Key Contributions)

• VietJobs 데이터셋 공개: 베트남어 NLP 및 노동 시장 분석을 위한 최초의 대규모 공개 코퍼스입니다. 48,092 개의 공고와 1,500 만 단어 이상의 텍스트를 포함하며, 지역적, 직업적, 사회경제적 다양성을 포괄합니다.
• 구조화된 메타데이터: 단순 텍스트뿐만 아니라 직무 카테고리, 급여 범위, 고용 유형 (정규/비정규/인턴), 지역 정보 등 구조화된 정보를 제공하여 정량적 분석을 가능하게 합니다.
• 벤치마크 설정: 다양한 LLM 을 사용한 직무 분류 및 급여 추정 태스크에 대한 벤치마크를 수립하여, 베트남어 특화 모델과 다국어 모델의 성능 차이를 실증적으로 분석했습니다.
• 윤리적 준수: 수집 과정은 robots.txt 정책을 준수하며, 개인 식별 정보 (PII) 는 포함되지 않았고 기관의 윤리 심의 승인을 받았습니다.

4. 실험 결과 (Results)

• 직무 분류 (Job Classification):
  • 성과: Qwen2.5-7B-Instruct가 Zero-shot(정확도 0.31) 과 Few-shot(정확도 0.47) 설정에서 가장 일관된 성능을 보였습니다.
  • 통찰: 대규모 다국어 사전 학습을 거친 모델이 베트남어 특화 모델 (PhoGPT 등) 보다 일반화 능력과 지시 따르기 (instruction-following) 측면에서 더 우수한 성능을 보였습니다. 파인튜닝은 Few-shot 프롬프팅만큼의 성능 향상을 보이지는 않았습니다.
• 급여 추정 (Salary Estimation):
  • 성과: Llama-SEA-LION-v3-8B-IT가 모든 설정에서 가장 강력하고 일관된 결과를 보였습니다. (Zero-shot RMSE 11.72, Few-shot RMSE 10.65).
  • 데이터 영향: 베트남어 전용 데이터셋 (VietJobs) 과 기존 데이터셋 (Vietnam Jobs Dataset) 을 결합하여 파인튜닝한 경우 모델의 예측 정확도가 가장 크게 향상되었습니다 (RMSE 감소, $R^2$ 증가). 이는 데이터의 다양성이 급여 패턴 학습에 중요함을 시사합니다.
  • 모델 비교: 지역적 언어 컨텍스트에 특화된 모델 (Llama-SEA-LION, Sailor2) 이 글로벌 모델이나 순수 베트남어 모델보다 우수한 성능을 보였습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • 베트남어 NLP 연구의 저자원 (low-resource) 한계를 해소하고, 채용 언어의 사회적 편향, 지역적 차이, 노동 시장 동향을 분석할 수 있는 기초 자료를 제공합니다.
  • AI 기반 노동 시장 분석 및 채용 프로세스 자동화를 위한 표준 벤치마크를 제시합니다.
• 한계:
  • 데이터가 단일 플랫폼 (TopCV) 에서만 수집되어 비공식 고용이나 특정 산업이 누락될 수 있습니다.
  • 급여 정보가 일부 누락되거나 반올림된 경우가 있어 정확도에 영향을 줄 수 있습니다.
• 향후 과제:
  • 다양한 플랫폼과 시계열 데이터를 추가하여 데이터 범위를 확장할 계획입니다.
  • 검색 증강 생성 (RAG) 이나 도메인 적응 전학습 (Domain-adaptive pretraining) 과 같은 고급 모델링 기법을 적용할 예정입니다.
  • 전통적인 머신러닝 기법 (TF-IDF + 로지스틱 회귀 등) 과 LLM 기반 방법론의 체계적인 비교 연구를 수행할 것입니다.

이 논문은 베트남어 NLP 커뮤니티에 중요한 자원을 제공하며, 동남아시아의 노동 시장 분석과 AI 응용 연구에 새로운 방향을 제시합니다.