💬 NLP

JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

이 논문은 인력 계획 및 노동 시장 연구를 발전시키기 위해 풍부한 주석과 향상된 신뢰성을 제공하며, 강력한 LLM 추출 파이프라인을 사용하여 가명 처리된 다국어 이력서로부터 도출된 355,000개 이상의 경력 궤적을 포함하는 공개 출시 데이터셋인 JobHop v2를 소개한다.

원저자: Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

게시일 2026-07-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

직업의 세계를 모든 이력서가 하나의 책이 되는 거대하고 무질서한 도서관이라고 상상해 보세요. 수년 동안 연구자들은 사람들이 한 직업에서 다른 직업으로 어떻게 이동하는지 이해하려고 노력했지만, 이 "책"들이 서로 다른 언어로 쓰여 있고, 형식이 이상하며, 컴퓨터가 읽을 수 없는 낙서들로 가득 차 있기 때문에 난관에 봉착했습니다. 그것은 마치 찢어진 손글씨 메모만을 가지고 도시의 지도를 만들려는 것과 같았습니다.

이전에는 이용 가능한 지도가 아주 작거나(수천 개의 메모 수준), 가짜 데이터로 만들어졌거나, 혹은 다른 사람이 열 수 없는 개인적인 금고 안에 잠겨 있었습니다. "JobHop v1"이라는 초기 시도가 있었지만, 약간 결함이 있었습니다. 때때로 컴퓨터가 무질서한 메모 때문에 혼란을 느껴 사용할 수 없는 깨진 파일을 내뱉곤 했습니다.

JobHop v2의 등장: 거대한 인공지능(AI) 두뇌를 탑로한 새롭고 매우 똑똑한 사서가 등장했습니다. 연구진은 이 AI에게 벨기에 플랑드르 공공고용서비스(VDAB)에서 가져온 약 440,000개의 실제 익명화된 이력서 뭉치를 주었습니다. 이 이력서들은 네덜란드어, 프랑스어, 영어가 뒤섞인 혼란스러운 상태였으며, 개인정보 보호를 위해 이름과 위치는 <MASK> 토큰 뒤로 숨겨져 있었습니다.

마법의 기술: 추론 로봇
단순히 추측하는 대신, 이 새로운 AI는 "추론 제어형" 접근 방식을 사용합니다. 이것은 단서를 읽기만 하는 것이 아니라, "잠깐, 이 날짜가 말이 되나? 이게 직업인가 아니면 학교 수업인가?"라고 생각하며 멈춰 서는 탐정과 같습니다. 만약 AI가 막히거나 지저집로 된 파일(예: 열리지 않는 JSON 파일)을 생성하면, 특수한 "재시도" 버튼을 가지고 있습니다. 그러면 AI는 조금 더 집중하여 다시 시도합니다.

그 결과는 어떠했을까요? 초기 정제 과정을 통과한 약 400,000개의 이력서 중, AI는 **100%**를 깔끔하고 조직화된 디지털 파일로 변환하는 데 성공했습니다! 완벽한 점수입니다! AI는 355,315개의 고유한 경력 이야기와 1,993,291개의 직무 경험, 그리고 923,981개의 교육 항목을 추출해 냈습니다.

상자 안에는 무엇이 들어있나?
JobHop v2는 경력 데이터의 보물 상자와 같습니다. 단순히 직함만 나열하는 것이 아니라, ESCO라는 표준 글로벌 사전을 사용하여 정보를 정리합니다. 또한 누군가가 직업을 언제 시작하고 마쳤는지(예: "2020년 Q1"과 같이 연도의 분 단위까지) 알려주며, 초등학교부터 박사 학위까지의 교육 수준, 그리고 Python이나 Spark와 같은 구체적인 도구 사용 여부까지도 알려줍니다.

정말로 더 효과적이었을까?
연구진은 단순히 "좋다"라고 말하는 데 그치지 않고 테스트를 거쳤습니다. 그들은 AI의 작업물을 세 가지 서로 다른 인간 및 AI 생성 "골드 스탠다드(표준)" 답변과 비교했습니다.

점수: 그들의 AI 중 가장 뛰어난 버전(거대한 1,200억 개의 파라미터를 가진 모델 사용)은 인간 및 다른 AI들이 합의할 수 있는 "천장"에 놀라울 정도로 근접한 점수를 받았습니다. 완벽한 합의 한계치와는 단 1.1~2.7 퍼센트 포인트 차이밖에 나지 않았습니다.
대결: 판사가 어느 쪽인지 모르는 상태에서 진행된 기존 JobHop v1과의 블라인드 테스트에서, 새로운 JobHop v2는 **68.3%**의 승률을 기록한 반면, 구버전은 **29.9%**에 그쳤습니다. 판사는 v2가 이력서의 무질서하고 숨겨진 부분들을 훨씬 더 잘 처리하며, 다양한 언어의 날짜를 이해하는 능력이 뛰어나다고 언급했습니다.

이것이 '아닌' 것들
이 데이터셋이 무엇을 하지 않는지 아는 것도 중요합니다. 연구진은 추출 과정 이전에 AI에 의해 합성된 가짜 이력서나 사전 표준화된 코드를 사용하는 것을 명시적으로 배제했습니다. 그들은 실제 사람들의 실제, 가공되지 않은 텍스트를 원했습니다. 또한, 너무 많이 추측하지 않도록 매우 주의했습니다. 약 **6.9%**의 직무 항목은 AI가 잘못 추측하느니 차라리 모른다고 인정하는 것이 안전하다고 판단하여 "알 수 없음(unknown)"으로 표시되었습니다. 그들은 모든 것에 억지로 라벨을 붙이려 하지 않았습니다.

결론
JobHop v2는 우리가 수백만 개의 이력서라는 혼란스럽고 구조화되지 않은 덩어리를, 경력이 실제로 어떻게 진화하는지 이해할 수 있는 깔끔하고 거대한 데이터셋으로 바꿀 수 있음을 시사합니다. 이것은 미래를 완벽하게 예측하는 마법의 수정 구슬은 아니지만, 실제 비구조화된 텍텍스트로부터 구축된 가장 정확하고 대규모인 경력 경로 지도입니다. 연구진은 다른 사람들이 처음부터 다시 시작할 필요 없이 노동 시장과 직업 추천을 연구할 수 있도록, 이 지도와 이를 구축하는 데 사용된 도구들을 대중에게 공개하고 있습니다.

기술 요약: JobHop v2

문제 정의
대규모의 풍부하게 주석이 달린 경력 궤적 데이터는 인력 계획, 직업 추천 시스템 및 노동 시장 분석에 필수적이다. 그러나 이 분야에는 적절한 공개 벤치마크가 부족한 실정이다. 기존의 공개 데이터셋은 규모가 작거나(예: 2,164개 또는 301개의 이력서), 비정형 텍스트가 아닌 사전 표준화된 직업 코드로 유도되었거나, 독립적인 연구를 위해 접근할 수 없는 독점 플랫폼에서 파생되었습니다. 또한, 비정형 이력서에서 데이터를 추출하려는 이전의 시도들은 노이즈가 있는 다국어 입력에서 품질 저하를 겪거나 일관되게 기계가 파싱 가능한 출력을 생성하는 데 실패했습니다.

방법론
저자들은 VDAB(플랑드르 공공 고용 서비스)에서 제공한 약 440,000개의 가명 처리된 다국어 이력서 코퍼스로부터 엔드 투 엔드 대규모 언어 모델(LL $\text{M}$ ) 추출 파이프라인을 통해 구축된 JobHop v2를 제시한다.

데이터 소스 및 윤리: 원시 데이터는 네덜란드어, 프랑스어, 영어로 된 이력서로 구성된다. 개인정보 보호를 위해 VDAB는 개인 식별 정보(PII)와 저빈도 용어를 <MASK> 토큰으로 대체했다. 모든 처리는 외부 서비스로의 데이터 전송을 방지하기 위해 로컬 인프라(NVIDIA H200 GPU 2개)에서 수행되었다. 최종 데이터셋은 위치 필드를 제거하고 모든 날짜를 분기 단위 수준으로 단순화했다.
추출 파이프라인: 핵심 혁신은 openai/gpt-oss-120b 모델을 사용하는 추론 제어형 LLM 추론 파이프라인이다.
- 프롬프팅: 엄격하고 규칙이 풍부한 지시 프롬프트가 모델을 안내하여 환각 없이 구조화된 JSON을 추출하도록 한다. 이는 <MASK> 토근, 다국어 콘텐츠, 일관되지 않은 날짜 형식, 다중 열 레이아웃과 같은 특정 코퍼스의 과제를 처리한다.
- 재시도 메커니즘: 지속적인 재시도 루프는 확장된 생성 예산과 증가된 반복 페널티를 사용하여 JSON 검증에 실패한 샘플을 재처리한다. 이를 통해 약 400,000개의 입력 이력서 전체에서 100% JSON 파싱 성공률을 달-성했다(초기 실패 사례의 약 12.6%를 복구함).
- 스키마: 출력 스키마는 기존 JobHop보다 훨씬 풍부하며, 직무 경험(ESCO 정렬 표준 직함, 계약 유형, 기술 스킬 포함), 교육(5단계 분류 체계에 매핑), 언어 및 자격증을 포착한다.
정제 및 정규화: 추출 후에는 파싱 아티팩트, 유효하지 않은 날짜 범위, 중복 항목 및 품질 필터링을 해결하는 5단계 정제 파이프라인이 뒤따른. 이후 정규화 파이프라인은 직업 직함을 ESCO 코드로 매핑하고(신뢰도 임계값을 가진 2단계 하이브리드 정책 사용), 날짜를 분기-연도 단위로 변환하며, 교육을 표준 학위 수준 분류 체계에 매핑한다.
평가 프로토콜: 저자들은 200개의 벤치마크 이력서를 사용하는 수정된 평가 프로토콜을 도입한다. 이진 점수 산정 대신, 점진적 부분 점수 부여, 길이 비율 기반 문자열 비교, 필드 중요도 가중치를 채택한다. 추출 오류와 주석 노이즈를 구분하기 위해, 성능은 세 가지 상호 보완적인 베이스라인(원래의 수동 주석, AI 편집 라벨, 독립적인 AI 생성 라벨)을 대상으로 측정된다.

주요 기여

JobHop v2 데이터셋: 199만 개의 직무 경험과 923,981개의 교육 항목을 포함하는 355,315개의 고유한 경력 궤적을 공개한다. 이 데이터셋은 실제 비정형 텍스트로부터 엔드 투 엔드로 추출된 ESCO 직업 코드와 시간 정보를 결 $\text{ }$ 는 최초의 대규모 공개 데이터셋이라는 점에서 차별화된다.
강건한 추출 파이프라인: 100% JSON 파싱 성공률을 달성하는 다단계 재시도 메커니즘을 갖춘 추론 제어형 LLM 파이프라인이다. 가장 성능이 좋은 모델(높은 추론 노력을 기울인 GPT-OSS-120B)은 세 가지 베이스라인 모두에서 어노테이터 간 일치도 상한선에 1.1~2.7 퍼센트 포인트 이내로 근접한다.
수정된 평가 프로토콜: 추출 품질을 보다 충실하게 평가하기 위해 세 가지 주석 베이스라인을 사용하는 점수 체계를 사용하여, 순수한 모델 오류와 내재된 주석 모호성을 구분한다.

결과

추출 품질: 세 가지 베이스라인에 대한 평가에서, GPT-OSS-120B(고차원 추론)는 가장 높은 점수를 기록했으며, 일치도 상한선에 불과 1.1~2.7 퍼센트 포인트 뒤처졌다. 이는 잔여 오류가 시스템적인 모델 실패보다는 주석의 모호함에서 기인함을 시사한다.
JobHop v1과의 비교: LLM(Kimi K2.6)이 판단한 1,000개의 이력서에 대한 블라인드 쌍체 비교에서, JobHop v2는 기존 JobHop 파이프라인보다 68.3% 더 높은 선호도를 보였다(v1은 29.9%). 개선은 직무 경험 추출에서 가장 두드만큼 나타났으며, 평균 정확도 점수는 v1의 7.81 대비 v2는 8.60을 기록했다.
데이터셋 통계: 데이터셋은 광범위한 직업 스펙트럼을 다루며, 전문가, 기술자, 서비스 및 판매직 종사자가 가장 빈번하다. 경력 궤적 길이는 오른쪽으로 치우친 분포를 보이며, 이력서당 중앙값은 5개의 직업이다.

의의
본 논문은 JobHop v2가 합성되거나 사전 표준화된 데이터가 아닌 실제 비정형 텍스트로부터 유도된 대규모 공개 벤치마크를 제공함으로써 이 분야의 중요한 공백을 메운다고 주장한다. 이 데이터셋과 그에 수반되는 추출 파이프라인은 경력 궤적 분석, 다음 직업 예측 및 노동 시장 모델링에 대한 재현 가능한 연구를 지원하기 위해 설계되었다. 저자들은 데이터셋이 기존 릴리스의 실제 이력서 기반을 유지하면서도 추출 품질, 주석의 폭 및 평가의 엄밀함을 실질적으로 개선했음을 강조한다. 또한 ESCO 표준화가 중립적인 어휘를 제공하지만, 데이터셋은 기초가 되는 노동 시장의 구조적 불평등을 그대로 보유하고 있으므로 향후 배포 시 엄격한 공정성 평가가 필요하다고 언급한다.

기술 요약: JobHop v2

유사한 논문