Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

당신이 모든 책이 채용 공고인 거대하고 혼란스러운 도서관으로 걸어 들어간다고 상상해 보세요. 어떤 책은 완벽하고 깔끔한 문장으로 쓰여 있지만, 어떤 것은 메모지에 휘갈겨 써져 있고 오타와 전문 용어, 그리고 혼란스러운 세부 사항들로 가득합니다. 이제 당신은 이 수백만 권의 책을 완벽한 카테고리로 분류하여, "간호사"나 "소프트웨어 엔지니어"를 찾는 사람이 즉시 정확한 정보를 찾을 수 있도록 해야 합니다. 이것이 바로 컴퓨터 과학의 한 분야인 **자연어 이해(Natural Language Understanding)**의 세계입니다. 여기서 기계는 인간의 텍스트를 읽고 그 의미를 파악하려고 노력합니다. 여기서 큰 과제는 인간의 언어는 매우 무질서하며, 수백만 개의 서로 다른 직업을 위해 완벽하게 이해할 수 있는 시스템을 만드는 것은 로봇에게 지구상의 모든 언어의 모든 방언을 동시에 말하는 법을 가르치는 것과 같습니다. 보통 이를 수행하기 위해 기업들은 각 직업 카테고리마다 별도의 비싼 로봇을 만들어야 하는데, 이는 느리고 비용이 많이 들며 관리하기 어렵습니다.

이 링크드인(LinkedIn)의 논문은 그들이 이 문제를 해결하기 위해 어떻게 더 똑똑하고 유연한 "슈퍼 로봇"을 구축했는지에 대한 이야기를 들려줍니다. 수천 개의 작고 전문화된 로봇을 만드는 대신, 그들은 하나의 **소형 언어 모델(Small Language Model, SLM)**을 만들었습니다. 이것은 마치 올바른 방법으로 가르치기만 하면 거의 무엇이든 배울 수 있는 매우 똑똑하고 효율적인 학생과 같습니다. 팀은 이 학생에게 초지능형 AI(GPT-4)가 만든 방대한 양의 연습 문제를 학습시킴으로써, 학생이 본 적 없는 직업이라 할지라도 놀라운 정확도로 직무 기술서를 이해할 수 있다는 것을 발견했습니다. 그런 다음 그들은 이 학생에게 즉각적으로 교체 가능한 "특수 안경"(어댑터라고 불리는)을 쥐여주었습니다. 학생이 간호사의 직무를 이해해야 할 때는 "간호사 안경"을 씌우고, 변호사의 경우에는 "변호사 안경"으로 교체했습니다. 이를 통해 단 하나의 두뇌만으로도 매우 다양한 직업을 처리할 수 있게 되었으며, 결과적으로 시스템을 훨씬 더 빠르고 저렴하며 정확하게 만들었습니다. 실제 환경에서 이 새로운 시스템을 테스트했을 때, 기존 방식보다 더 나은 성능을 보였으며 사람들이 적합한 일자리를 더 쉽게 찾을 수 있도록 도왔습니다.

직업의 무질서한 도서관

링크드인은 사람들이 일자리를 찾고 기업이 인재를 찾는 거대한 시장입니다. 하지만 그들의 도서관에 있는 "책들", 즉 채용 공고는 종종 엉망진창입니다. 단일 직무 기술서는 오타, 이상한 서식, 숨겨진 세부 사항들로 가득 찬 길고 장황한 문단일 수 있습니다. 이를 유용하게 만들기 위해 링크드인은 이 무질서한 텍스트를 "이 직무는 시니어 간호사이다", "이 직무는 원격 근무직이다", 또는 "급여는 80,000달러이다"와 같은 깨끗하고 정리된 사실로 변환해야 합니다. 이 과정을 **직무 이해(Job Understanding)**라고 합니다.

오랫동안 링크드인은 모든 유형의 직무 속성에 대해 별도의 머신러닝 모델을 구축하여 이 문제를 해결하려 했습니다. 만약 "경력 수준(Seniority)"을 알고 싶다면 하나의 모델을 만들었고, "근무 형태(Workplace Type)"를 알고 싶다면 또 다른 모델을 만들었습니다. 이는 도서관의 모든 선반마다 서로 다른 사서 한 명씩을 고용하는 것과 같았습니다. 이는 비용이 많이 들고 업데이트가 느리며, 텍스트의 미묘한 의미를 이해하는 데에도 그리 뛰어나지 않은 경우가 많았습니다.

"슈퍼 학생"과 마법의 교과서

저자들은 다른 시도를 해보기로 했습니다. 많은 사서를 고용하는 대신, 믿을 수 없을 정도로 똑똑한 하나의 **소형 언어 모델(SLM)**을 훈련시킨 것입니다. 이 SLM을 올바르게 가르치기만 하면 무엇이든 잘 읽을 수 있는 매우 빠른 학생이라고 생각해보세요.

팀은 이 학생에게 가르칠 수 있는 완벽한 정답(주석)이 달린 실제 세계의 예시가 충분하지 않다는 것을 깨달았습니다. 그래서 그들은 영리한 트릭을 사용했습니다. 훨씬 더 크고 강력한 AI(GPT-4)에게 자신들을 위한 **합성 교과서(synthetic textbook)**를 써달라고 요청한 것입니다. 이것은 단순한 사실의 목록이 아니었습니다. GPT-4가 엉망인 직무 기술서를 가져와서 답을 찾아내고, 가장 중요한 것은 그 추론 과정을 적어 내려가는 일련의 연습 문제였습니다. 즉, 왜 특정 직무가 "시니어" 역할인지, 혹은 왜 "원격 근무"인지 그 이유를 설명하는 것이었습니다.

이러한 추론이 풍부한 예시들로 이 학생(SLM)을 훈련시킴으로써, 모델은 단순히 정답만을 배우는 것이 아니라 생각하는 법을 배웠습니다. 이는 모델에게 **제로샷 학습(zero-shot learning)**이라는 초능력을 부여했습니다. 이는 모델이 한 번도 본 적 없는 새로운 유형의 직업을 보더라도, 학습한 논리를 사용하여 정답을 정확히 맞힐 수 있음을 의미합니다.

"교체 가능한 안경" 전략

슈퍼 똑똑한 학생이라 할지라도 문제가 있었습니다. 어떤 직업은 매우 구체적이기 때문입니다. "간호사" 직무에는 "교대 근무"나 "면허"와 같은 특별한 세부 사항이 있는 반면, "교사" 직업은 다른 세부 사항을 가집니다. 만약 모델이 이 모든 것을 한꺼번에 배우려고 한다면 혼란에 빠질 수 있습니다.

이를 해결하기 위해 팀은 멀티 어댑터(Multi-Adapter) 시스템을 도입했습니다. 학생이 투명하고 중립적인 안경(기본 모델)을 쓰고 있다고 상상해 보세요. 간호사 직무를 이해해야 할 때, 학생은 모든 것을 다시 배울 필요 없이 그냥 "간호사 안경"(어댑터)을 끼우기만 하면 됩니다. 이 어댑터들은 모델이 이미 알고 있는 것을 망가뜨리지 않으면서도, 해당 특정 직업군을 다루기에 딱 적절한 지식만을 가르쳐주는 아주 작고 가벼운 추가 구성 요소입니다.

조직적인 관리를 위해, 그들은 모든 직업마다 별도의 안경을 만들지는 않았습니다. 대신, 영리한 그룹화 전략을 사용했습니다. 그들은 서로 다른 직업들이 얼마나 유사한지를 살펴보고 함께 묶었습니다. 예를 들어, 간호사와 창고 노동자의 "교대 근무" 관련 속성들은 동일한 안경을 공유할 수 있을 만큼 충분히 유사할 수 있습니다. 이는 수백 개의 서로 다른 직무 속성을 단 몇십 개의 어댑터만으로 관리할 수 있게 하여 시스템을 훨씬 더 쉽게 운영할 수 있게 해주었습니다.

결과: 더 빠르고, 더 똑똑하고, 더 저렴하게

팀은 두 가지 방식으로 이 새로운 시스템을 테스트했습니다. 첫째, 컴퓨터 상에서(오프라인) 모델이 얼마나 잘 예측하는지 테스트했습니다. 그들은 기존의 개별 모델들과 비교했을 때, "교체 가능한 안경"을 가진 새로운 "슈퍼 학생"이 훨씬 더 정확하다는 것을 발견했습니다. 예를 들어, 직업(Occupation)을 추측할 때 기존 모델은 71%의 정확도를 보였지만, 새 모델은 83%의 정확도를 기록했습니다. "근무 형태(Workplace Type)"의 경우, 새 모델은 98%의 정확도를 보여 기존의 95%보다 높았습니다.

그다음, 실제 사용자들에게 보여줌으로써 실제 환경(온라인)에서 테스트했습니다. 절반의 사용자는 기존 시스템을 보고, 나머지 절반은 새 시스템을 보게 하는 테스트를 진행했습니다. 결과는 명확했습니다. 새로운 시스템이 사용자들이 더 좋은 직업을 찾는 데 도움을 주었습니다. "직무 세션(Job Sessions)"(사람들이 직업을 살펴보는 횟수)과 같은 지표가 상승했고, 사람들은 나쁜 추천에 대해 "싫어요(thumbs down)"를 누르는 빈도가 줄어들었습니다.

이 시스템은 또한 매우 효율적입니다. 50대의 강력한 컴퓨터 칩(GPU) 군단에서 실행되며, 평균 약 0.8초 만에 직무 기술서를 처리할 수 있습니다. 거대하고 비싼 모델 대신 작고 효율적인 모델을 사용하기 때문에 운영 비용도 훨씬 적게 듭니다.

요약하자면, 이 논문은 합성 추론을 통해 작은 AI 모델이 인간처럼 생각하도록 가르치고, 그 후 다양한 직업에 맞춰 특화된 "안경"을 교체할 수 있는 능력을 부여함으로써, 기존 방식보다 더 똑똑하고 빠르며 저렴한 시스템을 구축할 수 있음을 보여줍니다. 이는 기업에게도 승리이며, 자신의 다음 기회를 찾는 모든 이들에게도 승리입니다.