Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
تقدم هذه الورقة إطار عمل موحد للنمذجة الدلالية لنظام فهم الوظائف واسع النطاق الخاص بـ LinkedIn، والذي يستفيد من نموذج لغوي صغير مضبوط بدقة مع مهام استدلال اصطناعية وبنية متعددة المهايئات لتحقيق تعميم قوي في حالات التعلم الصفري (zero-shot)، وتحسين الأداء، وتقليل التعقيد التشغيلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدخل مكتبة ضخمة وفوضوية حيث كل كتاب فيها هو عبارة عن إعلان وظيفة. بعض هذه الكتب مكتوبة بجمل مرتبة ومثالية، والبعض الآخر مكتوب على مناديل ورقية، مليئة بالأخطاء الإملائية، والمصطلحات المعقدة، والتفاصيل المربكة. الآن، تخيل أنك بحاجة إلى فرز ملايين الكتب هذه في فئات مثالية بحيث يمكن لأي شخص يبحث عن "ممرض" أو "مهندس برمجيات" أن يجد ما يحتاجه بالضبط وبشكل فوري. هذا هو عالم فهم اللغة الطبيعية (Natural Language Understanding)، وهو فرع من علوم الحاسوب حيث تحاول الآلات قراءة وفهم النصوص البشرية. التحدي الكبير هنا هو أن اللغة البشرية فوضوية، وإنشاء نظام يمكنه فهمها بشكل مثالي لملايين الوظائف المختلفة يشبه محاولة تعليم روبوت التحدث بكل لهجات لغات العالم في وقت واحد. عادةً، للقيام بذلك، تضطر الشركات إلى بناء روبوت منفصل ومكلف لكل فئة وظيفية، وهو أمر بطيء، ومكلف، وصعب الإدارة.
هذه الورقة البحثية من "لينكد إن" (LinkedIn) تروي قصة كيف بنوا "روبوتاً خارقاً" أكثر ذكاءً ومرونة لحل هذه المشكلة. فبدلاً من بناء آلاف الروبوتات الصغيرة المتخصصة، قاموا بإنشاء نموذج لغوي صغير (SLM) — تخيله كطالب ذكي جداً وفعال يمكنه تعلم أي شيء تقريباً إذا تم تعليمه بالطريقة الصحيحة. اكتشف الفريق أنه من خلال تغذية هذا الطالب بكم هائل من مسائل التدريب التي أنشأها ذكاء اصطناعي فائق الذكاء (GPT-4)، يمكن لهذا الطالب أن يتعلم فهم أوصاف الوظائف بدقة مذهلة، حتى بالنسبة للوظائف التي لم يسبق له رؤيتها من قبل. ثم أعطوا هذا الطالب مجموعة من "النظارات المتخصصة" (تسمى المهايئات - adapters) التي يمكن استبدالها فوراً. فعندما يحتاج النموذج لفهم وظيفة ممرض، يرتدي "نظارات الممرض"؛ وللمحامي، ينتقل إلى "نظارات المحامي". سمح هذا لهم بالتعامل مع مجموعة هائلة من الوظائف باستخدام عقل واحد فقط، مما جعل النظام أسرع، وأرخص، وأكثر دقة. وعندما اختبروا هذا النظام الجديد في العالم الحقيقي، وجدوا أنه يعمل بشكل أفضل من أساليبهم القديمة، مما يساعد الناس على العثور على الوظائف المناسبة بسهولة أكبر.
المكتبة الفوضوية للوظائف
"لينكد إن" هي سوق ضخم حيث يبحث الناس عن الوظائف وتبحث الشركات عن المواهب. لكن "الكتب" في مكتبتهم — وهي إعلانات الوظائف — غالباً ما تكون فوضوية. قد يكون وصف الوظيفة الواحد عبارة عن فقرة طويلة ومشتتة مليئة بالأخطاء الإملائية، والتنسيقات الغريبة، والتفاصيل المخفية. لجعل ذلك مفيداً، تحتاج "لينكد إن" إلى تحويل هذا النص الفوضوي إلى حقائق منظمة ونظيفة، مثل: "هذه الوظيفة لممرض أول"، "إنها وظيفة عن بُعد"، أو "راتبها 80,000 دولار". تسمى هذه العملية فهم الوظائف (Job Understanding).
لفترة طويلة، حاولت "لينكد إن" حل هذه المشكلة عن طريق بناء نموذج تعلم آلي منفصل لكل نوع من سمات الوظيفة. فإذا أرادوا معرفة "الأقدمية" (Seniority) لوظيفة ما، بنوا نموذجاً واحداً. وإذا أرادوا معرفة "نوع مكان العمل"، بنوا نموذجاً آخر. كان الأمر يشبه توظيف أمين مكتبة مختلف لكل رف في المكتبة. كان هذا مكلفاً، وبطيئاً في التحديث، وغالباً ما كان سيئاً في فهم المعنى الدقيق للنص.
"الطالب الخارق" و"الكتاب المدرسي السحري"
قرر المؤلفون تجربة شيء مختلف. بدلاً من توظيف العديد من أمناء المكتبات، قاموا بتدريب نموذج لغوي صغير (SLM) ذكي للغاية. فكر في هذا النموذج كطالب سريع جداً في التعلم، بارع في القراءة ولكنه يحتاج إلى مواد دراسية مناسبة ليتألق.
أدرك الفريق أنهم لا يملكون ما يكفي من الأمثلة الواقعية ذات الإجابات المثالية (التوصيفات) لتعليم هذا الطالب كل شيء. لذا، استخدموا حيلة ذكية: طلبوا من ذكاء اصطناعي أكبر وأقوى بكثير (GPT-4) أن يكتب لهم كتاباً مدرسياً اصطناعياً. لم يكن هذا مجرد قائمة من الحقائق؛ بل كان مجموعة من مسائل التدريب حيث يقوم GPT-4 بأخذ وصف وظيفة فوضوي، واستخراج الإجابة، والأهم من ذلك، كتابة منطقه الخاص (Reasoning). لقد شرح لماذا كانت وظيفة معينة "وظيفة أقدمية" أو لما why كانت "عن بُعد".
من خلال تدريب طالبهم (النموذج اللغوي الصغير) على هذه الأمثلة الغنية بالمنطق، تعلم النموذج ليس فقط الإجابات، بل تعلم كيف يفكر. منح هذا النموذج قوة خارقة تسمى التعلم من عدم التخصيص (zero-shot learning). وهذا يعني أن النموذج يمكنه النظر إلى نوع جديد تماماً من الوظائف لم يره من قبل، ومع ذلك يستطيع تخمين الإجابة بشكل صحيح، بمجرد استخدام المنطق الذي تعلمه من تدريبه.
استراتيجية "النظارات القابلة للتبديل"
حتى مع وجود طالب فائق الذكاء، كانت هناك مشكلة: بعض الوظائف متخصصة للغاية. فوظيفة "الممرض" لها تفاصيل خاصة مثل "نوبات العمل" أو "الترخيص"، بينما وظيفة "المعلم" لها تفاصيل مختلفة. إذا حاول النموذج تعلم كل هذه التفاصيل في وقت واحد، فقد يصاب بالارتباك.
لحل هذه المشكلة، قدم الفريق نظام المهايئات المتعددة (Multi-Adapter). تخيل أن الطالب يرتدي زوجاً من النظارات الشفافة والمحايدة (النموذج الأساسي). عندما يحتاج لفهم وظيفة ممرض، فهو لا يحتاج لإعادة تعلم كل شيء؛ بل يكتفي فقط بتركيب "نظارات الممرض" (المُهيئ/الـ adapter). هذه المهايئات هي إضافات صغيرة وخفيفة الوزن تعلم النموذج ما يكفي فقط للتعامل مع تلك المجموعة المحددة من الوظائف دون التأثير على ما يعرفه بالفعل.
وللحفاظ على التنظيم، لم يصنعوا زوجاً من النظارات لكل وظيفة على حدة. بدلاً من ذلك، استخدموا استراتيجية تجميع ذكية. فقد بحثوا في مدى تشابه الوظائف المختلفة وجمعوها معاً. على سبيل المثال، قد تكون السمات المتعلقة بـ "نوبات العمل" للممرضين وعمال المستودعات متشابهة بما يكفي لتتشارك نفس زوج النظارات. وهذا يعني أنه يمكنهم إدارة مئات السمات الوظيفية المختلفة باستخدام بضع عشرات فقط من المهايئات، مما يجعل النظام أسهل بكثير في التشغيل.
النتائج: أسرع، أذكى، وأرخص
اختبر الفريق هذا النظام الجديد بطريقتين. أولاً، قاموا بتشغيله على جهاز كمبيوتر (خارجياً/offline) لمعرفة مدى دقة توقعاته. قارنوه بنماذجهم القديمة المنفصلة ووجدوا أن "الطالب الخارق" الجديد مع نظاراته القابلة للتبديل كان أكثر دقة بكثير. على سبيل المثال، عند تخمين "المهنة" لوظيفة ما، كان النموذج القديم صحيحاً بنسبة 71% من الوقت، لكن النموذج الجديد كان صحيحاً بنسبة 83%. وبالنسبة لـ "نوع مكان العمل"، كان النموذج الجديد صحيحاً بنسبة 98%، مقارنة بـ 95% للنموذج القديم.
بعد ذلك، جربوا النظام في العالم الحقيقي (أونلاين) عبر عرضه على مستخدمي "لينكد إن" الفعليين. أجروا اختباراً حيث رأى نصف المستخدمين النظام القديم والنصف الآخر رأى النظام الجديد. كانت النتائج واضحة: ساعد النظام الجديد المستخدمين في العثور على وظائف أفضل. مقاييس مثل "جلسات الوظائف" (عدد المرات التي نظر فيها الناس إلى الوظائف) ارتفعت، وكان الناس أقل عرضة للنقر على "إبهام لأسفل" تجاه التوصيات السيئة.
كما أن النظام فعال للغاية من حيث الكفاءة. فهو يعمل على مجموعة من 50 شريحة كمبيوتر قوية (GPUs) ويمكنه معالجة أوصاف الوظائف في حوالي 0.8 ثانية في المتوسط. ولأنه يستخدم نموذجاً صغيراً وفعالاً بدلاً من نموذج ضخم ومكلف، فإن تكلفة تشغيله أقل بكثير.
باختصار، تُظهر الورقة البحثية أنه من خلال تعليم نموذج ذكاء اصطناعي صغير كيف يفكر كالبشر باستخدام المنطق الاصطناعي، ومن ثم منحه القدرة على تبديل "النظارات" المتخصصة للوظائف المختلفة، يمكنك بناء نظام أذكى، وأسرع، وأرخص من الطريقة القديمة. إنه فوز للشركة، وفوز لكل من يبحث عن فرصته الكبيرة القادمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.