Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER
تقترح الورقة البحثية طريقة "المرور مرتين فقط" (JPT)، وهي وسيلة تمكّن النماذج اللغوية الكبيرة السببية من أداء التعرف على الكيانات المسماة بأسلوب الصفر المعرفة بكفاءة ومستوى رائد، وذلك عبر دمج النص المدخل للسماح بسياق ثنائي الاتجاه كامل دون تغييرات هيكلية، مما يتغلب على قيود التوليد ذاتي الانحدار مع تحقيق سرعة استدلال تزيد عن 20 ضعفاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
اللغة هي شبكة من السياقات، حيث يعتمد معنى كلمة واحدة غالباً بشكل كامل على الكلمات التي تأتي بعدها. تأمل كلمة "باريس". إذا صادفتها في بداية جملة، فإن عقلك لا يعرف بعد ما إذا كانت تشير إلى العاصمة الفرنسية أم إلى الموسيقي الذي أصدر ألبوماً جديداً. ولحل هذا الغموض، يجب عليك قراءة الجملة بأكملها. لعقود من الزمن، عانت الحواسيب من هذه المشكلة ذاتها. فالأدوات التقليدية المخصصة لإيجاد أسماء الأشخاص والأماكن والمؤسسات في النصوص بُنيت لتقرأ إلى الوراء، حيث تحلل الكلمات واحدة تلو الأخرى كما تظهر. لم تكن تلك الأدوات قادرة على رؤية المستقبل، لذا كانت تخطئ في التخمين غالباً عندما يظهر الدليل الحاسم في وقت لاحق من الجملة. وفي الوقت نفسه، كانت نماذج اللغة الحاسوبية الأحدث والأكثر قوة قادرة على استيعاب كميات هائلة من المعرفة البشرية، لكنها بُنيت لكتابة النصوص لا لتصنيفها. وهي أيضاً، أُجبرت على النظر إلى الوراء فقط، مما جعلها بطيئة وعرضة للأخطاء عند مطالبتها بتحديد كلمات معينة في كتلة نصية.
لقد وجد فريق من الباحثين في "WitnessAI" طريقة لمنح هذه النماذج القوية القدرة على رؤية الصورة الكاملة دون تغيير تصميمها الأساسي. وقد أطلقوا على طريقتهم اسم "المرور مرتين فقط" (Just Pass Twice). والحل بسيط بشكل مخادع: فبدلاً من تغذية نموذج الحاسوب بالجملة مرة واحدة فقط، يقومون بتغذيتها مرتين متتاليتين. في المرة الأولى، يقرأ النموذج الجملة بشكل طبيعي. وفي المرة الثانية، يقرأ الجملة نفسها تماماً مرة أخرى. ولأن النموذج مصمم لتذكر كل ما رآه حتى الآن، فإن القراءة الثانية تسمح لكل كلمة بأن "تنظر إلى الوراء" إلى القراءة الأولى بأكملها. وهذا يعني أنه عندما يحلل النموذج كلمة "باريس" خلال المرور الثاني، يمكنه بالفعل رؤية كلمات مثل "ألبوم جديد" التي ظهرت لاحقاً في المرور الأول. هذه الحيلة تمنح النموذج فعلياً رؤية للجملة بأكملها في آن واحد، مما يسمح له باتخاذ قرارات دقيقة بشأن معنى كل كلمة، وكل ذلك مع العمل بسرعة تزيد عن عشرين ضعفاً عن أفضل الطرق السابقة.
اختبر الباحثون هذا النهج في مجموعة متنوعة من المهام التي يجب أن تحدد فيها الحواسيب أنواعاً معينة من المعلومات، مثل أسماء الأشخاص أو المؤسسات أو المواقع، عبر مجالات مختلفة مثل الموسيقى والسياسة والعلوم. ووجدوا أنه من خلال الجمع بين تقنية "القراءة المزدوجة" هذه وبين تعريفات مكتوبة واضحة لماهية كل نوع من الكيانات، أصبح النموذج دقيقاً للغاية. وفي الاختبارات، تفوق النموذج على أفضل الأساليب الموجودة بفارق كبير، حيث حسن دقته بنحو ثمان نقاط في المتوسط. وتعد هذه قفزة نوعية في الأداء لمهمة تمت دراستها لعقود. لم يكن النموذج يكتفي بالتخمين بشكل أفضل فحسب، بل كان يفهم السياق بعمق أكبر. فعلى سبيل المثال، استطاع التمييز بين "شخص" و"سياسي" أو بين "بلد" و"مؤسسة" من خلال الاعتماد على التعريفات المحددة المقدمة، بدلاً من مجرد حفظ قائمة بالأسماء.
إن ما يجعل هذا الاكتشاف مثيراً للاهتمام بشكل خاص هو كيف يتجاوز المقايضات المعتادة في الذكاء الاصطناعي. فعادةً ما يتطلب جعل النموذج أكثر دقة جعله أبطأ أو أكثر تعقيداً. فالنماذج التوليدية، التي تنشئ النصوص كلمة بكلمة، تكون بطيئة لأنها يجب أن تنتظر كتابة كل كلمة قبل الانتقال إلى التالية. أما النماذج التمييزية، التي تكتفي بتصنيف الكلمات، فهي سريعة ولكنها غالباً ما تفتقر إلى الفهم العميق الذي تتمتع به أحدث النماذج الأكبر حجماً. وتعمل طريقة "المرور مرتين فقط" على جسر هذه الفجوة؛ فهي تسمح لنموذج ضخم غني بالمعرفة بالقيام بالمهمة السريعة والدقيقة المتمثلة في تصنيف النصوص. لقد حقق الباحثون ذلك دون تغيير بنية النموذج أو الحاجة إلى إعادة تدريبه من الصفر. لقد قاموا ببساطة بتغيير المدخلات، عبر تكرار النص بحيث يمكن للنموذج معالجته في دفعة حسابية واحدة متوازية بدلاً من عملية تسلسلية بطيئة.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد إيجاد الأسماء في النصوص. فهي توضح أن قيود نماذج اللغة الحديثة لا تعود دائماً إلى نقص في الذكاء، بل أحياناً إلى الطريقة التي يُطلب بها منها العمل. فمن خلال إيجاد طريقة للسماح لهذه النماذج برؤية السياق الكامل للجملة، نجح الباحثون في فتح مستوى جديد من الكفاءة والدقة. إن طريقتهم ليست خدعة سحرية أو تعديلاً خوارزمياً معقداً، بل هي تعديل مباشر يستفيد من قدرات النموذج الموجودة بطريقة جديدة. والنتيجة هي نظام أكثر سرعة وذكاءً، قادر على التعامل مع فروق اللغة البشرية بدقة كانت بعيدة المنال سابقاً لهذا النوع من الأدوات. ويشير هذا النهج إلى أن الطريق نحو الذكاء الاصطناعي قد لا يتطلب دائماً بناء آلات أكبر أو أكثر تعقيداً، بل يتطلب إيجاد طرق أبسط وأكثر أناقة لاستخدام ما نمتلكه بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.