💬 NLP

The Million-Label NER: Breaking Scale Barriers with GLiNER bi-encoder

تقدم هذه الورقة البحثية GLiNER-bi-Encoder، وهي بنية مشفر ثنائي (bi-encoder) مبتكرة تتغلب على التعقيد التربيعي لنماذج التعرف على الكيانات المسماة (NER) التقليدية لتمكين التعرف صفرِي القدرة (zero-shot) عالي الكفاءة والتميز على ملايين أنواع الكيانات، إلى جانب إطار عمل GLiNKER للربط عالي الأداء للكيانات.

المؤلفون الأصليون: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة يحاول تنظيم مكتبة ضخمة وفوضوية. مهمتك هي العثور على أنواع محددة من الكتب (مثل "الخيال العلمي"، أو "الطبخ"، أو "التاريخ") المختبئة داخل آلاف الملاحظات الفوضوية التي تركها الزوار.

لفترة طويلة، كانت الطريقة المثلى للقيام بذلك هي الاستعانة بـ أمين مكتبة فائق الذكاء (نموذج GLiNER الأصلي) الذي يقرأ كل ملاحظة وكل تعريف لفئة الكتاب في الوقت ذاته تماماً.

المشكلة: عنق الزجاجة "الكل في واحد"

تخيل أن أمين المكتبة فائق الذكاء عليه مقارنة كل ملاحظة مقابل كل تعريف لفئة كتاب في وقت واحد.

إذا كان لديك 10 فئات، فالأمر سهل.
إذا كان لديك 100 فئة، يصبح الأمر أصعب.
ولكن إذا كان لديك مليون فئة (مثل كل مفهوم في عالم المعرفة بأكمله)، فسيتعين على أمين المكتبة إجراء مليون مقارنة لكل ملاحظة واحدة.

هذا يشبه محاولة العث de إبرة معينة في كومة قش عن طريق الإمساك بكل الإبر الموجودة في يدك ومقارنتها واحدة تلو الأخرى. ومع زيادة عدد الإبر (التصنيفات/Labels)، يتضخم حجم العمل بشكل هائل. يصبح هذا بطيئاً للغاية ومكلفاً جداً للتشغيل في الوقت الفعلي. هذه هي مشكلة "التعقيد التربيعي" (quadratic complexity) التي يعالجها البحث.

الحل: نظام "الفريقين" (GLiNER-bi-Encoder)

أدرك المؤلفون في "Knowledgator Engineering" أنهم ليس بحاجة إلى شخص واحد يقوم بكل شيء. بدلاً من ذلك، قاموا بتقسيم المهمة إلى فريقين متخصصين يعملان بالتوازي:

فريق النص (ترميز السياق - Context Encoder): يقرأ هذا الفريق الملاحظات الفوضوية ويحدد الأجزاء المثيرة للاهتمام (النصوص المستهدفة أو الـ "spans"). هم لا يهتمون بعد بما تسمى الكتب؛ هم فقط يبحثون عن المرشحين المحتملين.
فريق التصنيف (ترميز التسمية - Label Encoder): يأخذ هذا الفريق تعريفات فئات الكتب (على سبيلها: "شخص يكتب كود برمجي") ويحولها إلى بطاقات هوية رقمية (embeddings) قبل بدء العمل الفعلي.

الخدعة السحرية:
لأن "فريق التصنيف" يقوم بعمله مسبقاً، يمكنهم إنشاء فهرس ضخم ومنظم مسبقاً لجميع المليون فئة. وعندما يجد "فريق النص" تطابقاً محتملاً في ملاحظة ما، فإنه يقوم فقط بعملية بحث سريعة وخاطفة ضد الفهرس المعد مسبقاً.

إنه الفرق بين:

الطريقة القديمة: قراءة القاموس من الألف إلى الياء في كل مرة تجد فيها كلمة جديدة لتعرف ما إذا كانت اسماً. (بطيئة، وتصبح أبطأ مع نمو القاموس).
الطريقة الجديدة: امتلاك نظام بطاقات فهرس مرتب مسبقاً، حيث تبحث عن الكلمة وتعرف فوراً ما إذا كانت اسماً. (سريعة، وتظل سريعة حتى لو أضفت مليون كلمة جديدة).

لماذا يهم هذا (الاختراق بمليون تصنيف)

يوضح البحث أن هذا النظام الجديد يمكنه التعامل مع ملايين أنواع الكيانات دون أن يتباطأ.

السرعة: عند وجود 1,024 فئة، يكون النظام الجديد أسرع بـ 130 مرة من النظام القديم.
الدقة: إنه بذكاء النظام القديم، حيث حقق درجات رفيعة (61.5% F1) في اختبارات صعبة.
المرونة: يمكنك استبدال "فريق النص" بآخر أسرع أو "فريق التصنيف" بآخر أذكى دون كسر النظام بأكمله.

تشبيه من الواقع: "الموصل الفائق"

فكر في هذه التكنولوجيا كأنها مترجم عالمي للمعرفة.

النظام القديم: مثل مترجم يجب عليه حفظ كل لغة وكل بنية جملة قبل التحدث. إذا أضفت لغة جديدة، فعليه إعادة تعلم كل شيء.
النظام الجديد (GLiNER-bi-Encoder): مثل مترجم لديه قاموس ضخم مترجم مسبقاً لكل لغات العالم. عندما تتحدث، فإنه يبحث فقط عن كلماتك في القاموس. إذا أضفت لغة جديدة غداً، فأنت فقط تقوم بتحديث القاموس، ويستمر المترجم في العمل فوراً.

ميزة "GLiNKER" الإضافية

يقدم البحث أيضاً GLiNKER، الذي يأخذ هذه السرعة ويستخدمها في ربط الكيانات (Entity Linking).

التعرف على الكيانات NER (الجزء الأول): العث of كلمة "Apple" في جملة.
ربط الكيانات Entity Linking (الجزء الثاني): معرفة ما إذا كانت "Apple" تعني الفاكهة أم شركة التقنية.
GLiNKER: نظرًا لأن النظام سريع جداً في فحص الملايين من الاحتمالات، فإنه يمكنه تحديد أي "Apple" يتم التحدث عنها فوراً من خلال البحث في قاعدة بيانات ضخمة (مثل Wikidata) في الوقت الفعلي.

باخت-الخلاصة

يقدم البحث طريقة أذكى وأسرع للعثور على الأشياء وتصنيفها في النصوص. من خلال تقسيم العمل إلى "قراءة النص" و"تحضير التصنيفات"، كسروا حاجز السرعة الذي منع الحواسيب من التعامل مع قوائم ضخمة من المواضيع. هذا يعني أنه يمكننا الآن بناء أنظمة ذكاء اصطناعي تفهم مجالات متخصصة ومعقدة (مثل الطب أو القانون) تحتوي على ملايين المصطلحات المحددة، كل ذلك مع العمل بسرعة كافية للاستخدام في الوقت الفعلي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "GLiNER Bi-Encoder: كسر حواجز النطاق للتعرف على ملايين التصنيفات".

1. بيان المشكلة

يعد التعرف على الكيانات المسماة (NER) مهمة أساسية في استخراج المعلومات (IE)، إلا أن النهج الحالية المتطورة تواجه اختناقات كبيرة في القابلية للتوسع عند التعامل مع أعداد كبيرة من أنواع الكيانات (التصنيفات).

محدودية الترميز المشترك: يستخدم إطار عمل GLiNER الأصلي بنية المُرمّز الموحد (joint-encoding) حيث يتم معالجة النص وأوصاف أنواع الكيانات معاً في محول (transformer) واحد. يؤدي هذا إلى تعقيد حسابي تربيعي $O((n + m)^2)$ ، حيث $n$ هو طول النص و $m$ هو عدد تصنيفات الكيانات.
النتيجة: مع زيادة عدد تصنيفات الكيانات (على سبيل المثال، من العشرات إلى الآلاف أو الملايين، كما هو مطلوب في الأنطولوجيات الطبية الحيوية مثل UMLS أو قواعد المعرفة المؤسسية)، يصبح وقت الاستنتاج باهظ التكلفة، وينفجر استهلاك الذاكرة. هذا يمنع نشر التعرف على الكيانات بأسلوب "التعلم الصفري" (zero-shot) في السيناريوهات التي تتطلب تصنيفات ضخمة.
الفجوة: بينما توفر النماذج التوليدية (LLMs) المرونة، إلا أنها تعاني من زمن استجابة مرتفع ومشاكل في اتساق المخرجات. تحتاج النماذج التمييزية إلى بنية جديدة لفصل معالجة التصنيفات عن معالجة النصوص لتحقيق كفاءة على النطاق الصناعي.

2. المنهجية: GLiNER Bi-Encoder (المُرمّز الثنائي)

يقترح المؤلفون GLiNER-bi-Encoder، وهي بنية مبتكرة تفصل ترميز النصوص وتصنيفات الكيانات إلى مكونين مستقلين.

البنية الأساسية

المُرمّزات المزدوجة: بدلاً من محول واحد، يستخدم النظام مُرمّزين متخصصين:
1. مُرمّز النص (Text Encoder): يعالج تسلسل النص المدخل لتوليد تمثيلات النطاقات (span representations).
2. مُرمّز التصنيف (Label Encoder): يقوم بترميز أوصاف أنواع الكيانات (مثل "مركب كيميائي"، "شخص") بشكل مستقل.
آلية الفصل:
- ترميز النص: التعقيد هو $O(n^2)$ ، وهو مستقل عن عدد التصنيفات.
- ترميز التصنيف: يتم ترميز التصنيفات خارجياً (offline) وحسابها مسبقاً. يتم تخزين هذه التضمينات (embeddings) في قواعد بيانات متجهية.
- التقييم (Scoring): أثناء الاستنتاج، يحسب النموذج مدى التوافق بين نطاقات النص وتضمينات التصنيف المحسوبة مسبقاً عبر تقييم الضرب النقطي (dot-product scoring) أو عبر طبقة انتباه مشترك (cross-attention) اختيارية.
القابلية للتوسع: مع وجود التصنيفات المحسوبة مسبقاً، تصبح تعقيد عملية الاستنتاج فعلياً $O(n^2)$ بغض النظر عما إذا كان النظام يتعرف على 10 أو 1,000,000 نوع من الكيانات. يتم تقليص استرجاع التصنيف إلى عملية بحث فعالة عن أقرب جار (nearest-neighbor search).

متغيرات النموذج والتدريب

درب المؤلفون أربعة متغيرات من النماذج بناءً على بنية ModernBERT، مقترنة بنماذج محولات جمل متخصصة لترميز التصنيف:

Edge (32 مليون معلمة): مقترن بـ all-MiniLM-L6-v2.
Small (68 مليون معلمة): مقترن بـ all-MiniLM-L12-v2.
Base (150 مليون معلمة): مقترن بـ bge-small-en-v1.5.
Large (400 مليون معلمة): مقترن بـ bge-base-en-v1.5.

استراتيجية التدريب:

التدريب المسبق: استخدام 8-10 ملايين عينة باستخدام "فقدان التركيز" (Focal Loss) للتعامل مع عدم توازن الفئات.
ما بعد التدريب: استخدام 40 ألف عينة عالية الجودة مع سياق ممتد (يصل إلى 2048 توكن) لتحسين التعميم.
أخذ العينات السالبة (Negative Sampling): استخدام قناع سلبي عشوائي (Stochastic negative masking) لإدارة العدد التربيعي من النطاقات المرشحة.

الانتباه المشترك الاختياري (Optional Cross-Attention)

لمعالجة الفقدان المحتمل في التفاعل عبر الوسائط، يمكن إضافة طبقة CrossFuser اختيارية لتبادل المعلومات بين تمثيلات النص والتصنيف عبر الانتباه ثنائي الاتجاه، مما يوفر مقايضة قابلة للضبط بين الدقة والكفاءة.

3. المساهمات الرئيسية

بنية GLiNER-bi-Encoder: تصميم ثنائي الترميز قابل للتوسع يكسر حاجز التعقيد التربيعي، مما يتيح التعرف المتزامن على آلاف إلى ملايين أنواع الكيانات بأقل قدر من الأعباء الإضافية.
إطار عمل GLiNKER: إطار عمل معياري يعتمد على الرسم البياني الموجه غير الدوري (DAG) يوسع المُرمّز الثنائي ليشمل ربط الكيانات (Entity Linking). وهو يدمج استخراج الإشارات، وتوليد المرشحين من قواعد معرفية ضخمة (مثل Wikidata)، وفك الغموض، مستفيداً من التضمينات المحسوبة مسبقاً للاسترجاع الفعال.
أداء رائد في التعلم الصفري (Zero-Shot): يحقق النموذج أداءً تنافسياً أو متفوقاً مقارنة بمتغيرات GLiNER ذات الترميز الموحد عبر مجالات متنوعة دون الحاجة لضبط دقيق (fine-tuning).
تحسين هائل في الإنتاجية: أظهر النموذج تسارعاً بمقدار 130 ضعفاً في إنتاجية الاستنتاج عند 1,024 تصنيفاً مقارنة بالنماذج السابقة ذات الترميز الموحد عند استخدام تضمينات التصنيف المحسوبة مسبقاً.

4. النتائج التجريبية

تم تقييم النماذج على 26 اختباراً معيارياً للتعرف على الكيانات بأسلوب التعلم الصفري (بما في ذلك CrossNER، وCoNLL 2003، ومجموعات بيانات BioBERT، ونصوص وسائل التواصل الاجتماعي) على وحدة معالجة رسومات واحدة من نوع NVIDIA H100.

الدقة:
- حقق نموذج GLiNER-bi-large-v2.0 نسبة 61.5% Micro-F1 في اختبار CrossNER، متفوقاً على أفضل نموذج GLiNER ذي الترميز الموحد (60.9%).
- أداء قوي في المجالات الطبية الحيوية: GENIA_NER (60.1%) و bc5cdr (71.7%).
- حقق متغير Base (194 مليون معلمة) 98% من أداء نموذج Large مع العمل بسرعة 2.6 ضعفاً أسرع.
القابلية للتوسع والسرعة:
- تدهور الترميز الموحد: مع زيادة عدد التصنيفات إلى 1,024، عانت نماذج الترميز الموحد من انخفاض في الإنتاجية بنسبة 98.7% (على سبيل المثال، من 10.7 إلى 0.14 مثال/ثانية).
- استقرار الترميز الثنائي: حافظ الترميز الثنائي مع التصنيفات المحسوبة مسبقاً على سرعة ثابتة تقريباً، حيث أظهر انخفاضاً بنسبة 5.2% فقط (من 19.3 إلى 18.3 مثال/ثانية).
- مكاسب الإنتاجية: عند 1,024 تصنيفاً، يعد الترميز الثنائي أسرع بـ 130 مرة من الترميز الموحد المماثل. وعند 100 تصنيف، هو أسرع بـ 5.3 مرة.
التعميم: أظهر النموذج تعميماً قوياً في المجالات المتخصصة (الطبية الحيوية، القانونية) دون ضبط دقيق، رغم أن الأداء في مجموعات البيانات شديدة السياق (مثل HarveyNER) ظل يمثل تحدياً.

5. الأهمية والأثر

تمكين التعرف على ملايين التصنيفات: يجعل هذا العمل من الممكن حوسبياً نشر أنظمة التعرف على الكيانات المسماة ضد أنطولوجيات ضخمة (مثل UMLS التي تحتوي على أكثر من 4 ملايين مفهوم) في الوقت الفعلي، وهي مهمة كانت مستحيلة سابقاً مع بنيات الترميز المشترك.
ديمقراطية كفاءة معالجة اللغات الطبيعية (NLP): من خلال تقليل تكاليف الاستنتاج وزمن الاستجابة بشكل جذري، تسمح هذه البنية بنشر التعرف على الكيانات عالي الدقة في البيئات محدودة الموارد وتقليل البصمة البيئية لمعالجة النصوص واسعة النطاق.
توحيد استخراج وربط الكيانات: يردم إطار GLiNKER الفجوة بين NER وربط الكيانات (Entity Linking)، مما يوفر خط معالجة موحداً وقابلاً للتوسع للتطبيقات كثيفة المعرفة.
تحول في النموذج المعماري: تدعو الورقة إلى التحول من نماذج الترميز المشترك المتجانسة إلى أنظمة معيارية وقابلة للتفكيك حيث يمكن تحسين المكونات (النص مقابل التصنيفات) وتخزينها واسترجاعها بشكل مستقل، وهو مبدأ قابل للتطبيق في مهام التنبؤ المهيكلة الأوسع.

في الختام، نجح GLiNER-bi-Encoder في حل المقايضة بين مرونة التعلم الصفري وكفاءة النطاق الصناعي، مما وضع معياراً جديداً لاستخراج المعلومات القابل للتوسع.