💬 NLP

Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset

تقدم هذه الورقة البحثية JudgeWEL، وهو عبارة عن مجموعة بيانات للتعرف على الكيانات المسماة باللغة اللوكسمبورغية أكبر بكثير وأكثر توازناً، تم إنشاؤها من خلال الاستفادة من روابط ويكيبيديا-ويكي بيانات للإشراف الضعيف وتنقية الملصقات الضوضائية عبر مسار مبتكر يستخدم النماذج اللغوية الكبيرة للتحقق.

المؤلفون الأصليون: Alistair Plum, Laura Bernardy, Tharindu Ranasinghe

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alistair Plum, Laura Bernardy, Tharindu Ranasinghe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت قراءة لغة معينة، وهي اللغة اللوكسمبورغية. يتحدث هذه اللغة حوالي 400,000 شخص، ولكن في عالم الذكاء الاصطناعي، تُعت-بر لغة "ضعيفة الموارد". فكر في الأمر كأنه قرية صغيرة ونائية لم يتم رسم خرائطها بعد من قبل شركات نظام تحديد المواقع العالمي (GPS) الكبرى. لتعليم الروبوت، تحتاج إلى مكتبة ضخمة من الكتب حيث تكون الأسماء المهمة (مثل الأشخاص، الأماكن، والمؤسسات) محددة ومصنفة مسبقاً. لكن لا أحد قد كتب هذه الكتب باللغة اللوكسمبورغية بعد، وتوظيف البشر لكتابتها أمر مكلف وبطيء.

تقدم هذه الورقة البحثية وصفة ذكية مكونة من ثلاث خطوات لبناء تلك المكتبة تلقائياً، باستخدام مزيج من ويكيبيديا، وويكي بيانات (Wikidata)، وأحكام الذكاء الاصطناعي (AI Judges).

إليك قصة كيف فعلوا ذلك، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: "الرف الفارغ"

بالنسب بالنسبة للغات الكبيرة مثل الإنجليزية أو الفرنسية، لدينا مكتبات ضخمة من البيانات المصنفة مسبقاً. أما بالنسبة للغة اللوكسمبورغية، فإن الرف يكاد يكون فارغاً. أراد المؤلفون ملء هذا الرف دون توظيف جيش من اللغويين البشريين.

2. الخطوة الأولى: "رحلة البحث عن الكنز" (الإشراف عن بُعد - Distant Supervision)

بدلاً من كتابة جمل جديدة من الصفر، ذهب الفريق إلى ويكيبيديا اللوكسمبورغية.

التشبيه: تخيل أنك تبحث عن أدلة في خريطة كنز. في ويكيبيديا، عندما تكون الكلمة عبارة عن "رابط" (مثل النقر على اسم لرؤية تاريخه)، فهي دليل ذهبي.
الحيلة: استخدموا أداة للعثور على كل اسم مرتبط في المقالات. ثم تحققوا من ويكي بيانات (قاعدة بيانات ضخمة للحقائق) لمعرفة ماهية هذا الرابط فعلياً.
- إذا كان الرابط يؤدي إلى صفحة شخص، فيقومون بوسمه بـ PER (شخص).
- إذا كان يؤدي إلى مدينة، فيقومون بوسمه بـ LOC (موقع).
- إذا كان يؤدي إلى شركة، فيقومون بوسمه بـ ORG (مؤسسة).
النتيجة: قاموا بسرعة بتوليد آلاف الجمل مع التصنيفات. ولكن، تماماً مثل رحلة البحث عن الكنز، بعض الأدلة كانت مضللة. بعض الروابط كانت مكسورة، أو السياق كان غريباً. كانت البيانات "مشوشة".

3. الخطوة الثانية: "المحررون الصارمون" (النموذج اللغوي الكبير كحكم - LLM-as-a-Judge)

هذا هو الجزء الأكثر ابتكاراً. لم يستعينوا ببشر لمراجعة كل جملة. بدلاً من ذلك، طلبوا من النماذج اللغوية الكبيرة (LLMs) أن تعمل كمحررين.

التشبيه: تخيل أن لديك كومة من 75,000 مقال كتبها طالب. لا يمكنك قراءتها جميعاً. لذا، تقوم بتعيين ذكاء اصطناعي فائق الذكاء (الـ "حكم") ليقرأها ويقول: "احتفظ بهذا، إنه جيد"، أو "ارمِ هذا، إنه هراء".
التجربة: اختبروا العديد من أحكام الذكاء الاصطناعي المختلفة (بعضها من OpenAI، وبعضها من Google، وبعضها مفتوح المصدر). سألوا الذكاء الاصطناعي: "انظر إلى هذه الجملة وتصنيفاتها. هل التصنيف صحيح؟ نعم أم لا؟"
الفائز: وجدوا أن نماذج الذكاء الاصطناعي الأكثر تقدماً (مثل GPT-5) كانت جيدة بشكل مدهش في هذا الأمر. لقد اتفقوا مع الخبراء البشريين بنسبة 62% من الوقت. وهذا قريب بما يكفي للقول: "حسناً، هذا الذكاء الاصطناعي هو محرر موثوق".

4. الخطوة الثالثة: المكتبة النهائية (مجموعة بيانات judgeWEL)

بعد أن قام محررو الذكاء الاصطناعي بتصفية الجمل السيئة، تبقى لديهم مجموعة بيانات نظيفة وعالية الجودة تسمى judgeWEL.

تحتوي على 28,866 جملة.
هي أكبر بـ 5 مرات من أفضل مجموعة بيانات سابقة للغة اللوكسمبورغية.
تغطي مجموعة واسعة من المواضيع، وليس الأخبار فقط.

5. هل نجح الأمر؟ (تجربة القيادة)

أخذ المؤلفون هذه المكتبة الجديدة وعلموا نماذج ذكاء اصطناعي مختلفة كيفية التعرف على الأسماء باللغة اللوكسبورغية.

النتيجة: النماذج التي تدربت على هذه المكتبة الجديدة المنقحة بواسطة الذكاء الاصطناعي أدت أداءً يقارب أداء النماذج التي تدربت على بيانات مصنفة بشرياً.
العقبة: بينما كان "المحررون" من الذكاء الاصطناعي رائعين في اكتشاف الأخطاء، إلا أن "الكُتّاب" من الذكاء الاصطناعي (النماذج التوليدية) كانوا لا يزالون غير منظمين قليلاً عند محاولة إنشاء التصنيفات بأنفسهم. من الأسهل للذكاء الاصطناعي أن يقول "هذا خطأ" بدلاً من أن يقول "إليك التصنيف المثالي".

الخلاصة الكبرى

تثبت هذه الورقة البحثية أنه بالنسبة للغات الصغيرة وغير الممثلة جيداً، لا تحتاج إلى الانتظار حتى يقوم البشر بتصنيف كل شيء. يمكنك استخدام ويكيبيديا كمسودة أولية وأحكام الذكاء الاصطناعي لتلميعها.

الاستعارة:
فكر في بناء مورد لغوي مثل بناء منزل.

الطريقة القديمة: استئجار فريق من البنائين (البشر) لوضع كل طوبة يدوياً. بطيئة ومكلفة.
الطريقة الجديدة: استخدام آلة لصب كومة من الطوب (بيانات ويكيبيديا). ثم تعيين رئيس عمال ذكي جداً (حكم الذكاء الاصطناعي) للمشي عبر الموقع، وركل الطوب المتصدع، وترتيب الطوب الجيد. يتم بناء المنزل أسرع بـ 5 مرات، ولا يزال قوياً بما يكفي للسكن فيه.

يقدم هذا النهج مساراً مستداماً لمنح كل لغة، حتى الصغيرة منها، فرصة عادلة في عالم الذكاء الاصطناعي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تحكم النماذج اللغوية الكبيرة (LLMs) بشكل جيد على تسميات الكيانات المسماة ذات الإشراف البعيد؟ بناء مجموعة بيانات JudgeWEL".

1. بيان المشكلة

تتناول الورقة البحثية العقبة الحرجة في معالجة اللغات الطبيعية (NLP) لـ اللغات ذات الموارد المحدودة وغير الممثلة كفاية، وتحديداً اللغة اللوكسمبورغية.

ندرة الموارد: تفتقر اللغة اللوكسمبورغية إلى مجموعات البيانات الضخمة والموسومة يدوياً والمطلوبة لمهام التعلم الخاضع للإشراف مثل التعرف على الكيانات المسماة (NER). الموارد الموجودة حالياً (مثل RTL-NER) صغيرة وغير متوازنة (5,500 جملة).
تكاليف التوسيم (Annotation): عمليات التوسيم اليدوي التقليدية مكلفة، بطيئة، ويصعب توسيع نطاقها بسبب نقص الخبرة اللغوية والتمويل.
التحدي: كيفية بناء مجموعة بيانات NER ضخمة وعالية الجودة للغة ذات موارد محدودة بأقل قدر من التدخل البشري، مع ضمان أن تكون جودة التسميات المولدة تلقائياً كافية لتدريب نماذج قوية.

2. المنهجية

يقترح المؤلفون خط معالجة (Pipeline) مبتكر يسمى JudgeWEL، والذي يجمع بين الإشراف البعيد (Distant Supervision) من قواعد المعرفة المهيكلة وضبط الجودة القائم على النماذج اللغوية الكبيرة (LLM-based quality control). تتضمن العملية أربع مراحل رئيسية:

أ. مصدر البيانات والاستخراج

المصدر: ويكيبيديا باللغة اللوكسمبورغية (77 ألف مقال).
الاستخراج: تم استخدام WikiExtractor لتحليل ملفات XML، مع الحفاظ على الروابط التشعبية التي تعمل كأساس لتحديد الكيانات.

ب. الإشراف البعيد (التوسيم الأولي)

ربط الكيانات (Entity Linking): يتم مطابقة الكيانات المرتبطة تشعبياً في جمل ويكيبيديا مع مدخلات Wikidata عبر واجهة برمجة التطبيقات (API).
استنتاج النوع (Type Inference): يتم استنتاج أنواع الكيانات بناءً على سمات Wikidata:
- PER (شخص): يطابق Q5 (بشر) أو يحتوي على تواريخ ميلاد/وفاة.
- ORG (منظمة): يطابق معرفات QIDs التنظيمية (مثل بنك، مستشفى).
- LOC (موقع): يطابق معرفات QIDs للمواقع (مثل بلدة، دولة).
- DATE (تاريخ): يطابق معرفات QIDs الخاصة بالتواريخ.
التنسيق: يتم توسيم الكيانات باستخدام نظام BIO (البداية-الداخل-الخارج).
الاختيار: لضمان التنوع، يتخطى خط المعالجة الجملة الأولى من المقالات (التي غالباً ما تكون نمطية) ويختار الخمس جمل التالية. كما يتم استبعاد الجمل القصيرة، والنصوص المكتوبة بالكامل بأحرف كبيرة، ونطاقات الكيانات المتداخلة. نتج عن ذلك 74,710 جملة مرشحة.

ج. تحسين التوسيم

ملء الفجوات: بما أن ويكيبيديا لا تربط جميع الكيانات، تم استخدام نموذج LuxGPT-NER مضبوط بدقة (مدرب على مجموعة بيانات يدوية أصغر) لإعادة تقييم الرموز (Tokens) غير الموسومة.
تصحيح التعبيرات النمطية (Regex): تم تطبيق التعبيرات النمطية لإصلاح وسوم التاريخ المفقودة وتوحيد مجموعات الوسوم (مثل دمج GPE في LOC).

د. النموذج اللغوي الكبير كحكم (LLM-as-a-Judge) (ضبط الجودة)

الفرضية: يمكن للنماذج اللغوية الكبيرة (LLMs) التمييز بشكل موثوق بين الجمل الموسومة عالية الجودة والجمل المشوشة، حتى في اللغات التي لم تُدرب عليها صراحة.
العملية: تم توجيه عدة نماذج لغوية كبيرة للعمل كحكام ثنائيين (إبقاء/استبعاد) لكل جملة من الـ 74 ألف جملة.
النماذج التي تم تقييمها:
- النماذج المملوكة (Proprietary): GPT-5، GPT-5-mini.
- النماذج مفتوحة الأوزان (Open-Weight): Gemma-3-27B-IT، Mistral-Medium-3.1، GPT-OSS-120B.
- النماذج المضبوطة تعليمياً (Instruction-Tuned): LLaMA-3.3-8B-Instruct، command-a-03-2025.
التحقق البشري: قام اثنان من المتحدثين الأصليين للغة اللوكسمبورغية بتوسيم 500 جملة يدوياً لإنشاء "معيار ذهبي" (Gold Standard) لاتفاق (Cohen's $\kappa$ = 0.66) لتقييم النماذج اللغوية الكبيرة.

3. المساهمات الرئيسية

مجموعة بيانات JudgeWEL: مجموعة بيانات NER جديدة ومفتوحة للغة اللوكسمبورغية تحتوي على 28,866 جملة (حوالي 5 أضعاف أفضل مجموعة سابقة). تغطي خمسة أنواع من الكيانات: PER، ORG، LOC، DATE، MISC.
خط معالجة مبتكر: إطار عمل مؤتمت يدمج الإشراف البعيد من ويكيبيديا/Wikidata مع تصفية قائمة على النماذج اللغوية الكبيرة، مما يقلل الحاجة إلى التوسيم اليدوي.
التقييم التجريبي للحكام من النماذج اللغوية الكبيرة: دراسة شاملة تقارن بين مختلف النماذج اللغوية الكبيرة وقدرتها على الحكم على جودة التوسيم في لغة ذات موارد محدودة.
وضع المعايير المرجعية (Benchmarking): وضع خطوط أساس جديدة لـ NER باللغة اللوكسمبورغية باستخدام كل من النماذج القائمة على الترميز (عائلة BERT) والنماذج التوليدية (LLM).

4. النتائج

أ. أداء النموذج اللغوي الكبير كحكم

الأفضل أداءً: حقق كل من GPT-5 و GPT-5-mini أعلى توافق مع الإجماع البشري (Cohen's $\kappa$ $κ$ = 0.62)، وهو ما يقارب تقريباً اتفاق المقيّمين البشر (0.66).
- كفاءة التكلفة: حقق GPT-5-mini نفس نتائج GPT-5 بجزء بسيط من التكلفة (~25 دولاراً مقابل ~180 دولاراً للمجموعة الكاملة).
النماذج المفتوحة: أظهرت GPT-OSS-120B و Mistral-Medium-3.1 توافقاً متوسطاً إلى قوي ( $\kappa$ = 0.45–0.47).
الأداء الضعيف: أظهرت النماذج المفتوحة الأصغر مثل Gemma-3-27B-IT و LLaMA-3.3-8B-Instruct ارتباطاً قريباً من الصفر أو سالباً، حيث كانت تستبعد أمثلة سلبية صالحة (جمل لا تحتوي على كيانات) أو تفشل في اكتشاف أنواع محددة من الكيانات (مثل MISC).
تحليل الخطأ:
- كانت كيانات DATE هي الأسهل لجميع النماذج في الحكم عليها.
- كانت كيانات MISC هي الأكثر إشكالية، حيث فشلت النماذج العليا في الاحتفاظ بأي جمل من نوع MISC معتمدة بشرياً.
- الأمثلة السلبية: حددت النماذج عالية المستوى الجمل التي لا تحتوي على كيانات بشكل صحيح، بينما قامت بعض النماذج المفتوحة بتصنيفها خطأً كأخطاء.

ب. أداء مهام NER اللاحقة

نماذج الترميز (Encoder Models): حققت النماذج المدربة على JudgeWEL درجات F1 عالية (>0.90). كان LuxemBERT و XLM-RoBERTa الأفضل أداءً، مما يؤكد فعالية التدريب المسبق الخاص باللغة ونقل التعلم عبر اللغات.
النماذج اللغوية التوليدية (Generative LLMs):
- حقق Meta-Llama-3-8B-Instruct درجة F1 بلغت 0.92، مساوياً لأداء نماذج الترميز.
- سجل نموذج Aya-expanse-8b درجة 0.84.
- عانى LuxGPT-NER (المضبوط بدقة) (F1 0.68)، مما يسلط الضال على الصعوبة التي تواجهها النماذج ذات التوليد الذاتي (Autoregressive) في محاذاة BIO الدقيقة على مستوى الرمز (Token).
التعميم عبر مجموعات البيانات: أظهرت النماذج المدربة على مجموعة JudgeWEL المبنية آلياً تعميماً جيداً على مجموعة اختبار RTL-NER الموسومة يدوياً (F1 ~0.89–0.92)، مما يثبت جودة الإشراف البعيد.

5. الأهمية والخاتمة

التحقق من النهج الهجين: تؤكد الدراسة أن الجمع بين المعرفة المهيكلة (Wikidata) والتصفية القائمة على النماذج اللغوية الكبيرة هو استراتيجية قابلة للتطبيق وواسعة النطاق للغات ذات الموارد المحدودة. إنها تسد الفجوة بين التوسيم اليدوي المكلف والتوليد الآلي الكامل غير الموثوق.
قدرة الحكم للنماذج اللغوية الكبيرة: يمكن للنماذج اللغوية الكبيرة المتطورة (حتى النسخ الأصغر مثل GPT-5-mini) أن تعمل كـ "حكام" فعالين لجودة التوسيم في اللغات غير الممثلة، مقتربة من الموثوقية البشرية.
الاتجاهات المستقبلية: يقترح المؤلفون إمكانية توسيع هذه المنهجية لتشمل لغات أخرى ذات موارد محدودة تمتلك حضوراً على ويكيبيديا. كما يشيرون إلى أنه بينما تعد النماذج اللغوية الكبيرة حكاماً ممتازين، فإن التوليد الآلي الكامل للوسوم من الصفر يظل عرضة للأخطاء المنهجية، مما يجعل النهج الهجين "الإنسان في الحلقة" (Human-in-the-loop) أو "النموذج اللغوي الكبير كحكم" هو المسار الأكثر واقعية للمضي قدماً نحو تحقيق العدالة في معالجة اللغات الطبيعية.

القيود: يعتمد هذا النهج على وجود نسخة غنية من ويكيبيديا وربط دقيق بـ Wikidata. قد يواجه صعوبات مع اللغات التي لديها بصمة رقمية ضئيلة. بالإضافة إلى ذلك، تركز مجموعة البيانات على الكيانات ذات التصنيف العام، مما قد يؤدي لتفويت التمييزات الدلالية الأكثر دقة.