💬 NLP

Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

تقدم هذه الورقة منهجية تجميعية فعالة من حيث التكلفة باستخدام النماذج اللغوية الكبيرة (LLMs) ومقاييس تقييم مبتكرة (نسبة الحفاظ على المحتوى، وسلامة صياغة الوسوم) لتحقيق وسم دلالي دقيق وموثوق لقرارات مجلس الأمن التابع للأمم المتحدة مع تقليل الهلوسة إلى أدنى حد.

المؤلفون الأصليون: Hussein Ghaly

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hussein Ghaly

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجلس الأمن التابع للأمم المتحدة كمكتبة قديمة وضخمة. في داخلها، توجد آلاف الوثائق (القرارات) المكتوبة على مدار الـ 80 عاماً الماضية. بعضها يبدو جديداً وعصرياً، لكن الكثير منها قديم، كُتب بآلات كاتبة بدائية، ثم تم مسحه ضوئياً وإدخاله إلى أجهزة الكمبيوتر، ومن ثم قُرئ بواسطة "عيون روبوتية" (التعرف الضوئي على الحروف - OCR) التي غالباً ما تقع في الأخطاء. حتى أن بعض الصفحات تحتوي على عمودين من النصوص جنباً إلى جنب، مما يجعل الأمر يبدو كأنه لغز متشابك حيث تختلط الإنجليزية والفرنسية في نفس السطر.

الهدف من هذه الورقة هو تعليم فريق من روبوتات الذكاء الاصطناعي (نماذج اللغات الكبيرة أو LLMs) كيفية تنظيف هذه المكتبة الفوضوية ووضع ملاحظات لاصقة ملونة (علامات دلالية) على الأجزاء المهمة، مثل "مَن"، "أين"، "متى"، و"ماذا حدث".

إليك التقسيم البسيط لكيفية قيامهم بذلك:

1. المشكلة: الوثائق "المشوشة"

فكر في وثائق الأمم المتحدة القديمة كأنها راديو معطل. الإشارة موجودة، لكنها مليئة بالتشويش، والكلمات المفقودة، والتقطعات الغريبة. إذا حاولت قراءتها، سيكون من الصعب فهمها.

التحدي: إذا طلبت من ذكاء اصطناعي واحد إصلاح هذا، فقد يرتبك. أحياناً قد يحذف كلمة عن طريق الخطأ (نقص في التوليد) أو يخترع جملة جديدة لم توجد أصلاً (هلوسة/زيادة في التوليد). نحن بحاجة إلى أن يكون الذكاء الاصطناعي أميناً كأمين مكتبة، وليس كاتباً مبدعاً.

2. الحل: "مجموعة الذكاء الاصطناعي" (لجنة الحكام)

بدلاً من الثقة في روبوت ذكاء اصطناعي واحد للقيام بالمهمة، قام الباحث بإعداد لجنة من الحكام.

استخدموا نسخاً مختلفة من الذكاء الاصطناعي (بعضها كبير وقوي مثل GPT-4.1، وبعضها صغير ورخيص مثل GPT-4.1-mini).
طلبوا من كل روبوت إصلاح النص وإضافة العلامات مرتين.
خلق هذا "حشداً" من المحاولات المختلفة. بعضها قد يكون مثالياً، وبعضها قد يكون غير دقيق قليلاً.

3. بطاقة التقييم: كيف تختار الفائز؟

كيف تعرف أي روبوت قام بأفضل عمل دون أن يقرأ إنسان كل صفحة؟ ابتكر المؤلف بطاقتي تقييم بسيطتين:

الدرجة 1: درجة "النسخ واللصق" (نسبة الحفاظ على المحتوى)
- التشبيه: تخيل أنك تقوم بتصوير لوحة نادرة وهشة. تريد أن تبدو النسخة تماماً مثل الأصل، مع إضافة إطار فقط.
- المعيار: يتحقق النظام من: "هل حذف الذكاء الاصطناعي كلمة بالخطأ؟ هل أضاف كلمة لم تكن موجودة؟" يقوم بعدّ عدد أزواج الحروف (مثل "th" أو "ing") التي بقيت كما هي. إذا كانت الدرجة عالية، فقد كان الذكاء الاصطناعي أميناً. إذا كانت منخفضة، فقد أفسد الذكاء الاصطناعي النص الأصلي.
الدرجة 2: درجة "الترتيب" (سلامة العلامات)
- التشبيه: تخيل أنك تغلف هدية. يجب أن تتأكد من أن كل قطعة شريط لاصق لها نهاية مطابقة، وألا تترك الصندوق مفتوحاً في المنتصف.
- المعيار: يتحقق النظام مما إذا كان الذكاء الاصطناعي قد أغلق علاماته بشكل صحيح (على سبيل المثال، يجب أن يكون لـ <date> نهاية وهي </date>). إذا ترك الذكاء الاصطناعي علامة مفتوحة أو خلط بينها، تنخفض الدرجة.

4. العملية: "البطولة"

لكل وثيقة على حدة:

إجراء السباق: تشارك جميع نماذج الذكاء الاصطناعي في المهمة (التنظيف والوسم) عدة مرات.
فحص بطاقات التقييم: يقوم النظام بحساب درجات "النسخ واللصق" و"الترتيب" لكل محاولة.
اختيار البطل: يختار النظام تلقائياً أفضل مخرج واحد من بين الحشد.
الحفظ: يتم حفظ هذه النسخة المثالية، ويتم استبدال النص الأصلي الفوضوي بها.

5. الاكتشاف الكبير: لست بحاجة إلى الروبوت الأكثر تكلفة

الجزء الأكثر إثارة في الورقة هو اكتشاف التكلفة مقابل الأداء.

عادةً، يعتقد الناس أنهم بحاجة إلى أكبر وأغلى ذكاء اصطناعي (الروبوت الخارق) للحصول على أفضل النتائج.
الواقع: وجد الباحث أن روبوتاً أصغر وأرخص (GPT-4.1-mini) يمكنه القيام بنفس المهمة تقريباً مثل الروبوت الكبير، ولكن بـ 20% فقط من التكلفة.
التشبيه: الأمر يشبه إدراك أنك لست بحاجة إلى سيارة فورمولا 1 للذهاب إلى البقالة؛ فسيارة كهربائية صغيرة وفعالة ستوصلك بنفس السرعة وتكلف جزءاً بسيطاً من ثمن الوقود.

6. لماذا هذا مهم؟

من خلال استخدام طريقة "المجموعة" هذه (استخدام فريق من الذكاء الاصطناعي وبطاقة تقييم صارمة)، أنشأ الباحث نظاماً موثوقاً ومؤتمتاً يمكنه:

تنظيف 80 عاماً من الوثائق الفوضوية.
تحويل النص غير المنظم إلى رسم بياني معرفي (خريطة رقمية ضخمة تربط الأشخاص والأماكن والأحداث).
القيام بذلك بتكلفة منخفضة بما يكفي ليُستخدم لآلاف الوثائق، وليس لعدد قليل منها فقط.

باختة القول: تعلمنا هذه الورقة كيفية بناء فريق ذكي ذاتي التصحيح من روبوتات الذكاء الاصطناعي يمكنه تنظيف الوثائق التاريخية الفوضوية وتنظيمها بشكل مثالي، دون إضاعة المال على الأدوات الأكثر تكلفة أو اختلاق حقائق وهمية. إن الأمر يتعلق باستخدام الرياضيات والعمل الجماعي لجعل الذكاء الاصطناعي جديراً بالثقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "بناء نظام تصنيف دلالي قائم على نماذج اللغة الكبيرة (LLM) لمجموعات (Ensemble) قرارات مجلس الأمن التابع للأمم المتحدة" للباحث حسين غالي.

1. بيان المشكلة

تتناول الورقة تحدي تحويل قرارات مجلس الأمن التابع للأمم المتحدة التاريخية، غير المهيكلة، والمشوبة بالضجيج (والتي يعود تاريخها من عام 1946 إلى 2025) إلى بيانات قابلة للقراءة آلياً وموسومة دلالياً لتكون مناسبة لبناء الرسوم البيانية للمعرفة (Knowledge Graphs).

تحديات محددة:

ضجيج البيانات: كانت القرارات المبكرة مطبوعة، وممسوحة ضوئياً، ومعالجة عبر تقنية التعرف الضوئي على الحروف (OCR)، مما أدى إلى وجود أخطاء طباعية، وعيوب ناتجة عن الـ OCR، ومشكلات في التنسيق.
التنسيق المعقد: غالباً ما استخدمت الوثائق ما قبل الثمانينيات تخطيطاً من عمودين، حيث يحتوي العمود الثاني على ترجمات فرنسية للنص الإنجليزي في العمود الأول. وتواجه أدوات معالجة اللغات الطبيعية (NLP) القياسية صعوبة في تحليل هذه الأسطر بشكل صحيح، حيث تدمج غالباً كتل نصية غير مترابطة.
تفاوت أداء نماذج اللغة الكبيرة (LLMs): نماذج اللغة الكبيرة هي نماذج احتمالية (Stochastic)؛ حيث يمكن أن تؤدي نفس المطالبة (Prompt) إلى مخرجات مختلفة بسبب إعدادات درجة الحرارة (Temperature). وهذا يجعل من الصعب ضمان الاتساق، والأمانة للنص الأصلي، وغياب الهلوسة (الإضافات أو الحذف).
قابلية القياس: هناك نقص في المقاييس القوية لتقييم أي مخرجات النموذج هي "الأفضل" لمهام التحويل التي تهدف إلى الحفاظ على المحتوى الأصلي مع إضافة وسوم (Tags) محددة.

2. المنهجية

يقترح المؤلف خط معالجة قائم على مجموعات نماذج اللغة الكبيرة (Ensemble LLM Pipeline) يستفيد من تباين النماذج لاختيار المخرج الأمثل بناءً على مقاييس تقييم مخصصة. تنقسم العملية إلى مهمتين متتاليتين:

أ. تنظيف البيانات

الهدف: تحويل نص الـ OCR ذي العمودين إلى تنسيق ذي عمود واحد، وتصحيح أخطاء الـ OCR، وإزالة علامات الوصل والكسور السطرية الناتجة عن الطباعة، وفصل النصوص الإنجليزية عن الفرنسية.
استراتيجية المطالبة (Prompt Strategy): توجه مطالبة ثابتة النموذج إلى "تضمين الإجابة فقط" والقيام بعمليات تنظيف محددة دون تغيير المحتوى الدلالي.
نهج المجموعة (Ensemble Approach): يقوم النظام بتشغيل مطالبة التنظيف على وثيقة واحدة عدة مرات (مرتان لكل نموذج) عبر 7 نماذج مختلفة (تتراوح من GPT-4.1 إلى GPT-5.1، بما في ذلك نسخ mini و nano).
الاختيار: لكل وثيقة، يتم اختيار المخرج الذي يحقق أعلى نسبة حفظ للمحتوى (CPR) كالنص المنظف النهائي.

ب. الوسم الدلالي (Semantic Tagging)

الهدف: وسم النص المنظف بوسوم XML لكيانات محددة: <location> (الموقع)، <entity> (الكيان)، <event> (الحدث)، <organization> (المنظمة)، و <date> (التاريخ).
القيد: يجب على النموذج الحفاظ على النص المدخل بدقة، مع إضافة الوسوم فقط.
نهج المجموعة: وبالمثل في عملية التنظيف، يتم إجراء عمليات تشغيل متعددة عبر النماذج السبعة.
الاختيار: يتم ترتيب المخرجات وفق تسلسل هرمي للمقاييس:
1. نسبة حفظ المحتوى (CPR): الفلتر الأساسي للأمانة للنص.
2. سلامة بنية الوسم (TWF): لضمان هيكل XML صالح (تطابق الوسوم المفتوحة والمغلقة).
3. عدد الوسوم (nT): لتحسين الاستدعاء (Identification) وتحديد أكبر عدد ممكن من الكيانات.

ج. مقاييس التقييم

للتغلب على نقص مجموعة بيانات "المعيار الذهبي" (Gold Standard)، قدمت الورقة مقيیسين جديدين:

نسبة حفظ المحتوى (CPR): تقيس التشابه بين تكرار ثنائيات الحروف (bigram frequencies) للمدخل والمخرج.
- الصيغة: $CPR = \frac{\sum b \cdot c_{in}(b)}{\sum b \cdot c_{in}(b) - \sum b |c_{in}(b) - c_{out}(b)|}$
- وهي تعاقب كلاً من الحذف (انخفاض التكرار في المخرج) والإضافة (زيادة التكرار في المخرج).
سلامة بنية الوسم (TWF): نسبة تحسب عدد أزواج الوسوم المغلقة بشكل صحيح مقابل الوسوم غير السليمة (مثل الوسوم غير المغلقة أو المتداخلة بشكل خاطئ).

3. المساهمات الرئيسية

مقاييس تقييم مبتكرة: تقديم مقياسي CPR و TWF لقياس أداء نماذج اللغة الكبيرة بشكل موضوعي في مهام تحويل النصوص، وتحديداً لمعالجة الهلوسة والسلامة الهيكلية.
استراتيجية اختيار المجموعة (Ensemble Selection Strategy): منهجية تستخدم عشوائية النماذج (تشغيلات متعددة) والاختيار القائم على المقاييس لاستخلاص المخرج الأكثر موثوقية، بدلاً من الاعتماد على تشغيل واحد للنموذج.
تحليل المقايضة بين التكلفة والدقة: تقديم أدلة تجريبية تثبت أن النماذج الأصغر والأرخص (مثل GPT-4.1-mini) يمكن أن تحقق أداءً مقارباً للنماذج الأكبر بتكلفة أقل بكثير.
إنشاء مجموعة بيانات: توليد مجموعة بيانات موسومة دلالياً لقرارات مجلس الأمن، مما يشكل أساساً لبناء الرسوم البيانية للمعرفة.

4. النتائج

تم اختبار النظام على عينة من 10 وثائق.

مهمة التنظيف:
- أفضل أداء: حقق GPT-4.1 أعلى نسبة CPR بلغت (84.9%).
- كفاءة التكلفة: حقق GPT-4.1-mini نسبة CPR بلغت (83.5%) بنسبة تكلفة بلغت 20% فقط من تكلفة أفضل نموذج (0.0028 مقابل 0.0139 دولار لكل وثيقة).
- ملاحظة: كانت النماذج الأصغر (nano) أسرع ولكنها أدت أداءً أسوأ بكثير في تنظيف النصوص المشوبة بالضجيج.
مهمة الوسم الدلالي:
- أفضل أداء: أظهر كل من GPT-4.1 و GPT-5.1 أعلى المقاييس.
  - GPT-4.1: نسبة CPR بلغت 99.99%، وTWF بلغت 99.92%، ووجد حوالي 92.6 وسماً.
  - GPT-5.1: نسبة CPR بلغت 99.95%، وTWF بلغت 99.91%، ووجد حوالي 93.1 وسماً.
- كفاءة التكلفة: حقق GPT-4.1-mini نسبة CPR مقاربة (99.92%) وTWF (99.64%)، ولكن بتكلفة تقارب 19% من تكلفة GPT-4.1، رغم أنه حدد عدداً أقل من الوسوم (80.1).

5. الأهمية والعمل المستقبلي

القابلية للتوسع: يوفر النهج حلاً مؤتمتاً وقابلاً للتوسع لمعالجة الأرشيفات الضخمة من الوثائق القانونية التاريخية التي كانت سابقاً صعبة المعالجة بالنسبة لتقنيات NLP القياسية بسبب ضجيجها.
الأثر الاقتصادي: تشير النتائج إلى أن المؤسسات يمكنها تقليل تكاليف استدلال نماذج اللغة الكبيرة بنسبة تصل إلى 80% عبر استخدام نماذج أصغر ضمن إطار عمل المجموعة دون التضحية بدقة كبيرة.
الرسوم البيانية للمعرفة: المخرجات (XML المهيكل) متوافقة مباشرة مع معايير مثل Akoma Ntilo، مما يتيح بناء رسوم بيانية للمعرفة قوية تمثل تفويضات الأمم المتحدة، والكيانات، والأحداث.
التوجهات المستقبلية: يقترح المؤلف تطوير "المجموعة" من مجرد "مُحدد لأفضل مخرج منفرد" إلى "مُكامل حقيقي" يعمل على دمج مخرجات عدة نماذج لزيادة الثقة في تحديد الوسوم (تصويت الإجماع/Consensus Voting) وتحقيق توافق أكبر بين مخطط الوسم ومعايير XML الخاصة بـ Akoma Ntoso.

في الختام، توضح هذه الورقة أنه من خلال الجمع بين تقنيات المجموعة (Ensemble) ومقاييس صارمة مخصصة للمهام، يمكن نشر نماذج اللغة الكبيرة بفعالية لمهام تنظيف البيانات واستخراج الدلالات عالية الدقة على مجموعات البيانات التاريخية الصعبة.