ReLTEx: Reliable LLM-based Taxonomy Expansion
تقدم الورقة البحثية إطار عمل ReLTEx، الذي يعزز موثوقية والتماسك الدلالي لتوسيع التصنيفات القائم على النماذج اللغوية الكبيرة من خلال الجمع بين توليد المرشحين والتحقق المستند إلى البنية والتحكم في التوسع المتكرر للتخفيف من الهلوسة وعدم الاتساق الهرمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث تتناثر كل الكتب والأفكار والحقائق على الأرض. ولجعل هذا الفوضى منطقية، يستخدم العلماء شيئاً يسمى التصنيف (Taxonomy). فكر في التصنيف كخزانة ملفات منظمة للغاية أو شجرة عائلة للأفكار. فهو يجمع الأشياء معاً بناءً على كيفية ارتباطها: "الكلب" هو نوع من "الحيوان"، و"الحيوان" هو نوع من "الكائنات الحية". هذا الهيكل يساعد الحواسيب على فهم العالم، وإيجاد الإجابات على الأسئلة، والتنقل عبر كميات هائلة من البيانات. ولكن هنا تكمن المشكلة: العالم يتغير بسرعة، وتظهر أفكار جديدة كل يوم، ومحاولة تحديث هذه الخزانات يدوياً تشبه محاولة فرز مليون قطعة من مكعبات "ليجو" يدوياً؛ إنها عملية بطيئة، ومكلفة، ومستحيلة المواكبة.
مؤخراً، التقينا بمساعد جديد: النموذج اللغوي الكبير (LLM). يمكنك التفكير في النموذج اللغوي الكبير كروبوت ذكي جداً ومطلع، قرأ كل شيء تقريباً على الإنترنت. إنه بارع في تخمين الكلمة التالية في الجملة أو اقتراح أفكار جديدة. وقد أمل العلماء أن تتمكن هذه الروبوتات من بناء وتحديث خزانات الملفات الخاصة بنا تلقائياً. لكن هناك عقبة؛ فأحياناً، تصبح هذه الروبوتات مبدعة أكثر من اللازم. قد تقترح أن "ضفة النهر" هي نوع من "المؤسسات المالية" لمجرد أنهما يتشاركان كلمة "بنك" (Bank)، أو قد تخترع مفهوماً غير موجود في الواقع. إذا تركنا هذه الروبوتات تنطلق دون قيود، فقد تتحول خزانة ملفاتنا المنظمة إلى كومة فوضوية من الهراء.
هنا يأتي دور دراسة جديدة تقترح إطار عمل يسمى ReLTEx. أراد الباحثون معرفة ما إذا كان بإمكانهم استخدام هذه الروبوتات الذكية لتوسيع تصنيفاتنا دون إحداث فوضى. لم يكتفوا بترك الروبوت يكتب ما يشاء، بل بنوا نظام "ضبط جودة" لفحص كل اقتراح. ووجدوا أنه من خلال الجمع بين إبداع الروبوت وبين "فاحص" صارم يدرك الهيكل التنظيمي، يمكنهم توليد مفاهيم جديدة ومفيدة تتناسب بالفعل مع شجرة العائلة بشكل صحيح. وتشير الدراسة إلى أن هذه الطريقة تنتج نتائج أكثر موثوقية بكثير مما لو تركنا الروبوت يخمن بمفرده، رغم أنها تشير أيضاً إلى أن النظام لا يزال بحاجة إلى اختبار على مجموعات بيانات أكبر وأكثر تعقيداً ليكون مثالياً حقاً.
قصة ReLTEx: ترويض الروبوت المبدع
إذاً، كيف يعمل ReLT-Ex في الواقع؟ تخيل أنك رئيس مكتبة صارمة جداً. لديك مساعد روبوت بارع للغاية في كتابة القصص واختراع شخصيات جديدة. تسأل الروبوت: "ما هي أنواع الحيوانات التي تعيش في المحيط؟" قد يقول الروبوت: "الأسماك، الحيتان، و... 'جبنة البحر' (Sea-Cheese)!"
إذا اكتفيت بتصديق كلام الروبوت، فستمتلئ مكتبتك بحيوانات وهمية. ReLTEx هو النظام الذي تبنيه لمنع حدوث ذلك. وهو يعمل في ثلاث خطوات، مثل خط تجميع للأفكار يتكون من ثلاث مراحل.
الخطوة 1: الشرارة الإبداعية
أولاً، يطلب النظام من الروبوت (LLM) ابتكار أفكار جديدة. لكنه لا يكتفي بقول "أعطني أفكاراً"، بل يعطي الروبوت سياقاً محدداً. فهو يوضح للروبوت المسار من أعلى المكتبة وصولاً إلى الرف الحالي. على سبيل المثال، إذا كان الروبوت ينظر في قسم "الفاكهة"، فإنه يرى أن "الفاكهة" تندرج تحت "الطعام"، ويرى أن "التفاح" و"الموز" موجودان هناك بالفعل. يُطلب من الروبوت ابتكار فواكه جديدة تناسب هذا المستوى من التفصيل. قد يقترح "المانجو" أو "الكيوي". يقوم الروبوت بتوليد قائمة من المرشحين، لكننا نعلم أنه قد يقترح "ملعقة" أو "لون أزرق" عن طريق الخطأ.
الخطوة 2: المفتش الصارم
هذا هو الجزء الأهم. قبل أن توضع أي فكرة جديدة على الرف، يجب أن تجتاز اختباراً. لقد بنى الباحثون "مفتشاً" خاصاً (مصنفاً) يعمل مثل أمين مكتبة صارم. هذا المفتش لا يتحقق فقط مما إذا كانت الكلمات تبدو جميلة، بل يتحقق من الهيكل. يسأل نفسه: "هل تنتمي هذه الفكرة الجديدة حقاً تحت هذا الأصل؟"
لقد تم تدريب هذا المفتش على قائمة ضخمة من الأمثلة الصحيحة والخاطئة. تعلم أن "الإجابة" يجب أن توضع تحت "السؤال"، ولكن "الإجابة" لا ينبغي أن توضع تحت "العمل الإبداعي" لمجرد أن الإجابات يمكن أن تكون إبداعية. كما تعلم أيضاً رصد "الهلوسة" — وهي الأفكار التي اخترعها الروبوت ولا وجود لها. إذا اقترح الروبوت "جبنة البحر"، فإن المفتش يقول: "لا، هذا ليس حيواناً حقيقياً، ولا يتناسب مع شجرة العائلة". فقط الأفكار التي تجتاز هذا الاختبار الصارم هي المسموح لها بالبقاء.
الخطوة 3: مكابح الأمان
أحياناً، قد يصيب الروبوت في فكرة واحدة ثم ينجرف، فيخترع سلسلة كاملة من الهراء بناءً على ذلك الخطأ الواحد. يحتوي ReLTEx على مكابح أمان لهذا الغرض. فهو ينظر في مدى ثقة المفتش بشأن الأفكار الجديدة. إذا كان المفتش متأكداً بنسبة 50% فقط من "جبنة البحر" الجديدة، فإن النظام يتوقف عن توسيع هذا الفرع. ويقول: "لسنا متأكدين بما يكفي هنا، لذا دعونا نتوقف قبل أن نحدث فوضى أكبر". هذا يضمن أن المكتبة لا تنمو في الاتجاه الخاطئ.
ماذا وجدوا؟
اختبر الباحثون هذا النظام على "مكتبتين" مختلفتين (مجموعات بيانات). إحداهما كانت مجموعة اختبار قياسية صغيرة تسمى SemEval-2016 Task 13 Environment، والأخرى كانت مكتبة ضخمة من العالم الحقيقي تسمى Schema.org تحتوي على أكثر من 1,100 مفهوم.
لعبوا لعبة تسمى "توسيع التصنيف المقنع" (Masked Taxonomy Expansion). تخيل أننا أخفينا بعض الكتب الحقيقية في المكتبة وسألنا الروبوت أن يجدها مرة أخرى.
- في المكتبة الأصغر، نجح الروبوت Mistral (أحد النماذج التي اختبروها) في العثور على حوالي 42% من الكتب المخفية بشكل صحيح تماماً.
- وفي مكتبة Schema.org العملاقة، وجد حوالي 23%.
بينما قد تبدو هذه الأرقام منخفضة، يشير الباحثون إلى أن هذه مهمة صعبة للغاية لأن الروبوت يتعين عليه ابتكار أفكار جديدة من الصفر، وليس مجرد الاختيار من قائمة. والأهم من ذلك، عندما طلبوا من خبراء بشريين مراجعة النتائج، أبدى الخبراء إعجابهم الشديد بالنتائج. بالنسبة لمكتبة Schema.org، منح الحكام البشريون النظام درجة شبه مثالية بلغت 1.000 في "اتساق التفاصيل" (أي أن الأفكار الجديدة تناسب تماماً مستوى التفصيل الصحيح) و 1.000 في "عقلانية العلاقة الهرمية" (أي أن العلاقات بين الأصل والفرع منطقية).
تشير الدراسة إلى أن ReLTEx يمثل خطوة كبيرة للأمام لأنه لا يعتمد فقط على "شعور" الروبوت الداخلي. فمن خلال إضافة المفتش الهيكلي، يقوم النظام بتصفية الهراء ويحافظ على تنظيم شجرة العائلة.
الحدود والمستقبل
يحرص الباحثون على الإشارة إلى أن هذا ليس عصا سحرية تحل كل شيء. لقد استخدموا روبوتات مفتوحة المصدر وصغيرة نسبياً في اختباراتهم، وهم يشتبهون في أن الروبوتات الأكبر والأقوى قد تؤدي أداءً أفضل. كما أنهم يعترفون بأن "المفتش" الخاص بهم هو تقريب متعلم، مما يعني أنه قد يسمح أحياناً بمرور فكرة خاطئة.
علاوة على ذلك، ولأن هذه طريقة جديدة للقيام بالأشياء (توليد الأفكار بدلاً من مجرد فرز الموجود منها)، فلا يوجد معيار مثالي لمقارنتها بالطرق القديمة بعد. وتخلص الدراسة إلى أنه بينما ينتج ReLTEx تصنيفات أكثر موثوقية وتماسكاً، إلا أنه لا يزال مجالاً ناشئاً. ويختتم الفريق بأن نهجهم يقدم طريقة واعدة للحفاظ على تنظيم مكتباتنا الرقمية في عالم يتغير بسرعة أكبر مما يمكننا تحديثه يدوياً، ولكنه أداة يجب استخدامها بحذر ومواصلة الاختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.