A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements
تقدم هذه الورقة تقييماً مقارناً تجريبياً لطرق استنباط أسئلة الكفاءة (CQ)، سواء كانت يدوية أو قائمة على الأنماط أو مدفوعة بالنماذج اللغوية الكبيرة، كاشفةً أنه في حين يمكن للنماذج اللغوية الكبيرة توليد أسئلة كفاءة أولية بفعالية، إلا أن المخرجات الناتجة تتباين بشكل كبير في الجودة وتتطلب عادةً تنقيحاً بشرياً قبل استخدامها في نمذجة الأنطولوجيا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء مكتبة رقمية ضخمة لمجموعة مقتنيات متحف من متعلقات الموسيقى. وقبل أن تتمكن من تنظيم الكتب، والأسطوانات، والصور، فأنت بحاجة إلى مخطط توضيحي. في عالم علوم الكمبيوتر، يُسمى هذا المخطط "الأنطولوجيا" (Ontology). وهو عبارة عن خريطة تخبر الكمبيوتر بكيفية ترابط كل شيء (على سبيل المثال: "هذه الأغنية كتبها ذلك الفنان").
ولكن كيف تعرف ما إذا كان مخططك جيداً؟ أنت بحاجة إلى قائمة من الأسئلة للتحقق منها. تُسمى هذه "أسئلة الكفاءة" (Competency Questions - CQs).
- مثال: "من الذي كتب هذه الأغنية؟" أو "ما هي الألبومات التي صدرت في عام 1990؟"
إذا كانت الأسئلة غامضة، فإن المخطط سيكون عديم الفائدة. وإذا كانت معقدة للغاية، فسيصاب الكمبيوتر بالارتباك.
السؤال الكبير: من هو أفضل "كاتب أسئلة"؟
أراد مؤلفو هذه الورقة البحثية معرفة: من هو الأفضل في كتابة هذه الأسئلة؟
لقد قارنوا بين ثلاثة "كُتّاب" مختلفين:
- الخبير البشري: عالم كمبيوتر متمرس يعرف قواعد اللعبة.
- ملء القوالب: طريقة تستخدم هياكل جمل جاهزة (مثل لعبة "المسافات الفارغة" حيث تضع الكلمات فقط في أماكنها).
- الروبوت الذكي (الذكاء الاصطناعي): نموذج لغوي كبير فائق الذكاء (مثل GPT-4 أو Gemini) يكتب الأسئلة تلقائياً.
لقد أعطوا جميع الكُتّاب الثلاثة نفس القصة حول مجموعة الموسيقى الخاصة بالمتحف، وطلبوا منهم كتابة قوائم الأسماؤل الخاصة بهم. ثم قاموا بتقييم النتائج.
النتائج: السباق نحو أفضل الأسئلة
إليكم ما وجدوه، باستخدام بعض التشبيهات الممتعة:
1. الخبير البشري (الطاهي الماهر) 🧑🍳
- الأداء: كتب البشر أفضل الأسئلة.
- لماذا؟ كانت أسئلتهم واضحة، وسهلة القراءة، وأصابت الهدف بدقة. لم يكتفوا فقط بالسؤال عما كُتب في القصة، بل سألوا عما كان مفهوماً ضمنياً.
- التشبيه: فكر في الخبير البشري على أنه طاهٍ ماهر. هو يعرف بالضبط المكونات المطلوبة لإعداد طبق مثالي. هو لا يتبع الوصفة فحسب؛ بل يعرف لماذا تحتاج إلى الملح وكيف توازن النكهات. كانت أسئلتهم قصيرة، وموجزة، ومما يحتاجه الكمبيوتر تماماً لفهم المتحف.
2. ملء القوالب (عامل خط التجميع) 🏭
- الأداء: كانت هذه الطريقة جيدة، لكنها كانت جامدة ومتكررة نوعاً ما.
- لماذا؟ استخدمت أنماطاً معدة مسبقاً (مثل "أي [عنصر] لديه [ميزة]؟"). لقد نجحت، لكنها بدت آلية وأغفلت أحياناً التفاصيل الدقيقة للقصة.
- التشبيه: هذا يشبه عامل خط التجميع الذي يختم القطع. هو سريع ومتسق، لكنه لا يستطيع الارتجال. إذا احتاجت القصة إلى لمسة إبداعية، فإن القالب لم يكن مناسباً، مما ترك بعض الفجوات في المخطط.
3. الروبوت الذكي (المتدرب المتحمس جداً) 🤖
- الأداء: كتب الذكاء الاصطناعي الكثير من الأسئلة، لكنها كانت غالباً طويلة جداً، ومعقدة للغاية، وأحياناً تفتقر إلى الجوهر.
- لماذا؟ حاول الذكاء الاصطناعي بذل جهد مبالغ فيه. استخدم كلمات كبيرة، وهياكل جمل معقدة، وطرح أسئلة صحيحة تقنياً ولكن يصعب على البشر فهمها. كما أغفل المتطلبات "الضمنية" التي رصدها الخبراء البشريون.
- التشبيه: الذكاء الاصطناعي مثل متدرب متحمس جداً يريد إبهار المدير. يكتب مقالاً من 10 صفحات بينما قد يكفي رد من جملة واحدة. يستخدم مفردات فخمة ليبدو ذكياً، لكنه أحياناً يخطئ في فهم الاحتياجات العملية البسيطة للوظيفة. كما يميل إلى الاستطراد، وطرح أسئلة ليست موجودة حقاً في القصة.
اكتشاف "الخلطة السرية"
وجدت الدراسة شيئاً مثيراً للاهتمام بخصوص "الصلة بالموضوع" (Relevance):
- البشر طرحوا أسئلة حول أشياء لم تكن مكتوبة صراحة في القصة ولكنها كانت ضرورية بوضوح (على سبيل المثال، "ما هو تنسيق الملف؟" حتى لو لم تذكر القصة "تنسيق الملف" صراحة). لقد استخدموا عقولهم لملء الفراغات.
- الذكاء الاصطناعي التزم حرفياً بما هو مكتوب. إذا لم تذكر القصة شيئاً، فإن الذكاء الاصطناعي لم يسأل عنه. لقد افتقر إلى "المنطق السليم" أو "المعرفة بالمجال" التي يمتلكها البشر.
الحكم النهائي
هل يمكننا ترك الذكاء الاصطناعي يقوم بكل العمل؟
ليس بعد.
تخلص الدراسة إلى أنه بينما يعد الذكاء الاصطناعي أداة رائعة لـ "العصف الذهني" (لتحريك الأفكار الأولية)، إلا أنه لا يمكنه استبدال الخبير البشري.
- الذكاء الاصطناعي يشبه المسودة الأولية. فهو يعطيك كومة من الأفكار، لكنها تحتاج إلى تحرير.
- البشر هم المحررون. هم بحاجة لأخذ مسودة الذكاء الاصطناعي الفوضوية والمعقدة، وتبسيطها، وتصحيح القواعد، وإضافة أسئلة "المنطق السليم" التي أغفلها الذكاء الاصطناعي.
الخلاصة
إذا كنت تبني خريطة رقمية للمعرفة، فلا تطلب من الروبوت القيام بذلك بمفرده. استخدم الروبوت للحصول على الأفكار، ولكن اترك للخبير البشري مهمة تنقيحها. أفضل النتائج تأتي من فريق هجين: سرعة الذكاء الاصطناعي مدمجة مع حكمة الإنسان.
باخت المختصر: الذكاء الاصطناعي هو كاتب سريع يمتلك حصيلة لغوية كبيرة، لكن الإنسان هو الشخص الذي يعرف حقاً عما تدور القصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.