💬 NLP

Exploring and Testing Skill-Based Behavioral Profile Annotation: Human Operability and LLM Feasibility under Schema-Guided Execution

تقترح هذه الورقة إطار عمل قائماً على المهارات لتوصيف الملفات السلوكية، مبرهنةً على أنه في حين يمكن للنماذج اللغوية الكبيرة مثل GPT-5.4 تنفيذ مجموعة فرعية من مهارات التوصيف محددة بوضوح بشكل موثوق، إلا أن أداءها انتقائي ويُفهم على أفضل وجه كصوت ثالث مستقل وليس كبديل مباشر للبشر، مما يسلط الضوء على الحاجة إلى تقييم جدوى الأتمتة على مستوى المهارة بدلاً من مستوى المهمة.

المؤلفون الأصليون: Yufeng Wu

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yufeng Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يقرأ كتاباً ويكتب تقريراً مفصلاً عن كل جملة فيه.

في الطريقة القديمة للتفكير، كنا نسأل: "هل يستطيع الروبوت قراءة الكتاب بالكامل وكتابة التقرير؟" إذا ارتكب الروبوت بعض الأخطاء، كنا نقول: "لا، إنه ليس جاهزاً بعد".

لكن هذه الورقة البحثية تقترح أن هذا السؤال بسيط للغاية. الأمر يشبه سؤال: "هل يستطيع إنسان بناء منزل؟". الإجابة ليست مجرد "نعم" أو "لا"، بل تعتمد على أي جزء من المنزل. يمكن للإنسان بسهولة وضع الطوب (مهمة سهلة)، لكنه قد يعاني في تصميم التمديدات الكهربائية دون دليل (مهمة صعبة)، وقد يضيع تماماً عند محاولة طلاء السقف وهو واقف على سلم مهتز (مهمة مستح المستحيلة بدون مساعدة).

يجادل مؤلفو هذه الورقة بأن توصيف اللغة (تسمية الجمل بالبيانات) يشبه تماماً بناء منزل. إنه ليس وظيفة واحدة كبيرة، بل هو حزمة من العديد من الوظائف الصغيرة المختلفة التي تسمى "المهارات".

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. "حزمة المهارات" مقابل "الكتلة الواحدة"

فكر في الجملة كأنها وصفة طبخ معقدة.

الرؤية القديمة: تقدم الوصفة لطاهٍ (الذكاء الاصطناعي) وتسأله: "هل هذا الطبق جيد؟".
الرؤية الجديدة: تقوم بتفكيك الوصفة.
- المهارة أ: تقطيع البصل (سهلة، والذكاء الاصطناعي بارع في هذا).
- المهارة ب: تذوق الصلصة لمعرفة ما إذا كانت مالحة جداً (متوسطة، الذكاء الاصطناعي جيد فيها، لكنه يحتاج لنظرة ثانية).
- المهارة ج: تحديد ما إذا كان هذا الطبق يشعر بـ "الحزن" أو "السعادة" (صعبة، والذكاء الاصطناعي يرتبك هنا).

وجدت الورقة أنه بالنسبة لتحليل اللغة، هناك بعض "المهارات" سهلة، وبعضها يمكن إصلاحه بمزيد من التركيز، وبعضها مجرد مهام غامضة جداً بحيث لا تستطيع القواعد الحالية التعامل معها.

2. الاختبار البشري: "العبء المعرفي" مقابل "القواعد المكسورة"

قام باحثون بشريون خبراء بتوصيف 300 جملة. قاموا بذلك في جولتين:

الجولة الأولى: قام البشر بكل شيء في وقت واحد (التقطيع، التذوق، الحكم). لقد تعبوا وارتكبوا أخطاء.
الجولة الثانية: عادوا فقط إلى الجمل التي اختلفوا عليها.

الاكتشاف:

المهارات "المتعبة": بالنسبة لبعض المهام، اختلف البشر في الجولة الأولى لأنهم كانوا مثقلين بالأعباء. في الجولة الثانية، عندما ركزوا فقط على تلك المهمة الصغيرة الواحدة، اتفقوا تماماً. هذه هي المهارات القابلة للاسترداد. القواعد كانت سليمة، لكن البشر فقط احتاجوا لاستراحة.
المهارات "المكسورة": بالنسبة لمهام أخرى، حتى عندما ركز البشر فقط على ذلك الشيء الواحد في الجولة الثانية، لم يستطيعوا الاتفاق. هذا يعني أن القواعد (المخطط/Schema) مكسورة. المهمة غامضة للغاية، مثل أن تطلب من شخص ما أن "يخمن مزاج سحابة". لا يوجد قدر من التركيز سيصلح تعريفاً مكسوراً.

3. اختبار الذكاء الاصطناعي: "الصوت الثالث المستقل"

بعد ذلك، طلبوا من ذكاء اصطناعي فائق الذكاء (GPT-5.4) القيام بنفس المهمة.

المفاجأة الكبرى:
اتفق الذكاء الاصطناعي والبشر على أي المهام كانت صعبة وأيها كانت سهلة.

التشبيه: تخيل خريطة لجبل. يتفق كل من الإنسان والذكاء الاصطناعي على أن القمة الشمالية شديدة الانحدار وخطيرة، وأن المسار الجنوبي مسطح وسهل. إنهما يتشاركان نفس الخريطة (تصنيف مشترك).

ولكن، عندما تسلقوا الجبل بالفعل:

تعثر الإنسان في صخرة معينة في القمة الشمالية.
تعثر الذكاء الاصطناعي في صخرة مختلفة في القمة الشمالية.
لم يرتكبوا نفس الأخطاء في نفس الجمل. لقد تسلقوا بشكل مستقل (تنفيذ مستقل).

لماذا هذا جيد؟
إذا ارتكب الذكاء الاصطناي نفس أخطاء البشر تماماً، فسيكون بلا فائدة (سيكون مجرد نسخة منهم). ولكن بما أنه يرتكب أخطاءً مختلفة، فإنه يعمل كـ خبير ثالث في الغرفة.

الإنسان (أ) يقول: "هذه الجملة حزينة".
الإنسان (ب) يقول: "هذه الجملة محايدة".
الذكاء الاصطناعي يقول: "أعتقد أنها حزينة، ولكن لسبب مختلف عن الإنسان (أ)".

الذكاء الاصطناعي ليس بديلاً للبشر؛ إنه صوت جديد يساعد الفريق على رؤية الجملة من زاوية مختلفة.

4. "الروبوتات الصغيرة" (النماذج مفتوحة المصدر)

اختبر الباحثون أيضاً نماذج ذكاء اصطناعي أصغر ومجانية. فشلت هذه النماذج، ولكن ليس لأنها "غبية".

المشكلة: لم تستطع اتباع "التنسيق".
التشبيه: تخيل أنك تطلب من روبوت صغير فرز كرات حمراء وزرقاء. الروبوت يفهم الأحمر والأزرق تماماً. ولكن بدلاً من وضعها في الصناديق، بدأ برسم صور للكرات أو كتابة قصائد عنها.
الفشل لم يكن في فهم اللغة؛ بل كان في اتباع القواعد الصارمة للعبة.

الخلاصة النهائية: كيف نصلح سير العمل

تقترح الورقة التوقف عن محاولة أتمتة الوظيفة الكاملة دفعة واحدة. بدلاً من ذلك، يجب استخدام سير عمل قائم على المهارات:

تدقيق المهارات: فكك الوظيفة. أي الأجزاء سهلة؟ أي الأجزاء مكسورة؟
التصفية: استبعد القواعد "المكسورة" (تلك التي لا يتفق عليها البشر حتى مع التركيز).
نشر الذكاء الاصطناعي: دع الذكاء الاصطناعي يتولى المهارات "السهلة" و"القابلة للاسترداد".
استخدم الذكاء الاصطناي كشريك: لا تجعل الذكاء الاصطناعي يحل محل البشر. اجعل الذكاء الاصطناي يكون "الصوت الثالث" الذي يساعد البشر على اتخاذ قرارات أفضل في الأجزاء الصعبة.

باختصار: لا ينبغي أن نسأل، "هل يستطيع الذكاء الاصطناعي القيام بهذه الوظيفة؟". بل يجب أن نسأل، "أي أجزاء من هذه الوظيفة يمكن للذكاء الاصطناعي القيام بها، وكيف يمكننا استخدامه لمساعدة البشر في القيام بالباقي؟". الإجابة هي: الذكاء الاصطناعي هو زميل قوي ومستقل، ولكن فقط إذا أعطيناه تعليمات واضحة ومحددة لمهام معينة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "استكشاف واختبار توصيف الملفات السلوكية القائم على المهارة: القدرة التشغيلية البشرية وجدوى النماذج اللغوية الكبيرة تحت التنفيذ الموجه بالمخطط (Schema)."

1. بيان المشكلة

توصيف الملف السلوكي (BP) هو طريقة تحليل معجمي صارمة قائمة على المتون، تتطلب ترميزاً متزامناً لأبعاد لغوية متعددة (معجمية، تركيبية، دلالية، اقترانية، وتداولية) لكل سطر من أسطر التوافق (concordance lines).

التحدي: يُنظر إلى توصيف الملف السلوكي تقليدياً كمهام أحادية الكتلة (monolithic)، مما يجعل أتمتتها أمراً صعباً. وقد أظهرت النماذج اللغوية الكبيرة (LLMs) وعوداً في المهام ذات الميزة الواحدة، لكن قدرتها على التعامل مع الطبيعة المعقدة ومتعددة الأبعاد لتوصيف الملف السلوكي لا تزال غير واضحة.
الفجوة: غالباً ما تقيم الأبحاث الحالية النماذج اللغوية الكبيرة على "مستوى المهمة" (أي: هل يستطيع النموذج القيام بالوظيفة بأكملها؟)، مما يحجب حقيقة أن أجزاء مختلفة من المخطط (schema) تتباين بشكل كبير في درجة صعوبة تشغيلها. هناك نقص في التحليل الدقيق حول أي عمليات التوصيف (المهارات) هي قابلة للأتمتة وأيها لا.

2. المنهجية

يقترح البحث إطار عمل قائماً على المهارة حيث يتم تفكيك توصيف الملف السلوكي إلى "مهارات توصيف" متميزة بدلاً من معاملته كمهمة واحدة.

البيانات:
- المتن (Corpus): 3,134 سطراً من أسطر التوافق لـ 30 من مشتقات المصطلحات اللونية الاستعارية الصينية (مثل: hēichē 'تاكسي غير مرخص'، hóngbāo 'المظروف الأحمر').
- المخطط (Schema): مخطط ملف سلوكي يتكون من 14 ميزة تغطي خمسة مستويات لغوية (معجمية، تركيبية، دلالية، اقترانية، وتداولية).
بنية النظام (خط إنتاج مدفوع بملف المهارة):
- بخلاف هندسة الأوامر (prompt engineering) القياسية، يستخدم البحث نظاماً موجهاً بالمخطط خارجي.
- المكونات: ملفات المخطط (تحديد الملصقات، القواعد، الأمثلة)، قوالب الأوامر (حقن التعريفات)، وتكوينات المشغل (ربط الموارد والافتراضات الافتراضية لفك التشفير).
- التنفيذ: يضمن ذلك أن يكون سير العمل قابلاً للتدقيق، وقابلاً لإعادة الاستخدام، ومقيداً بصرامة بالمخطط، بدلاً من الاعتماد على الأوامر العشوائية.
بروتوكول التوصيف البشري:
- قام اثنان من الموصّفين البشريين بإجراء بروتوكول ثنائي الجولات يعتمد على المخطط فقط على عينة تحقق مكونة من 300 حالة.
- الجولة الأولى: ترميز مستقل لقياس قابلية التشغيل في "اللقطة الأولى" (cold-take).
- الجولة الثانية: إعادة ترميز مركزة فقط للخلايا التي حدث فيها خلاف للتمييز بين صعوبة الحمل المعرفي (قابلة للاسترداد) وعدم التحديد الهيكلي (غير قابلة للاسترداد).
تقييم النموذج:
- النموذج الرائد (Frontier Model): GPT-5.4 (OpenAI).
- النماذج مفتوحة المصدر: Qwen2.5-7B، GLM-4-9B، Yi-1.5-9B.
- مستويات التقييم:
  1. مستوى المهارة: الارتباط بين ملفات الصعوبة بين البشر والنماذج.
  2. مستوى الحالة (Instance Level): الارتباط في الأخطاء على أسطر توافق محددة.
  3. مستوى العنصر المعجمي: الارتباط في الأخطاء على كلمات مستهدفة محددة.

3. المساهمات الرئيسية

التحول المفاهيمي: إعادة صياغة توصيف الملف السلوكي من "مهمة واحدة" إلى "حزمة من مهارات التوصيف". وهذا يسمح بتشخيص أكثر دقة لجدوى الأتمتة.
إطار عمل تشغيلي: تقديم خط إنتاج مدفوع بملف المهارة يقوم بنقل قواعد القرار والأمثلة إلى الخارج، متجاوزاً نهج الأوامر فقط لإنشاء بيئة تنفيذ مهيكلة وقابلة للتكرار.
تصنيف قابلية تشغيل المهارة: اقتراح تصنيف ثلاثي المستويات لمهارات التوصيف بناءً على بيانات التجربة البشرية:
- قابلة للتشغيل المباشر: موثوقة في المرور الأول.
- قابلة للاسترداد: غير مستقرة في البداية ولكنها تستقر بعد إعادة الترميز المركزة (مشكلة حمل معرفي).
- غير محددة هيكلياً: تظل غير مستقرة حتى بعد إعادة الترميز (مشكلة في تعريف المخطط).
تفسير جديد لدور النماذج اللغوية الكبيرة: تقديم مفهوم "المخطط المشترك، التنفيذ المستقل"، والمجادلة بأن النماذج اللغوية الكبيرة يجب النظر إليها كـ "صوت مهارة ثالث مستقل" وليس كبديل مباشر للبشر.

4. النتائج الرئيسية

تباين المهارات: لم تكن ميزات الملف السلوكي الـ 14 متساوية في الصعوبة.
- 5 مهارات كانت قابلة للتشغيل المباشر.
- 4 مهارات كانت قابلة للاسترداد بعد إعادة الترميز المركزة.
- 5 مهارات ظلت غير محددة هيكلياً.
أداء GPT-5.4:
- حقق موثوقية جوهرية في المهارات العشر المتبقية (الدقة = 0.678، $\kappa$ = 0.665، Weighted F1 = 0.695).
- كان الأداء انتقائياً وليس شاملاً؛ فقد برع في بعض المهارات وتعثر في أخرى.
تحليل الارتباط (نمط "المخطط المشترك، التنفيذ المستقل"):
- مستوى المهارة: توافق قوي بين صعوبة البشر وGPT ( $r = 0.881$ ). كلاهما يجد نفس الميزات صعبة أو سهلة.
- مستوى الحالة: ارتباط يقترب من الصفر ( $r = 0.016$ ). لا يفشلان في نفس الجمل المحددة.
- المستوى المعجمي: ارتباط سلبي/منعدم ( $r = -0.142$ ). لا يفشلان في نفس الكلمات المحددة.
- الاستنتاج: يشترك GPT في فهم البشر لـ ماهية الشيء الصعب، لكنه يرتكب أخطاء مختلفة في أين و كيف.
إخفاقات النماذج مفتوحة المصدر:
- تركزت الإخفاقات في التنفيذ من المخطط إلى المهارة (على سبيل المثال: تعيين قائمة الملصقات الخاطئة أو انتهاكات التنسيق) بدلاً من النقص التام في الكفاءة اللغوية.
- أشارت المعدلات العالية للمخرجات "خارج المخطط" (على سبيل المثال: معدل غير صالح بنسبة 76% لـ F4 في Qwen2.5-7B) إلى حدوث خلل في فك التشفيد المقيد.

5. الأهمية والآثار المترتبة

التحول المنهجي: تجادل الورقة بأن التوصيف الآلي يجب أن يُقيم بناءً على جدوى المهارة بدلاً من أتمتة مستوى المهمة. إن الإجابة بـ "نعم/لا" على سؤال "هل تستطيع النماذج اللغوية الكبيرة القيام بتوصيف الملف السلوكي؟" هي إجابة مضللة؛ الإجابة هي "نعم، لمهارات محددة تحت ظروف محددة".
إعادة تصميم سير العمل: اقتراح سير عمل شبه تلقائي:
1. إجراء توصيف بشري تجريبي لتصنيف المهارات (قابلة للتشغيل مقابل غير محددة).
2. استبعاد المهارات غير المحددة هيكلياً.
3. نشر النماذج اللغوية الكبيرة فقط على "المهارات المتبقية" كـ صوت ثالث مستقل للتحقق من صحة البيانات مع الموصّفين البشريين، بدلاً من استبدالهم.
رؤية نظرية: تشير نتيجة أن صعوبة البشر والنموذج اللغوي الكبير تتوافق على المستوى الكلي وتتباعد على المستوى الجزئي إلى أن النماذج اللغوية الكبيرة توفر أدلة توصيف غير زائدة عن الحاجة. فهي ليست مجرد "نسخ بشرية مشوشة"، بل وكلاء متميزون يعملون ضمن نفس مشهد الصعوبة.
التطبيق العملي: بالنسبة لغويات المتون ومعالجة اللغات الطبيعية، يشير هذا إلى أن تصميم المخطط يجب أن يكون تكرارياً. المخططات التي تحتوي على مهارات "غير محددة هيكلياً" لا يمكن أتمتتها ببساطة باستخدام نموذج أقوى؛ بل يتطلب المخطط نفسه مراجعة.

في الختام، تثبت الدراسة أنه بينما لا تستطيع النماذج اللغوية الكبيرة بعد الأتمتة الكاملة لتوصيف لغوي متعدد الأبعاد ومعقد، إلا أنها يمكن أن تعزز العملية بشكل كبير عندما تُدمج كـ منفذ مستقل خاص بالمهارة ضمن سير عمل مهيكل وصارم وموجه بالمخطط.