STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "STaD: تصميم المهام المسندة لتحديد فجوات المهارات التركيبية في النماذج اللغوية الكبيرة".

1. بيان المشكلة

يعتمد تقييم النماذج اللغوية الكبيرة (LLMs) حاليًا بشكل كبير على درجات الاختبارات التجميعية (مثل الدقة في GSM8K أو MATH). وبينما تشير هذه المقاييس إلى الأداء العام، إلا أنها تعاني من قيود كبيرة:

• التقييم الأحادي (Monolithic Evaluation): تتعامل هذه المقاييس مع المهام المعقدة كوحدات واحدة، مما يحجب السبب وراء فشل النموذج. فقد يمتلك نموذجان درجات متطابقة، لكنهما يمتلكان نقاط ضعف كامنة مختلفة تمامًا (على سبيل المثال، أحدهما يفتقر إلى خطوة استدلال محددة، بينما يفشل الآخر فقط عند دمج عدة خطوات).
• طبيعة الصندوق الأسود: لا يكشف التقييم القياسي عن إخفاقات الاستدلال الوسيط أو "فجوات المهارات التركيبية" المحددة حيث يواجه النموذج صعوبة في تنسيق مهارات متعددة.
• قصور الطرق الحالية:
  • سلسلة الأفكار (Chain-of-Thought - CoT): تولد مسارات وسيطة، لكن من الصعب توسيعها بشكل منهجي، وغالبًا ما تنتج تفسيرات غير أمينة لا تعكس الاستدلال الداخلي الفعلي.
  • تفكيك المهام (Task Decomposition): يعمل على تقسيم المهام، ولكنه يُستخدم أساسًا لتحسين الأداء بدلاً من تشخيص أنماط الفشل المحددة وتفاعلات المهارات.

يجادل المؤلفون بأنه لفهم قدرات النماذج اللغوية الكبيرة حقًا، نحتاج إلى إطار عمل تشخيصي يميز بين المهارات التي يمتلكها النموذج بمعزل عن غيرها، والمهارات التي يمكنه أداؤها فقط مع وجود توجيه، ويحدد تحديدًا أين ينهار "تركيب" (composition) هذه المهارات.

2. المنهجية: تصميم المهام المسندة (STaD)

يقترح المؤلفون إطار عمل STaD، وهو مستوحى من مفهوم "السقالات" (Scaffolding) في العلوم المعرفية (فيجوتسكي). وبدلاً من استخدام السقالات لتحسين الأداء، يستخدمها STaD كأداة تشخيصية للكشف عن الحد الأدنى من مستوى الدعم المطلوب لنجاح النموذج.

مكونات الإطار الأساسية

يعمل STaD باستخدام ثلاثة أدوار متميزة للنماذج اللغوية الكبيرة:

1. النموذج المعلم ($f_{teach}$):
   • التفكيك: يقوم بتفكيك سؤال المعيار ($q$) إلى تسلسل من $K$ من المهام الفرعية الدنيا للاستدلال ($s_1, ..., s_K$).
   • الحوسبة: يحسب الإجابات الوسيطة الصحيحة لكل مهمة فرعية.
   • التوليد: ينشئ تنوعات مسندة (Scaffolded Variations). بالنسبة لمهمة تتكون من $K$ خطوة، فإنه يولد $K-1$ من التنوعات حيث يتم حل أول $j$ من الخطوات مسبقًا وحقنها في المطالبة (prompt)، تاركًا للنموذج حل الخطوات المتبقية فقط.
2. النموذج القاضي ($f_{judge}$):
   • يتحقق من اتساق تفكيك "المعلم" من خلال التأكد من أن المعلم يمكنه حل المهمة الأصلية بشكل صحيح حتى عند تزويده بإجاباته الوسيطة الخاصة (لمنع الهلوسة أو المنطق غير المتسق).
3. النموذج المستهدف ($f_{target}$):
   • هو النموذج الذي يتم تشخيصه. يتم تقييمه بناءً على المهمة الأصلية والتنوعات المسندة المولدة.

المقاييس والتحليل الرئيسية

• مستوى السقالات الأدنى ($k$): يُعرف بأنه أصغر عدد من الخطوات المحلولة مسبقًا المطلوبة للإجابة بشكل صحيح من قبل النموذج المستهدف.
  • $k=0$: يمكن حله بشكل مستقل.
  • $k>0$: يمكن حله فقط مع الدعم (يشير إلى وجود فجوة).
  • $k=-1$: لا يمكن حله حتى مع الدعم الكامل (يشير إلى عدم القدرة الجوهرية على الحل).
• رسم خرائط المهارات (Skill Mapping): يتم ربط المهام الفرعية بمهارات استدلال عليا (مثل "الاستدلال الزمني"، "الترجمة الجبرية") باستخدام التجميع والتمثيل الدلالي (semantic embedding). يسمح هذا بالتحليل على مستوى المهارة بدلاً من مجرد مستوى المهمة.
• تحديد الاختناقات (Bottleneck Identification): يحدد الإطار أول خطوة في التسلسل يفشل فيها النموذج، حتى لو كان يمتلك المهارات الفردية المطلوبة لتلك الخطوة بمعزل عن غيرها.

3. الإعداد التجريبي

• مجموعات البيانات: ثلاثة معايير للاستدلال تغطي مستويات صعوبة متفاوتة:
  • ToT Arithmetic: الاستدلال الزمني (التواريخ، الأوقات، المدد).
  • GSM8K: مسائل لفظية رياضية للمرحلة الابتدائية.
  • Math-Hard: مسائل رياضية معقدة (الجبر، التوافيق، التفاضل والتكامل).
• النماذج:
  • المعلم: GPT-OSS-120B (لتوليد التفكيكات والسقالات).
  • النماذج المستهدفة: ستة نماذج ذات أحجام وعائلات متنوعة (Qwen2.5, Granite 3.3, Llama 3.1/3.2) تتراوح من 2 مليار إلى 8 مليارات معلمة.
• العملية: يقوم إطار العمل بتصفية الحالات التي لا يستطيع فيها النموذج المعلم حل التنوعات المسندة باستمرار، مما يضمن جودة عالية لحالات الاختبار.

4. النتائج الرئيسية والاكتشافات

أ. الأداء مقابل السقالات

• GSM8K: تؤدي النماذج أداءً جيدًا بشكل عام بشكل مستقل (قاعدة مرتفعة). تحقق السقالات مكاسب ضئيلة، مما يشير إلى أن معظم حالات الفشل تعود إلى نقص في المهارات الفردية وليس في قضايا التركيب.
• ToT & Math-Hard: توجد فجوات أداء كبيرة بين المهام الأصلية والمهام المسندة. العديد من المهام التي تفشل فيها النماذج في البداية تصبح قابلة للحل مع الدعم الوسيط، مما يكشف أن الفشل كان بسبب فجوات تركيبية (عدم القدرة على تنسيق الخطوات) وليس بسبب نقص المعرفة.

ب. فجوات المهارات التركيبية (تأثير "الاختناق")

الاكتشاف الأكثر أهمية هو أن المهارات الموجودة في العزلة غالبًا ما تفشل عند الجمع بينها.

• مثال: قد يؤدي النموذج عملية "الطرح" و"الضرب" بشكل صحيح بشكل فردي. ومع ذلك، عندما تتطلب مهمة ما إجراء "طرح" يليه مباشرة "ضرب"، يفشل النموذج.
• تحليل الاختناق: في ToT Arithmetic، كانت الاختناقات الأكثر تكرارًا ليست الحساب الأساسي، بل التفاعلات المعقدة مثل "تداخل وتقاطع الوقت" مع "عد الفتحات المنفصلة" (Discrete slot counting).
• خصوصية النماذج: تمتلك النماذج ذات الدرجات التجميعية المتشابهة ملفات تعريف اختناق مختلفة تمامًا.
  • مثال: امتلك كل من Qwen3B و Granite8B درجات متشابهة في اختبار ToT، لكن Qwen3B عانى مع تركيبات "تداخل الوقت"، بينما عانى Granite8B أكثر مع تركيبات "تحويل الوحدات".

ج. المهام القابلة للتعلم مقابل المهام المستعصية

يميز STaD بين نوعين من الفشل:

1. المهام القابلة للتعلم (القابلة للسقالات): المهام التي يسمح توفير الخطوات الوسيطة فيها بالوصول إلى الإجابة الصحيحة. تشير هذه إلى الحاجة إلى تدريب أفضل على تنسيق المهارات.
2. المهام المستعصية (Intractable): المهام التي تظل دون حل حتى مع السقالات الكاملة. تشير هذه إلى مشكلات أعمق، مثل عدم القدرة على تركيب المعلومات، أو التخطيط لاستراتيجية تفكيك، أو فهم بنية المشكلة الأساسية.

د. دقة المهارة (Granularity)

• العزلة مقابل السياق: غالبًا ما يبالغ اختبار المهارات الفردية (تقييم المهارات في عزلتها) في تقدير كفاءة النموذج. المهارات مثل "الحساب على المدد" أو "حساب التقويم" ظهرت قوية نسبيًا في العزلة، لكنها شكلت اختناقات رئيسية عندما تم دمجها في سلاسل استدلال متعددة الخطوات.

5. المساهمات الرئيسية

1. إطار مفاهيمي: صياغة مفهوم "الكفاءة المسندة" (Scaffolded Competence)، وتحويل تركيز التقييم من "ما يمكن للنموذج فعله بمفرده" إلى "ما يمكنه فعله مع الدعم"، مما يكشف عن الفجوات التركيبية الكامنة.
2. إطار عمل STaD: مسار نظامي وقابل للتوسع لتوليد تنوعات مهام محكومة لتحديد نقاط فشل الاستدلال بدقة. يطلق المؤلفون الكود المصدري ومجموعات البيانات.
3. رؤى تجريبية:
   • أثبت أن الدرجات التجميعية تحجب أنماط فشل متميزة عبر النماذج.
   • أثبت أن حالات الفشل تنبع غالبًا من تفاعلات المهارات (التنسيق) وليس من نقص العناصر الأولية.
   • حدد تركيبات مهارات معينة (الاختناقات) مثل (تداخل الوقت + العد المنفصل) التي تعد صعبة عالميًا للنماذج الحالية.

6. الأهمية والآثار المترتبة

• التدريب القابل للتنفيذ: بدلاً من الضبط الدقيق العام، يقترح STaD توليد بيانات اصطناعية تستهدف تحديدًا تركيبات المهارات التي تسبب الفشل (مثل تدريب النماذج على تنسيق "تحليل الوقت" مع "الحساب").
• تقييم أفضل: يقترح بروتوكول تقييم جديد يبلغ عن كل من دقة المهارات المنفردة والاختناقات التركيبية، مما يوفر رؤية أكثر دقة لقدرات النماذج.
• الدقة التشخيصية: يتجاوز عبارة "النموذج سيء في الرياضيات" ليصل إلى "النموذج يفشل عندما يجب عليه دمج تحويل الوحدات مع حساب المدد".
• الاتجاهات المستقبلية: يسلط الضوء على الحاجة إلى استراتيجيات تدريب تستهدف صراحةً تنسيق المهارات وتخطيط الاستدلال، وليس فقط اكتساب المهارات.

في الختام، يوفر STaD "مجهرًا" للاستدلال في النماذج اللغوية الكبيرة، كاشفًا أن العائق الرئيسي أمام الاستدلال المتقدم في النماذج الحالية ليس بالضرورة نقص المعرفة، بل الفشل في تركيب المهارات المعروفة بفعالية ضمن سياق محدد.