💬 NLP

Evolving Demonstration Optimization for Chain-of-Thought Feature Transformation

تقترح هذه الورقة إطار عمل مغلق الحلقة يعمل على تحسين تحويل الميزات المدفوع بالنماذج اللغوية الكبيرة عبر تطوير واختيار مسارات تحويل متنوعة ومحققة للمهام من خلال تسلسل الأفكار، مما يتفوق بذلك على الأساليب الحالية في توليد مشغلات ميزات فعالة لمهام التنبؤ اللاحقة.

المؤلفون الأصليون: Xinyuan Wang, Kunpeng Liu, Arun Vignesh Malarkkan, Yanjie Fu

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinyuan Wang, Kunpeng Liu, Arun Vignesh Malarkkan, Yanjie Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طاهٍ ذكي للغاية، ولكنه عنيد قليلاً (النموذج اللغوي الكبير أو الـ LLM)، كيفية طهي طبق مثالي باستخدام مجموعة محددة من المكونات (بياناتك).

الهدف هو تحويل الميزات (Feature Transformation): أخذ المكونات الخام (مثل الدقيق، والبيض، والسكر) وخلطها بطرق ذكية (مثل صنع عجينة، أو كراميل السكر، أو استحلاب الزبدة) لإنشاء طبق جديد وأكثر لذة (أداء تنبؤي أفضل).

هنا تكمن المشكلة: الطاهي ذكي، ولكن إذا أعطيته مجرد بطاقة وصفة ثابتة مع بضعة أمثلة، فقد يشعر بالملل، أو يكرر نفس الحيل القديمة، أو يحاول خلط الملح مع الشوكولاتة لأنه لا يفهم الهدف من الطبق. إنه بحاجة إلى توجيه أفضل.

تقترح هذه الورقة طريقة جديدة لتدريب الطاهي تسمى تحسين العروض التوضيحية المتطور (Evolving Demonstration Optimization). بدلاً من إعطاء الطاهي وصفة ثابتة، أنت تبني كتاب طهي حياً ومتنفساً يصبح أكثر ذكاءً في كل مرة يطبخ فيها الطاهي.

إليك كيفية عمل العملية، مقسمة إلى خطوات بسيطة:

1. المشكلة مع الطرق القديمة

"البحث الأعمى" (الذكاء الاصطناعي القديم): تخيل روبوتاً يحاول الطبخ عن طريق رمي المكونات عشوائياً في القدر. يحاول ملايين التوليفات. معظمها غير قابل للأكل (غير صالح)، ويستغرق وقتاً طويلاً جداً للعثور على شيء جيد. إنه أمر غير فعال ومبدد للموارد.
"المطالبة الثابتة" (النماذج اللغوية الكبيرة الحالية): تخيل إعطاء الطاهي بطاقة وصفة واحدة لا تتغير مع ثلاثة أمثلة. يتبع الطاهي الوصفة، ولكن إذا كانت البطاقة مملة أو مكررة، فسيقوم الطاهي بمجرد نسخ تلك الأمثلة الثلاثة مراراً وتكراراً. إنه لا يتعلم كيف يتحسن؛ بل يقوم فقط بحفظ الأمثلة.

2. الحل الجديد: "كتاب طهي حي"

يقترح المؤلفون حلقة مكونة من ثلاث مراحل تحول تجربة الطاهي إلى معلم أفضل.

المرحلة الأولى: "اختبار التذوق" (استكشاف التعلم المعزز - RL Exploration)

أولاً، لا نطلب من الطاهي أن يطبخ بعد. نحن نرسل مساعداً آلياً (التعلم المعزز) إلى المطبخ للتجربة بجنون.

يحاول الروبوت آلاف التوليفات الغريبة للمكونات.
يتذوق النتيجة فوراً. إذا كان المزيج سيئاً، يرميه. إذا كان المزيج جيداً، يحفظ الوصفة.
النتيجة: أصبح لدينا الآن كومة من "الفائزين الموثقين" — وصفات نعرف بالفعل أنها تعمل. هذا هو مكتبة الخبرة الخاصة بنا.

المرحلة <<المرحلة الثانية: "محرر كتاب الطهي" (التنقيح - Refinement)

الآن نأخذ كومة الوصفات الفائزة تلك وننظمها للطاهي. هذا هو الجزء الأكثر إبداعاً:

التنظيف: نتخلص من أي وصفة تبدو جيدة على الورق ولكنها قد تنفجر في الفرن (التحقق من الأخطاء الرياضية أو البيانات غير الصالحة).
سرد القصص (سلسلة الأفكد - Chain-of-Thought): بدلاً من مجرد سرد الوصفات، نقوم بترتيبها في قصة. نوضح للطاهي: "أولاً، حاولنا خلط أ و ب. كان ذلك جيداً. ثم أضفنا ج. كان ذلك أفضل. أخيراً، قمنا بالتسخين، وكان الأمر مثالياً." هذا يوضح للطاهي مسار التحسن، وليس النتيجة النهائية فحسب.
فحص التنوع: نتأكد من أن كتاب الطهي ليس مجرد 100 نوع مختلف من "السباغيتي". نحن نضمن وجود الحساء، والسلطات، والحلويات أيضاً. نستخدم "مقياس تنوع" (الاعتلاج - Entropy) للتأكد من أن الطاهي يرى أنواعاً مختلفة من أساليب الطبخ.

المرحلة الثالثة: "الحصة التدريبية المتقدمة" (التوليد والتغذية الراجعة - Generation & Feedback)

الآن، نسلم هذا الكتاب المتطور، المنظم، والمتنوع إلى الطاهي (النموذج اللغوي الكبير).

يقرأ الطاهي القصص وتدرج النكهات.
ينشئ الطاهي طبقاً جديداً بناءً على ما تعلمه.
الحلقة السحرية: نتذوق الطبق الجديد. إذا كان لذيذاً، نضيفه إلى كتاب الطهي! إذا كان سيئاً، نتخلص منه.
في المرة القادوة، يقرأ الطاهي كتاب طهي أفضل لأنه يتضمن الآن الطبق الجديد والناجح. المكتبة تتطور.

لماذا يعد هذا أمراً هاماً؟

إنه ذاتي التحسين: لا يحتاج النظام إلى إعادة برمجة الطاهي. هو فقط يقوم بتحديث السياق (الأمثلة) التي يراها الطاهي. إنه يشبه ترقية مكتبة الكتب المرجعية للطاهي بدلاً من محاولة إعادة كتابة عقله.
إنه مستقر: على عكس "البحث الأعمى" الذي يتسم بالفوضى، أو "المطالبة الثابتة" التي تتعثر، فإن هذه الطريقة تتحسن باستمرار بمرور الوقت.
يعمل للجميع: سواء كنت تستخدم طاهياً صغيراً مفتوح المصدر أو طاهياً تجارياً ضخماً وباهظ الثمن، فإن هذه الطريقة تعمل لأنها تركز على الأمثلة، وليس على الكود الداخلي للطاهي.

الخلا-صة

فكر في هذه الورقة كبرنامج توجيه ذكي. بدلاً من قول "إليك الإجابة" للطالب (الذكاء الاصطناعي)، يقول النظام: "إليك قصة حول كيف وصلنا إلى الإجابة، وهذه هي الأخطاء التي تجنبناها، وإليك كيف تحسنا خطوة بخطوة".

من خلال تحديث هذه القصة باستمرار بقصص النجاح من العالم الحقيقي، يتعلم الذكاء الاصطناعي كيفية طبخ أطباق أفضل (تحويل البيانات بشكل أفضل) دون الحاجة إلى إعادة تدريبه من الصفر. إنه يحول "المطالبة" من تعليمات ثابتة إلى تجربة ديناميكية متطورة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تطوير تحسين الأمثلة لعملية تحويل ميزات سلسلة الأفكر (Chain-of-Thought)".

1. بيان المشكلة

تحويل الميزات (Feature Transformation - FT) هو مهمة ذكاء اصطناعي تركز على البيانات، تهدف إلى تحسين أداء التنبؤ في المهام اللاحقة عن طريق اشتقاق ميزات جديدة من الميزات الأصلية باستخدام عمليات رياضية (على سبيل المثال، تحويل $[a, b]$ إلى $[a/b, a-b]$ ).

التحديات:
- الانفجار التوافقي (Combinatorial Explosion): تنمو مساحة البحث لمجموعات (الميزة-المُعامل) بشكل أسي مع أبعاد الميزة، مما يجعل البحث الشامل غير ممكن.
- عدم كفاءة الطرق الحالية:
  - البحث المنفصل (القائم على التعلم التعزيزي - RL): يعاني من ندرة المكافآت، والبحث المنحاز، ومعدلات عدم صلاحية عالية (توليد تحويلات مستحيلة رياضياً أو غير مستقرة).
  - التوليد في الفضاء الكامن (Latent Space): غالباً ما ينتج تحويلات "عمياء" لا تتوافق مع بيانات التدريب أو تفشل في أن تكون قابلة للتنفيذ.
  - التلقين الثابت للنماذج اللغوية الكبيرة (Static LLM Prompting): رغم امتلاك النماذج اللغوية الكبيرة (LLMs) لخبرات سابقة قوية للتحويلات الصالحة، إلا أن الطرق الحالية تعتمد على أمثلة (demonstrations) ثابتة قليلة الشرح (few-shot). يؤدي هذا إلى تنوع محدود، ومخرجات مكررة، وعدم توافق مع الأهداف النهائية المحددة لأن التلقينات (prompts) لا تتطور بناءً على التغذية الراجعة.

الهدف: تطوير إطار عمل يعمل على تحسين بيانات السياق (الأمثلة قليلة الشرح) لعملية تحويل الميزات المدفوعة بالنماذج اللغية الكبيرة، عبر التعامل مع التلقين ليس كمدخل ثابت، بل كمورد يتطور بمركزية البيانات.

2. المنهجية: إطار العمل المقترح

يقترح المؤلفون إطار عمل مغلق الحلقة، مركزي البيانات، يقوم بتحسين السياق من خلال ثلاث مراحل متميزة. الفلسفة الجوهرية هي "السياق كبيانات" (Context-as-Data)، حيث تُعامل الأمثلة قليلة الشرح كـ "مكتبة خبرات متطورة" وليس مجرد تلقينات ثابتة.

المرحلة الأولى: الاستكشاف بالتعلم التعزيزي (RL) لتسلسلات عالية الأداء

الهدف: توليد مجموعة تأسيسية من تسلسلات التحويل الصالحة وعالية الأداء لتغذية مكتبة الخبرات.
الآلية: يقوم وكيل تعلم تعزيزي (RL) (مستوحى من GRFG) باستكشاف مساحة الميزات.
- الحالة (State): مجموعة الميزات المحولة الحالية.
- الإجراء (Action): تطبيق مُعامل (operator) على ميزات محددة.
- المكافأة (Reward): التحسن في أداء المهمة اللاحقة (مثل F1-score أو 1-RAE).
المخرج: مجموعة من تسلسلات التحويل التي تم التحقق منها ( $T_{RL}$ ) والتي تعمل كـ "مكتبة خبرات" أولية ( $E$ ). يضمن ذلك أن يبدأ النموذج اللغوي الكبير بإشارات عالية الجودة ومتوافقة مع المهمة بدلاً من الضجيج العشوائي.

المرحلة الثانية: صقل ثلاث المستويات لبناء السياق

يتم تنظيف وإعادة تنظيم التسلسلات الخام من المرحلة الأولى لتشكيل أمثلة بأسلوب "سلسلة الأفكار" (Chain-of-Thought - CoT).

التحقق من التسلسل (الموثوقية المحلية):
- يتحقق من الصلاحية النحوية، والاستقرار العددي (مثل تجنب القسمة على صفر)، والمنفعة الدنيا (استبعاد التركيبات التي تؤدي إلى مكاسب سالبة).
- النتيجة: تقليل نسبة التحويلات غير الصالحة أو غير القابلة للتنفيذ بشكل كبير.
بناء وتعزيز مسار سلسلة الأفكار (CoT Trajectory):
- المسار (Trajectory): يتم فرز التسلسلات المتحقق منها حسب الأداء اللاحق لتشكيل "سلسلة تحسين"، توضح للنموذج اللغوي كيفية تطور الميزات من الأداء المنخفض إلى العالي.
- التعزيز (Enhancement): يُستخدم نموذج لغوي كبير لاقتراح خطوات وسيطة أو متغيرات محلية لملء الفجوات بين التسلسلات القوية، مما يثري مكتبة الأنماط.
اختيار التنوع الموجه بالإنتروبيا (Entropy-Guided Diversity Selection):
- لمنع المكتبة من الانهيار في أنماط مكررة، يختار النظام مجموعة فرعية من الخبرات ( $S$ ) عبر تحسين المقايضة التالية:
  $\max_{S} \left( \text{Quality} + \lambda \cdot \text{Coverage (Entropy)} - \mu \cdot \text{Redundancy} \right)$
- يضمن ذلك أن يغطي سياق الأمثلة نطاقاً واسعاً من أنماط التحويل مع تقليل التكرار.

المرحلة الثالثة: التوليد المشروط بالخبرة وإعادة الكتابة

التوليد: يوجه سياق (CoT) المنقح النموذج اللغوي لتوليد تسلسلات تحويل مرشحة جديدة.
التحقق: يتم التحقق من التسلسلات المولدة وتقييمها بناءً على المهمة اللاحقة.
التحديث مغلق الحلقة: يتمت كتابة التسلسلات عالية الأداء والمتحقق منها في مكتبة الخبرات ( $E_{t+1} \leftarrow E_t \cup \text{New Candidates}$ ).
النتيجة: يتطور السياق عبر التكرارات، مما يحسن باستمرار جودة وتنوع التوجيه المقدم للنموذج اللغوي الكبير.

3. المساهمات الرئيسية

صياغة "السياق كبيانات": تعيد الورقة صياغة تحويل الميزات المدفوع بالنماذج اللغية الكبيرة كمسألة تحسين مركزية البيانات. بدلاً من ضبط معاملات النموذج، تقوم الطريقة بتحسين مكتبة الخبرات قليلة الشرح، مع معاملة الأمثلة كرموز (tokens) قابلة لإعادة الاستخدام والتكيف.
بناء الخبرة مغلق الحلقة: خط معالجة مبتكر يدمج الاستكشاف بالتعلم التعزيزي (RL)، والصقل متعدد المستويات (التحقق، تنظيم CoT، اختيار التنوع)، وإعادة الكتابة التكرارية. يخلق هذا نظاماً ذاتي التحسين يربط توليد النماذج اللغية الكبيرة بالأهداف اللاحقة.
منظور مسار التحويل الديناميكي: تعامل الطريقة الأمثلة ليس كنقاط ثابتة، بل كأجزاء من مسار متطور. من خلال عرض "سلسلة تحسين" للنموذج اللغوي، فإنها توجه النموذج نحو مناطق أعلى أداءً في مساحة البحث بشكل أكثر فعالية من الأمثلة المعزولة.

4. النتائج التجريبية

تم تقييم إطار العمل على معايير جداول متنوعة (UCI, Kaggle, OpenML) تغطي مهام التصنيف والانحدار.

الأداء مقابل النماذج المرجعية (Baselines):
- تفوق على الطرق الكلاسيكية القائمة على البحث (GRFG, MOAT) وأدوات هندسة الميزات الآلية (AutoFeat, AFAT).
- تفوق على النماذج اللغية الكبيرة الأخرى (FeatLLM, CAAFE) في كل من متوسط الأداء والاستقرار.
- حقق أفضل ترتيب متوسط عبر جميع مجموعات البيانات.
النظام مغلق الحلقة مقابل التوليد لمرة واحدة (One-Shot):
- تحت نفس ميزانية التقييم، أظهرت الطريقة مغلقة الحلقة تحسينات مستمرة في الأداء عبر التكرارات.
- كان التوليد لمرة واحدة (حتى مع إعادة أخذ العينات) غير مستقر وفشل في إظهار مكاسب ثابتة، مما يبرز قيمة مكتبة الخبرات المتطورة.
دراسات الاستئصال (Ablation Studies):
- هيكل CoT: أدى إزالة تنظيم مسار CoT إلى أكبر انخفاض في الأداء، مما يثبت أن عرض تطور الميزات أمر بالغ الأهمية.
- التحقق: أدت إزالة فحوصات الصلاحية إلى زيادة كبيرة في نسبة الخطأ (التحويلات غير الصالحة).
- التنوع: كان اختيار الإنتروبيا الموجه حاسماً لتقليل التكرار وتحسين التغطية.
القابلية للنقل والمتانة:
- عمل إطار العمل بفعالية مع مختلف النماذج اللغية الكبيرة (التي تعمل عبر واجهات برمجة التطبيقات مثل GPT-4o/o1، والمفتوحة المصدر مثل Llama-3, DeepSeek, Qwen).
- ظلت الميزات المحولة قوية عبر مختلف النماذج اللاحقة (مثل Random Forest, XGBoost, SVM)، مما يشير إلى أن الطريقة تتعلم أنماطاً قابلة للتعميم بدلاً من الإفراط في التخصيص (overfitting) لنموذج معين.

5. الأهمية والرؤى

تحول في النموذج الفكري: تثبت الورقة أن تحسين بيانات السياق غالباً ما يكون أكثر فعالية وعملية من تحسين معاملات النموذج أو الاعتماد على التلقينات الثابتة.
رؤى حول سلوك النماذج اللغية الكبيرة:
- تميل النماذج اللغية الكبيرة طبيعياً إلى تفضيل المعاملات الأبسط والأكثر استقراراً وتميل إلى التحفظ. يساعد الاستكشاف بالتعلم التعزيزي (RL) في سد هذه الفجوة عبر تقديم تحويلات معقدة وعالية القيمة قد لا يولدها النموذج اللغوي تلقائياً.
- يمكن للنماذج اللغية الكبيرة القيام باختيار الميزات بشكل ضمني، حيث تتعرف على الميزات الأصلية القوية الموجودة في السياق.
الواقعية: الطريقة مستقلة عن نوع النموذج (model-agnostic) ويمكن نشرها مع أي نموذج لغوي كبير (مفتوح أو مغلق المصدر)، مما يجعلها حلاً مرناً للذكاء الاصطناعي المركزي للبيانات.
الاستقرار: من خلال تقطير الخبرات المتحقق منها إلى مسار CoT، تخفف الطريقة من حدة "الهلوسة" وعدم الاستقرار المرتبط غالباً بالذكاء الاصط�ناعي التوليدي في المهام العلمية/الرياضية.

في الختام، يرسخ هذا العمل حقيقة أن الأمثلة المتطورة عبر عملية مركزية للبيانات ومغلقة الحلقة تعزز بشكل كبير قدرة النماذج اللغية الكبيرة على إجراء هندسة ميزات معقدة، مما يوفر بديلاً مستقراً وعالي الأداء للطرق التقليدية للبحث والتلقين الثابت.