💬 NLP

Retrieved In-Context Principles from Previous Mistakes

تقترح الورقة البحثية "مبادئ الاسترجاع في السياق" (RICP)، وهو إطار عمل قائم على نموذج المعلم والطالب يقوم بتحليل وتجميع أخطاء النموذج الطالب لتوليد مبادئ مخصصة على مستوى المهام لتحسين أداء النماذج اللغوية الكبيرة عبر مختلف اختبارات القياس الخاصة بالاستدلال.

المؤلفون الأصليون: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

نُشر 2026-05-26

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب (النموذج الطالب) كيفية حل الألغاز الصعبة. عادةً، نقوم بالتعليم من خلال عرض أمثلة مثالية لكيفية القيام بالأمر بشكل صحيح. لكن هذه الورقة البحثية تجادل بأنه يمكننا تعليمهم بطريقة أفضل حتى من خلال إظهار أين أخطأوا وشرح لماذا.

تسمي المؤلفات طريقتها الجديدة باسم RICP (المبادئ المسترجعة في السياق - Retrieved In-Context Principles). فكر في الأمر كأنه نظام تعليمي ذكي يتكون من خطوتين يجمع بين معلم وطالب.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

المشكلة: "الكتاب المدرسي الموحد للجميع"

حاولت الأساليب السابقة التعلم من الأخطاء، لكنها كانت تشبه تسليم الطالب فصلاً عاماً في كتاب مدرسي بعنوان "كيفية تجنب الأخطاء".

العيب: إذا كان الطالب عالقاً في مسألة رياضية حول البيتزا، فإن قراءة قاعدة عامة حول "مراجعة عملك" قد لا تكون مفيدة بما يكفي. وعلى العكس من ذلك، إذا كان الطالب يحل لغزاً منطقياً، فإن قاعدة حول "رياضيات البيتزا" ستكون بلا فائدة.
النتيجة: كانت النصيحة إما غامضة للغاية أو لا تغطي أنواعاً كافية من الأخطاء.

الحل: "المعلم الخصوصي" (RICP)

تعمل طريقة RICP كمعلم بارع يراقب الطالب أثناء تأدية اختبار تجريبي، ويحلل أخطاءه المحددة، ثم ينشئ دليلاً دراسياً مخصصاً للاختبار التالي.

الخطوة 1: "تشريح الخطأ" (توليد الرؤى)

أولاً، يحاول النموذج الطالب حل مجموعة من المسائل التجريبية. ينظر النموذج المعلم (ذكاء اصطناعي أكثر ذكاءً) إلى المسائل التي أخطأ فيها الطالب.

ما يفعله المعلم: بدلاً من مجرد قول "خطأ"، يكتب المعلم تقريراً. فهو يحدد السبب الجذري (مثلاً: "لقد نسيت إضافة الإكرامية إلى سعر البيتزا") ويقدم رؤى محددة (مثلاً: "تحقق دائماً مما إذا كنت قد تضمنت كل جزء من التكلفة الإجمالية").

الخطوة 2: "مكتبة الدروس" (صياغة المبادئ)

هنا يحدث السحر. يقوم المعلم بتنظيم هذه الأخطاء في نوعين من النصائح:

"القواعد العامة" (مبادئ مستوى المهمة):
- التشبيه: تخيل فصلاً في كتاب مدرسي.
- يقوم المعلم بتجميع الأخطاء المتشابهة معاً (مثل جميع الأخطاء الرياضية المتعلقة بالنسب). ومن هذه المجموعات، يكتب قواعد واسعة تنطبق على أي مسألة رياضية.
- مثال: "تحقق دائماً من عملياتك الحسابية."
"ورقة الغش الشخصية" (مبادئ مستوى السؤال):
- التشبيه: تخيل ملاحظة لاصقة على المسألة المحددة التي تنظر إليها الآن.
- بالنسبة للسؤال المحدد الذي سيجيب عليه الطالب، يبحث المعلم في المكتبة عن أكثر الأخطاء تشابهاً مع هذا السؤال من الماضي. ثم يستخرج النصيحة المحددة التي تنطبق فقط على هذا الموقف.
- مثال: "بالنسبة لمسألة البيتزا هذه تحديداً، تذكر إضافة الإكرامية إلى السعر الأساسي، وليس فقط حساب قيمة الإكرامية."

الخطوة 3: "يوم الامتحان" (استخدام المبادئ)

عندما يواجه الطالب سؤالاً جديداً:

يحصل على القواعد العامة (الفصل الدراسي من الكتاب المدرسي) ليبقيه على المسار الصحيح.
يحصل على ورقة الغش الشخصية (الملاحظة اللاصقة) المصممة خصيصاً لهذا السؤال.
يدمج هذه مع تعليماته العادية لحل المشكلة.

الأمر الجوهري: لا يحتاج المعلم للتواجد أثناء الامتحان. الطالب فقط يستخدم الملاحظات التي أعدها المعلم مسبقاً. وهذا يجعل العملية سريعة وغير مكلفة للتشغيل.

لماذا هذا أفضل؟

اختبرت الورقة البحثية هذا الأسلوب على سبعة "لوحات امتحانات" (مجموعات بيانات) تتضمن الرياضيات، والمنطق العام، والمنطق.

التخصيص: على عكس الأساليب القديمة التي كانت تعطي نفس النصيحة للجميع، تقدم RICP النصيحة الصحيحة لـ السؤال المحدد.
التغطية: من خلال تجميع الأخطاء، تضمن الطريقة أن يتعلم الطالب من مجموعة متنوعة من الأخطاء، وليس فقط من الأخطاء الأكثر شيوعاً.
النتائج: عندما أضافوا هذه "ملاحظات الأخطاء" إلى طرق التوجيه القياسية للذكاء الاصطناعي، أصبحت النماذج الطالب أكثر ذكاءً ودقة، خاصة في مسائل المنطق والرياضيات الصعبة.

باخت-اختصار

بدلاً من مجرد إظهار كيفية القيام بالأشياء بشكل صحيح للذكاء الاصطناعي، تعلمه هذه الطريقة كيفية تجنب الوقوع في الخطأ من خلال تحليل إخفاقاته الماضية. إنها تنشئ دليلاً هجيناً يقدم حكمة واسعة (للأمان العام) ونصائح محددة (للمسألة الفورية)، مما يساعد الذكاء الاصطناعي على التفكير بعمق أكبر مثل البشر الذين يتعلمون من أخطائهم الخاصة.

ملخص تقني: المبادئ المسترجعة في السياق (RICP)

بيان المشكلة

بينما أثبت التعلم في السياق (ICL) فعاليته في تكييف النماذج اللغوية الكبيرة (LLMs) مع المهام النهائية باستخدام الأمثلة الصحيحة، تواجه النهج الحديثة التي تحاول تحسين الأداء من خلال التعلم من الأخطاء قيدين حرجين:

نقص التخصيص: تعتمد الطرق الحالية عادةً على مجموعة ثابتة من المبادئ لجميع الأسئلة. هذا النهج الاستاتيكي يفشل في مراعاة الفروق الدقيقة الخاصة بكل مشكلة على حدة، مما قد يؤدي إلى الارتباك عندما تكون المبادئ المعممة غير قابلة للتطبيق.
تغطية غير كافية للأخطاء: لا تقوم الطرق الحالية بتعديل توزيع المبادئ لتشمل طيفاً واسعاً من الأخطاء. يؤدي هذا إلى التركيز المفرط على أخطاء متشابهة، مما يقلص نطاق الأخطاء التي يمكن معالجتها ويزيد من تكاليف الاستدلال بسبب استهلاك الرموز (tokens) غير الضروري.

المنهجية: المبادئ المسترجعة في السياق (RICP)

يقترح المؤلفون RICP، وهو إطار عمل جديد (معلم-طالب) مصمم لتوليد واسترجاع المبادئ المستمدة من أخطاء النموذج الطالب. يعمل إطار العمل عبر ثلاث مراحل متميزة:

1. توليد الرؤى (Insight Generation)

يتم تقييم النموذج الطالب على مجموعة بيانات تدريبية ( $D_{train}$ ) لجمع الحلول غير الصحيحة ( $D_{neg}$ ). يقوم نموذج معلم أقوى بتحليل كل خطأ، وتوليد:

الأسباب عالية المستوى ( $R_i$ ): تصنيف للخطأ (مثل: "سوء تطبيق التناسب").
الرؤى المحددة ( $I_i$ ): إرشادات تفصيلية لمنع وقوع أخطاء مماثلة في المستقبل.

2. صياغة المبادئ (Principle Formulation)

لتحقيق التوازن بين التنوع والتخصيص، يستخدم RICP التجميع الهرمي (hierarchical clustering):

مبادئ مستوى المهمة: يتم تجميع الأسباب عالية المستوى باستخدام خوارزمية K-means على تضمينات المتجهات (BGE). تشترك الأسئلة ضمن نفس المجموعة في أنماط خطأ متشابهة. يقوم النموذج المعلم بأخذ عينات من هذه المجموعات لصياغة مبادئ مستوى المهمة، والتي تعمل كإرشادات عامة مشتركة لجميع الأسئلة في مهمة ما.
مبادئ مستوى السؤال: بالنسبة لسؤال استدلال محدد، يقوم النظام باسترجاع أكثر $m$ من الأسئلة تشابهاً من كل مجموعة أسباب. بعد ذلك، يتم تجميع وعينات الرؤى المرتبطة بهذه الأسئلة المسترجعة لتوليد مبادئ مستوى السؤال. يضمن هذا أن يكون التوجيه متخصصاً للغاية فيما يتعلق بدلالات السؤال الحالي.

3. استخدام المبادئ (Principle Utilization)

أثناء الاستدلال، يتم إلحاق كل من مبادئ مستوى المهمة ومبادئ مستوى السؤال بمطالب (prompt) النموذج الطالب الحالي ( $P_{ENHANCED} = P_{TASK} \oplus P_{QUESTION} \oplus P_{BASE}$ ). ومن الأهمية بمكان أن النموذج المعلم ليس مطلوباً خلال مرحلة الاستدلال، مما يقلل من العبء الحسابي.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم RICP، وهو إطار عمل (معلم-طالب) يستخدم المبادئ المولدة من المعلم لمنع النماذج الطالبة من تكرار أخطاء محددة.
تعزيز التخصيص والتغطية: من خلال توليد مبادئ مستوى المهمة (المتنوعة) ومستوى السؤال (المخصصة) عبر التجميع الهرمي، يوسع هذا النهج بشكل كبير تغطية الأخطاء مع توفير توجيه دقيق خاص بكل سؤال.
التعامد والكفاءة: يعد RICP متعامداً مع استراتيجيات المطالبة الحالية (مثل Chain of Thought و Auto CoT) ولا يتطلب تدخل المعلم أثناء الاستدلال، مما يسمح بالتكامل السلس وتحقيق مكاسب في الأداء عبر مختلف طرق المطالبة.

النتائج التجريبية

قيم المؤلفون RICP عبر سبعة معايير مرجعية تغطي ثلاث مهام استدلال: الاستدلال الرياضي (GSM8K, SVAMP, MathQA, AQuA)، والاستدلال القائم على المنطق العام (CSQA, StrategyQA)، والاستدلال المنطقي (LogiQA). استخدمت التجارب GPT-3.5-Turbo و Qwen-Turbo كنماذج طالبة، و GPT-4-Turbo كنموذج معلم.

تحسن مستمر: عزز RICP باستمرار أداء جميع طرق المطالبة المختبرة (Standard, Zero-shot CoT, Few-shot CoT, Auto CoT, Complex CoT) عبر نماذج ومعايير مختلفة.
مكاسب كبيرة: لوحظت تحسينات نسبية ملحو ملحوظة، مثل تحسن بنسبة 22.6% مقارنة بـ Zero-shot CoT و 20.0% مقارنة بـ Complex CoT على مجموعة بيانات AQuA باستخدام GPT-3.5-Turbo.
دراسات الاستئصال (Ablation Studies): أدى حذف أي من مبادئ مستوى المهمة أو مستوى السؤال إلى تدهور الأداء، مما أكد ضرورة كلا المكونين. وبشكل خاص، كانت مبادئ مستوى السؤال حاسمة لمنع الأخطاء في سياقات محددة (مثل Auto CoT على MathQA).
فعالية الاسترجاع: تفوق الاسترجاء المخصص للمبادئ بشكل كبير على الاختيار العشوائي، مما يثبت أن صلة الرؤى المسترجعة حيوية لتوجيه النموذج بفعالية.

الأهمية والادعاءات

يدعي البحث أن RICP يعالج بفعالية قيود مناهج "التعلم من الأخطاء" السابقة من خلال توفير آلية للتوجيه الديناميكي الواعي بالسياق. ومن خلال تجميع الأخطاء بناءً على الأسباب الكامنة واسترجاع الرؤى ذات الصلة لأسئلة محددة، يضمن النهج تلقي النموذج لتعليمات شاملة ودقيقة في آن واحد.

يؤكد المؤلفون أن RICP فعال بشكل خاص لـ الأخطاء المنطقية، المنتشرة في الاستدلال الرياضي، وأن الطريقة يمكن دمجها بسلاسة مع تقنيات أخرى مثل التوليد المعزز بالاسترجاع (RAG) أو الأدوات الخارجية. وتخلص الدراسة إلى أن الاستفية من الرؤى المولدة من المعلم عبر عملية استرجاع وتجميع مهيكلة يعزز بشكل كبير قدرات الاستدلال للنماذج اللغوية الكبيرة دون تكبد تكاليف استدلال إضافية.

الاعتراف بالقيود:

تتطلب الطريقة أن يكون النموذج المعلم أكثر تقدماً بشكل ملحوظ من النموذج الطالب لضمان جودة المبادئ المولدة.
بينما لا تزداد تكاليف الاستدلال، إلا أن هناك عبئاً مرتبطاً بالبناء المسبق للمبادئ (توليد الرؤى والتجميع) مقارنة بالتعلم المباشر من الأمثلة القليلة (few-shot learning).