🤖 machine learning

Error-Driven Prompt Optimization for Arithmetic Reasoning

تقدم هذه الورقة إطار عمل لتحسين الأوامر القائم على الخطأ، والذي يعزز بشكل كبير قدرات الاستدلال الحسابي للنماذج اللغوية الصغيرة الملحقة محلياً، مما يمكنها من التفوق على النماذج الأكبر مثل GPT-3.5 Turbo في البيئات الصناعية المتوافقة مع معايير الخصوصية دون الحاجة إلى عملية ضبط دقيق مكلفة.

المؤلفون الأصليون: Árpád Pándy, Róbert Lakatos, András Hajdu

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Árpád Pándy, Róbert Lakatos, András Hajdu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: محاسب محلي مقابل عملاق السحابة

تخيل أن لديك محاسبًا محليًا ذكيًا جدًا، ولكنه ينسى بعض التفاصيل (نموذج لغوي صغير - SLM) يعمل في مكتبك الآمن. ولديك أيضًا مستشار فائق العبقرية (نموذج لغوي كبير مثل GPT-3.5) يعيش في مكتب سحابي ضخم.

المشكلة؟ شركتك تتعامل مع بيانات مالية حساسة. لا يمكنك إرسال هذه البيانات إلى المستشار السحابي بسبب قواعد الخصوصية. يجب أن تبقي كل شيء داخل مكتبك المحلي.

ومع ذلك، فإن محاسبك المحلي سيء جدًا في الرياضيات. إذا سألته: "ما هو التغير المئوي في الإيرادات؟"، فقد يخمن الرقم أو يخطئ في الوحدات (يقول "مليون" بدلًا من "نسبة مئوية"). إنه سريع وخاص، لكنه ليس دقيقًا بما يكفي للعمل الجاد.

تقدم هذه الورقة البحثية طريقة تدريب ذكية لتحويل ذلك المحاسب المحلي النساي إلى ساحر في الرياضيات، دون إرسال بياناتهم إلى السحابة أو دفع تكالٍ باهظة لإعادة التدريب.

الاستراتيجية: "اكتب كودًا، لا تخمن"

أدرك الباحثون أن طلب "التفكير" في الرياضيات من المحاسب كان هو المشكلة. بدلاً من ذلك، علموا المحاسب أن يتصرف مثل مبرمج.

الطريقة القديمة: "إليك جدول من الأرقام. أخبرني بالإجابة". (المحاسب يخمن).
الطريقة الجديدة: "إليك جدول. اكتب نصًا برمجيًا قصيرًا (كود Python) يقوم بالعمليات الحسابية نيابة عنك، ثم قم بتشغيله".

هذا يشبه إعطاء المحاسب آلة حاسبة بدلًا من مطالبته بإجراء قسمة مطولة في ذهنه. الكود البرمجي مثالي في الرياضيات؛ كل ما على المحاسب فعله هو كتابة التعليمات بشكل صحيح.

السر الخفي: التعلم من الأخطاء (حلقة "المدفوع بالأخطاء")

حتى مع وجود الآلة الحاسبة، ظل المحاسب يرتكب أخطاءً. أحيانًا كتبوا صيغة خاطئة، أو أخطأوا في "المقياس" (قالوا إن الإجابة بـ "الآلاف" بينما يجب أن تكون بـ "النسبة المئوية").

الابتكار الرئيسي في الورقة البحثية هو عملية "محقق الأخطاء" المنهجية:

تشغيل الاختبار: يحاول المحاسب حل 497 سؤالًا ماليًا.
رصد الأخطاء: يقوم النظام بفحص الأسئلة التي أخطأ فيها المحاسب.
تجميع القرائن: بدلًا من النظر إلى كل خطأ بشكل فردي، يقوم النظام بتجميع الأخطاء المتشابهة معًا.
- تشبيه: تخيل معلمًا يصحح اختبارًا. بدلًا من قول "لقد أخطأت في السؤال 5"، يلاحظ قائلاً: "أوه، كل طالب أخطأ في السؤال 5 أخطأ أيضًا في السؤال 12 لأنهم جميعًا نسوا القسمة على 100".
كتابة قاعدة: لكل مجموعة من الأخطاء، يكتب الباحثون قاعدة محددة لإصلاحها.
- مثال لقاعدة: "إذا كان السؤال يطلب 'التغير المئوي'، فيجب أن تكون الإجابة بـ 'النسبة المئوية'، وليس بـ 'الدولار'".
المحاولة مرة أخرى: يضيفون هذه القاعدة إلى تعليمات المحاسب ويجرون الاختبار مرة أخرى.
التكرار: يستمرون في العثور على أكبر مجموعة من الأخطاء المتبقية، وكتابة قاعدة جديدة، والاختبار حتى تتوقف الأخطاء عن التحسن.

النتائج: التغلب على "الرجل الكبير"

من خلال اتباع دورة "جد الخطأ، اكتب قاعدة، كرر" هذه، حقق الباحثون شيئًا مفاجئًا:

نقطة البداية: بدأ المحاسب المحلي (Qwen3 4B) بدقة تبلغ حوالي 30% (أفضل قليًا من التخمين).
التحسن: بعد إضافة ثلاث قواعد محددة فقط مشتقة من تحليل الأخطاء، قفزت الدقة إلى 70.8%.
النصر: هذا المحاسب المحلي والخاص تفوق على المستشار السحابي العملاق (GPT-3.5 Turbo)، الذي سجل 66.2% فقط.

فخ "كثرة القواعد"

اكتشفت الورقة أيضًا حدًا مهمًا. تخيل أنك تعطي محاسبك كتاب قواعد.

قواعد قليلة جدًا: سيرتكب أخطاءً بسيطة.
العدد الصحيح من القواعد: سيكون مثاليًا.
قواعد كثيرة جدًا: سيصاب المحاسب بالارتباك. سيصبح كتاب القواعد سميكًا ومعقدًا لدرجة أنهم يبدأون في تجاهل القواعد أو خلطها ببعضها البعض.

وجد الباحثون "عددًا أمثل" من القواعد. إضافة المزيد من القواعد بعد هذه النقطة أدى في الواقع إلى تدهور الأداء. الأمر يشبه محاولة حفظ دليل تعليمات مكون من 50 صفحة لمهمة بسيطة؛ ستشعر فقط بالارتباك.

ملخص الادعاءات

الخصوصية أولاً: يمكنك بناء ذكاء اصطناعي عالي الدقة للبيانات الحساسة (المالية، الصحية) يبقى بالكامل داخل جهازك الخاص (On-premises).
لا تدريب مكلف: لست بحاجة لإنفاق الملايين لإعادة تدريب النموذج. أنت فقط بحاجة لتحليل أخطائه وكتابة قواعد نصية بسيطة لإصلاحها.
الصغير يمكن أن يهزم الكبير: النموذج الصغير والفعال، عندما يتم توجيهه بواسطة "القواعد المدفوعة بالأخطاء" الصحيحة، يمكنه القيام بعمل أفضل من نموذج ضخم ومكلف في الاستنتاج الحسابي.
المنهجية: المفتاح هو توليد الكود (جعل الذكاء الاصطناعي يكتب كودًا للقيام بالرياضيات) مقترنًا بـ تحسين المطالبة التكراري (إصلاح أنواع أخطاء الذكاء الاصطناعي المحددة بشكل منهجي).

باختًا، تظهر الورقة البحثية أنك لست بحاجة إلى دماغ أكبر لحل المسائل الرياضية؛ بل تحتاج فقط إلى مجموعة أفضل من التعليمات التي تساعد الدماغ على تجنب نقاط ضعفه الخاصة.

ملخص تقني: تحسين الأوامر البرمجية القائم على الخطأ للاستدلال الحسابي

بيان المشكلة

بينما تتفوق النماذج اللغوية الكبيرة (LLMs) في فهم اللغة الطبيعية، إلا أن قدرتها على إجراء استدلال حسابي دقيق على البيانات الجدولية المهيكلة تظل هشة، وغالبًا ما تنتج مخرجات رقمية غير متسقة أو غير صحيحة. وتعد هذه المحدودية حرجة بشكل خاص في القطاعات المنظمة مثل التمويل والرعاية الصحية، حيث تفرض خصوصية البيانات بقاء المعلومات الحساسة داخل بيئات آمنة ومحلية، مما يمنع استخدام النماذج السحابية القائمة على واجهات برمجة التطبيقات (APIs). ورغم أن النماذج اللغوية الصغيرة (SLMs) تقدم بديلًا متوافقًا مع معايير الخصوصية، إلا أنها غالبًا ما تظهر قيودًا جوهرية في المهام الحسابية، حيث يقل أداؤها حتى عن النماذج الأكبر عند نشرها محليًا دون تحسين متخصص.

المنهجية

تقترح الورقة إطار عمل منهجي للتحسين القائم على الخطأ، مصمم لتعزيز وكيل توليد الكود (CGA) الذي يعمل على نماذج لغوية صغيرة (SLMs) محلية. تدمج المنهجية ثلاثة مكونات أساسية:

تفكيك المهام وتوليد الكود: بدلًا من التوليد المباشر للإجابة، يعيد النظام صياغة المهمة كعملية توليد كود. يقوم النموذج اللغوي الصغير بتوليد كود بايثون قابل للتنفيذ بناءً على جدول مُعاد هيكلته (محول إلى قائمة قيم مشروحة) واستعلام المستخدم. ثم يقوم منفذ حتمي بتشغيل هذا الكود لإنتاج النتيجة النهائية، مما يفصل بين التفسير الدلالي والحساب الحسابي.
الاستقراء القائم على الخطأ للقواعد: الابتكار الجوهري هو حلقة تكرارية لتحديد، وتجميع، ومعالجة أخطاء التنبؤ دون الحاجة إلى ضبط دقيق (Fine-tuning) مكلف للنموذج.
- استخراج الميزات: يتم تحليل التنبؤات الفاشلة لاستخراج الميزات بما في ذلك أنماط الحساب، وأنماط حساب الكود، وعدم تطابق المقاييس، ومطابقة القيم، وأنواع أخطاء محددة (مثل: الاختيار، الحساب، المقياس، الإشارة، بناء الجملة البرمجية، وأخطاء وقت التشغيل).
- التجميع: تقوم خوارزمية HDBSCAN بتجميع هذه التنبؤات الخاطئة بناءً على مسافة هامينج (Hamming distance) لتحديد المجموعات التي تشترك في سبب جذري واحد.
- صياغة القواعد: يقوم خبراء المجال بصياغة قواعد أوامر محددة للمجال (DSPR) لمعالجة أكبر مجموعات الأخطاء، وذلك لمعالجة السبب الجذري المحدد (على سبيل المثال، توضيح أن "التغير بالنسبة المئوية" يتضمن مقياس "نسبة مئوية").
- التحقق: يتم التحقق من قواعد الأوامر الجديدة باستخدام اختبار مكنيمار (McNemar test) على مجموعة الخطأ المحددة. ولا تُقبل القاعدة إلا إذا حققت تحسنًا ذا دلالة إحصائية ( $\Delta EM \geq 50\%$ و $p \leq 0.0625$ ) وأدت إلى تحسين الأداء العام.
مجموعة القواعد المثلى ( $K_{opt}$ ): يسعى إطار العمل لإيجاد العدد الأمثل من القواعد. ويفترض المؤلفون أنه بينما تعالج القواعد الأولية الأخطاء الشائعة، فإن إضافة الكثير من القواعد ( $K > K_{opt}$ ) يؤدي إلى حمل معرفي وتضارب في القواعد، مما يؤدي إلى تدهور الأداء.

المساهمات الرئيسية

إطار تحسين قائم على الخطأ: خوارزمية مبتكرة (الخوارزمية 1) تعمل على أتمتة تحديد الأسباب الجذرية للأخطاء والتحسين التكراري لقواعد الأوامر، مما يمكن النماذج اللغوية الصغيرة من "التعلم من أخطائها" دون تحديث المعلمات (Parameters).
تفوق الأداء على النماذج الأكبر: تُظهر الدراسة أن نموذج لغوي صغير بـ 4 مليارات معلمة (Qwen3 4B)، عندما يتم تجهيزه بتحسين الأوامر القائم على الخطأ وإطار عمل توليد الكود (CGA)، يحقق دقة أعلى من نموذج GPT-3.5 Turbo الأكبر حجمًا في بيئة محلية تحافظ على الخصوصية.
رؤية نظرية حول تشبع القواعد: تصيغ الورقة مفهوم مجموعة القواعد المثلى ( $K_{opt}$ )، مجادلة بأن تحسين النماذج اللغوية الصغيرة يتطلب توازنًا بين المعلوماتية والحمل المعرفي، وهو أمر يختلف عن استراتيجيات تراكم القواعد البسيطة المستخدمة للنماذح الأكبر.

النتائج

تم تقييم إطار العمل باستخدام مجموعة بيانات TAT-QA، مع تصفية الأسئلة المتعلقة بالحسابات الحسابية تحديدًا.

الأداء المرجعي: حقق نموذج Qwen3 4B الأساسي درجة مطابقة تامة (EM) بلغت 59.96% باستخدام أمر مبسط.
التحسين التكراري: من خلال ثلاث دورات مقبولة من إضافة القواعد (معالجة مقاييس "التغير بالنسبة المئوية"، و"التغير في النسبة المئوية" كعملية طرح، وحسابات "متوسط السنة")، تحسن أداء النموذج تدريجيًا.
الأداء النهائي: حقق وكيل Qwen3 4B المُحسن دقة مطابقة تامة (EM) نهائية بلغت 70.82%.
المقارنة: تتجاوز هذه النتيجة خط الأساس لنموذج GPT-3.5 Turbo البالغ (66.27%) تحت نفس ظروف وكيل توليد الكود وإعادة هيكلة الجدول. ومع ذلك، تشير الورقة إلى أنه بينما طابق النموذج اللغوي الصغير النموذج الأكبر في إجمالي درجة المطابقة التامة (EM)، إلا أن دقة قيمته الرقمية الخام (باستثناء المقياس) ظلت أقل قليلاً (77.06% مقابل 78.92%)، مما يشير إلى أن ضبط القواعد يوجه التنسيق بفعالية ولكنه قد لا يسد الفجوة تمامًا في متانة الحساب الجوهري.

الأهمية والادعاءات

تدعي الورقة أن القيود الحسابية المتصورة للنماذج اللغوية الصغيرة المنشورة محليًا ليست قيودًا جوهرية، بل هي نتاج استراتيجية الاستدلال. فمن خلال الجمع بين تفكيك المهام (توليد الكود) مع التحسين المنهجي للأوامر القائم على الخطأ، يمكن تطوير مساعدين ذكاء اصطناعي موثوقين، وقابلين للتفسير، وقابلين للنشر الصناعي يعملون بالكامل في البيئات المحلية.

يؤكد المؤلفون أن هذا النهج يقدم بديلًا فعالًا لعمليات الضبط الدقيق المكلفة أو الاعتماد على واجهات برمجة التطبيقات الخارجية لتدفقات العمل الحساسة للبيانات. وتخلص الدراسة إلى أن تطوير ذكاء اصطناعي موثوق للاستدلال الجدولي هو أمر ممكن من خلال "مخطط" للتحليل المنهجي للأخطاء والاستقراء الموجز للقواعد، مما يمكّن النماذج الصغيرة من التفوق على نظيراتها الأكبر في مجالات محددة ومقيدة بالخصوصية. ويسلط العمل الضوء على أن تحسين النماذج اللغوية الصغيرة هو تخصص متميز يتطلب إدارة دقيقة لتعقيد القواعد لتجنب الحمل المعرفي الزائد.