💬 NLP

CROP: Token-Efficient Reasoning in Large Language Models via Regularized Prompt Optimization

تقترح الورقة البحثية طريقة CROP، وهي طريقة لتحسين الأوامر (prompt optimization) تتضمن تنظيم الطول لتقليل استهلاك الرموز (tokens) وزمن الاستجابة بشكل كبير في النماذج اللغوية الكبيرة مع الحفاظ على دقة استدلال تنافسية.

المؤلفون الأصليون: Deep Shah, Sanket Badhe, Nehal Kathrotia, Priyanka Tiwari

نُشر 2026-04-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Deep Shah, Sanket Badhe, Nehal Kathrotia, Priyanka Tiwari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "CROP: تحسين الاستدلال الموفر للرموز (Tokens) في النماذج اللغوية الكبيرة عبر تحسين المطالبات المنظم" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الذكاء الاصطناعي "المُسهب في الشرح"

تخيل أنك استأجرت مدرساً خصوصياً عبقرياً ولكنه ثرثار للغاية لمساعدتك في حل مسألة رياضية.

الخبر الجيد: المدرّس ذكي جداً. إذا سألته: "ما هو 2+2؟"، لن يكتفي بقول "4". بل سيكتب مقالاً من 50 صفحة يشرح فيه تاريخ الأرقام، وفلسفة الجمع، والدرجة الدقيقة للون الأزرق الذي يمثله الرقم 2.
الخبر السيئ: بسبب كثرة كلامه، يستغرق وقتاً طويلاً لإنهاء الإجابة، ويكلفك ثروة من "النقود الورقية" (الرموز/Tokens) فقط لقراءة إجابته.

في عالم الذكاء الاصطناعي، يُسمى هذا "سلسلة الأفكار" (Chain-of-Thought - CoT). وهي تساعد الذكاء الاصطناعي على التفكير خطوة بخطوة، مما يجعله أكثر ذكاءً. ولكن غالباً ما ينجرف الذكاء الاصطناعي وراء نفسه ويكتب أكثر بكثير مما هو ضروري، مما يبطئ كل شيء ويجعل استخدامه مكلفاً في التطبيقات الواقعية.

الحل القديم: "كن مختصراً فقط" (ولماذا فشل)

في السابق، إذا أردت من الذكاء الاصطناعي أن يكون أقصر، كنت تطلب منه ببساطة: "يرجى أن تكون موجزاً".

النتيجة: كان الذكاء الاصطناعي يصاب بالارتباك؛ فإما يتوقف عن التفكير تماماً (مما يعطي إجابة خاطئة)، أو يحاول أن يكون قصيراً لكنه يستمر في الإسهاب. الأمر يشبه إخبار متحدث مرتبك: "كن مقتضباً فقط"، دون إعطائه نصاً مكتوباً؛ فعادة ما يصاب بالذعر ويتحدث بسرعة أكبر لكنه لا يزال يقول الكثير.

الأدوات الموجودة التي تقوم تلقائياً بإصلاح مطالبات الذكاء الاصطناعي (ما يسمى بـ تحسين المطالبات التلقائي) كانت رائعة في جعل الذكاء الاصطناعي أكثر ذكاءً، لكن كان لديها نقطة عمياء: كانت تهتم فقط بـ الدقة. فقد استمرت في إضافة المزيد من التعليمات لجعل الذكاء الاصطناعي يفكر بعمق أكبر، مما أدى بالخطأ إلى جعل الذكاء الاصطناعي يتحدث أكثر.

الحل الجديد: CROP (الذكاء الاصطناعي "المحرر")

ابتكر المؤلفون طريقة جديدة تسمى CROP (تحسين المطالبات المنظم بتكلفة التكلفة). تخيل CROP كمحرر صارم ذو رأسين يدرب الذكاء الاصطناوي.

إليك كيف يعمل CROP، باستخدام تشبيه الطبخ:

1. الإعداد: الطاهي والمنتقدون

الطاهي (الذكاء الاصطناعي المستهدف): هو الذكاء الاصطناعي الذي تريد استخدامه فعلياً. هو من يطبخ الإجابة.
المنتقدان (المقيمان): يستخدم CROP اثنين من نماذج الذكاء الاصطناعي الآخرين للحكم على عمل الطاهي.
- الناقد (أ) (متذوق الطعام): "هل الطبق لذيذ؟ هل الحساب صحيح؟" (الدقة).
- الناقد (ب) (مسؤول مراقبة الحصص): "هل هذا الطبق كبير جداً؟ هل استخدمت الكثير من المكونات؟ قلل من الزينة!" (التكلفة/الطول).

2. حلقة التدريب

في الماضي، كان الطاهي يستمع فقط لمتذوق الطعام. وإذا كان الطبق لذيذاً، كان الطاهي يستمر في إضافة المزيد والمزيد من الزينة الفاخرة (النصوص المسهبة) ليكون في أمان.

مع CROP، يتلقى الطاهي ملاحظات من كلا الناقدين في وقت واحد.

إذا كان الطبق لذيذاً ولكنه ضخم، يقول مسؤول مراقبة الحصص: "النكهة رائعة، لكنك استخدمت 500 كلمة. احذف الحشو. احتفظ بالوصفة الأساسية، ولكن أزل القصة التي اشتريت منها الطماطم".
يقوم الطاهي بعد ذلك بإعادة كتابة الوصفة (المطالبة/Prompt) لتكون أقصر ولكن لا تزال لذيذة.

3. السحر: "التنظيم" (Regularization)

في الرياضيات والعلوم، "التنظيم" هو وسيلة لمنع النموذج من أن يصبح معقداً للغاية.

التشبيه: تخيل أنك تحاول رسم خريطة. بدون قواعد، قد ترسم كل نصل عشب (تفاصيل كثيرة جداً). التنظيم هو بمثابة قاعدة تقول: "يجب أن تظهر الطرق والمدن، ولكن لا يُسمح لك برسم الأشجار الفردية".
يضيف CROP هذه القاعدة إلى تدريب الذكاء الاصطناعي، حيث يجبره على إيجاد أقصر طريق للوصول إلى الإجابة الصحيحة.

النتائج: "المسودة" مقابل "الرواية"

اختبرت الورقة البحثية هذا على ألغاز منطقية ورياضية صعبة. وهذا ما حدث:

قبل CROP: كتب الذكاء الاصطناعي "رواية" مكونة من 128 كلمة لحل مسألة رياضية بسيطة.
بعد CROP: كتب الذكاء الاصطناعي "مسودة" مكونة من 44 كلمة. لقد حذف جمل مثل "دعونا نعتبر أن..." أو "في الختام..." وذهب مباشرة إلى الرياضيات: 8 * 5 + 8 * 3 = 64.

الإحصائيات:

توفير الرموز (Tokens): خفضوا استخدام "الورق" (الرموز) بنسبة 80.6%.
الدقة: ظل الذكاء الاصطناعي بنفس القدر من الذكاء؛ لم يفقد قدرته على حل المشكلة، بل توقف فقط عن إضاعة الكلمات.

لماذا هذا مهم؟

تخيل أنك تبني روبوتاً مساعداً في مستشفى أو بنك.

بدون CROP: يستغرق الروبوت 10 ثوانٍ للتفكير ويكلف 0.50 دولار لكل سؤال لأنه يتحدث كثيراً.
مع CROP: يستغرق الروبوت ثانيتين ويكلف 0.10 دولار لكل سؤال، لكنه يعطيك نفس النصيحة الطبية أو المالية بالضبط.

السر الخفي: المحرر "الذكي"

أحد الاكتشافات المثيرة للاهتمام في الورقة البحثية هو أن "مسؤول مراقبة الحصص" (الذكاء الاصطناعي المُحسِّن) يجب أن يكون ذكياً جداً في حد ذاته.

إذا استخدمت محرراً "غبياً"، فسيخبر الطاهي بأن "يتوقف عن الكلام" فقط، وسيتوقف الطاهي عن التفكير تماماً (مما يؤدي لإجابات خاطئة).
أما إذا استخدمت محرراً "فائق الذكاء" (مثل Gemini 1.5 Pro المذكور في الورقة)، فإنه يعرف بالضبط أي الكلمات يجب حذفها وأي المنطق يجب الاحتفاظ به. إنه يعلم الطاهي كيف يفكر باستخدام الرموز والاختصارات بدلاً من الجمل الكاملة.

الملخص

CROP هي طريقة تعلم نماذج الذكاء الاصطناعي كيف تكون مفكرة فعالة. إنها تستخدم حلقة تدريب خاصة تعاقب الذكاء الاصطناعي على كونه مسهباً في الكلام، مما يجبره على اكتشاف طريقة جديدة للتفكير: طريقة قصيرة، حادة، ورمزية—مثل خبير بشري يدون ملاحظات على منديل ورقي بدلاً من كتابة رواية. هذا يجعل الذكاء الاصطناعي أسرع، وأرخص، وجاهزاً للاستخدام في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CROP: تحسين استدلال النماذج اللغوية الكبيرة عبر تحسين المطالبات المنظم".

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً في مهام الاستدلال المعقدة (مثل الرياضيات والمنطق) بشكل أساسي من خلال مطالبات "سلسلة الأفكار" (Chain-of-Thought - CoT)، والتي تشجع على التوليد خطوة بخطوة. ومع ذلك، يعاني هذا النهج من عقبة حرجة في النشر:

الإسهاب (Verbosity): غالباً ما تولد النماذج آثار استدلال وسيطة طويلة للغاية، وحوارية، وفائضة، لا تقدم قيمة منطقية إضافية تذكر.
التكلفة وزمن الاستج lại (Latency): يؤدي هذا الإسهاب إلى استهلاك هائل للرموز (Tokens)، مما ينتج عنه زمن استجابة مرتفع وتكاليف مالية باهظة، مما يجعل مسارات الاستدلال المعقدة غير عملية في بيئات الإنتاج.
قصور أطر تحسين المطالبات الآلية (APO) الحالية: تركز أطر تحسين المطالبات الآلية الحالية (مثل DSPy وTextGrad) بشكل شبه حصري على تعظيم دقة المهمة. ومن خلال القيام بذلك، فإنها تعمل دون قصد على تحسين زيادة التعليمات والتعامل مع الحالات الحدية، مما يؤدي إلى تفاقم مشكلة الإسهاب بدلاً من حلها؛ فهي تفتقر إلى آلية لمعاقبة طول المخرجات.

2. المنهجية: CROP

يقترح المؤلفون إطار عمل CROP (تحسين المطالبات المنظم بتكلفة الاستدلال)، وهو إطار مبتكر يدمج هدف التنظيم النصي مباشرة في حلقة تحسين المطالبة.

المفهوم الجوهري

يعامل CROP تحسين المطالبة كـ مشكلة متعددة الأهداف، حيث يوازن بين دقة المهمة مقابل إيجاز المخرجات. وهو يقدم "عقوبة طول" (length penalty) مشابهة لتنظيم L1/L2 في التعلم الآلي التقليدي، ولكن يتم تطبيقها على توليد اللغة الطبيعية.

سير العمل التقني

نظام التقييم المزدوج:
- مُقيّم المهمة ( $E_{task}$ ): يولد تدرجاً نصياً ( $g_{task}$ ) ينقد الصحة المنطقية لمخرجات النموذج مقارنة بالحقيقة الأرضية (Ground Truth).
- مُقيّم الإيجاز ( $E_{reg}$ ): يولد تدرجاً نصياً ( $g_{reg}$ ) يستهدف تحديداً الإسهاب. يتم حساب هذا التدرج فقط إذا تجاوز عدد رموز المخرجات عتبة محددة مسبقاً ( $\tau$ ). وهو يوجه المُحسن لإزالة الحشو الحواري والزوائد السردية مع الحفاظ على الخطوات الحسابية الحرجة.
تجميع التدرج (Gradient Aggregation):
- يتم دمج التدرجين النصيين: $g_{total} = g_{task} \oplus g_{reg}$ .
- يتم تغذية هذا التغذية الراجعة المجمعة إلى المُحسن الفائق (Meta-Optimizer) (وهو نموذج لغوي كبير ذو قدرة عالية) والذي يقوم بتركيب الأهداف المتعارضة لتحديث مطالبة النظام ( $p$ ).
حلقة التحسين:
- تتكرر العملية عبر دفعة من البيانات (Dataset batch).
- يتم حساب درجة مركبة $S(p)$ لاختيار أفضل مطالبة: $S(p) = \text{Accuracy}(p) - \lambda \cdot L_{norm}(p)$ ، حيث $\lambda$ هو معامل قابل للضبط يوازن بين الدقة وتقليل الرموز.
القيود الرئيسية:
- يتم تطبيق التنظيم بشكل تدريجي لمنع "النسيان الكارثي" للخطوات المنطقية.
- يتم تقييد المُحسن الفائق لاستهداف العناصر السردية الهامشية، لضمان بقاء جوهر منطق الاستدلال سليماً.

3. المساهمات الرئيسية

تحسين المطالبات المدرك للتكلفة (CROP): إطار عمل يفصل بين دقة الاستدلال وإسهاب التوليد عن طريق إدخال عقوبة طول نصية تكيفية خلال مرحلة اكتشاف المطالبة.
كفاءة هائلة في الاستدلال: أظهر انخفاضاً بنسبة 80.6% في استهلاك رموز المخرجات في اختبارات الاستدلال المعقدة مع الحفاظ على دقة تنافسية.
الاكتشاف الذاتي للاستدلال الرمزي: تجبر هذه الطريقة النماذج اللغوية الكبيرة على تبني هياكل استدلال رمزية شديدة الضغط (تشبه "سلسلة المسودات" - Chain-of-Draft) تلقائياً دون هندسة بشرية يدوية. يتعلم النموذج إنتاج اختصارات رياضية بدلاً من التفسيرات الحوارية.
رؤى القابلية للتوسع: حددت الورقة أن النجاح في التحسين النصي متعدد الأهداف يتطلب:
- مُحسنات فائقة ذات قدرة عالية: تفشل النماذج ذات القدرة المنخفضة في تركيب التدرجات المتعارضة، مما يؤدي إلى انهيار المطالبة (التحسين الزائد للإيجاز على حساب المنطق).
- أحجام دفعات كبيرة: تسبب الدفعات الصغيرة (مثل $B=1$ ) تبايناً عالياً في التدرجات، مما يؤدي إلى عدم استقرار التحسين. تعمل الدفعات الكبيرة ( $B=128$ ) على استقرار حلقة التغذية الراجعة.

4. النتائج التجريبية

قام المؤلفون بتقييم CROP على ثلاث مجموعات بيانات تحديّة: GSM8K (الرياضيات)، LogiQA (الاستدلال المنطقي)، و BIG-Bench Hard (عد الأشياء).

تقليل الرموز (Tokens):
- GSM8K: تقليل بنسبة 74.8% في الرموز.
- عد الأشياء (Object Counting): تقليل بنسبة 80.6% في الرموز.
- LogiQA: تقليل بنسبة 66.5% في الرموز.
الحفاظ على الدقة:
- رغم الانخفاض الهائل في الرموز، حافظ CROP على دقة مقاربة لأساليب "سلسلة الأفكار" (CoT) القياسية ونماذج TextGrad.
- مثال: في GSM8K باستخدام Gemini 2.0 Flash، حقق CROP دقة 93.4% بمتوسط 50.0 رمزاً فقط، مقارنة بـ 95.3% دقة لـ CoT القياسي بمتوسط 198.4 رمزاً.
التحول النوعي:
- تُنتج CoT القياسية مخرجات جملية مسهبة: "دع تكلفة الكوب الواحد تكون 5... يمكننا تجميع الكؤوس في أزواج..."
- يُنتج CROP رياضيات رمزية كثيفة: "8 * 5 + 8 * (5 * 0.6) = 40 + 24 = 64"

5. الأهمية والآثار المترتبة

صلاحية الإنتاج: يوفر CROP حلاً عملياً لنشر أنظمة الذكاء الاصطناعي الوكيلية (Agentic AI) في الإنتاج حيث تعد قيود زمن الاستجابة وتكاليف الرموز أمراً حرجاً. فهو يسمح باستدلال عالي الدقة دون "ضريبة الإسهاب".
لا يتطلب تغييرات في البنية التحتية: على عكس الطرق التي تتطلب ضبطاً دقيقاً (Fine-tuning)، أو إسقاطات كامنة مستمرة، أو خوارزميات فك ترميز متخصصة، يعمل CROP بالكامل في فضاء تحسين اللغة الطبيعية. فهو يعدل المطالبة، وليس أوزان النموذج.
السلوك الناشئ: تسلط الدراسة الضوء على أن النماذج اللغوية الكبيرة يمكنها اكتشاف أنماط استدلال فعالة (الضغط الرمزي) ذاتياً عندما يتم توجيهها صراحةً عبر تغذية راجعة منظمة، مما يتحدى الافتراض بأن التفسيرات المسهبة ضرورية للصحة.
الاتجاهات المستقبلية: تشير الورقة إلى أن أطر APO المستقبلية يجب أن تدمج الوعي بالتكلفة كقيد أساسي لجعل النماذج اللغوية الكبيرة مجدية اقتصادياً للتطبيقات واسعة النطاق والوقت الفعلي.

في الختام، ينجح CROP في سد الفجوة بين الاستدلال عالي الأداء والجدوى الاقتصادية من خلال تنظيم "الإسهاب" رياضياً في مخرجات النماذج اللغوية الكبيرة، مما يثبت أن الاستدلال المعقد يمكن تحقيقه بجزء بسيط من التكلفة الحسابية.