💬 NLP

FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

تقدم الورقة البحثية FrugalPrompt، وهو إطار عمل مبتكر يقلل من العبء السياقي والتكاليف المرتبطة به للنماذج اللغوية الكبيرة عن طريق ضغط المطالبات للاحتفاظ فقط بالرموز الأكثر أهمية دلاليًا، كما تحددها طرق إسناد الرموز، وبذلك يحقق أداءً فعالًا مع استكشاف المقايضات بين ندرة السياق ومتطلبات المهام.

المؤلفون الأصليون: Syed Rifat Raiyan, Md Farhan Ishmam, Abdullah Al Imran, Mohammad Ali Moni

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Syed Rifat Raiyan, Md Farhan Ishmam, Abdullah Al Imran, Mohammad Ali Moni

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة FRUGALPROMPT البحثية، مترجمة إلى لغة بسيطة وعملية مع بعض التشبيهات الإبداعية.

المشكلة الكبرى: الذكاء الاصطناعي "المُسهب في الشرح"

تخيل أنك تتحدث مع صديق ذكي جداً، ولكنه ثرثار قليلاً. تسأله: "كيف حال الطقس؟"

بدلاً من أن يقول لك: "إنها تمطر"، يقول صديقك:

"حسناً، أولاً وقبل كل شيء، يجب أن أخبرك أنني ذكاء اصطناعي، وأنا أنظر الآن إلى السماء، والسماء حالياً مليئة بقطرات الماء، وبسبب الجاذبية، هذه القطرات تسقط للأسفل، وهذه الظاهرة تُسمى عموماً المطر، والجو رطب للغاية في الخارج..."

هكذا تعمل النماذج اللغوية الكبيرة (LLMs) غالباً. فهي قوية للغاية، لكنها مُدربة على نصوص بشرية مليئة بالكلمات "الحشوية" (مثل "في الواقع"، "بالمناسبة"، "الـ"، "هو/هي"). وللحصول على أفضل إجابة، نقوم عادةً بتغذية الذكاء الاصطناعي بالطلب (Prompt) كاملاً، بما في ذلك كل تلك الثرثرة الإضافية.

التكلفة:

المال: كل كلمة تكتبها تكلف مالاً لمعالجتها.
الوقت: المزيد من الكلمات يعني أن الذكاء الاصطناعي يستغرق وقتاً أطول في التفكير.
الطاقة: معالجة الكلمات الإضافية تستهلك المزيد من الكهرباء (وتنتج المزيد من الكربون).

الحل: FRUGALPROMPT

تساءل مؤلفو هذه الورقة سؤالاً بسيطاً: "هل نحتاج حقاً لكل كلمة لفهم المعنى؟"

في المحادثات البشرية، غالباً ما نستخدم "الكلام الموجز". إذا قلت: "فيلم جيد، أعجبني"، فإن دماغك يفهم فوراً الجملة الكاملة: "لقد أعجبني الفيلم؛ لقد كان جيداً". لم تكن بحاجة إلى كلمات مثل "أنا"، "كان"، "جداً"، أو "كثيراً" لتوصيل الفكرة.

FRUGALPROMPT هي أداة تعمل بمثابة محرر فائق الكفاءة. فهي تنظر إلى طلبك، وتحدد الكلمات التي تحمل فعلياً "ثقل" المعنى، ثم تحذف الباقي قبل إرساله إلى الذكاء الاصطناعي.

كيف يعمل: تشبيه "قلم التحديد"

تخيل مدخلات الذكاء الاصطناعي كفقرة نصية طويلة وفوضوية. يستخدم FRUGALPROMPT "قلم تحديد" خاصاً (يُسمى نسبة التوكين - Token Attribution) لمسح النص.

المسح: ينظر إلى كل كلمة ويسأل: "ما مدى أهمية هذه الكلمة للإجابة؟"
- درجة عالية: "فيلم"، "جيد"، "رياضيات"، "مسألة". (هذه يتم تحديدها).
- درجة منخفضة: "الـ"، "هو/هي"، "في الواقع"، "بالمناسبة". (هذه يتم تجاهلها).
التصفية: يحتفظ بنسبة 50% إلى 80% من الكلمات الأكثر أهمية.
إعادة التجميع: يعيد دمج تلك الكلمات المهمة معاً بنفس الترتيب الأصلي بحيث يظل السياق مفهوماً، ولكن بدون الحشو.

النتيجة:

الأصل: "الفيلم الذي شاهدناه ليلة أمس كان في الواقع جيداً جداً، وقد أعجبني كثيراً." (16 كلمة)
بعد التحرير (Frugalized): "فيلم شاهدناه ليلة أمس جيد أعجبني." (6 كلمات)

لا يزال الذكاء الاصطناعي يفهم المعنى الجوهري، لكن عليه معالجة 6 كلمات فقط بدلاً من 16. هذا يوفر المال والوقت والطاقة.

ما وجدوه: منطقة "غولديلوكس" (المنطقة المثالية)

اختبر الباحثون هذه الأداة على أنواع مختلفة من المهام (مثل تلخيص الأخبار، الإجابة على الأسئلة، وحل المسائل الرياضية) باستخدام نماذج ذكاء اصطناعي متنوعة. وإليكم ما اكتشفوه:

1. المهام "السهلة" (تحليل المشاعر وتلخيص النصوص)

التشبيه: تخيل قراءة مراجعة فيلم لتقرر ما إذا كان جيداً أم لا.
النتيجة: يمكنك حذف نصف الكلمات تقريباً، ولا يزال الذكاء الاصطناعي يحصل على الإجابة الصحيحة. الأمر يشبه قراءة عنوان رئيسي بدلاً من المقال بأكمله؛ تحصل على الجوهر فوراً.
الحكم: ممتاز لتوفير المال!

2. المهام "الصعبة" (الرياضيات والمنطق)

التشبيه: تخيل محاولة حل معادلة رياضية معقدة حيث كل رقم وعلامة لها أهميتها.
النتيجة: إذا حذفت الكثير من الكلمات هنا، سيصاب الذكاء الاصطناعي بالارتباك. الأمر يشبه إزالة خطوة حاسمة من وصفة طعام؛ لن يرتفع الكعك.
الحكم: كن حذراً. أنت بحاجة للحفاظ على معظم السياق لهذه المهام.

3. مفاجأة "التلوث المعلوماتي" (Contamination)

التشبيه: تخيل خوض اختبار حيث طُبعت الإجابات بالخطأ على ظهر الورقة.
النتيجة: لاحظ الباحثون أنه في بعض الأسئلة السهلة، حتى عندما حذفوا معظم الطلب، ظل الذكاء الاصطناعي يحصل على الإجابة الصحيحة. لماذا؟ لأن الذكاء الاصطناعي قد رأى الإجابة في بيانات تدريبه من قبل!
الدرس المستفاد: يشير هذا إلى أن بعض اختبارات قياس أداء الذكاء الاصطناعي قد تكون "تغش" لأن الذكاء الاصطناعي حفظ الإجابات، وليس لأنه فهم المنطق حقاً.

لماذا هذا مهم؟

لجيبك: إذا كنت تبني تطبيقاً يستخدم الذكاء الاصطناعي، يمكنك توفير ثروة باستخدام FRUGALPROMPT. فأنت تدفع أقل مقابل كل كلمة.
لكوكبك: معالجة أقل تعني كهرباء أقل، مما يعني بصمة كربونية أصغر.
للسرعة: يجيب الذكاء الاصطناعي بشكل أسرع لأنه لديه ما يقرأه أقل.

العيوب (القيود)

تماماً مثل أي محرر جيد، هذه الأداة ليست مثالية.

قد تفقد التفاصيل الدقيقة: أحياناً، قد تكون كلمة "صغيرة" مثل "ليس" هي الكلمة الأكثر أهمية (مثلاً: "أنا لم أحب ذلك"). إذا حذفت الأداة كلمة "لم"، سينقلب المعنى تماماً.
يجب أن تكون ذكية: يجب أن تكون الأداة حذرة جداً لكي لا تحذف تحذيرات السلامة أو التعليمات الحرجة.

الملخص

يعلمنا FRUGALPROMPT أن الذكاء الاصطناعي ليس بحاجة لقراءة القاموس كاملاً لفهم جملة ما. من خلال العمل كمحرر صارم يقص الحشو، يمكننا جعل الذكاء الاصطناዊ أرخص، أسرع، وأكثر رفقاً بالبيئة — دون فقدان القدرة على أداء المهمة. إنه الفرق بين قراءة رواية وقراءة تغريدة مكتوبة جيداً؛ أحياناً، القليل هو الأكثر فعلياً.

إليك ملخص تقني مفصل لورقة البحث "FRUGALPROMPT: تقليل العبء السياقي في النماذج اللغوية الكبيرة عبر إسناد الرموز (Token Attribution)."

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً ملحوظًا من خلال الاستفادة من سياقات مدخلة واسعة النطاق. ومع ذلك، فإن هذه الإطناب يخلق عدم كفاءة كبيرة:

التكاليف الاقتصادية والبيئية: معالجة الرموز (tokens) الزائدة تزيد من التكاليف النقدية (رسوم واجهة برمجة التطبيقات API) والبصمات الكربونية.
زمن الاستجابة (Latency): تؤدي السياقات الطويلة إلى ارتفاع زمن الاستجابة أثناء الاستدلال.
التكرار: اللغة البشرية تكرارية بطبيعتها (حوالي 80% من التكرار الإحصائي). يتكون جزء كبير من المدخلات من رموز ذات فائدة منخفضة (مثل كلمات الربط أو العبارات الحشوية) التي لا تساهم إلا بالقليل في المعنى الدلالي بمجرد استقرار السياق المحلي.
الفجوة: غالبًا ما تعالج النماذج اللغوية الكبيرة كل رمز بوزن متساوٍ، فاشلة في محاكاة الكفاءة الإدراكية البشرية حيث يعيد المستمعون بناء المعنى من إشارات "برقية" موجزة.

السؤال الجوهري: إلى أي مدى يمكن للنماذج اللغوية الكبيرة إعادة بناء المعنى من إشارات كافية براغماتيًا بدلاً من الصراحة اللغوية الكاملة، وهل يمكننا تصفية الرموز الزائدة دون خسارة كبيرة في الأداء؟

2. المنهجية: FRUGALPROMPT

يقترح المؤلفون FRUGALPROMPT، وهو إطار عمل لضغط المطالبات (prompts) لا يتطلب تدريبًا، يقوم بتصفية رموز المدخلات بناءً على درجات إسناد الرموز (Saliency Scores). يعمل خط الإنتاج كما يلي:

أ. إسناد الرموز (درجة الأهمية/Saliency)

بدلاً من استخدام أوزان الانتباه الخام (المعروف بأنها مؤشرات ضعيفة للأهمية الحقيقية للرموز)، تستخدم الطريقة تقنيتين متطورتين لإسناد الرموز:

GlobEnc: يقوم بتجميع التحليلات على مستوى الطبقات عبر المشفر (encoder) بالكامل باستخدام "تدحرج الانتباه" (attention rollout) ومعايير المتجهات لتحديد إسناد الرموز العالمي.
DecompX: يقوم بنشر تمثيلات الرموز المفككة محليًا بشكل عالمي، مع دمج جميع مكونات النموذج، بما في ذلك الشبكات الأمامية غير الخطية.

تقوم هذه الطرق بتعيين درجة أهمية ( $s_i$ ) لكل رمز ( $t_i$ ) في تسلسل المدخلات ( $T$ )، مما يعكس مساهمته النسبية في مخرجات النموذج لمهمة محددة.

ب. التصنيف والتصفية

التصنيف (Ranking): يتم ترتيب الرموز بترتيب تنازلي رتيب بناءً على درجات الإسناد الخاصة بها ( $s_{\pi(1)} \geq s_{\pi(2)} \dots$ ).
اختيار أفضل k (Top-k Selection): يتم اختيار أفضل $p = \lfloor \frac{k}{100} \cdot n \rfloor$ من الرموز، حيث $k$ هي نسبة الاحتفاظ (على سبيل المثال، 50%، 60%، 80%).
إعادة الترتيب: يتم إعادة فهرسة المؤشرات المختارة في ترتيبها الزمني الأصلي للحفاظ على التماسك النحوي.
المخرجات: يتم إنشاء مطالبة "مقتصدة" (frugalized) تحتوي فقط على الرموز الأكثر أهمية دلاليًا، مع استبعاد مواد الخطاب منخفضة القيمة وكلمات الربط.

ج. الأساس النظري

تضع الورقة حدودًا نظرية للتدهور في الأداء الناتج عن حذف الرموز:

تأثير الحذف (Deletion Effect): يُعرف بأنه الفرق في الخسارة (loss) بين التسلسل الأصلي والتسلسل المصفى.
الاستقرار (Stability): تحت افتراضات تتعلق بالحدود العليا للأهمية والتفاعلات الزوجية المحدودة، أثبت المؤلفون أن انخفاض الأداء محكوم بحد أعلى هو مجموع درجات أهمية الرموز المحذوفة بالإضافة إلى حد التفاعل الزوجي. يوفر هذا ضمانًا نظريًا بأن حذف الرموز منخفضة الأهمية يؤدي إلى خسارة أداء يمكن التنبؤ بها ومحدودة.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم استراتيجية تصفية للمطالبات لا تتطلب تدريبًا وتتحكم في حجم المطالبة بناءً على درجات إسناد المشفر المدرب مسبقًا.
التأسيس النظري: اشتقاق حدود نظرية تربط نسب الاحتفاظ بالرموز باستقرار الأداء، مما يصيغ المقايضة بين ندرة السياق ودقة المهمة.
التحقق التجريبي: تقييم شامل عبر أربع مهام متنوعة لمعالجة اللغات الطبيعية (تحليل المشاعر، التلخيص، الاستدلال المنطقي الشائع، والاستدلال الرياضي) وعدة مقاييس للنماذج (من 8B إلى 70B بارامتر ونماذج مملوكة مثل o3-mini).
فهم تلوث المهام (Task Contamination): اكتشاف أنماط أداء غير متماثلة تشير إلى أن بعض المهام (مثل التصنيف) قد تعاني بشكل أقل من تقليل الرموز بسبب احتمال تلوث البيانات (حفظ النماذج للإجابات)، بينما تعتمد مهام الاستدلال بشدة على السياق الكامل.

4. النتائج التجريبية

قيمت الدراسة نماذج مثل Llama-3 (8B/70B)، GPT-3.5، Gemini 2.0 Flash Thinking، و o3-mini عبر مستويات احتفاظ بلغت 50% و60% و80%.

حساسية المهمة:
- التصنيف والأسئلة والأجوبة (QA): قوية جدًا تجاه تقليل الرموز. عند الاحتفاظ بنسبة 80%، ظل الأداء قريبًا من الخط المرجعي. حتى عند 50%، كانت انخفاضات الدقة يمكن السيطرة عليها (5-15%).
- التلخيص: حساسية متوسطة. انخفضت مقاييس مثل ROUGE-1 بنسبة 20-25% عند الاحتفاظ بنسبة 50%.
- الاستدلال الرياضي: حساس للغاية. انهار الأداء (انخفض pass@1 إلى أقل من 15% عند العتبات المنخفضة) لأن الاستدلال يعتمد على التكامل التسلسلي للرموز والروابط العددية.
أداء طريقة الإسناد:
- تفوق GlobEnc عمومًا على DecompX في مهام التصنيف، والأسئلة والأجوبة، والتلخيص.
- أظهر DecompX نتائج متفوقة تحديدًا لمهام الاستدلال، ويرجع ذلك على الأرجوت إلى قدرته على التقاط تنشيطات مستوى الكلمة الفرعية (subword) والمكونات الخطية الضرورية للسلاسل المنطقية.
التكلفة مقابل الأداء:
- بالنسبة للنماذج الأصغر (مثل Llama-3 8B)، كانت وفورات التكلفة ضئيلة مقارنة بمخاطر الأداء.
- بالنسبة للنماذج الأكبر والأكثر تكلفة (مثل o3-mini، Gemini)، قدم تقليل الرموز تخفيضات كبيرة في التكاليف مع حد أدنى من تدهور الأداء في المهام غير المتعلقة بالاستدلال.
مقارنات الخط المرجعي (Baselines):
- التصفية العشوائية (Random Filtering): أدى الاحتفاظ بالرموز عشوائيًا إلى انخفاض كبير في الأداء، مما يؤكد أن اختيار الرموز هو الأمر الجوهري.
- تصفية Bottom-k: أدى الاحتفاظ بأقل الرموز أهمية إلى فشل كارثي، مما يؤكد فعالية نهج top-k.
- فرضية التلوث: حقيقة أن التصفية العشوائية حافظت أحيانًا على أداء عالٍ في التصنيف/الأسئلة والأجوبة تشير إلى أن النماذج قد حفظت إجابات مجموعات الاختبار، مما يقلل الحاجة إلى سياق كامل.

5. الأهمية والآثار المترتبة

الكفاءة: يقدم FRUGALPROMPT طريقة عملية لتقليل تكاليف واجهة برمجة التطبيقات والبصمات الكربونية دون الحاجة إلى إعادة تدريب النماذج أو تغيير بنيتها.
المواءمة الإدراكية: يربط العمل بين كفاءة التواصل البشري (الاعتماد على الاستدلال والإشارات الموجزة) ومعالجة النماذج اللغية الكبيرة، مما يشير إلى أن النماذج يمكنها العمل بفعالية مع مدخلات "برقية".
نزاهة التقييم: تسلط النتائج الضوء على قضية حرجة في تقييم النماذج اللغية الكبيرة: تلوث المهام. إذا استطاعت النماذج حل المهام باستخدام 50% فقط من المطالبة (أو رموز عشوائية)، فهذا يشير إلى أن النموذج يعتمد على الأنماط المحفوظة بدلاً من الاستدلال الحقيقي، مما يستدعي وجود معايير قياس خالية من التلوث.
الاتجاهات المستقبلية: يقترح المؤلفون استراتيجيات تصفية تكيفية تعد نسبة الاحتفاظ بالرموز ديناميكيًا بناءً على تعقيد المهمة وثقة النموذج، متجاوزين بذلك عتبات $k\%$ الثابتة.

الخاتمة

يثبت FRUGALPROMPT أن جزءًا كبيرًا من رموز المدخلات في مطالبات النماذج اللغوية الكبيرة هو تكرار زائد. ومن خلال الاستفادة من طرق إسناد الرموز المتقدمة لتصفية هذه الرموز، يحقق إطار العمل تخفيضات كبيرة في التكلفة وزمن الاستجابة مع الحفاظ على أداء عالٍ للعديد من المهام، بشرما إذا كانت المهمة لا تتطلب بصرامة سلاسل منطقية متصلة (مثل الرياضيات المعقدة). يتحدى هذا العمل بشكل أساسي الافتراض القائل بأن "المزيد من السياق هو الأفضل دائمًا" ويوفر أساسًا نظريًا وتجريبيًا للمطالبات المتفرقة والأكثر كفاءة.