🤖 machine learning

Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models

تُظهر هذه الدراسة التجريبية أن تنفيذ فك التشفير الاستباقي EAGLE3 مع نموذج Nemotron مضبوط بدقة على وكيل التجارة الخاص بـ PayPal يحقق تحسينات كبيرة في معدل الإنتاجية وزمن الاستجابة مع الحفاظ على جودة المخرجات، مما يؤدي في النهاية إلى خفض تكاليف وحدة معالجة الرسومات بنسبة 50% مقارنة بنشر NVIDIA NIM القياسي.

المؤلفون الأصليون: Ally Qin, Jian Wan, Sarat Mudunuri, Srinivasan Manoharan

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ally Qin, Jian Wan, Sarat Mudunuri, Srinivasan Manoharan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل "وكيل التجارة" (Commerce Agent) الخاص بـ PayPal كمتسوق شخصي ماهر للغاية وسريع جداً. مهمته هي الاستماع لما تكتبه (مثل "أريد فستاناً أحمر لحفل زفاف بسعر أقل من 50 دولاراً") وتحويل ذلك فوراً إلى قائمة دقيقة من المنتجات ليعرضها لك.

في الماضي، كان هذا المتسوق سريعاً بالفعل لأن الفريق علمه خصيصاً حول التسوق (الضبط الدقيق/Fine-tuning). لكنهم أرادوا جعله أسرع وأرخص في التشغيل، دون أن يصبح أقل ذكاءً.

هذه الورقة البحثية تتحدث عن خدعة ذكية استخدموها تسمى "التوليد التخميني" (Speculative Decoding)، وتحديداً باستخدام طريقة تسمى EAGLE3. وإليك كيف تعمل، مشروحة عبر تشبيهات بسيطة.

المشكلة: عنق الزجاجة المتمثل في "الخطوة الواحدة في كل مرة"

عادةً، عندما يكتب الذكاء الاصطناعي جملة، يكون الأمر مثل كاتب دقيق جداً يكتب كلمة واحدة في كل مرة:

يفكر في الكلمة الأولى.
يكتبها.
يفكر في الكلمة الثانية.
يكتبها.
وهكذا...

هذا الأمر بطيء لأن الكمبيوتر يجب أن يتوقف ويفكر لكل كلمة على حدة. في عالم الذكاء الاصطناعي، يُطلق على هذا اسم "التوليد ذاتي الانحدار" (Autoregressive Generation). إنه يشبه الطاهي الذي يتذوق الحساء، يضيف رشة ملح، يتذوقه مرة أخرى، يضيف رشة أخرى، يتذوقه مرة أخرى... بدلاً من تخمين الكمية الصحيحة وإضافتها كلها دفعة واحدة.

الحل: "المُسوّد" و"المحرر"

قدم الفريق نظام "التوليد التخميني" (Speculative Decoding). فكر في الأمر كفريق مكون من شخصين:

المُسَوِّد (EAGLE3): هذا ذكاء اصطناعي صغير، سريع جداً، و"خفيف الوزن". هو ليس بذكاء الذكاء الاصطناعي الرئيسي، لكنه سريع بشكل لا يصدق. مهمته هي تخمين الكلمات القليلة التالية في الجملة دفعة واحدة.
المحرر (الذكاء الاصطناعي الرئيسي): هذا هو الذكاء الاصطناعي الكبير، الذكي، والمكلف. هو لا يكتب الكلمات بنفسه، بل ينظر إلى تخمينات "المُسوِّد" ويقول: "نعم، هذا صحيح!" أو "لا، هذا خطأ".

كيف يسرع ذلك العمل:

الطريقة القديمة: المحرر يكتب كلمة واحدة، يتوقف، يفكر، يكتب كلمة واحدة، يتوقف. (10 كلمات = 10 توقفات).
الطريقة الجديدة: المُسوِّد يخمن 3 كلمات فوراً. المحرر يفحص الكلمات الثلاث في "نظرة" واحدة. إذا وافق المحرر على الثلاث جميعها، يتم قبولها دفعة واحدة.
النتيجة: يحصل الفريق على 3 كلمات بتكلفة فحص كلمة واحدة فقط. الأمر يشبه أن يخمن الطاهي الوصفة بأكملها ثم يكتفي فقط بفحص المذاق النهائي، بدلاً من التذوق بعد كل رشة ملح.

التجربة: اختبار الفريق

اختبر الباحثون هذا النظام على نظام التسوق الفعلي لـ PayPal. أقاموا سباقاً بين:

الفريق (أ) (الأساس): الذكاء الاصطناعي القوي القياسي الذي يعمل على شريحتين ضخمتين من الحواسيب الفائقة (H100 GPUs).
الفريق (ب) (الفريق التخميني): نفس الذكاء الاصطناعي القوي، ولكن مع وجود المساعد "المُسوِّد"، ويعمل على نفس الشريحتين.

اختبروا ذلك تحت ظروف مختلفة:

الازدحام: ماذا يحدث عندما يسأل شخص واحد مقابل 32 شخصاً في وقت واحد؟
الإبداع: ماذا لو كان على الذكاء الاصطناعي أن يكون صارماً جداً (درجة حرارة 0) أو مبدعاً قليلاً (درجة حرارة 0.5)؟
طول التخمين: ماذا لو خمن المُسوِّد 3 كلمات في كل مرة (γ=3) مقابل 5 كلمات (γ=5)؟

النجاحات الكبيرة (النتائج)

1. "النقطة المثالية" هي 3 كلمات
عندما خمن المُسوِّد 3 كلمات في كل مرة، حقق نجاحاً باهراً.

السرعة: أصبح النظام أسرع بنسبة 22% إلى 49%.
الموثوقية: كان المُسوِّد محقاً في 35.5% من الحالات. وهذا رقم مستقر بشكل مدهش! سواء كان النظام مزدحماً أو هادئاً، حافظ المُسوِّد على نفس معدل النجاح تقريباً.
لماذا ليس 5؟ عندما جربوا تخمين 5 كلمات، ارتبك المُسوِّد أكثر (كان محقاً بنسبة 25% فقط). لقد قضى وقتاً طويلاً في تخمين كلمات خاطئة اضطر المحرر لرفضها. كان الأمر أشبه بمُسوِّد يكتب فقرة كاملة معظمها هراء؛ مما جعل المحرر يضيع وقتاً طويلاً في شطبها جميعاً.

2. الجودة لم تنخفض
أحد المخاوف الكبرى مع الذكاء الاصطناعي هو أن "السرعة" تعني "الغباء". استخدموا ذكاءً اصطناعياً آخر ليعمل كحكم للمقارنة بين الإجابات القديمة البطيئة والإجابات الجديدة السريعة.

الحكم: كانت الإجابات متطابقة في الجودة. الطريقة السريعة لم ترتكب أي أخطاء؛ بل وصلت إلى الإجابة فقط بشكل أسرع.

3. معجزة "الشريحة الواحدة"
هذا هو الجزء الأكثر إثارة لتوفير المال.

"الفريق القياسي" احتاج إلى شريحتين من الحواسيب الفائقة للتعامل مع الضغط.
"الفريق التخميني" استطاع التعامل مع نفس كمية العمل باستخدام شريحة واحدة فقط.
التشبيه: الأمر يشبه شركة توصيل تحتاج عادةً إلى شاحنتين لتوصيل الطرود في الوقت المحدد. من خلال استخدام نظام توجيه أذكى (التوليد التخميني)، أدركوا أنه يمكنهم القيام بنفس المهمة تماماً باستخدام شاحنة واحدة فقط، مما وفر 50% من تكاليف الوقود والسائقين.

لماذا نجح هذا بشكل جيد جداً؟

قد تتساءل: "لماذا لم يحصل المُسوِّد على نسبة نجاح 80% مثل الدراسات الأخرى؟"

القواعد الصارمة: يجب على ذكاء PayPal أن يخرج إجابات بتنسيق صارم جداً (مثل كود JSON مع أقواس وفواصل محددة). من الصعب تخمين الكلمة التالية عندما يتعين عليك اتباع قواعد قواعدية صارمة مقارنة بكتابة قصة عادية.
التدريب المتخصص: تم تدريب الذكاء الاصطناعي الرئيسي خصيصاً للتسوق. أما المُسوِّد فلم يتم تدريبه على بيانات التسوق، لذا كان بمثبه "غريب" عن المجال.
لكنه نجح رغم ذلك! حتى مع معدل نجاح منخفض (35%)، فإن حقيقة أن المُسوِّد رخيص وسريع جداً تعني أن حتى التخمينات الصحيحة القليلة وفرت قدراً هائلاً من الوقت.

الخلاصة

لقد وجد PayPal طريقة لجعل مساعد التسوق الخاص بهم أسرع بكثير وأرخص في التشغيل دون تغيير "عقل" الذكاء الاصطناعي.

من خلال إضافة "مُخمِّن فائق السرعة" (EAGLE3) يقترح الكلمات القليلة التالية ليقوم الذكاء الاصطناعي الرئيسي بفحصها، تمكنوا من تقليل أوقات الانتظار إلى النصف، ويمكنهم تقليل تكاليف الأجهزة إلى النصف أيضاً. إنه مثال مثالي للعمل بذكاء أكبر، وليس بجهد أكبر، لإنجاز المهام.

إليك ملخص تقني مفصل لورقة البحث: "تسريع وكيل التجارة الخاص بـ PayPal باستخدام فك التشفير الاستدلالي: دراسة تجريبية على EAGLE3 مع نماذج Nemotron المضبوطة بدقة."

1. بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) في بيئات التجارة الإلكترونية الإنتاجية مقايضة حرجة بين جودة النموذج وزمن انتقال الاستدلال (Inference Latency). يتطلب "وكيل التجارة" (Commerce Agent) الخاص بـ PayPal قدرات استدلال متطورة لصياغة الاستعلامات، والبحث عن المنتجات، والترشيح. وبينما نجحت الأعمال السابقة في تقليل زمن الانتقال والتكاليف من خلال ضبط نموذج لغوي صغير (SLM) بدقة، وهو NEMO-4-PAYPAL (المبني على llama3.1-nemotron-nano-8B-v1)، كانت هناك حاجة لمزيد من التحسين لتلبية اتفاقيات مستوى الخدمة (SLAs) الصارمة التي تتطلب استجابة في أقل من ثانيتين دون زيادة تكاليف الأجهزة.

التحدي الجوهري الذي تعالجه هذه الورقة هو: كيف يمكن تقليل زمن انتقال الاستدلال بشكل أكبر وزيادة الإنتاجية لنموذج لغوي صغير (SLM) متخصص في مجال معين ومضبوط بدقة في بيئة إنتاجية، دون تعديل بنية النموذج أو إضافة موارد أجهزة كبيرة؟

2. المنهجية

أجرى المؤلفون تقييماً تجريبياً شاملاً يقارن بين نشر أساسي (Baseline) وتطبيق لفك التشفير الاستدلالي (Speculative Decoding).

النموذج المستهدف: نموذج llama3.1-nemotron-nano-8B-v1 مضبوط بدقة لمهام التجارة (فهم الاستعلام، استخراج السمات، توليد المنتجات الافتراضية) باستخدام تقنية LoRA.
الأساس (Baseline): نظام NVIDIA NIM (استدلال حاوي) تم نشره على 2× NVIDIA H100 GPUs.
الإعداد التجريبي:
- التقنية: فك التشفير الاستدلالي باستخدام EAGLE3، وهي طريقة تعتمد على نموذج مسودة (Draft-model) خالية من التدريب الإضافي.
- النشر: إطار عمل vLLM على نفس أجهزة 2× NVIDIA H100 لعزل التأثيرات الخوارزمية عن الاختلافات في الأجهزة.
- التكوينات: شملت الدراسة 40 تكويناً تجريبياً مختلفاً تباينت وفقاً لـ:
  - عدد الرموز الاستدلالية ( $\gamma$ ): 3 (Spec-3) و 5 (Spec-5).
  - مستويات التزامن (Concurrency Levels): 1، 4، 8، 16، و 32 طلباً متزامناً.
  - درجات أخذ العينات (Sampling Temperatures): 0 (Greedy) و 0.5 (Stochastic).
مقاييس التقييم:
- الأداء: الإنتاجية (req/s)، متوسط/وسيط (P50) زمن الانتقال، ومعدل قبول الرموز الاستدلالية.
- الجودة: تقييم "النموذج اللغوي كحكم" (LLM-as-Judge) باستخدام المقارنات الزوجية والتقييم الفردي (الصلة، التنوع، إلخ) لضمان عدم تدهور جودة المخرجات.
- الكفاءة: تحليل استهلاك وحدة معالجة الرسومات (GPU utilization).

3. المساهمات الرئيسية

تقييم تجريبي على نطاق الإنتاج: أول دراسة شاملة لتطبيق فك التشفير الاستدلالي على نموذج لغوي صغير (SLM) مضبوط بدقة ومتخصص في التجارة في بيئة تجارة إلكترونية حقيقية، تغطي 40 تكويناً.
توصيف معدل القبول: اكتشاف أن معدلات قبول الرموز الاستدلالية مستقرة بشكل ملحوظ (~35.5% لـ $\gamma=3$ ) عبر مستويات التزامن ودرجات الحرارة المختلفة، مما يسهل عملية تخطيط السعة.
التحقق من الحفاظ على الجودة: التحقق الصارم الذي يؤكد أن فك التشفير الاستدلالي ينتج مخرجات مطابقة لفك التشفير القياسي (عند درجة حرارة 0) أو مكافئة إحصائياً (عند درجة حرارة 0.5)، مع عدم وجود تدهور في مقاييس الجودة.
اختراق في كفاءة الأجهزة: إثبات أن وحدة GPU واحدة من نوع H100 تستخدم فك التشفير الاستدلالي يمكنها مضاهاة أو تجاوز أداء وحدتي H100 يعملان بالنموذج الأساسي، مما يوفر خفضاً محتملاً بنسبة 50% في تكاليف الـ GPU.

4. النتائج الرئيسية

مكاسب الأداء

الإنتاجية: حقق Spec-3 ( $\gamma=3$ ) زيادة في الإنتاجية تتراوح بين 22-49% مقارنة بأساس NVIDIA NIM. حدثت أعلى المكاسب (+49%) عند مستويات التزامن المنخفضة.
زمن الانتقال (Latency): قلل Spec-3 متوسط زمن الانتقال بنسبة 18-33%. حتى عند التزامن العالي (32 طلباً)، تم الحفاظ على تحسن في زمن الانتقال بنسبة 20%.
تناقص العوائد: أظهر Spec-5 ( $\gamma=5$ ) مكاسب أقل بكثير. فرغم اقتراحه لعدد أكبر من الرموز، إلا أن معدل القبول انخفض إلى ~25%، مما أدى إلى هدر الحوسبة على الرموز المرفوضة وإنتاجية أدنى عند مستويات التزامن العالية.

تحليل معدل القبول

الاستقرار: ظل معدل القبول لـ Spec-3 مستقراً عند ~35.5% عبر جميع مستويات التزامن ودرجات الحرارة.
عدم الحساسية لدرجة الحرارة: على عكس الأبحاث السابقة على النماذج العامة، كان لتغيرات درجة الحرارة (0 مقابل 0.5) تأثير ضئيل على معدلات القبول. ويعزو المؤلفون ذلك إلى تنسيق مخرجات JSON الموجه، الذي يقيد توزيع الإنتروبيا للرموز بغض النظر عن درجة الحرارة.
المقارنة مع النظرية: كانت المعدلات المرصودة (25-36%) أقل من المعدلات (53-82%) التي شوهدت في دراسات نموذج T5 الأساسية. ويُعزى ذلك إلى:
- قيود المخطط الصارمة (JSON) التي تجعل التنبؤ بالرموز أكثر صعوبة.
- الانزياحات التوزيعية الناتجة عن الضبط الدقيق المتخصص في المجال.
- عدم التطابق الهيكلي بين شبكة المسودة EAGLE3 والنموذج المستهدف.

كفاءة الأجهزة

GPU واحد مقابل اثنين: عند التزامن المتوسط ( $c \le 8$ )، حققت وحدة H100 واحدة تعمل بنظام Spec-3 معدل 3.19 req/s (مقابل 3.14 req/s لأساس Dual-H100) مع زمن انتقال أقل (2,292ms مقابل 2,529ms).
استهلاك الـ GPU: غالباً ما أظهرت تكوينات فك التشفير الاستدلالي استهلاكاً أقل لوحدة معالجة الرسومات مقارنة بالنموذج الأساسي رغم الإنتاجية الأعلى، مما يشير إلى أن الطلبات تكتمل بشكل أسرع، مما يقلل من إشغال الـ GPU المستمر.

5. الأهمية والآثار المترتبة

تقليل التكلفة: تثبت الدراسة أن فك التشفير الاستدلالي يمكنه فعلياً تقليص البنية التحتية للأجهزة المطلوبة لوكيل LLM في الإنتاج إلى النصف، مما يوفر خفضاً بنسبة 50% في تكاليف الـ GPU مع الحفاظ على الأداء أو تحسينه.
التكوين الأمثل: تحدد الورقة $\gamma=3$ كالتكوين الأمثل لهذا العمل، حيث يوازن بين تكلفة صياغة الرموز واحتمالية القبول، مما يعطي عامل تسريع نظري (~1.46x) يطابق النتائج التجريبية عن كثب.
استراتيجية النشر: تقترح النتائج خط أنابيب تحسين كامل:
1. الضبط الدقيق (LoRA): يقلل حجم النموذج ويحسن الجودة الخاصة بالمهمة.
2. فك التشفير الاستدلالي (EAGLE3): يسرع الاستدلال وقت الخدمة دون الحاجة لإعادة التدريب.
- الأثر المشترك: تحقق هذه التقنيات معاً خفضاً تراكمياً في زمن الانتقال يتجاوز 60% مقارنة بالنموذج الأصلي.
الجاهزية للإنتاج: إن استقرار معدلات القبول والحفاظ على جودة المخرجات يجعل هذا النهج مناسباً جداً للنشر الفوري في أنظمة التجارة الإلكترونية.

الخاتمة

تؤكد هذه الورقة أن فك التشفير الاستدلالي، وتحديداً باستخدام EAGLE3 مع تكوين $\gamma=3$ ، يعد وسيلة فعالة للغاية ومنخفضة المخاطر لتحسين وكيل التجارة الخاص بـ PayPal. فهو يقدم تحسينات كبيرة في الإنتاجية وزمن الانتقال على الأجهزة الحالية، مما يتيح توفيراً كبيراً في التكاليف مع الالتزام الصارم باتفاقيات جودة الخدمة (SLAs). سيركز العمل المستقبلي على ضبط نموذج المسودة EAGLE3 بدقة خصيصاً لبيانات التجارة لزيادة معدلات القبول المحتملة.