💬 NLP

EVM-QuestBench: An Execution-Grounded Benchmark for Natural-Language Transaction Code Generation

تقدم هذه الورقة EVM-QuestBench، وهو معيار تقييم قائم على التنفيذ صُمم لتقييم سلامة ودقة توليد كود المعاملات من اللغة الطبيعية على السلاسل المتوافقة مع EVM بصرامة، وذلك من خلال اختبار ديناميكي قائم على التفرع (fork-based testing) لـ 107 مهمة ذرية ومركبة.

المؤلفون الأصليون: Pei Yang, Wanyi Chen, Ke Wang, Lynn Ai, Eric Yang, Tianyu Shi

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pei Yang, Wanyi Chen, Ke Wang, Lynn Ai, Eric Yang, Tianyu Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، وكثير الكلام. يمكنك أن تطلب منه فعل أي شيء تقريباً: "اكتب قصيدة"، "خطط لرحلة عطلة"، أو "أصلح خطأً في الكود الخاص بي". ولكن ماذا يحدث إذا طلبت منه التعامل مع أموالك؟

في عالم البلوكشين (تحديداً إيثيريوم والشبكات المشابهة لها)، الخطأ الصغير ليس مجرد خطأ مطبعي؛ بل هو كأن ترسل مدخرات حياتك بالخطأ إلى الشخص الخطأ. وبمجرد ضياع هذا المال، فإنه يضيع للأبد. لا يوجد زر "تراجع".

تقدم هذه الورقة البحثية EVM-QuestBench، وهو "اختبار قيادة" جديد لهؤلاء المساعدين الآليين، مصمم خصيصاً لمعرفة ما إذا كان بإمكانهم التعامل بأمان مع المعاملات المالية على البلوكشين.

إليك تفصيل لكيفية عمله، باستخدام بعض التشبيهات البسيطة:

1. المشكلة: "الشكلي" مقابل "الحقيقي"

في السابق، كان الناس يختبرون كود الذكاء الاصطناعي من خلال التحقق مما إذا كانت الكلمات تبدو مشابهة للإجابة الصحيحة (مثل معلم يصحح اختبار إملاء).

الطريقة القديمة: إذا كتب الذكاء الاصطناعي كوداً يبدو وكأنه يقوم بتبديل الرموز (tokens)، لكن الحسابات الرياضية كانت خاطئة، فقد يحصل على درجة عالية لأن الكلمات كانت صحيحة.
الواقع: في البلوكشين، إذا كانت الرياضيات خاطئة، يختفي المال.
الطريقة الجديدة (EVM-QuestBench): بدلاً من مجرد قراءة الإجابة، يقوم هذا الاختبار بتشغيل الكود فعلياً في بيئة محاكاة آمنة. الأمر يشبه إعطاء الذكاء الاصطناعي تجربة قيادة في سيارة حقيقية (أو محاكي واقعي جداً) بدلاً من مجرد سؤاله عن كيفية القيادة.

2. هيكل الاختبار: نوعان من التحديات

ينقسم الاختبار إلى مستويين، مثل ألعاب الفيديو ذات المراحل المختلفة:

المستوى 1: المهام الذرية (الطلقة الواحدة)
- التشبيه: طلب "أرسل 10 دولارات إلى بوب".
- الاختبار: يجب على الذكاء الاصطناعي ضبط العنوان الصحيح، والمبلغ الصحيح، والوحدات الصحيحة (على سبيل المثال، معرفة أن 1 ETH = 1,000,000,000,000,000,000 "wei").
- الهدف: هل يمكنه القيام بشيء واحد بسيط بإتقان تام؟
المستوى 2: المهام المركبة (مضمار العقبات)
- التشبيه: طلب "استبدل 100 دولار من ETH بـ USDT، ثم أضف ذلك الـ USDT إلى مجمع سيولة، وأخيراً قم بعملية الرهن (staking)".
- الاختبار: هذا يتطلب خطة. لا يمكن للذكاء الاصطناعي القيام بالتبديل فحسب؛ بل يجب عليه أولاً الموافقة على الإنفاق، ثم التبديل، ثم إضافة السيولة، ثم الرهن. إذا نسي الخطوة الأولى، سيفشل الأمر برمته.
- الهدف: هل يمكنه وضع خطة لرحلة متعددة الخطوات دون أن يضل الطريق؟

3. "سحر" الأرقام الديناميكية

معظم الاختبارات تستخدم أرقاماً ثابتة (مثلاً: "أرسل دائماً 5 عملات"). إذا حفظ الذكاء الاصطناعي الإجابة "5"، فسوف ينجح.

خدعة EVM-QuestBench: في كل مرة يعمل فيها الاختبار، تتغير الأرقام عشوائياً. مرة قد يكون "أرسل 0.37 عملة"، وفي المرة التالية "أرسل 99.12 عملة".
لماذا؟ هذا يجبر الذكاء الاصطناعي على فهم الرياضيات والمنطق فعلياً، بدلاً من مجرد حفظ نمط معين. إنه يشبه معلم الرياضيات الذي يغير الأرقام في كل اختبار حتى لا يتمكن الطلاب من حفظ الإجابات فقط.

4. "المنطقة الآمنة" (Sandbox)

كيف يختبرون هذا دون خسارة أموال حقيقية؟

يستخدمون سلسلة منسوخة (Forked Chain). تخيل توأماً رقمياً مثالياً للبلوكشين الحقيقي. يبدو ويعمل تماماً مثل الشيء الحقيقي، لكنه مجرد محاكاة.
يأخذون "لقطة" (snapshot) لحالة الشبكة قبل أن يحاول الذكاء الاصطناعي تنفيذ مهمة ما. إذا فشل الذكاء الاصطناعي أو تعطل، يقومون ببساطة بإعادة اللقطة وتجربة الأمر مجدداً. الأمر يشبه "حفظ الحالة" (Save State) في ألعاب الفيديو.

5. النتائج: من الذي نجح؟

قاموا باختبار 20 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي. وإليكم ما وجدوه:

نماذج "الدقة": بعض نماذج الذكاء الاصطناعي كانت رائعة في المهام الفردية (المستوى 1) ولكنها سيئة جداً في التخطيط للتسلسلات الطويلة (المستوى 2). كان بإمكانها إرسال الأموال ولكن لم يكن بإمكانها التخطيط لاستراتيجية استثمارية معقدة.
نماذج "التخطيط": بعض نماذج الذكاء الاصطناعي كانت رائعة في الخطط الطويلة والمعقدة ولكنها ارتكبت أخطاءً سخيفة في الرياضيات البسيطة.
متخصصو "الكود": من المثير للاهتمام أن بعض النماذج التي تم تدريبها خصيصاً على البرمجة فشلت في أجزاء التخطيط. لقد كتبوا كوداً يبدو مثالياً ولكنهم لم يستطيعوا فهم ترتيب العمليات (مثل محاولة فتح الباب قبل بناء المنزل).

الخلاصة الكبرى

هذه الورقة البحثية لا تتعلق فقط بتصنيف نماذج الذكاء الاصطناعي؛ بل تتعلق بـ الأمان.

إنها توضح أنه لمجرد قدرة الذكاء الاصطناعي على كتابة كود يبدو جيداً، لا يعني بالضرورة أنه يستطيع التعامل مع أموال حقيقية. نحن بحاجة إلى نوع جديد من الاختبارات—نوع يقوم بتشغيل الكود فعلياً في بيئة واقعية ومتغيرة—للتأكد من أن هذه الروبوتات لن تفرغ حساباتنا المصرفية عن طريق الخطأ.

باختصار: EVM-QuestBench هو "اختبار رخصة القيادة" للذكاء الاصطناعي في عالم الكريبتو، لضمان قدرتهم على قيادة السيارة فعلياً قبل السماح لهم بدخول الطريق السريع بأموالك.

إليك ملخص تقني مفصل لورقة البحث EVM-QuestBench: معيار تقييم قائم على التنفيذ لتوليد أكواد المعاملات عبر اللغة الطبيعية.

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتوليد الأكواد، بما في ذلك سكربتات معاملات البلوكشين. ومع ذلك، في مجال الويب 3 (Web3)، يمكن حتى للأخطاء الطفيفة (مثل العناوين غير الصحيحة، أو عدم تطابق الوحدات، أو فقدان المتطلبات المسبقة للبروتوكول) أن تؤدي إلى خسائر مالية لا يمكن استردادها.
تعاني المعايير الحالية لتوليد الأكواد (مثل HumanEval وSWE-bench) من مشكلتين رئيسيتين في هذا السياق:

طريقة التقييم: تعتمد غالباً على التداخل اللفظي (BLEU) أو حالات اختبار ثابتة لا تتحقق من التنفيذ الفعلي.
الخصوصية النوعية للمجال: تفشل في استيعاب قيود البلوكشين مثل الحالة المشتركة القابلة للتغيير، وإخفاق المعاملات (reverts)، والتعامل الصارم مع الوحدات (الكسور العشرية)، واعتماديات سير العمل متعددة الخطوات (مثل الموافقة قبل التبديل).
تفتقر معايير البلوكشين الحالية غالباً إلى واجهة موحدة للفصل بين دقة المعاملة الواحدة وبين إتمام سير العمل متعدد الخطوات.

2. المنهجية: EVM-QuestBench

قدم المؤلفون EVM-QuestBench، وهو معيار مصمم لتقييم قدرة النماذج اللغوية الكبيرة على تحويل التعليمات باللغة الطبيعية إلى سكربتات معاملات بلغة TypeScript قابلة للتنفيذ على سلاسل متوافقة مع EVM (تحديداً تم إنشاؤها على شبكة BNB Smart Chain).

أ. بنية المعيار وتكوينه

هيكل المهام: يحتوي المعيار على 107 مهمة مقسمة إلى قسمين:
- المهام الذرية (62): إجراءات أحادية على السلسلة (مثل التحويلات، عمليات التبديل، والموافقات).
- المهام المركبة (45): سير عمل متعدد الخطوات يتطلب التخطيط، ومعالجة المتطلبات المسبقة، ونقل المعاملات (مثل: approve $\leftarrow$ swap $\leftarrow$ stake).
الإنشاء الديناميكي: لمنع الحفظ والاستظهار واختبار المتانة، المهام ليست ثابتة.
- القوالب: يتم استقاء التعليمات باللغة الطبيعية من مجموعة من قوالب مولدة بواسطة النماذج اللغوية الكبيرة.
- المعاملات (Parameters): يتم أخذ القيم الرقمية (المبالغ، العناوين) من فترات محددة مسبقاً أثناء وقت التشغيل.
- التنفيذ: يقوم المشغل بتنفيذ السكربتات على سلسلة EVM مستنسخة (Forked) (باستخدام Anvil) مع عزل اللقطات (Snapshot Isolation)، مما يضمن بدء كل مهمة من حالة نظيفة ومتطابقة.

ب. بروتوكول التقييم

التقييم القائم على التنفيذ: بدلاً من مقارنة الكود بمرجع، يقوم النظام بتنفيذ الكود المولد.
المحققات (Validators): تقوم فئات محققة متخصصة بفحص قيود الحالة بعد التنفيذ (مثل تغيرات الرصيد، وإيصالات المعاملات) مقابل المعاملات التي تم أخذها عشوائياً.
- التقييم الذري: مجموع مرجح من الفحوصات (نجاح المعاملة، صحة العنوان، توقيع الدالة، وتغير الحالة).
- التقييم المركب: يعتمد على نجاح الحالة النهائية، ويتم معاقبته عبر تضاؤل كفاءة الخطوات. إذا اتخذ النموذج عدداً من الخطوات ( $K_{act}$ ) أكثر من العدد الأمثل ( $K_{opt}$ )، يتم تعديل الدرجة بـ $\min(1, K_{opt}/K_{act})$ .
استراتيجية الاستدلال:
- الذري: توليد من خطوة واحدة.
- المركب: تفاعل متعدد الأدوار مع مراحل تخطيط صريحة (تفكيك الهدف إلى مهام فرعية) يليه تنفيذ تكراري وحلقات تغذية راجعة.

ج. الإعداد التجريبي

النماذج التي تم تقييمها: 20 نموذجاً متنوعاً (بما في ذلك GPT-5، وClaude-Sonnet-4.5، وGemini، وDeepSeek، وQwen، إلخ).
الجولات: 5 جولات تقييم مستقلة لكل نموذج لحساب فترات الثقة وضمان المتانة الإحصائية.
البيئة: نسخة مستنسخة من شبكة BSC Mainnet (Chain ID 56) مع حسابات ممولة مسبقاً وعقود مساعدة منشورة.

3. المساهمات الرئيسية

معيار قائم على التنفيذ: أول معيار مخصص لتوليد سكربتات المعاملات من اللغة الطبيعية يقوم بالتحقق من النتائج عبر التنفيذ الفعلي على السلسلة بدلاً من مطابقة الكود الثابت.
نموذج الذري/المركب: تقسيم مبتكر يعزل دقة الإجراء الواحد عن إتمام سير العمل متعدد الخطوات، مما يكشف أن النماذج غالباً ما تتفوق في جانب وتخفق في الآخر.
تصميم نمطي وديناميكي: نظام تعريف مهام يعتمد على JSON مع أخذ عينات ديناميكية للمعاملات، مما يقلل تكاليف التطوير ويمنع تسرب البيانات أو الحفظ والاستظهار.
تقييم شامل: تحليل إحصائي صارم من 5 جولات لـ 20 نموذجاً، يوفر فترات الثقة ومقاييس اتساق ترتيب التصنيف.

4. النتائج والتحليل

تباين الأداء: يوجد فجوة كبيرة في الأداء بين النماذج. حقق النموذج الأعلى (Claude-Sonnet-4.5) متوسط درجة إجمالية قدرها 8,236/10,700، بينما سجلت النماذج الأدنى قرب الصفر.
عدم التماثل في القدرات:
- الدقة مقابل سير العمل: لوحظ عدم تماثل مستمر. أظهرت بعض النماذج (مثل DeepSeek-V3.2 و Gemini-2.5-Flash) درجات مركبة عالية رغم ضعف درجاتها الذرية، مما يشير إلى قدرات قوية في التخطيط والتسلسل.
- إخفاقات النماذج المتخصصة في الكود: حققت العديد من النماذج المتخصصة في الكود (مثل متغيرات Qwen3-Coder) درجات ذرية غير ضئلة، لكنها فشلت فشلاً ذريعاً في المهام المركبة (درجات تقارب الصفر) بسبب أخطاء في الواجهة أو المخطط (Schema) في سياقات متعددة الخطوات.
كفاءة الخطوات: أظهرت النماذج الرائدة كفاءة عالية في الخطوات (على سبيل المثال، Claude-Sonnet-4.5 بنسبة 88.0%)، حيث أتمت المهام بأقل عدد ممكن من الخطوات غير الضرورية. أما النماذج ذات المستوى الأدنى فغالباً ما تجاوزت عدد الخطوات الأمثل، مما أدى إلى تضاؤل الدرجة وزيادة معدلات الفشل.
أنماط الفشل: كانت أصعب سير العمل هي عمليات DeFi متعددة المراحل (السيولة + التخزين/Staking) والموافقات الجماعية (Batch Approvals)، حيث نتج الفشل عن سوء التعامل مع المتطلبات المسبقة، أو عدم اتساق المعاملات عبر الخطوات، أو مشاكل في متانة التنفيذ.

5. الأهمية

الأمان والموثوقية: يعالج EVM-QuestBench الفجوة الأمنية الحرجة في ذكاء الويب 3 الاصطناعي. من خلال إعطاء الأولوية لدقة التنفيذ على التشابه النحوي، فإنه يوفر مقياساً واقعياً لقدرة النماذج اللغوية الكبيرة على التعامل مع المعاملات المالية دون التسبب في خسارة لا يمكن استردادها.
أداة تشخيصية: يسمح التقرير المنقسم (الذري مقابل المركب) للمطورين بتشخيص نقاط الضعف المحددة في النماذج — سواء كان النموذج يفتقر إلى التعامل الأساسي مع المعاملات أو يفشل في التفكير/التخطيط المعقد.
التقنين: يضع بروتوكولاً معيارياً لتقييم الأتمتة على السلسلة، والذي يمكن نقله إلى سلاسل أخرى (يشير المؤلفون إلى نجاح التكيف مع Solana).
الاتجاه المستقبلي: يسلط المعيار الضوء على الحاجة إلى نماذج لا يمكنها فقط كتابة الكود، بل يمكنها أيضاً فهم دلالات البروتوكول، وإدارة تبعات الحالة، والتنفيذ بمتانة في بيئات ديناميكية عالية المخاطر.

في الختلآص، يوضح EVM-QuestBench أنه بينما تظهر النماذج اللغوية الكبيرة الحالية وعداً في مهام البلوكشين أحادية الخطوة، إلا أن تحديات كبيرة لا تزال قائمة في تنسيق سير العمل متعدد الخطوات، مما يستدعي مزيداً من البحث في التخطيط، وإدارة الحالة، وسلامة التنفيذ.