💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

تقدم الورقة البحثية SPENCE، وهو إطار عمل للاستقصاء النحوي يكشف عن تلوث تدريبي كبير في معايير NL2SQL القديمة مثل Spider من خلال الحساسية للمتغيرات النحوية، بينما تثبت أن مجموعات البيانات الأحدث مثل BIRD تظل غير ملوثة إلى حد كبير.

المؤلفون الأصليون: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقدم امتحاناً نهائياً لفصل من الطلاب الأذكياء جداً (نماذج الذكاء الاصطنا-ي). يتكون الامتحان الذي تقدمه من مسائل لفظية في الرياضيات. يحصل الطلاب على درجات كاملة، مما يجعلك تفترض أنهم عباقرة يفهمون الرياضيات حقاً.

ولكن، تراودك فكرة مشبوهة: هل قاموا فقط بحفظ إجابات هذا الامتحان تحديداً، أم أنهم يفهمون الرياضيات حقاً؟

هذا هو بالضبط ما تعالجه ورقة البحث "SPENCE"، ولكن بدلاً من المسائل اللفظية الرياضية، يتعلق الأمر بترجمة أسئلة البشر إلى استعلامات قواعد بيانات الكمبيوتر (SQL).

إليك تفصيل ورقة البحث باستخدام تشبيهات بسيطة:

١. المشكلة: تأثير "ورقة الغش"

نماذج اللغات الكبيرة (LLMs) تشبه الطلاب الذين قرأوا كل كتاب في المكتبة. عندما يخوضون اختباراً (معيار قياس مثل Spider أو BIRD)، غالباً ما يحصلون على درجات عالية جداً.

المصدر المثير للقلق هو التلوث (Contamination). يحدث هذا عندما تكون "أسئلة الامتحان" التي يخوضها الطلاب قد أُدرجت بالخطأ في الكتب التي درسوها سابقاً. إذا حفظ الطالب الصياغة الدقيقة للسؤال، فيمكنه الإجابة عليه بشكل مثالي دون أن يعرف فعلياً كيفية حل المشكلة.

الامتحانات القديمة (Spider، SParC، CoSQL): هذه تشبه امتحانات من عام ٢٠١٨ و٢٠١٩. لقد كانت موجودة لفترة طويلة، لذا فمن المحتمل جداً أن يكون "طلاب" الذكاء الاصطناعي قد رأوها من قبل.
الامتحان الجديد (BIRD): هذا امتحان جديد من عام ٢٠٢٣. ومن غير المرجح أن يكون الذكاء الاصطناعي قد رآه بعد.

٢. الحل: "لعبة إعادة الصياغة" (SPENCE)

ابتكر المؤلفون أداة تسمى SPENCE لاختبار ما إذا كان الطلاب يغشون (يحفظون) أم أنهم يتعلمون حقاً.

كيف تعمل:
تخيل أنك تعطي الطالب سؤالاً: "كم عدد المغنيين الذين تزيد أعمارهم عن ٢٠ عاماً؟"
إذا أجاب بشكل صحيح، فلا تكتفي بالمضي قدماً. بل تلعب لعبة "كم طريقة يمكننا بها قول هذا؟"

تأخذ SPENCE ذلك السؤال الأصلي وتعيد كتابته ١٠ مرات، مع جعله مختلفاً قليلاً في كل مرة:
١. الرتبة ١: "ما هو عدد المغنيين فوق سن العشرين؟" (مشابه جداً)
٢. الرتبة ٥: "اذكر بلدان المغنيين الذين تجاوزوا سن العشرين." (كلمات مختلفة، نفس المعنى)
٣. الرتبة ١٠: "أحتاج لمعرفة عدد الأصوات التي تتجاوز أعمارهم عقدين من الزمن." (بنية مختلفة تماماً، نفس المعنى)

الاختبار:

إذا كان الطالب ذكياً حقاً، فيجب أن يحصل على الإجابة الصحيحة لجميع النسخ العشر. إنه يفهم المفهوم، وليس مجرد الكلمات.
إذا كان الطالب يغش (يحفظ)، فسوف يتفوق في النسخ القليلة الأولى (لأنها تشبه ورقة الغش) ولكنه سيفشل في النسخ اللاحقة الأكثر غرابة لأنه لا يتعرف على النمط.

٣. النتالئج: من اجتاز الاختبار؟

قام الباحثون بتشغيل "لعبة إعادة الصياغة" هذه على عدة نماذج ذكاء اصطناعي شهيرة باستخدام أربعة مجموعات بيانات مختلفة.

مجموعات البيانات القديمة (Spider، SParC، CoSQL):
- النتيجة: بدأت النماذج بقوة ولكنها انهارت بسرعة مع إعادة صياغة الأسئلة.
- التشبيه: الأمر يشبه طالباً يمكنه تسميع الإجابة على السؤال رقم ١ بدقة، ولكنه يتجمد عندما تسأله نفس السؤال باستخدام قاموس للمترادفات.
- الاستنتاج: هذه المعايير القديمة هي على الأرجح "ملوثة". النماذج غالباً ما تحفظ الصياغة المحددة لهذه الأسئلة القديمة بدلاً من تعلم كيفية ترجمة اللغة إلى كود.
مجموعة البيانات الجديدة (BIRD):
- النتيجة: ظلت النماذج ثابتة. حتى عندما تمت إعادة صياغة الأسئلة بطرق غريبة، لم ينخفض أداؤها كثيراً.
- التشبيه: هؤلاء الطلاب فهموا الرياضيات حقاً. استطاعوا التعامل مع إعادة الصياغة لأنهم لم يحفظوا أسئلة الامتحان المحددة بعد.
- الاستنتاج: المعايير الجديدة هي اختبار أكثر صدقاً للذكاء الحقيقي.

٤. لماذا هذا مهم؟

تجادل الورقة بأنه لا يمكننا فقط النظر إلى الدرجات العالية في لوحات المتصدرين بعد الآن. الدرجة العالية قد تعني فقط أن الذكاء الاصطناعي يمتلك "ذاكرة تصويرية" لأسئلة الاختبار.

SPENCE هي بمثابة "جهاز كشف الكذب" لمعايير قياس الذكاء الاصطناعي. من خلال تغيير صياغة الأسئلة، تكشف ما إذا كان الذكاء الاصطناعي يتعمم حقاً (يتعلم القواعد) أم أنه يفرط في التخصيص (يحفظ الإجابات).

ملخص في جملة واحدة

SPENCE هي أداة تعيد كتابة أسئلة الاختبار بطرق غريبة بشكل متزايد لترى ما إذا كانت نماذج الذكاء الاصطناعي ذكية بما يكفي لفهم المعنى، أم أنها تقوم فقط بالغش عبر حفظ الصياغة الدقيقة للامتحانات القديمة.

الخلاصة: إذا فشل الذكاء الاصطناعي عندما تغير الكلمات، فمن المحتمل أنه لم يتعلم الدرس؛ بل حفظ الواجب المنزلي فحسب.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SPENCE: مسبار نحوي للكشف عن التلوث في معايير NL2SQL."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) أداءً عالياً في معايير تحويل اللغة الطبيعية إلى SQL (NL2SQL). ومع ذلك، هناك قلق متزايد من أن درجات الدقة المسجلة هذه قد تم تضخيمها اصطناعياً بسبب تلوث البيانات (Data Contamination). يحدث التلوث عندما تتعرض النماذج لاستعلامات المعايير (أو أنماط مشابهة هيكلياً) أثناء مرحلة التدريب المسبق أو الضبط الدقيق، مما يؤدي إلى الحفظ بدلاً من التعميم التركيبي الحقيقي.

تعتمد طرق الكشف الحالية غالباً على تداخل النصوص أو عمليات التحقق البسيطة من الاسترجاع، والتي قد تغفل عن "القرب من الحفظ" (near-memorization) حيث تتعرف النماذج على البنية الأساسية ولكنها تفشل عند مواجهة تغيرات نحوية. تعالج الورقة الحاجة إلى طريقة قوية للتمييز بين التعميم الحقيقي وسلوك يشبه التلوث (حفظ أنماط استعلام محددة) في مهام NL2SQL.

2. المنهجية: إطار عمل SPENCE

قدم المؤلفون SPENCE (الاستقصاء النحوي وتقييم آثار تلوث NL2SQL)، وهو إطار عمل محكم مصمم للكشف عن التلوث عن طريق قياس حساسية النموذج تجاه التباين النحوي.

سير العمل الأساسي

اختيار البيانات: تركز الدراسة على أربعة معايير مستخدمة على نطاق واسع ذات تواريخ إصدار متفاوتة:
- Spider (سبتمبر 2018)
- SParC (يونيو 2019)
- CoSQL (أكتوبر 2019)
- BIRD (مايو 2023)
توليد الصياغات البديلة (Paraphrase Generation):
- لكل استعلام لغة طبيعية (NL) في مجموعات التطوير، يقوم النظام بتوليد 10 صياغات بديلة نحوية باستخدام نموذج لغوي (GPT-5).
- من الضروري أن يتضمن أمر التوليد (Prompt) كلاً من الـ SQL الذهبي (Gold SQL) ومخطط قاعدة البيانات (Database Schema) لضمان الأمانة الدلالية (أي أن الصياغة البديلة يجب أن تعني نفس الشيء تماماً مثل الأصلية).
التصنيف النحوي (مسافة تحرير الشجرة - Tree Edit Distance):
- يتم تحليل الصياغات البديلة إلى أشجار تبعية.
- تُحسب مسافة تحرير الشجرة (TED) بين شجرة الاستعلام الأصلي وكل شجرة من الأشجار البديلة.
- تُصنف الصياغات البديلة من 1 (الأقرب تشابهاً نحوياً) إلى 10 (الأبعد تشابهاً نحوياً).
- التصفية: تُستخدم تشابه جيب التمام (Cosine Similarity) القائم على التضمين (Embedding) لتصفية الصياغات البديلة المتباعدة دلالياً، لضمان أن انخفاض الدقة ناتج عن التغيرات النحوية وليس تغير المعنى.
التقييم:
- يتم تقييم نماذج NL2SQL المستهدفة على كل من الاستعلامات الأصلية والصياغات البديلة المصنفة.
- المقياس: دقة التنفيذ (هل يعمل الـ SQL المولد بنجاح ويعيد النتيجة الصحيحة؟).
- التحليل: يتم رسم التغير في الدقة ( $\Delta$ Accuracy) مقابل رتبة الصياغة البديلة.
القياس الإحصائي:
- يتم حساب معامل Kendall's $\tau$ لقياس الارتباط بين رتبة الصياغة البديلة والتغير في الدقة.
- تُستخدم فترات الثقة لأسلوب Bootstrap (بنسبة 95%) لتحديد الأهمية الإحصائية.
- الفرضية:
  - $H_0$ (المتانة): الدقة ثابتة تجاه الصياغة البديلة (لا يوجد تلوث).
  - $H_1$ (التلوث): تتدهور الدقة مع زيادة المسافة النحوية (مما يشير إلى الحفظ).

3. المساهمات الرئيسية

إطار عمل SPENCE: خط إنتاج مبتكر وغير مرتبط بنموذج معين (model-agnostic) لقياس التلوث عبر الاستقصاء النحوي المحكم.
العزل النحوي مقابل الدلالي: بخلاف الطرق السابقة التي تخلط بين التداخل اللفظي والتلوث، يقوم SPENCE بعزل التباعد الهيكلي (عبر TED) بشكل محدد مع التحكم في التكافؤ الدلالي.
تحليل التدرج الزمني: تربط الدراسة بين تواريخ إصدار المعايير وحساسية التلوث، مما يوفر دليلاً تجريبياً على أن المعايير الأقدم أكثر عرضة لآثار الحفظ.
التقييم الشامل: التقييم عبر ستة نماذج لغوية متنوعة (بما في ذلك GPT-4o-mini، O3-mini، LLaMA-3.1/3.3، ومتغيرات GPT-OSS) وأربعة مجموعات بيانات رئيسية.

4. النتائج الرئيسية

تكشف النتائج عن تدرج زمني واضح في متانة النماذج:

المعايير الأقدم (Spider, SParC, CoSQL):
- تظهر قيم Kendall's $\tau$ سالبة قوية (عادة ما تكون بين -0.6 و -0.95).
- الملاحظة: تظهر النماذج دقة عالية في الاستعلامات الأصلية والصياغات البديلة القريبة (الرتب 1-3) ولكنها تعاني من تدهور رتيب وحاد مع زيادة المسافة النحوية (الرتب 8-10).
- الحجم: في معيار Spider، تنخفض الدقة بمقدار 10-15 نقطة مئوية للصياغات البديلة البعيدة عبر جميع النماذج.
- التفسير: يشير هذا إلى أن النماذج قد حفظت أنماط استعلام محددة من هذه المجموعات القديمة والواسعة الانتشار.
المعيار الأحدث (BIRD):
- يظهر قيم Kendall's $\tau$ قريبة من الصفر (تتراوح بين -0.11 و -0.46، وغالباً ما تكون غير مميزة إحصائياً عن الصفر).
- الملاحظة: يظل أداء النموذج مستقراً عبر جميع رتب الصياغة البديلة.
- التفسير: بما أن BIRD معيار أحدث (صدر في 2023)، فإنه يظهر أدنى مستويات التلوث، مما يشير إلى أن النماذج تقوم بالتعميم بدلاً من الحفظ.
تجارب الضبط (Control Experiments):
- طول الاستعلام: تم استبعاده كعامل مربك؛ حيث كانت أطوال الاستعلامات متسقة عبر الرتب.
- التداخل اللفظي: يستمر التدهور حتى عند التحكم في تشابه Jaccard اللفظي، مما يؤكد أن المشكلة نحوية وليست مجرد لفظية.
- ربط المخطط (Schema Linking): أكدت الفحص اليدوي أن الصياغات البديلة احتفظت بروابط المخطط الصحيحة (أسماء الجداول/الأعمدة)، مما ينفي فشل ربط المخطط كسبب للأخطاء.
- مولد الصياغة البديلة: أدت إعادة تشغيل التجارب باستخدام مولد مختلف (LLaMA-4 Maverick) إلى نتائج مماثلة، مما يثبت أن الإشارة ليست ناتجة عن مولد الصياغة البديلة.

5. الأهمية والآثار المترتبة

موثوقية المعايير: توضح الورقة أن درجات لوحة المتصدرين القياسية للمعايير القديمة (مثل Spider) قد تكون متضخمة بشكل كبير بسبب التلوث. الدرجات العالية قد تعكس حفظ الأشكال السطحية بدلاً من قدرات الاستدلال الحقيقية.
أفضل ممارسات التقييم: يوفر SPENCE مكملاً ضرورياً للتقييم القياسي. فالنموذج الذي يعمل جيداً على الاستعلامات الأصلية ولكنه يفشل في المتغيرات النحوية هو على الأرجح يعاني من فرط التخصيص (overfitting).
الاتجاهات المستقبلية: يقترح المؤلفون وجوب تصميم المعايات المستقبلية مع وضع "مقاومة التلوث" في الاعتبار، وأن تشمل بروتوكولات التقييم الاستقصاء النحوي للتحقق من التعميم.
التأثير الأوسع: يمكن توسيع منهجية SPENCE لتشمل مجالات أخرى (مثل تحويل النص إلى كود، أو الأسئلة والأجوبة) لمراجعة النماذج اللغوية الكبيرة بحثاً عن تسرب البيانات والحفظ، لضمان أن أنظمة الذكاء الاصطناي هي تتعلم حقاً كيف تستنتج بدلاً من مجرد استدعاء بيانات التدريب.

في الختام، يقدم SPENCE طريقة تجريبية صارمة للكشف عن السلوك "الشبه ملوث"، كاشفاً أنه بينما تبدو النماذج اللغوية الكبيرة قوية في المعايير الثابتة، فإن متانتها تجاه التباين النحوي تختلف بشكل كبير اعتماداً على عمر مجموعة البيانات وتاريخ تعرضها.