💬 NLP

CA-SQL: Complexity-Aware Inference Time Reasoning for Text-to-SQL via Exploration and Compute Budget Allocation

يُعد CA-SQL إطار عمل مبتكر لتحويل النص إلى SQL يعزز الاستدلال على المعايير المرجعية الصعبة من خلال توسيع نطاق استكشاف العرض ديناميكيًا بناءً على تعقيد المهمة، وتوظيف بذر المطالبات التطوري، واستخدام آلية التصويت لتحقيق أداء رائد في مجموعة بيانات BIRD باستخدام نموذج GPT-4o-mini فقط.

المؤلفون الأصليون: James Petullo, Nianwen Xue

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: James Petullo, Nianwen Xue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد للغاية، ولكن بدلاً من عمل شخص واحد فقط، لديك فريق من المحققين من الذكاء الاصطناعي. الهدف هو ترجمة سؤال مكتوب بلغة إنجليزية بسيطة (مثل "أرني جميع العملاء الذين اشتروا أحذية حمراء العام الماضي") إلى لغة حاسوبية محددة تسمى SQL يفهمها نظام قواعد البيانات.

هذه هي مشكلة النص إلى SQL (Text-to-SQL). وبينما أصبح الذكاء الاصطناعي جيداً جداً في هذا المجال، إلا أنه لا يزال يعاني مع الألغاز الأكثر صعوبة. تجادل الورقة البحثية بأن أساليب الذكاء الاصطناعي الحالية تشبه المحقق الذي ينظر إلى دليل واحد فقط في كل مرة، أو يحاول حل لغز بسيط بنفس الجهد المبذول في حل جريمة قتل معقدة.

إليك كيف يغير أسلوب المؤلفين الجديد، CA-SQL، قواعد اللعبة، مشروحاً عبر تشبيهات من الحياة اليومية:

1. "مقياس الصعوبة" (تدرج الجهد)

المشكلة: حالياً، تعامل معظم أنظمة الذكاء الاصطناعي كل الأسئلة بنفس الطريقة. فهي تبذل نفس القدر من الوقت وقوة الحاسوب في سؤال بسيط ("ما هي عاصمة فرنسا؟") كما تفعل في سؤال معقد ("جد متوسط رواتب الموظفين الذين أداروا مشروعاً في عام 2022 وكانوا يتقاضون أكثر من المتوسط"). وهذا أمر غير فعال.

حل CA-SQL: قام المؤلفون ببناء "مقياس صعوبة". قبل أن يبدأ الذكاء الاصطناعي في العمل، يسأل نفسه: "ما مدى صعوبة هذا اللغز تحديداً؟"

التشبيه: فكر في الأمر مثل خدمة إصلاح المنازل. إذا اتصلت لإصلاح صنبور يسرب الماء، سيرسلون سباكاً مع مجموعة أدوات أساسية. أما إذا اتصلت لإصلاح سقف منهار، فسيرسلون طاقماً كاملاً مع آلات ثقيلة. يقوم CA-SQL بتخصيص المزيد من "القدرات الذهنية" والوقت للأسئلة الصعبة، وأقل للأسئلة السهلة بشكل ديناميكي.

2. "حديقة البذور" (استكشاف المزيد من الخيارات)

المشكلة: لحل مشكلة SQL، يحتاج الذكاء الاصطناعي إلى معرفة الأجزاء ذات الصلة من قاعدة البيانات (الجداول والأعمدة). معظم الأساليب تختار قائمة واحدة من الأجزاء ذات الصلة وتلتزم بها. وهذا يحد من إبداع الذكاء الاصطناعي، تماماً مثل محاولة رسم لوحة باستخدام مجموعة واحدة محددة من الألوان.

حل CA-SQL: بدلاً من اختيار قائمة واحدة، يقوم CA-SQL بإنشاء "حديقة" كاملة من القوائم المختلفة (مجموعات فرعية للمخطط/Schema).

التشبيه: تخيل أنك تخبز كعكة. بدلاً من استخدام نفس الوصفة ونفس وعاء المكونات في كل مرة، يقوم CA-SQL بإنشاء عشرة أوعية مختلفة بمجموعات مختلفة قليلاً من المكونات. ثم يستخدم هذه الأوعية المختلفة للبدء في خبز نسخ مختلفة من الكعكة. هذا يضمن أن يستكشف الذكاء الاصطناي مجموعة أوسع بكثير من الاحتمالات.

3. "الطاهي التطوري" (تحسين الإجابات)

المشكلة: بمجرد أن يولد الذكاء الاصطناعي بعض الإجابات، فإنه يحتاج إلى اختيار الأفضل منها أو إصلاح الإجابات السيئة. غالباً ما تكتفي الأساليب الحالية بسؤال الذكاء الاصطناعي: "أي واحدة هي الصحيحة؟" أو "حاول مجدداً"، وهو ما قد يكون تكرارياً وغير مبدع.

حل CA-SQL: يستخدم المؤلفون تقنية مستوحاة من التطور.

التشبيه: تخيل طباخاً يتذوق الحساء.
- الناقد: يتذوق الناقد الحساء ويقول: "إنه مالح جداً، لكن الأعشاب جيدة. أعطيه 7/10".
- الطفرة: بدلاً من مجرد رمي الحساء، يأخذ الطباخ تلك الوصفة ويقوم بـ "طفرة" لها. ربما يستبدل الملح بالفلفل أو يضيف توابل جديدة.
- التهجين (Crossover): قد يأخذ الطباخ "الأعشاب الجيدة" من الحساء (أ) ويمزجها مع "المرق الجيد" من الحساء (ب) لإنشاء حساء (ج) جديد تماماً.
- تتكرر هذه العملية، حيث يتم خلط وتعديل أفضل الأفكار باستمرار لإنشاء "حساء خارق" يقترب من الإجابة المثالية.

4. "لوحة النتائج" (اختيار الفائز)

المشكلة: بعد توليد العديد من وصفات الحساء المختلفة (استعلامات SQL)، كيف تختار الفائز؟ تستخدم معظم الأنظمة "التصويت بالأغلبية" (اختيار الإجابة التي تظهر أكثر من غيرها). ولكن في بعض الأحيان، تكون الإجابة الأكثر شيوعاً هي مجرد خطأ شائع.

حل CA-SQL: يستخدمون نظام "مجموع المكافآت" (Sum-of-Rewards).

التشبيه: بدلاً من مجرد عد عدد الأشخاص الذين صوتوا لمرشح ما، فإنهم ينظرون إلى لوحة نتائج مفصلة. إنهم يجمعون النقاط بناءً على مدى دقة الإجابة، ومدى ثقة الذكاء الاصطناعي، ومقدار التحسين المطلوب. الإجابة ذات "إجمالي النقاط" الأعلى هي التي تفوز، حتى لو لم تكن هي الأكثر شيوعاً.

النتائج: نموذج صغير، انتصارات كبيرة

الجزء الأكثر إثارة للدهشة في الورقة البحثية هو النتيجة. اختبر المؤلفون هذا النظام باستخدام GPT-4o-mini، وهو نموذج ذكاء اصطناعي أصغر وأرخص وأقل قوة مقارنة بالعمالقة مثل GPT-4o أو GPT-4 الذين يستخدمهم الآخرون.

الادعاء: من خلال استخدام "مقياس الصعوبة"، و"حديقة البذور"، و"الطاهي التطوري"، تفوق نموذجهم الصغر على جميع الأساليب الأخرى في الفئة "الأصعب" من معيار BIRD (وهو اختبار صعب لـ Text-to-SQL).
النتيجة: حققوا نسبة نجاح قدرها 51.72% في المهام "الصعبة"، متفوقين على الأساليب التي تستخدم نماذج أكبر وأكثر تكلفة بكثير.

الملخص

باخت المختصر، CA-SQL هو طريقة أذكى لاستخدام الذكاء الاصطناعي لترجمة الإنجليزية إلى كود قواعد بيانات. إنه لا يحاول فقط بذل جهد أكبر؛ بل يحاول بذكاء أكبر. فهو يقيس مدى صعوبة المهمة، ويستكشف العديد من نقاط البداية المختلفة، ويطوّر الإجابات مثل الكائن الحي، ويختار الفائز بناءً على لوحة نتائج مفصلة. والنتيجة هي أن حتى الذكاء الاصطناعي "الصغير" يمكنه حل أصعب الألغاز بشكل أفضل من الذكاء الاصطناعي "الكبير" إذا مُنح الاستراتيجية الصحيحة.

ملخص تقني: CA-SQL

بيان المشكلة

أدت التطورات الأخيرة في التعلم أثناء الاستنتاج (inference-time learning) إلى تعزيز قدرات نماذج اللغات الكبيرة (LLMs) في التفكير لمهام تحويل النص إلى SQL (Text-to-SQL)، ومع ذلك، لا تزال الحلول الحالية تعاني بشكل كبير مع المهام الأكثر تعقيداً في معيار BIRD. وتتمثل العقبة الرئيسية في عدم كفاية الاستكشاف لفضاء الحلول. فغالباً ما تحاول النهج الحالية الموازنة بين الاستكشاف (توليد استعلامات مرشحة متنوعة) والاستغلال (تحسين المرشحين الواعدين)، لكنها تفشل في توليد مجموعة كافية من المرشحين الفريدين وعالي الجودة.

وتشمل القيود الحالية ما يلي:

الربط الثابت للمخطط (Static Schema Linking): تستمد معظم الطرق الاستعلامات المرشحة من مجموعة فرعية واحدة من جداول وقواعد بيانات، مما يحد من تنوع فضاء البحث.
توزيع الحوسبة الموحد: تخصص الحلول عادةً نفس الميزانية الحسابية لجميع المهام، بغض النظر عن صعوبتها. يؤدي هذا إلى نقص الاستكشاف في المهام المعقدة والإفراط في التحسين للمهام البسيطة.
الاختيار غير الفعال: غالباً ما تفشل طرق الاختيار القياسية، مثل التصويت بالأغلبية البسيطة أو استخدام النموذج اللغوي كحكم (LLM-as-a-judge)، في التمييز بين الاختلافات الدقيقة في تكوين الاستعلام أو اختيار الحل الصحيح من بين مجموعة من المرشحين المتنوعين.

المنهجية: CA-SQL

يقترح المؤلفون CA-SQL (الاستدلال أثناء الاستنتاج المدرك للتعقيد)، وهو مسار مصمم لتوسيع نطاق عرض وعمق عملية البحث ديناميكياً بناءً على تقدير صعوبة المهمة. تتكون المنهجية من أربعة مكونات أساسية:

1. تسجيل صعوبة المهمة

قبل توليد الحلول، يقوم نموذج لغوي ( $LLM_{difficulty}$ ) بتحليل السؤال باللغة الطبيعية ( $Q$ )، ومخطط قاعدة البيانات الكامل ( $S$ )، ومثال استخدام ( $H$ ) لتعيين درجة صعوبة $C$ (تتراوح من 1 إلى 5). تحدد هذه الدرجة الميزانية الحسابية:

درجة $C$ أعلى: تُحفز عرض بحث أوسع (تحسينات متوازية أكثر) وعمق بحث أكبر.
درجة $C$ أقل: تخصص موارد أقل، مما يمنع الإفراط في التحسين للمهام البسيطة.

2. توليد المخططات الفرعية لبذر النماذج (Prompt Seeding)

للتغلب على قيود التنوع في المخططات الفرعية الأحادية، يقوم CA-SQL بتوليد مجموعة من المخططات الفرعية المتميزة ( $S'_1, ..., S'_N$ ) بدلاً من الاعتماد على مجموعة فرعية ثابتة واحدة.

البذر الأولي: يقوم مولد المخطط بأخذ عينات $N$ من المرات لإنشاء مجموعات فرعية فريدة من الجداول والأعمدة ذات الصلة.
التوسع التطوري: بدلاً من إعادة أخذ العينات من النموذج اللغوي في كل تكرار، يستخدم المسار عمليات العبور (crossover) (دمج مجموعتين فرعيتين) والطفرة (mutation) (إزالة أزواج الجداول والأعمدة عشوائياً) لتوليد مخططات فرعية جديدة. ينتج هذا النهج التطوري تركيبات جديدة من الجداول والأعمدة لبذر الاستعلامات المرشحة اللاحقة، مما يزيد من تفرد فضاء البحث.

3. توليد المرشحين وتحسينهم

لكل مخطط فرعي، يتم توليد استعلام مرشح ( $Q_C$ ) وتنفيذه مقابل قاعدة البيانات.

تقييم الناقد: يقوم نموذج لغوي ناقد ( $LLM_{critic}$ $LL M_{cr i t i c}$ ) بتقييم الاستعلامات الناجحة، ويقوم بتعيين:
- الدرجة ( $s$ ): الدقة بالنسبة لنية المهمة.
- الثقة ( $k$ ): اليقين في التنبؤ.
- درجة حرارة الطفرة ( $t$ ): درجة التغيير المطلوبة لتحسين الاستعلام.
- التقييم ( $A$ ): توصيات محددة للتعديل.
حساب المكافأة: يتم حساب درجة المكافأة $R$ كـ $R = s \times (1 - t) \times k$ . هذه الصيغة تعاقب الاستعلامات التي تتطلب تغييرات كبيرة (درجة $t$ عالية) وتزن الدرجة بناءً على ثقة الناقد.
الطفرة: بناءً على التقييم ودرجة الحرارة، يقوم نموذج لغوي طافر ( $LLM_{mutate}$ ) بإعادة كتابة الاستعلام لإنتاج مرشح محسن ( $Q'_C$ ).

4. التوسع والاختيار النهائي

يتم توسيع عدد خطوات التحسين وحجم مجموعة المخططات بواسطة درجة الصعوبة $C$ .

توسيع البحث: ينفذ المسار $C$ من التكرارات لإنشاء المجموعات الفرعية، والتوليد، والتحسين. يتم وضع حد أقصى لعمق التحسين للاستعلام الواحد عند $\lfloor C/2 \rfloor + 1$ لمنع تدهور جودة التغذية الراجعة بسبب الخطوات المفرطة.
التصويت بمجموع المكافآت: بدلاً من التصويت بالأغلبية، يتم اختيار الحل النهائي من خلال تحديد المخرج ( $O$ ) المرتبط بـ أقصى مجموع للمكافآت عبر جميع الاستعلامات المرشحة في المخزن المؤقت. تجمع هذه الطريقة جودة جميع المحاولات بدلاً من الاعتماد على التكرار.

المساهمات الرئيسية

تخصيص الموارد الديناميكي: تقديم مقياس لصعوبة المهمة لتوسيع عرض وعمق البحث أثناء الاستنتاج ديناميكياً، مما يضمن حصول المهام المعقدة على الاستكشاف الكافي.
بذر المخططات التطوري: طريقة مبتكرة تستخدم مخططات فرعية متعددة وعمليات تطورية (العبور/الطفرة) لتوسيع مجموعة الاستعلامات المرشحة، مما يؤدي إلى تفرد أعلى في الاستعلامات مقارنة بنهج المجموعة الفرعية الواحدة.
آلية اختيار مبتكرة: استراتيجية تصويت بمجموع المكافآت تتفوق على تقنيات الاتساق الذاتي والتصويت بالأغلبية القياسية من خلال إعطاء الأولوية للجودة التراكمية لتقييمات المرشحين.
التحليل التجريبي: أول عمل يحلل تجريبياً قيود تقنيات استكشاف Text-to-SQL الحالية ويثبت فعالية التوسيع المدرك للصعوبة.

النتائج التجريبية

قيم المؤلفون CA-SQL على مجموعة بيانات BIRD التطويرية باستخدام GPT-4o-mini كنموذج أساسي.

أداء الفئة الصعبة: حقق CA-SQL دقة تنفيذ (EX) بلغت 51.72% في الفئة "الصعبة" من BIRD. وهذا يتفوق على طرق التعلم داخل السياق (ICL) الحالية، بما في ذلك تلك التي تستخدم نماذج أكبر مثل GPT-4 و GPT-4o (على سبيل المثال، MCTS + GPT-4o سجل 51.48%).
الأداء العام: حقق النظام دقة تنفيذ بنسبة 61.06% ودرجة F1 ناعمة (Soft F1) بنسبة 68.77% عبر مجموعة التطوير بأكملها.
المقارنة: بينما يتراجع CA-SQL قليلاً في الفئات "البسيطة" و"المتوسطة" مقارنة بالأساليب الرائدة التي تركز على العمق، إلا أنه يقلص بشكل كبير فجوة الأداء في المهام الصعبة. تشير النتائج إلى أن الاستكشاف السليم أكثر أهمية من العمق للمشكلات المعقدة.

الأهمية والادعاءات

يزعم البحث أن الاستكشاف هو العامل المحدد لأداء نماذج اللغات الكبيرة في مهام Text-to-SQL المعقدة، وليس القدرة الخام للنموذج. ومن خلال إثبات أن نموذجاً أصغر وأقل تكلفة (GPT-4o-mini) مدمجاً مع استراتيجية استكشاف مدركة للتعقيد يمكن أن يتفوق على النماذج الأكبر باستخدام طرق البحث القياسية، يدعو المؤلفون إلى تحول جذري في تحسين Text-to-SQL.

تكمن الأهمية في:

كفاءة التكلفة: تحقيق نتائج رائدة في المهام الصعبة دون الاعتماد على نماذج مملوكة أكبر وأكثر تكلفة.
القابلية للتوسع: توفير إطار عمل يكيف موارد الحوسبة مع تعقيد المهمة، مما يتجنب الهدر في الاستعلامات البسيطة ويضمن تغطية كافية للمهام الصعبة.
القدرة على التعميم: تقدم آليات البحث التطوري وآليات الاختيار القائمة على المكافآت اتجاهاً جديداً للاستدلال أثناء الاستنتاج في توليد الاستعلامات المهيكلة.

يظل المؤلفون متواضعين، مشيرين إلى أن مكاسب الأداء الخاصة بهم محددة بفئة "الصعبة"، وأن آلية تسجيل الصعوبة نفسها قد تتطلب مزيداً من تحليل التباين في العمل المستقبلي. كما يقرون بأن تقييمهم الحالي محدود بـ GPT-4o-mini بسبب قيود الميزانية.