ACTS-SQL: Agentic and Critic-Oriented Tree-Structured SQL Correctness with Large Language Models

في العالم الحديث، تُخزن كميات هائلة من المعلومات في مستودعات رقمية تسمى قواعد البيانات. ولطرح أسئلة على هذه المستودعات، يستخدم الناس لغة محددة تُعرف باسم SQL، والتي تعمل كواجهة أساسية لاسترجاع البيانات المهيكلة. وبينما يتطلب كتابة هذه اللغة بشكل صحيح فهماً عميقاً للعلاقات المعقدة والمنطق، يرتكب حتى البشر ذوو الخبرة أخطاءً تؤدي إلى إجابات خاطئة. مؤخراً، تم تعليم أنظمة حاسوبية قوية تُعرف بنماذج اللغات الكبيرة كتابة هذه الاستعلامات تلقائياً، مما يعد بجعل البيانات متاحة للجميع. ومع ذلك، غالباً ما تنتج هذه النماذج استعلامات تبدو صحيحة ولكنها تفشل في الإجابة على سؤال المستخدم الحقيقي، أو تحتوي على أخطاء دقيقة تتسبب في تعطل الحاسوب أو تقديم نتائج مضللة. وتعد عملية إصلاح هذه الأخطاء صعبة لأن تغييراً صغيراً في جزء واحد من الاستعلام يمكن أن يغير معنى الطلب بأكمله تماماً.

قام فريق من الباحثين من جامعة رنمين في الصين وشركة بايت دانس (ByteDance) بتطوير طريقة جديدة لمساعدة هذه الأنظمة الحاسوبية على إصلاح أخطائها بنفسها. وبدلاً من محاولة تصحيح استعلام خاطئ في خط مستقيم واحد، يعامل نظامهم، المسمى ACTS-SQL، العملية كمسار متفرع حيث يمكن للحاسوب استكشاف احتمالات متعددة في وقت واحد. إذا اتخذ الحاسوب مساراً خاطئاً، يمكنه التراجع وتجربة مسار مختلف بدلاً من العلق في افتراض معيب. وقد تم اختبار هذا النهج على معايق قياسية وفي نظام صناعي حقيقي، حيث أدى إلى تحسين دقة الأسئلة التي أنشأها الحاسوب بشكل كبير. ووجد الباحثون أنه من خلال السماح للنظام بالتوقف، والتحقق من عمله، وإعادة النظر في خياراته، يمكنه حل مشكلات لم تستطع الطرق السابقة حلها، مما يجعل هذه التكنولوجيا أكثر موثوقية للاستخدام اليومي.

تتمثل المشكلة الجوهرية التي عالجها الباحثون في أن الأنظمة الحاسوبية الحالية غالباً ما تقع في حلقة مفرغة من الأخطاء. فعندما يولد النموذج استعلاماً خاطئاً، تحاول طرق التصحيح القديمة عادةً إصلاحه خطوة بخطوة في مسار تفكير خطي واحد. وإذا ارتكب النموذج خطأً في وقت مبكر، مثل سوء فهم ما قصده المستخدم بكلمة معينة، فإن كل إصلاح لاحق سيبنى على ذلك الخطأ الأولي. يشبه هذا محاولة التنقل في متاهة عبر التحرك للأمام فقط؛ فإذا اتخذت منعطفاً خاطئاً في البៃ، فقد تستمر في المشي بعمق أكبر داخل الطريق المسدود، مقتنعاً بأنك على المسار الصحيح، حتى تنفد منك الخيارات. وقد لاحظ الباحثون أن هذه الطرق الخطية هشة لأنها لا تستطيع بسهولة العودة لإعادة النظر في خيارها الأول. وبمجرد أن يلتزم الحاسوب بتفسير معين لطلب المستخدم، فإنه نادراً ما يغير رأيه، حتى عندما تثبت النتائج خطأه.

ولحل هذه المشكلة، صمم الفريق نظاماً ينظم عملية التصحيح في هيكل شجري. تخيل شجرة قرار حيث يبدأ الحاسوب من الأعلى، وكلما قدمت أداة نقطة قرار جديدة - مثل عندما تحدد أداة "كشف الغموض" (Detect Ambiguities) عبارات غامضة محددة في طلب المستخدم - فإنها تنقسم إلى فروع مختلفة، يمثل كل منها معنى محتملاً مختلفاً. قد يفترض أحد الفروع أن المستخدم يريد رؤية جميع المبيعات لسنة كاملة، بينما يفترض فرع آخر أنهم يريدون رؤية المبيعات لشهر محدد. ثم يختبر النظام كل فرع بشكل مستقل. وإذا أدى فرع ما إلى نتيجة لا تتطابق مع ما كان يقصده المستخدم على الأرجح، يمكن للنظام قطع هذا الفرع والعودة إلى نقطة الانقسام لتجربة مسار آخر. هذه القدرة على التراجع واستكشاف البدائل تمنع الحاسوب من العلق في فكرة واحدة خاطئة.

يعمل النظام باستخدام "دماغ" مركزي يضع خطة لكيفية إصلاح الاستعلام. هذه الخطة ليست مجرد قائمة بسيطة من الخطوات، بل هي خريطة من الإجراءات المحتملة. يستخدم الحاسوب أدوات خاصة لمساعدته في التنقل عبر هذه الخريطة. تساعد إحدى الأدوات النظام على رصد الكلمات الغامضة في سؤال المستخدم وتوليد طرق مختلفة لفهمها. وتسمح أداة أخرى للحاسوب بتشغيل أجزاء صغيرة من الاستعلام مقابل قاعدة البيانات الفعلية لمعرفة البيانات التي ستعود، مما يعمل كاختبار سريع لمعرفة ما إذا كانت الفكرة ناجحة. وإذا وجد الحاسوب خطأً في بناء الجملة (syntax error)، وهو خطأ في قواعد الاستعلام، فإن أداة متخصصة تقوم بتفكيك الاستعلام إلى قطع صغيرة لتحديد المكان الذي حدث فيه الخطأ النحوي بالضبط دون الحاجة إلى إعادة كتابة الاستعلام بالكامل من الصفر.

اختبر الباحثون نظامهم على معيار يسمى BIRD-Critic، والذي يحتوي على العديد من الأمثلة لاستعلامات SQL الصعبة ذات أنواع مختلفة من الأخطاء. وقارنوا طريقتهم بعدة مناهج أخرى، بما في ذلك نماذج قوية تم تدريبها خصيصاً لإصلاح SQL وأنظمة أخرى حاولت تصحيح الأخطاء باستخدام طريقة خطية خطوة بخطوة. وأظهرت النتائج أن نهجهم القائم على الهيكل الشجري كان أكثر دقة بشكل ملحوظ. وعلى معيار القياس، حسن النظام الجديد معدل النجاح بمقدار 9.42 نقطة مئوية مقارنة بأفضل طريقة سابقة. وقد ظل هذا التحسن ثابتاً عبر أنواع مختلفة من لغات قواعد البيانات، مما يشير إلى أن الطريقة قوية وليست معتمدة على أسلوب معين في كتابة الاستعلامات.

ولإثبات أن النظام يعمل في العالم الحقيقي، قام الباحثون بنشره في بيئة إنتاج لدى شركة بايت دانس، وتحديداً ضمن خدمة تحليل السجلات Torch Log Service. في هذا الإعداد، استُخدم النظام لتصحيح الاستعلامات التي تولدها نماذج لغوية قوية قبل إرسالها إلى المستخدمين. كانت النتائج مذهلة: فقد قفزت دقة الاستعلامات التي تم تنفيذها بنجاح بالفعل من 36.77% إلى 53.61%. وهذا يعني أنه في سيناريو واقعي مع بيانات معقدة ومخصصة، تمكن النظام من تحويل غالبية المحاولات الفاشلة إلى محاولات ناجحة. وأشار الباحثون إلى أن هذا التحسن حدث دون الحاجة إلى إعادة تدريب النموذج الحاسوبي الأساسي على بيانات جديدة، مما يجعل الحل عملياً وسهل التكامل مع الأنظمة القائمة.

كما سلطت الدراسة الضوء على أهمية القدرة على التراجع. وفي دراسة حالة مفصلة، أظهر الباحثون كيف فشلت الطريقة الخطية في إصلاح استعلام حول "المبيعات الشهرية" لأنها علقت في فكرة أن المستخدم يقصد المبيعات السنوية. ومهما حاولت الطريقة الخطية تعديل الاستعلام، لم تستطع الهروب من ذلك الافتراض الخاطئي الأولي. في المقابل، أدرك النظام ذو الهيكل الشجري هذا الغموض، وجرب فكرة المبيعات السنوية، ورأى أنها فشلت، ثم انتقل فوراً إلى فرع فسر الطلب بشكل صحيح على أنه بيانات شهرية. كانت هذه القدرة على تغيير الاتجاه بناءً على الأدلة هي مفتاح نجاحه.

بينما يعد النظام الجديد أكثر فعالية، إلا أنه يستغرق بعض الوقت للتشغيل لأنه يستكشف مسارات متعددة ويجري المزيد من الاختبارات. وقد قاس الباحثون الوقت الذي يستغرقه تصحيح الاستعلام ووجدوا أنه يضيف بضع دقائق إلى العملية، وهو مقايضة معقولة مقابل المكسب الكبير في الدقة. كما وجدوا أن النظام يعمل بشكل جيد مع أنواع مختلفة من النماذج الحاسوبية، وليس فقط النموذج الذي استخدموه للاختبار، مما يشير إلى أن النهج مرن ويمكن تطبيقه على نطاق واسع.

يبرهن هذا العمل على أن النهج المنظم القائم على التخطيط يتفوق على النهج الخطي البسيط في المهام المعقدة مثل كتابة استعلامات قواعد البيانات. فمن خلال منح الحاسوب القدرة على التوقف، والنظر في خيارات متعددة، والتراجع عندما يرتكب خطأً، يصبح النظام أكثر موثوقية. ويشير هذا الاكتشاف إلى أن التحسينات المستقبلية في الذكاء الاصطناعي لتحليل البيانات ستعتمد على الأرجلة على جعل النماذج أكثر ذكاءً بمعزل عن غيرها، بل على منحها أدوات وعمليات أفضل للتحقق من عملها الخاص. وقد أتاح الباحثون الكود والبيانات الخاصة بهم، مما يسمح للآخرين بالبناء على هذه الطريقة لتحسين كيفية تفاعل الحواسيب مع بيانات البشر.