Residual Skill Optimization for Text-to-SQL Ensembles

تخيل أنك تحاول حل لغز صعب للغاية، مثل ترجمة سؤال بشري معقد إلى لغة حاسوبية محددة تسمى SQL. لديك مساعد ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير) يمكنه محاولة حل ذلك.

عادةً، إذا سألت هذا الذكاء الاصطناعي مرة واحدة، فقد يصيب أو يخطئ. ولتحسين الاحتمالات، تحاول العديد من الأنظمة استخدام "نهج الرشاش" (shotgun approach): حيث تطلب من الذكاء الاصطناعي توليد ثمانية إجابات مختلفة في وقت واحد ثم تختار الأفضل بينها. وهذا ما يسمى بـ الجمع بين النماذج (Ensemble).

ومع ذلك، تجادل الورقة البحثية بأن "نهج الرشاش" الحالي يعاني من خلل رئيسي. الأمر يشبه أن تطلب من نفس الشخص كتابة ثماني مقالات مختلفة حول نفس الموضوع بمجرد إخباره بـ "اكتب بشكل أسرع" أو "غير حالتك المزاجية". سيقوم على الأرجين بكتابة ثماني مقالات متشابهة للغاية، وإذا ارتكب خطأً في المقالة الأولى، فمن المرجح أن يرتكب نفس الخطأ في المقالات السبع الأخرى. إنهم جميعاً يفشلون بنفس الطريقة.

الحل: "الفريق المتخصص" (DIVSKILL-SQL)

يقترح مؤلفو هذه الورقة، DIVSKILL-SQL، طريقة أذكى لبناء فريق من مساعدي الذكاء الاصطناعي. فبدلاً من مجرد طلب تنويعات عشوائية، قاموا بتدريب فريق من ثمانية متخصصين متميزين، لكل منهم "مجموعة مهارات" أو شخصية فريدة.

إليك كيف فعلوا ذلك، باستخدام تشبيه بسيط:

1. طريقة "التدريب المتبقي" (التعلم من الفشل)

تخيل أنك مدرب تدرب فريق كرة قدم.

• الطريقة القديمة: تطلب من جميع اللاعبين الثمانية ممارسة نفس التمرين. إذا استمروا في إضاعة الهدف، فأنت لا تكتفي بإخبارهم بالمحاولة مرة أخرى أو الجري بشكل أسرع فحسب؛ بل يستمرون في إضاعة الهدف في نفس المكان تماماً.
• طريقة DIVSKILL-SQL: تراقب المباراة. ترى أن اللاعب (أ) يستمر في إضاعة الهدف لأنه عدواني للغاية. لذا، لا تكتفي بإخبار اللاعب (أ) بالمحاولة مرة أخرى فحسب؛ بل تقوم بإنشاء تمرين تدريبي جديد ومحدد خصيصاً للاعب (أ) لمعالجة تلك النقطة الضعيفة المحددة.
• ثم تنظر إلى المشكلات المتبقية. ربما اللاعب (ب) بارع في التسديد لكنه سيء في التمرير. لذا، تقوم بإنشاء تمرين جديد خصيصاً للاعب (ب) لإصلاح مهارة التمرير.

في الورقة البحثية، يُطلق على هذا اسم تحسين المهارة المتبقية (Residual Skill Optimization). ينظر النظام إلى الأسئلة التي فشل الفريق الحالي في حلها، ومن ثم "يحسن" مهارة جديدة خصيصاً لحل تلك الحالات الصعبة المتبقية. هو لا يحاول جعل كل لاعب مثالياً في كل شيء؛ بل يحاول جعل كل لاعب مثالياً في إصلاح الثغرات التي تركها الآخرون.

2. "بطاقات المهارات" (دون جهد شاق)

تؤكد الورقة أنهم ليسوا بحاجة لإعادة تدريب "عقل" الذكاء الاصطناعي بالكامل (وهو أمر مكلف وبطيء). بدلاً من ذلك، يقومون فقط بتغيير بطاقة التعليمات (البرومبت) المقدمة للذكاء الاصطناعي.

• قد تقول إحدى البطاقات: "كن مستكشفاً حذراً. افحص البيانات أولاً، ثم اكتب الكود."
• وقد تقول أخرى: "كن مبرمجاً سريعاً. اكتب الكود فوراً، وقم بتشغيله، وأصلح الأخطاء أثناء حدوثها."
• وقد تقول بطاقة ثالثة: "قسم المشكلة إلى قطع صغيرة قبل بناء الصورة الكبيرة."

من خلال إعطاء الذكاء الاصطناعي "بطاقات شخصية" مختلفة لكل محاولة من المحاولات الثمانية، فإنهم يضمنون أن الإجابات الثمانية مختلفة حقاً عن بعضها البعض. إذا فشل أحد النهج، فمن المرجح أن تنجح النهج الأخرى لأنها تفكر في المشكلة بطريقة مختلفة.

3. "البطولة" (اختيار الفائز)

بمجرد أن يولد فريق المتخصصين الثمانية إجاباتهم الثمانية، يحتاج النظام إلى اختيار الفائز.

• بدلاً من التخمين أو اختيار الأول، يستخدمون بطولة ثنائية (pairwise tournament).
• تخيل مباراة ملاكمة: الإجابة (أ) تواجه الإجابة (ب). يختار القاضي (الذكاء الاصطناعي) الفائز. ثم يواجه الفائز الإجابة (ج).
• الإجابة التي تحقق أكبر عدد من "الانتصارات" هي التي تصبح الإجابة النهائية. هذا أكثر موثوقية من مجرد اختيار واحدة عشوائياً.

ماذا وجدوا؟

اختبر المؤلفون طريقتهم على مشكلات قواعد بيانات حقيقية (باستخدام معايير مثل Spider2-Lite و BIRD-Critic). إليك النتائج الرئيسية:

• دقة أفضل: نجح "فريقهم المتخصص" في حل مشكلات أكثر بكثير من أفضل الطرق الموجودة. وفي بعض قواعد البيانات الصعبة، حسنوا الدقة بأكثر من 11 نقطة.
• هلوسة أقل: نظرًا لأن المهارات تركز على حل أنواع معينة من الأخطاء، فقد ارتكب الذكاء الاصطناعي تخمينات "جامحة" أقل (مثل اختراع جداول بيانات وهمية غير موجودة).
• تنوع حقيقي: تظهر الورقة أن الإجابات الثمانية لم تكن مجرد نسخ مختلفة قليلاً من نفس الجملة. لقد تم إنتاجها باستخدام مسارات استدلال مختلفة تماماً (على سبيل المثال، أحدهم فحص البيانات أولاً، والآخر كتب الكود فوراً). وهذا يعني أنهم غطوا مساحة أكبر من الاحتمالات.
• مهارات قابلة للنقل: ومن المثير للاهتمام، أن الفريق الذي تم تدريبه على نوع واحد من قواعد البيانات (Snowflake) عمل بنفس الكفاءة على قواعد بيانات مختلفة تماماً (BigQuery، SQLite) دون الحاجة إلى إعادة تدريبه. "المهارات" (مثل "تقسيم المشكلة") كانت مفيدة في كل مكان.

الملخص

تقدم الورقة طريقة لجعل فرق الذكاء الاصطناعي أكثر ذكاءً ليس بجعلها أكبر، ولكن بجعلها أكثر تنوعاً. بدلاً من مطالبة الذكاء الاصطناعي بالتخمين ثماني مرات متتالية، فهم يعلمون الذكاء الاصطناعي ثماني طرق مختلفة للتفكير، مما يضمن أنه إذا فشلت طريقة ما، فمن المرجح أن تنجح طريقة أخرى. إنه الفرق بين مطالبة شخص واحد بالمحاولة ثماني مرات، وبين طلب ثمانية خبراء مختلفين ذوي نقاط قوة فريدة لحل المشكلة معاً.