Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

المحقق ضد الآلة الحاسبة: لماذا تهم الدقة أكثر من السرعة

تخيل أنك في مكتبة ضخمة وفوضوية حيث تُعاد كتابة ملايين الكتب أو نقلها أو التخلص منها باستمرار. تسأل أمين المكتبة: "كم عدد الكتب الحمراء التي بيعت الثلاثاء الماضي؟". يعمل برنامج كمبيوتر تقليدي كآلة حاسبة فائقة السرعة: يبدأ بالبحث فوراً، ويستخرج رقماً، ويصرخ به في وجهك. إذا كانت العملية الحسابية مثالية، يشعر الكمبيوتر بالفخر. ولكن ماذا لو كان المقصود بكلمة "أحمر" بالنسبة لك هو "قرمزي" بينما بالنسبة لأمين المكتبة هي "أرجواني"؟ أو ماذا لو نُقلت الكتب الحمراء بالفعل إلى مبنى آخر الأسبوع الماضي، مما يجعل السؤال مستحيلاً للإجابة؟ ستظل الآلة الحاسبة تعطيك رقماً، لكنه سيكون الرقم الخاطئ، ولن يعرف أحد ذلك حتى فوات الأوان.

هذا هو عالم وكلاء تحليل البيانات القائمين على النماذج اللغوية الكبيرة (LLM analytics agents). هذه أنظمة ذكاء اصطناعي مصممة للتحدث مع قواعد البيانات (المكتبات) والإجابة على أسئلة الأعمال. لفترة طويلة، قاس العلماء نجاحهم من خلال التحقق مما إذا كان الذكاء الاصطناعي قد كتب "الكود" الصحيح (SQL) لسؤال المكتبة، تماماً مثل تقييم طالب بناءً على استخدامه للقواعد النحوية فقط، مع تجاهل ما إذا كان قد فهم القصة فعلياً. ولكن في العالم الحقيقي، الجملة "المثالية" التي تؤدي إلى رقم خاطئ هي كارثة. إنها مثل نظام تحديد المواقع (GPS) الذي يعطيك اتجاهات مثالية لمنزل احترق العام الماضي. التحدي الحقيقي ليس مجرد كتابة الكود؛ بل هو معرفة متى لا يجيب، ومتى يطلب توضيحاً، ومتى يقول: "لا يمكنني المساعدة في ذلك". يتعمق هذا البحث في هذه المشكلة المعقدة في العالم الحقيقي، متسائلاً: هل من الأفضل امتلاك عقل ضخم ومكلف يخمن بثقة، أم محقق أصغر يتبع القواعد ويدقق في كل شيء؟

قصة QueryProof: المحقق الملتزم بالقواعد

في هذه الدراسة، قام باحث يدعى موريس لي ببناء نوع جديد من وكلاء الذكاء الاصطناعي يسمى QueryProof. كان الهدف هو اختبار فكرة جريئة: ربما لا نحتاج إلى "عقل" ضخم بـ 32 مليار معلمة لنكون أذكياء. ربما نحتاج فقط إلى عقل أصغر بـ 7 مليارات معلمة يُجبر على اتباع قواعد صارمة والتدقيق في عمله.

لاختبار ذلك، أنشأ الباحث ساحة لعب خاصة تسمى WarehouseReliabilityBench. تخيل مكتبتين وهميتين (واحدة لمتجر إلكتروني، وأخرى لشركة برمجيات) مليئتين بالفخاخ الخادعة. من بين 400 سؤال، تم تصميم حوالي نصفها لتكون مستحيلة الإجابة عليها بشكل صحيح برقم بسيط. بعض الأسئلة كانت غامضة (مثل السؤال عن "الإيرادات" دون تحديد ما إذا كنت تقصد الإجمالي أم الصافي)، وبعضها طلب بيانات غير موجودة، وبعضها حاول خداع الذكاء الاصطناعي لكسر القواعد. في هذه الحالات، لم تكن الإجابة "الصحيحة" هي رقماً؛ بل كانت رفضاً مهذباً، أو طلباً لمزيد من التفاصيل، أو رسالة تقول "لا يمكنني القيام بذلك".

قارنت التجربة بين ثلاث شخصيات رئيسية:

1. العقل الضخم (32B): نموذج ضخم يتم توجيهه مباشرة للإجابة على كل شيء. لم يكن لديه شبكة أمان، ولا قواعد، ولا أحد يراجع عمله.
2. المحقق الملتزم بالقواعد (QueryProof): نموذج أصغر بـ 7 مليارات معلمة، ولكنه مغلف بـ "آلة حالة حتمية" (deterministic state machine). فكر في الأمر كأنه مشرف صارم يجبر الذكاء الاصطناعي على مراجعة كتاب القواعد قبل التحدث. إذا كان السؤال غامضاً، يقول المشرف: "توقف! اطلب توضيحاً". إذا كانت البيانات مفقودة، يقول المشرف: "توقف! ارفض الإجابة". لا يُسمح للذكاء الاصطناعي بالتحدث إلا إذا اجتاز هذه الفحوصات.
3. الأساس المقابل للتكلفة (Cost-Matched Baseline): نموذج أصغر مع بعض الأمثلة الإضافية (few-shot) لمعرفة ما إذا كان مجرد إعطائه المزيد من التلميحات سيساعد.

الكشف الكبير: القواعد تهزم القوة الخام

كانت النتائج مفاجئة وواضحة جداً. العقل الضخم كان واثقاً ولكنه غالباً ما كان مخطئاً. لقد حاول الإجابة على كل سؤال، حتى المستحيلة منها، وانتهى به الأمر بإعطاء أرقام أعمال خاطئة في معظمها. بلغت "معدل النجاح الزائف" لديه (نسبة الإجابات الخاطئة إلى جميع الإجابات التي قدمها) نسبة مذهلة بلغت 0.754. كان يشبه طالباً يخمن في كل أسئلة الاختبار ويحصل على درجة عالية في "المحاولة"، لكنه يرسب في الاختبار الفعلي.

أما QueryProof، المحقق الأصغر المزود بكتاب القواعد، فقد تفوق تماماً على العملاق.

• الدقة: حقق QueryProof معدل حقيقة تجارية (Business Truth Rate) قدره 0.537 (بمعنى أنه حصل على الإجابة الصحيحة أو السلوك الصحيح بنسبة 53.7% من الوقت)، بينما تمكن العقل الضخم من تحقيق 0.300 فقط.
• الأمان: عندما كان QueryProof يقدم إجابة، كان أقل خطأً من العقل الضخم. وتحديداً، كانت 35.1% من الإجابات التي قدمها QueryProof غير صحيحة، مقارنة بـ 75.4% من الإجابات التي قدمها العقل الضخم. والأهم من ذلك، في الأسئلة التي يمكن الإجابة عليها، لم يرجع العقل الضخم أي أرقام خاطئة غير مكتشفة، بينما قدم QueryProof 13 إجابة لأسئلة تتطلب في الواقع توضيحاً أو رفضاً. الانتصار الرئيسي كان أن QueryProof أوقف "الإخفاقات الصامتة" حيث يتم تقديم رقم خاطئ دون أي تحذير، مما ضمن عدم تقديم أي رقم أعمال خاطئ أبداً في مهمة قابلة للإجابة.
• التكلفة: إليكم المفاجأة. كان QueryProof أرخص بنسبة 71.0% لكل إجابة صحيحة مقارنة بالعقل الضخم. لم يكن بحاجة إلى نموذج ضخم ليكون موثوقاً؛ بل احتاج إلى نظام جيد من الضوابط.

وجدت الورقة أن "السحر" لم يكن في حجم عقل الذكاء الاصطناعي، بل كان في الطبقة الحتمية — القواعد الصارمة التي تتحقق من السؤال مقابل هيكل قاعدة البيانات الفعلية قبل أن يتحدث الذكاء الاصطعي. عملت هذه الطبقة كحارس عند ملهى ليلي، يمنع الأسئلة السيئة قبل أن تسبب المشاكل.

ما الذي لم ينجح (ولماذا هذا مهم)

حاول الباحثون أيضاً إضافة بعض الميزات "الذكية" إلى QueryProof، آملين في جعله أفضل، لكن هذه المحاولات فشلت.

• نموذج الثقة: حاولوا تعليم الذكاء الاصطناعي كيف "يشعر" بمدى ثقته بنفسه ويتخطى الأسئلة التي لا يكون متأكداً منها. لم ينجح هذا. في الاختبار، كانت ثقة الذكاء الاصطناعي المتعلمة في الواقع أسوأ من قاعدة بسيطة مكتوبة يدوياً. كان الأمر كطالب يعتقد أنه يعرف الإجابة بينما هو في الواقع يخمن، في حين أن القاعدة البسيطة كانت فقط صادقة.
• نظام التوجيه (Routing System): جربوا نظاماً يرسل الأسئلة الصعبة إلى نموذج أكبر. لكن هذا أدى إلى نتيجة عكسية في مجموعة الاختبار، مما تسبب في جعل الذكاء الاصطناعي يرفض الكثير من الأسئلة التي كان بإمكانه الإجابة عليها.

الورقة حريصة جداً على ذكر أن هذه الإخفاقات حقيقية. الميزات "الذكية" لم تعمم من الممارسة إلى الاختبار الحقيقي. الشيء الوحيد الذي نجح هو الفحص الروتيني الحتمي والمبني على القواعد.

التنبيه: ما مدى تأكدنا؟

الباحثون صريحون بشأن حدود قصتهم.

• ساحة اللعب: المكتبات كانت اصطناعية (وهمية)، بُنيت من بذرة واحدة. وبينما يجعل هذا الاختبار عادلاً وقابلاً للتكرار، فنحن لا نعرف بالتأكيد ما إذا كان هذا سينجح في شركة حقيقية فوضوية ذات عقود من البيانات السيئة.
• "التسريب": اعترف الباحثون أنه أثناء الإعداد، وجدوا بالصدفة بعض العبارات المحددة التي تطابق أسئلة الاختبار. لقد أزالوها قبل الاختبار النهائي، لكنهم يقرون بأن الاختبار ليس "نظيفاً" تماماً لأنهم عرفوا الأسئلة أثناء بناء القواعد. إنهم يعاملون النتائج كـ "تقييم مجمد" مع وجود خلل معروف، وليس كإثبات مثالي.
• الإحصائيات: عندما أعادوا إجراء العمليات الحسابية باستخدام "عائلات" من الأسئلة بدلاً من الأسئلة الفردية، أصبحت فترات الثقة أوسع. هذا يعني أن اتجاه النتيجة (القواعد > القوة الخام) من المرجح أن يكون صحيحاً، لكن الحجم الدقيق للفوز قد يكون غير دقيق تماماً.

الخلاصة

الدرس الرئيسي هنا هو أنه بالنسبة لتحليل الأعمال، الموثوقية تأتي من الهيكل، وليس فقط من الحجم. يمكن للذكاء الاصطناعي الأصغر، عندما يكون مغلفاً بنظام صارم من القواعد التي تتحقق من البيانات والسؤال قبل الإجابة، أن يكون أكثر دقة وأماناً وأقل تكلفة من ذكاء اصطناعي ضخم يقوم بمجرد التخمين.

تشير الورقة إلى أنه إذا كنت تريد ذكاءً اصطناعياً لا يكذب على مديرك، فلا ينبغي لك فقط شراء نموذج أكبر. يجب عليك بناء "كتاب قواعد" أفضل و"حارس" للتحقق من العمل. الأجزاء "الذكية" المتعلمة (مثل درجات الثقة) قد تكون ميزة جيدة، لكن في هذه الحالة تحديداً، لم تساعد. البطل الحقيقي كان الفحص الحتمي الممل الذي يقول: "انتظر، دعنا نتأكد من أن هذا السؤال منطقي قبل أن نجيب".