تخيل أنك تحاول سؤال روبوت أمين مكتبة فائق الذكاء عن كتاب محدد، لكنك لا تعرف نظام الشفرة السرية للمكتبة. لذا تقول فقط: "أريد الكتاب الذي يتحدث عن التنانين من الرف الأحمر". يتعين على الروبوت حينها استنتاج ما تقصده بالضبط، والتحقق مما إذا كان مسموحاً لك برؤية هذا الرف، ثم العثور على الكتاب. هذا هو عالم واجهات اللغة الطبيعية لبيانات المؤسسات (Natural Language Interfaces to Enterprise Data). إنه العلم الذي يتيح للناس العاديين التحدث مع قواعد بيانات معقدة باستخدام جمل عادية بدلاً من أكواد الكمبيوتر.

لفترة طويلة، قلق العلماء من أن هذه الروبوتات قد تتقن القواعد النحوية (كتابة أمر حاسوبي صحيح) ولكنها تخطئ في المعنى (تجد الكتاب الخطأ)، أو أنها قد تنتهك القواعد وتسمح لك برؤية كتب غير مسموح لك بلمسها. السؤال الكبير هو: كيف نبني أفضل "عقل" لهذا الروبوت؟ هل نترك الروبوت يكتب كود الكمبيوتر مباشرة؟ هل نعطيه مجموعة من الأدوات المحددة لاستخدامها؟ أم هل نجبره على كتابة خطة مفصلة أولاً قبل القيام بأي شيء؟ هذه الورقة البحثية، التي تسمى SemPlan، هي تجربة ضخمة لمعرفة أي من "تصميمات العقل" هذه يعمل بشكل أفضل عندما تكون المخاطر عالية والبيانات معقدة.

معركة عقول الروبوتات الكبرى

قام الباحثون بإعداد معركة "باتل رويال" محكومة وضخمة في كون وهمي ولكنه واقعي للغاية يسمى "Northstar Commerce". لقد أنشأوا 1,80 ${({1,800})} سؤالاً مختلفاً باللغتين الإنجليزية والبرتغالية البرازيلية، تتراوح بين الطلبات البسيطة مثل "كم من المال ربحنا؟" إلى الألغاز المعقدة متعددة الأجزاء التي تحاول خداع الروبوت. ثم اختبروا أربعة معماريات مختلفة للروبوت (لنسمِّهم الفريق أ، ب، ج، د) باستخدام نفس النموذج فائق الذكاء (نسخة محددة من ذكاء اصطناعي تسمى gpt-5.6-luna) لضمان عدالة المقارنة.

إليك كيف لعبت الفرق الأربعة اللعبة:

• الفريق أ (الكاتب المباشر): يسمع هذا الروبوت سؤالك ويحاول فوراً كتابة كود الكمبيوتر (SQL) للحصول على الإجابة. الأمر يشبه أن تطلب من طالب حل مسألة رياضية على سبورة بيضاء دون أن يوضح خطوات الحل.
• الفريق ب (مستخدم الأدوات): لا يكتب هذا الروبوت كوداً. بدلاً من ذلك، لديه صندوق أدوات؛ عليه اختيار الأدوات الصحيحة (مثل "جمع الأرقام" أو "الترتيب حسب التاريخ") والنقر عليها بالترتيب الصحيح. إنه يشبه طباخاً لا يمكنه سوى استخدام مكونات جاهزة وأدوات مطبخ محددة.
• الفريق ج (المخطط): لا يكتب هذا الروبوت كوداً ولا يختار أدوات. بدلاً من ذلك، يكتب طلباً دلالياً صارماً ومنظماً — وهي خطة محددة جداً ومنظمة توضح بالضبط البيانات المطلوبة. ثم يقوم برنامج كمبيوتر منفصل، ممل ولكنه مثالي، بتحويل هذه الخطة إلى كود. إنه يشبه طالباً يكتب مخططاً مثالياً، ثم يكتب شخص آخر المقال النهائي بناءً على ذلك المخطط.
• الفريق د (الموضح): هو الأخ الأكبر للفريق ج. يكتب هو أيضاً خطة، ولكن إذا كان السؤال غامضاً، يُسمح له بطلب توضيح أو تذكر ما قيل سابقاً في المحادثة. إنه يشبه المحقق الذي يمكنه العودة والسؤال: "مهلاً، هل كنت تقصد التنين الأحمر أم الأزرق؟"

النتائج: لا يوجد فائز مثالي

بعد إجراء 4,800 اختبار إجمالي (1,200 سؤال لكل فريق من الفرق الأربعة)، كانت النتائج مفاجئة. الخلاصة الكبرى؟ لا يوجد "روبوت واحد أفضل". إنها عملية مقايضة، تماماً مثل الاختيار بين سيارة رياضية، وشاحنة، وسيارة اقتصادية في استهلاك الوقود. لا يمكنك الحصول على سرعة السيارة الرياضية، وقوة جر الشاحنة، واقتصادية السيارة الاقتصادية في مركبة واحدة.

إليك ما أظهرته البيانات:

1. سباق الدقة
إذا كنت تريد الإجابة الصحيحة فقط، فقد كان الفريق ج (المخطط) هو الفائز، لكنه لم يكن فوزاً ساحقاً.

• حصل الفريق ج على الإجابة الصحيحة بنسبة 25.67%.
• جاء الفريق د (الموضح) في المركز الثاني بنسبة 24.25%.
• الفريق ب (مستخدم الأدوات) كان بنسبة 22.58%.
• الفريق أ (الكاتب المباشر) كان الأخير بنسبة 22.25%.

بينما كان الفريق ج أفضل إحصائياً من الآخرين، تشير الورقة إلى أن الحصول على الإجابة الصحيحة حوالي مرة واحدة من كل 4 مرات لا يزال رقماً منخفضاً. حتى التصميم "الأفضل" عانى مع تعقيد الأسئلة.

2. سباق السلامة والقواعد
هنا تبدلت أماكن الفرق.

• كان الفريق أ (الكاتب المباشر) هو الأكثر أماناً. لقد اتبع القواعد (السياسة) بشكل أفضل (43.67%) وكان الأقل عرضة للقيام بشيء خطير أو غير صالح (31.00%). لقد كان محافظاً جداً؛ فإذا لم يكن متأكداً، غالباً ما يقول "لا يمكنني فعل ذلك" (رفض خاطئ) بدلاً من المخاطرة بارتكاب خطأ.
• كان الفريق د (الموضح) هو الأكثر أدباً (رفض بنسبة 0.17% فقط) ولكنه كان الأكثر خطورة. فقد سجل أعلى معدل للأفعال غير الآمنة أو غير الصالحة (64.08%). لقد حاول جاهداً أن يكون مفيداً لدرجة أنه خرق القواعد أحياناً.

3. التكلفة والاستقرار

• كان الفريق د هو الأرخص في التشغيل، حيث كلف في المتوسط 0.000469 دولار لكل سؤال.
• كان الفريق ج هو الأكثر استقراراً. عندما سألوا نفس السؤال ثلاث مرات، أعطى الفريق ج نفس الإجابة الصحيحة بنسبة 98.67% من الوقت. أما الفريق ب فكان الأقل استقراراً، حيث كرر الإجابة بشكل صحيح بنسبة 92.00% فقط.

4. مفاجأة "اللغة"
لاحظ الباحثون أيضاً أن كل فريق كان يؤدي بشكل أسوأ عندما كانت الأسئلة باللغة البرتغالية البرازيلية مقارنة بالإنجليزية. على سبيل المثال، حصل الفريق ج على 31.00% صحيحة في الإنجليزية مقابل 20.33% فقط في البرتغالية. وهذا يشير إلى أنه حتى مع أفضل تصميم، لا تزال الاختلافات اللغوية تسبب مشاكل كبيرة.

ماذا يعني هذا للمستقبل

تستبعد الورقة البحثية صراحةً فكرة أن "زيادة الهيكلية تعني دائماً الأفضل". قد تظن أن إجبار الروبوت على كتابة خطة مفصلة (الفريق ج) أو طلب توضيح (الفريق د) سيصلح كل شيء. البيانات تقول لا. إضافة الهيكلية غيرت طريقة فشل الروبوتات، لكنها لم تعالج حقيقة أنها كانت لا تزال تحصل على الإجابة الخاطئة في معظم الأوقات.

• الفريق أ آمن ولكنه يستسلم بسهولة كبيرة.
• الفريق ب جيد ولكنه غير مستقر.
• الفريق ج هو الأكثر دقة واستقراراً، لكنه ليس مثالياً.
• الفريق د رخيص ومؤدب، ولكنه خطير وأقل دقة.

يخلص المؤلف إلى أننا لا ينبغي أن نبحث فقط عن "الفائز" صاحب أعلى درجة دقة. بدلاً من ذلك، نحتاج إلى النظر إلى الصورة الكاملة: هل نهتم أكثر بالسلامة (الفريق أ)؟ هل نهتم أكثر بالحصول على الإجابة الصحيحة (الفريق ج)؟ أم نهتم بتوفير المال (الفريق د)؟

تشير الدراسة إلى أنه في الوقت الحالي، حتى أكثر تصميمات الذكاء الاصطناعي ذكاءً لا تزال تكافح لفهم أسئلة الأعمال المعقدة بشكل مثالي. المسار المستقبلي ليس مجرد بناء "روبوت أفضل"؛ بل يتعلق بفهم المقايضات المحددة لكل تصميم واختيار الأداة المناسبة للمهمة المحددة. وكما تقول الورقة، هذه ليست "مشكلة محلولة" بعد؛ إنها خريطة توضح لنا أين تقع العثرات حتى نتمكن من بناء أنظمة أفضل في المستقبل.