Routesplain: Towards Faithful and Intervenable Routing for Software-related Tasks
يُعد Routesplain أول موجه لنماذج اللغات الكبيرة (LLM) قابل للتفسير للمهام المتعلقة بالبرمجيات، حيث يستخرج مفاهيم مفهومة بشرياً من الاستعلامات لاتخاذ قرارات توجيه وفية، متفوقاً بذلك على كل من النماذج الفردية والأسس المرجعية الصندوقية السوداء في الدقة والتكلفة مع تمكين التدخلات على مستوى المفاهيم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة ضخمة ومستقبلية حيث تنتظر آلاف الروبوتات المختلفة للإجابة على أسئلتك. بعض هذه الروبوتات عبارة عن عباقرة مذهلين يمكنهم حل المسائل الرياضية المعقدة ولكن تكلفة استئجارهم باهظة للغاية. والبعض الآخر عمال سريعون ورخيصو التكلفة، بارعون في كتابة القصص البسيطة لكنهم قد يرتبكون أمام الألغاز الصعبة. في عالم الذكاء الاصطناائي، تُسمى هذه الروبوتات "نماذج اللغات الكبيرة" (LLMs)، وهي المحركات التي تقف وراء برامج الدردشة الآلية ومساعدي البرمجة الذين نستخدمهم اليوم. لكن العائق هو أن ليس كل روبوت جيد في كل مهمة؛ فأحياناً لا تحتاج إلى عبقري، بل تحتاج فقط إلى عامل سريع ومنخفض التكلفة. السؤال الكبير الذي يطرحه العلماء هو: كيف نعرف أي روبوت نختار للمهمة المحددة التي لدينا، دون إضاعة المال أو الحصول على إجابة سيئة؟
هنا يأتي دور فكرة "التوجيه" (Routing). فكر في التوجيه كأنه أمين مكتبة ذكي يستمع إلى سؤالك، ويحدد بالضبط نوع المساعدة التي تحتاجها، ثم يوجهك إلى الروبوت المثالي في المكتبة. لفترة طويلة، كانت هؤلاء الأمناء عبارة عن "صناديق سوداء"؛ حيث كانوا يتخذون القرارات بناءً على رياضيات سرية ومعقدة لا يمكن لأحد رؤيتها أو فهمها. إذا أرسلك أمين المكتبة إلى الروبوت الخطأ، فلن تدرك السبب، ولن تتمكن حقاً من إصلاحه. يقدم هذا البحث الجديد نوعاً مختلفاً من أمناء المكتبات: فهو لا يكتفي بالتخمين فحسب، بل يشرح تفكيره بلغة بسيطة قبل اتخاذ القرار.
تعرف على Routesplain: أمين المكتبة الذي يشرح خياراته
قام مؤلفو هذا البحث، بالتعاون مع باحثين من جامعة كولومبيا وشركة Oracle AI، ببناء نظام جديد يسمى Routesplain. كان هدفهم حل مشكلة محددة للغاية: كيفية توجيه الأسئلة المتعلقة بالبرمجيات (مثل "أصلح هذا الكود المعطل" أو "اكتب برنامجاً بلغة بايثون") إلى أفضل نموذج ذكاء اصطناعي، مع توفير المال وضمان أن تكون الإجابة صحيحة بالفعل.
بدلاً من استخدام صندوق أسود غامض لتحديد الذكاء الاصطناي المناسب، يعمل Routesplain كالمحقق الذي يفكك كل سؤال إلى أدلة بسيطة ومفهومة، ويطلقون عليها اسم "المفاهيم" (Concepts). عندما تطرح سؤالاً، لا ينظر Routesplain إلى الكلمات فحسب، بل يسأل نفسه بضعة أسئلة محددة:
- ما هي المهمة؟ (هل هي كتابة كود، أم إصلاح خطأ برمجي، أم الإجابة على سؤال علمي؟)
- ما هي اللغة المعنية؟ (هل هي بايثون، أم رست (Rust)، أم ربما لغة طبيعية معينة مثل الإسبانية؟)
- ما مدى صعوبتها؟ (هل هو طلب بسيط أم لغز معقد للغاية؟)
- ما هو المجال؟ (هل يتعلق الأمر بالشبكات، أم الوقت، أم الرياضيات العامة؟)
بمجرد أن يحدد Routesplain هذه المفاهيم، فإنه يستخدم خطوة ثانية ليقرر أي نموذج ذكاء اصطناعي هو الأنسب. الأمر يشبه قول: "أوه، هذه مشكلة برمجة معقدة بلغة رست، لذا يجب أن نرسلها إلى الروبوت المتخصص في لغة رست، وليس إلى الروبوت العام الرخيص".
لماذا يهم هذا: مشكلة "الصندوق الأسود"
قبل هذا البحث، كانت معظم الأنظمة التي تختار نماذج الذكاء الاصطناعي تشبه "كرة 8 سحرية" (Magic 8-Ball)؛ تسأل سؤالاً، فتعطيك إجابة، لكن لا يمكنك رؤية المنطق وراءها. يرى المؤلفون أن هذا أمر سيء لأنه إذا ارتكب النظام خطأً، فلا يمكنك إصلاحه. يتميز Routesplain بأنه مختلف لأنه قابل للتفسير (Interpretable)؛ فهو يوضح لك المفاهيم التي استخدمها لاتخاذ القرار. إذا كنت تعتقد أن النظام أخطأ في تقدير صعوبة المهمة، يمكنك التدخل فعلياً وتقول: "مهلاً، هذا ليس صعباً، إنه سهل"، وسيقوم النظام فوراً بتغيير رأيه واختيار روبوت آخر أرخص. وهذا ما يسمى "التدخل" (Intervention)، وهو أمر يغير قواعد اللعبة لأنه يعيد التحكم للبشر.
الاختبار الكبير: 16 روبوتاً و8 مهام
لاختبار مدى نجاح فكرتهم، أجرى الباحثون اختباراً ضخماً. فقد جمعوا 16 من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة (بما في ذلك أسماء كبيرة مثل GPT-4.1 وo3 وLlama 4) واختبروها في 8 أنواع مختلفة من المهام البرمجية. تراوحت هذه المهام بين كتابة الكود وإصلاح البرامج المعطلة إلى الإجابة على أسئلة علوم الحاسوب بـ 29 لغة مختلفة.
وقد وجدوا شيئاً مفاجئاً: النماذج المختلفة تختلف اختلافاً جذرياً في الوظائف المختلفة.
- بعض النماذج كانت مذهلة في إصلاح الكود لكنها سيئة في كتابته.
- بعض النماذج كانت رائعة في اللغة الإنجليزية لكنها تعاني مع لغات مثل الهندية أو الولوف (Wolof).
- بعض النماذج كانت باهظة الثمن ولكنها أفضل قليلاً فقط من النماذج الرخيصة في المهام البسيطة.
بسبب هذه الاختلافات، كان مجرد اختيار النموذج "الأذكى" لكل شيء بمثابة إضاعة للمال. فأحياناً، كان النموذج الرخيص هو الخيار الأفضل بالفعل.
النتائج: أذكى وأرخص
عندما وضعوا Routesplain تحت الاختبار، فعل شيئاً مذهلاً. لقد قدم أداءً يضاهي أفضل أنظمة "الصندوق الأسود" (التي يصعب فهمها)، ولكنه كان أفضل بكثير في توفير المال.
- الدقة: طابق Routesplain أداء أفضل أنظمة التوجيه ذات الصندوق الأسود.
- التكلفة: من خلال توجيه الأسئلة إلى النموذج الصحيح، وفر الكثير من المال. على سبيل المثال، استطاع الحصول على إجابات أكثر دقة بنسبة 8.5 نقطة مئوية من مجرد استخدام نموذج واحد، بينما أنفق 39% أقل من المال.
- عنق الزجاجة: استخدم الباحثون أيضاً نظامهم "القابل للتفسير" لمعرفة أين وقعت الأخطاء. واكتشفوا أن أكبر خطأ ارتكبه النظام كان في تخمين مدى تعقيد المهمة. فإذا اعتقد النظام أن المهمة سهلة بينما هي في الواقع صعبة، فإنه يختار نموذجاً رخيصاً ويحصل على إجابة سيئة. وهذا يخبر المهندسين مستقبلاً أين يجب عليهم الإصلاح بدقة: اجعلوا "كاشف التعقيد" أكثر ذكاءً.
الخلاصة
يشير البحث إلى أننا لسنا بحاجة للاعتماد على ذكاء اصطناعي غامض وغير قابل للتفسير لاتخاذ القرارات. فمن خلال تفكيك الأسئلة إلى مفاهيم بسيطة يمكن للبشر قراءتها وفهمها مثل "اللغة" و"المجال" و"الصعوبة"، يمكننا بناء أنظمة توجيه ليست دقيقة فحسب، بل هي أيضاً عادلة وشفافة وقابلة للتعديل.
لقد أظهر المؤلفون أنه يمكننا الحصول على الأمرين معاً: يمكننا الحصول على الأداء العالي لأذكى نماذج الذكاء الاصطناعي مع دفع التكلفة المنخفضة للنماذج الأرخص، وكل ذلك مع معرفة السبب الدقيق وراء اتخاذ أي قرار. الأمر يشبه امتلاك أمين مكتبة لا يكتفي فقط بالإشارة إلى كتاب، بل يقول لك: "لقد اخترت هذا لأنك طلبت رواية غموض، وهذا هو أفضل كتاب غموض في المكتبة"، وإذا قلت له: "لا، أنا في الواقع أريد رواية رومانسية"، فإن أمين المكتبة سيقوم فوراً باستبدال الكتاب دون أن تضطر لمغادرة الغرفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.