LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
تقدم الورقة البحثية منصة LEDGER، وهي منصة تقييم تمكن الشركات من إنشاء اختبارات حتمية، وقابلة للتدقيق، ومدركة للتكلفة لأنظمة الذكاء الاصطناዊ الخاصة بأعمالها باستخدام بيانات مملوكة لها، مما يوضح كيف يمكن لنموذج مفتوح الأوزان مستضاف ذاتياً أن يحقق دقة بمستوى النماذج الرائدة بتكلفة ضئيلة مقارنة بالبدائل المملوكة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في بيئة العمل الحديثة، تعتمد الشركات بشكل متزايد على الذكاء الاصطناعي للإجابة على الأسئلة المتعلقة ببياناتها الداخلية الخاصة. قد يسأل مدير هندسي عن عدد التغييرات التي تمت مراجعتها في الأسبوع الماضي، أو قد يطلب محلل مالي متوسط الوقت الذي استغرقه حل نوع معين من الأخطاء. هذه الأنظمة ليست مجرد برنامج حاسوبي واحد يفكر في فراغ؛ بل هي تجميعات معقدة حيث يتم ربط نموذج لغوي بقواعد بيانات الشركة الخاصة، بتوجيه من قواعد صارمة تحدد ما يمكنه الكشف عنه وما لا يمكنه، وبإدارة برمجيات تقرر الأدوات التي يجب استخدامها. التحدي الذي يواجه أي شركة هو أن هذه الأنظمة هشة؛ فتغيير بسيط في النموذج، أو القواعد، أو الطريقة التي يتحدث بها البرنامج مع قاعدة البيانات يمكن أن يجعل الإجابات خاطئة فجأة. وبينما توجد اختبارات عامة لتصنيف مدى ذكاء نماذج الذكاء الاصطناعي المختلفة في المهام العامة، فإن هذه الدرجات لا تتنبأ بمدى جودة عمل نظام شركة معينة مع بياناتها وقواعدها الفريدة. تحتاج الشركات إلى وسيلة لاختبار أنظمتها الخاصة بشكل متكرر بعد كل تغيير، لضمان بقاء الإجابات صحيحة وأن تظل تكلفة الحصول على تلك الإجابات تحت السيطرة.
لقد ابتكر فريق من الباحثين في شركة "إنترفل" (Interval)، وهي شركة تبني أدوات ذكاء الأعمال، طريقة جديدة تسمى "ليدجر" (LEDGER) لحل هذه المشكلة. فبدلاً من الاعتماد على الدرجات العامة، يقوم "ليدجر" بتحويل بيانات الشركة وأسئلتها وقواعدها إلى اختبار دقيق وقابل للتكرار. يعمل النظام من خلال إنشاء سيناريوهات محددة: يُطرح سؤال، وتُحدد إجابة صحيحة معينة مسبقاً، ويُعدُّ دليلٌ لإثبات ما إذا كانت الإجابة صحيحة أم لا. قد يكون هذا الدليل عبارة عن لقطة ثابتة لاستعلام من قاعدة بيانات، أو قاعدة سياسة محددة، أو تغييراً مسجلاً في لوحة تحكم البرمجيات. عندما يحاول نظام الذكاء الاصطناعي الإجابة على السؤال، تقوم منصة "ليدجر" بالتحقق من النتيجة. إذا كانت الإجابة رقماً بسيطاً أو حقيقة واضحة، يقوم فحص حتمي -وهو برنامج حاسوبي يتبع منطقاً صارماً دون تخمين- بتسجيل الدرجة فوراً. أما إذا كانت الإجابة مكتوبة بنثر معقد لا يستطيع الحاسوب تحليله بسهولة، فيقوم نموذج ذكاء اصطناعي منفصل بمراجعتها، ولكن فقط بعد أن يؤكد الفحص الحتمي أن الدليل يدعم الادعاء. كل درجة يتم تسجيلها ترتبط بالدليل المحدد الذي أنتجها، مما يخلق مساراً واضحاً وقابلاً للتدقيق يوضح بالضبط سبب اعتبار الإجابة صحيحة أو خاطئة.
استخدم الباحثون هذه المنصة لبناء واختبار مساعد ذكاء أعمال مدعوم بنموذج "ديب سيك في 4 فلاش" (DeepSeek V4 Flash)، وهو نموذج قوي مفتوح الأوزان تستضيفه الشركة على خوادمها الخاصة. وقارنوا هذا النظام المخصص مقابل سبعة نماذج رائدة أخرى، بما في ذلك خمسة أنظمة مملوكة لشركات تقنية كبرى ونموذج آخر مفتوح الأوزان. كانت المقارنة صارمة: حيث أُعطي كل نظام نفس الأدوات، ونفس البيانات، ونفس مجموعة الأسئلة. وأظهرت النتائج أنه عندما تم إحاطة النموذج مفتوح الأوزان بأدوات وقواعد الشركة المحددة، فقد كان أداؤه يضاهي أكثر النماذج تطوراً والمملوكة لجهات أخرى. وفي مجموعة اختبار مكونة من 97 سيناريو مختار بعناية، أجاب النظام المخصص على 96 منها بشكل صحيح، بينما أجابت النماذج الرائدة الأخرى ما بين 94 و97 بشكل صحيح. وقد أثبت ذلك أن "الحزام" المكون من الأدوات والقواعد المحيطة بالنموذج كان لا يقل أهمية عن النموذج نفسه. فبدون هذه الأدوات والتعريفات المحددة، كان أداء النموذج المفتوح أسوأ قليلاً، ولكن معها، وصل إلى نفس مستوى دقة الأنظمة الأكثر تقدماً والأعلى تكلفة.
ومع ذلك، كان الاكتشاف الأكثر أهمية يتعلق بالتكلفة. فبينما كانت الدقة متشابهة في جميع الجوانب، تباين السعر للحصول على إجابة صحيحة بشكل هائل. حسب الباحثون التكلفة لكل إجابة صحيحة لكل نظام؛ حيث كانت النماذج المملوكة، والتي يتم الوصول إليها عبر خدمات سحابية باهظة الثمن، تكلف ما بين ستة إلى سبعة وسبعين ضعف تكلفة النموذج مفتوح الأوزان المستضاف ذاتياً والذي استخدمته "إنترفل". وحتى عندما طبق الباحثون أرخص مستويات التسعير المتاحة للنماذج المملوكة، ظلت تكلفتها أعلى بكثير من إعداد الشركة الخاص. يشير هذا إلى أنه بالنسبة للشركات ذات الاحتياجات البيانية المحددة، فإن اختيار النموذج لا يتعلق بالبحث عن "أذكى" عقل واحد، بل بإيجاد التوازن الصحيح بين الدقة، والتحكم، والتكلفة. وتجادل الدراسة بأنه باستخدام نظام اختبار صارم وقابل للتدقيق مثل "ليدجر"، يمكن للشركات اختيار نماذج أرخص ومستضافة ذاتياً بكل ثقة دون التضحية بالأداء، بشرما استثمرت في الأدوات والقواعد الصحيحة لتوجيهها.
وقد حرص الباحثون على ملاحظة أن نتائجهم خاصة بمهام عملهم والطريقة التي صاغوا بها اختباراتهم. لم يدّعوا أن هذا النموذج مفتوح الأوزان متفوق عالمياً على غيره في كل المواقف، كما لم يشيروا إلى أن التوفير في التكاليف سيكون متطابقاً لكل شركة. لقد قاس البحث الأداء في مجموعة محددة من أسئلة الأعمال، ووجد أنه بالنسبة لهذا النوع من العمل، يمكن لنظام مصمم جيداً حول نموذج أرخص أن يضاهي نتائج الخيارات الأكثر تكلفة. الخلاصة الرئيسية هي أن الدقة في تطبيقات الأعمال ليست مجرد خاصية للنموذج الخاص بالذكاء الاصطناعي نفسه، بل هي خاصية للنظام الكامل المبني حوله. ومن خلال جعل عملية الاختبار شفافة وقابلة للتكرار، يمكن للشركات اتخاذ قرارات هندسية مدروسة، والانتقال من الدفع الأعمى لأكثر النماذج تكلفة نحو بناء أنظمة تتسم بالدقة والاستدامة الاقتصادية في آن واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.