MUSE: An Interactive Meta-Agent for Understanding and Steering LLM-powered Data Science Systems

علم البيانات هو فن تحويل الأرقام الخام إلى قصص تشرح العالم. لعقود من الزمن، كان هذا العمل عملية بطيئة وتكرارية حيث يقوم الخبراء بتنظيف البيانات الفوضوية، وكتابة أكواد حاسوبية مخصصة، والتحقق باستمرار من عملهم لضمان أن النتائج منطقية. إنه حوار بين المحلل والبيانات، حيث يؤدي سؤال واحد إلى آخر، وغالباً ما تتم مراجعة القرارات المبكرة مع ظهور أنماط جديدة. مؤخراً، بدأت برامج حاسوبية قوية تُعرف بنماذج اللغات الكبيرة بالعمل كمساعدين في هذا المجال. يمكن لهذه الوكلاء الرقميين الاستماع إلى طلب بسيط، مثل "توقع أي العملاء سيتوقفون عن شراء منتجنا"، ومن ثم كتابة الكود تلقائياً، وتنظيف البيانات، وبناء النماذج الرياضية اللازمة للإجابة على ذلك. وبينما يعد هذا بجعل التحليل المعقد متاحاً لأي شخص، فقد ظهرت مشكلة جديدة: عندما يرتكب هؤلاء المساعدون الآليون خطأً، يكون من الصعب للغاية على البشر معرفة ما حدث خطأ أو إخبار الآلة بكيفية إصلاحه. فغالباً ما تكون العملية الفكرية الداخلية للكمبيوتر عبارة عن تدفق متشابك من الأكواد والسجلات التقنية التي تبدو كأنها لغة غير مفهومة لغير الخبراء، مما يترك المستخدمين عاجزين عن توجيه العملية عندما تخرج عن مسارها.

لقد طور باحثون من جامعة بوردو وشركة مايكروسوفت ريسيرش نظاماً جديداً يسمى MUSE لحل مشكلة الشفافية والتحكم هذه. يعمل MUSE كمترجم ومشرف ذكي يجلس بين المستخدم البشري ووكيل علم البيانات الآلي. فبدلاً من إظهار جدار فوضوي من أكواد الكمبيوتر الخام ورسائل الخطأ للمستخدم، يقوم MUSE بإعادة تنظيم نشاط الوكيل إلى سرد واضح وخطوة بخطوة. إنه يفكك سير العمل المعقد إلى خمس مستويات متميزة من التفاصيل، بدءاً من ملخص بسيط لما يفعله الوكيل بلغة إنجليزية بسيطة، وصولاً إلى أسطر الكود المحددة التي كتبها. وهذا يسمح للمستخدم برؤية الصورة الكبيرة أولاً ثم التوسع فقط في الخطوات المحددة التي يريد فهمها، تماماً مثل قراءة كتاب ثم التحقق من الهوامش فقط عندما تكون جملة ما محيرة.

النظام لا يكتفي بمجرد التلخيص؛ بل يراقب الوكيل بنشاط بحثاً عن المشاكل. وبينما يعمل المساعد الآلي، يراقب MUSE أفعاله في الوقت الفعلي. إذا قام الوكيل بحركة مشبوهة، مثل حذف بيانات مهمة أو استخدام طريقة معيبة لتدريب نموذج، يقوم MUSE فوراً بتمييز الخطوة المحددة بتحذير. والأهم من ذلك، أنه لا يكتفي بالقول "هناك خطأ ما"، بل يشرح لماذا تعتبر هذه الخطوة إشكالية بلغة طبيعية ويعرض على المستخدم طريقة لإصلاحها هناك في المحادثة. يمكن للمستخدم ببساالجة سحب الخطوة المميزة إلى صندوق الدردشة، أو طلب شرح للمشكلة من النظام، أو الاختيار من قائمة الإصلاحات المقترحة. هذا يلغي الحاجة إلى بحث المستخدم عبر ساعات من السجلات للعثور على الخطأ أو كتابة تعليمات معقدة لتصحيحه. كما يساعد النظام المستخدمين على التحقق من النتائج، من خلال إنشاء فحوصات بسيطة للتأكد من أن الأرقام التي أنتجها الوكيل صحيحة بالفعل.

ولاختبار ما إذا كان هذا النهج يساعد الناس حقاً، أجرى الباحثون دراسة مع خمسة عشر مشاركاً يتمتعون بمستويات متفاوتة من الخبرة التقنية. طلبوا من هؤلاء المستخدمين إكمال مهام علم البيانات باستخدام ثلاثة إعدادات مختلفة: إعداد حيث رأوا فقط السجلات الخام والمربكة؛ وثاني حيث رأوا ملخصاً مهيكلاً ولكن كان عليهم إصلاح الأخطاء يدوياً؛ وثالث حيث استخدموا نظام MUSE الكامل. أظهرت النتائج ميزة واضحة للنظام الجديد. فقد أنهى المشاركون الذين استخدموا MUSE مهامهم بشكل أسرع بكثير، حيث استغرقوا في المتوسط سبعة عشر دقيقة مقارنة بستة وعشرين دقيقة لأولئك الذين نظروا إلى السجلات الخام. كما أفادوا بشعورهم بثقة أكبر في النتائج النهائية. وجدت الدراسة أن النظام ساعد المستخدمين على اكتشاف الأخطاء بسرعة وإصلاحها دون الضياع في التفاصيل التقنية، مما حول بنجاح "الصندوق الأسود" المربك إلى شريك تعاوني شفاف.

لاحظ الباحثون أن طريقة تفاعل الناس مع النظام تغيرت بشكل كبير عند استخدام MUSE. فبدون MUSE، كان المستخدمون يميلون إلى التمرير بلا نهاية عبر أسطر الكود، آملين في رصد خطأ ما، وهي عملية بطيئة ومحبطة. أما مع MUSE، فقد توقفوا عن البحث وبدأوا في الفحص. لقد استخدموا تحذيرات النظام للانتقال مباشرة إلى مناطق المشكلات واستخدموا الأدوات المدمجة لطرح الأسئلة أو طلب التغييرات. تشير الدراسة إلى أن العائق الرئيسي أمام استخدام أدوات علم البيانات المؤتمتة ليس القدرة على كتابة الكود، بل القدرة على فهم وتوجيه العملية المؤتمتة. ومن خلال إعادة هيكلة مخرجات الكمبيوتر إلى خطوات قابلة للقراءة من قبل البشر وتوفير طريقة مباشرة للتدخل، يجسّر MUSE الفجوة بين القصد البشري والتنفيذ الآلي، مما يجعل تحليل البيانات القوي متاحاً لمجموعة أوسع بكثير من الناس.