AlgoTrace: Algorithmic Primitives and Compositional Geometry of Reasoning in Language Models
تقدم الورقة البحثية AlgoTrace، وهو إطار عمل يحدد ويتلاعب بالبدائيات الخوارزمية القابلة لإعادة الاستخدام ضمن الفضاء الكامن للنماذج اللغوية الكبيرة، مما يثبت أن الاستدلال متعدد الخطوات يمكن توجيهه وتركيبه من خلال عمليات هندسية على هذه المتجهات لتعزيز التعميم عبر المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء الذكاء الاصطناعي الحديث، وهي قادرة على كتابة القصص، وحل المعادلات، وخوض غمار الألغاز المنطقية المعقدة. لسنوات طويلة، تساءل العلماء كيف تفكر هذه الأنظمة حقاً؛ هل تقوم ببساطة بحفظ الأنماط من بيانات التدريب الخاصة بها، أم أنها تقوم بعملية استنتاج حقيقية خطوة بخوة؟ وللإجابة على ذلك، بدأ الباحثون في النظر داخل هذه النماذج، ليس في الكلمات التي تنتجها، بل في الإشارات الرياضية غير المرئية التي تتدفق عبر طبقاتها الداخلية أثناء عملها. هذه الإشارات، التي تُسمى غالباً "التنشيطات الكامنة" (latent activations)، هي المادة الخام للفكر داخل الآلة. وكان التساؤل هو ما إذا كانت هذه الإشارات تشكل خريطة مهيكلة حيث تحدث أنواع معينة من التفكير في أماكن محددة، تماماً كما تتخصص أجزاء مختلفة من الدماغ البشري في مهام مختلفة. وإذا وجدت مثل هذه الخريطة، فهذا يعني أن الاستنتاج ليس ضباباً فوضوياً، بل هو رحلة عبر مشهد من الأدوات الذهنية المتميزة والقابلة لإعادة الاستخدام.
لقد رسم فريق من الباحثين الآن معالم هذا المشهد، كاشفين أن النماذج اللغوية الكبيرة تعتمد بالفعل على مجموعة من اللبنات الأساسية القابلة لإعادة الاستخدام لحل المشكلات. وهم يسمون هذه اللبنات "الأوليات الخوارزمية" (algorithmic primitives). فكر في "الأولية" كخطوة أساسية واحدة في عملية أكبر، مثل العثور على أقرب مدينة إلى موقعك الحالي عند التخطيط لرحلة، أو التحقق مما إذا كانت معادلة رياضية متوازنة. وقد طور الباحثون طريقة جديدة لتتبع هذه الخطوات أثناء حدوثها داخل النموذج. ومن خلال مراقبة كيفية تغير الإشارات الداخلية للنموذج أثناء حله لمشكلات صعبة، تمكنوا من تجميع لحظات التفكير المتشابهة معاً. ووجدوا أنه عندما يحل النموذج لغزاً معقداً، فإنه يتحرك عبر تسلسل من هذه الحالات الذهنية المتميزة، تماماً مثل مسافر ينتقل من بلدة إلى أخرى على الخريطة.
ولفهم ما كان يحدث، اختبر الفريق النماذج على أربعة أنواع مختلفة تماماً من التحديات: إيجاد أقصر طريق لـ "بائع متجول" يزور مدناً متعددة، وحل ألغاز منطقية تحتوي على عبارات صحيحة وخاطئة، ومعالجة مسائل مسابقات رياضية صعبة، والتنقل عبر متاهة افتراضية. وبينما كانت النماذج تعمل على هذه المهام، سجل الباحثون الإشارات الداخلية في كل خطوة. واستخدموا برنامجاً حاسوبياً لتجميع هذه الإشارات في مجموعات (clusters)، ليجدوا أن مجموعات معينة من الإشارات تظهر باستمرار عندما يقوم النموذج بأشياء محددة، مثل حساب مسافة أو التحقق من حل. ثم استخدموا نظاماً آلياً لقراءة النص الذي يكتبه النموذج في تلك اللحظات تحديداً، مما أكد أن الإشارات الداخلية تتطابق مع الأفعال الخارجية. فعلى سبيل المثال، ظهرت مجموعة معينة من الإشارات دائماً عندما كان النموذج يختار أقرب مدينة لزيارتها، بينما ظهرت مجموعة أخرى عندما كان يدقق في عمله.
كان الاكتشاف الأكثر أهمية هو أن هذه اللبنات الذهنية ليست مجرد علامات سلبية، بل يمكن التحكم فيها بنشاط. فقد استخرج الباحثون "متجهاً" (vector) محدداً، وهو في الأساس اتجاه في الفضاء الداخلي للنموذج، لكل من هذه الأوليات. ثم قاموا بحقن هذه المتجهات مرة أخرى في النموذج أثناء تفكيره. فعندما أضافوا متجه "البحث عن أقرب جار"، بدأ النموذج فوراً في استخدام تلك الاستراتيجية بشكل أكبر، حتى لو لم تكن هي النهج الأفضل للمشكلة المحددة. وعندما أضافوا متجه "توليد مسار جديد"، بدأ النموذج في استكشاف المزيد من الخيارات. وقد أثبت ذلك أن هذه الإشارات الداخلية هي السبب المباشر لسلوك النموذج. ومن خلال تشغيل أو إيقاف مفتاح ذهني محدد، استطاع الباحثون توجيه النموذج ليفكر بشكل مختلف، مما يشير إلى أن استنتاج النموذج يتكون من هذه الأجزاء المتميزة والقابلة للتلاعب.
كما أظهرت الدراسة أن هذه اللبنات يمكن دمجها. فتماماً كما يمكنك خلط الألوان الأساسية لإنشاء درجات جديدة، وجد الباحثون أن إضافة متجهين مختلفين من الأوليات يؤدي إلى إنشاء سلوك جديد ومدمج. فعلى سبيل المثال، يمكنهم أخذ متجه يساعد النموذج على إيجاد نهاية مسار وآخر يساعده على مقارنة القيم، وخلطهما معاً، ليصبح النموذج فجأة قادراً على مهمة أكثر تعقيداً تتطلب كلتا المهارتين. وهذا يشير إلى أن قدرة النموذج على الاستنتاج ليست مهارة واحدة متجانسة، بل هي هندسة مرنة حيث يمكن تجميع العمليات البسيطة في حلول معقدة.
علاوة على ذلك، قارن الباحثون بين نموذج قياسي وآخر تم تدريبه خصيصاً ليكون أفضل في الاستنتاج. ووجدوا أن النموذج المدرب يستخدم هذه اللبنات بشكل أكثر فعالية؛ إذ اعتمد بشكل أقل على التخمين بالقوة الغاشمة (brute-force guessing) وبشكل أكبر على الخطوات المهيكلة مثل التحقق والتخطيط. كما أظهر النموذج المدرب قدرة أكبر على نقل هذه المهارات من نوع من المشكلات إلى نوع آخر. فالأداة الذهنية التي تعلمها أثناء حل مسألة رياضية يمكن استخدامها بنجاح للمساعدة في حل لغز ملاحة. وهذا يشير إلى أن عملية التدريب لم تعلم النموذج المزيد من الحقائق فحسب، بل عززت أيضاً قدرته على تركيب وإعادة استخدام خطوات الاستنتاج الأساسية هذه عبر مجالات مختلفة.
تقدم هذه النتائج طريقة جديدة للنظر إلى الذكاء الاصطناعي. فبدلاً من النظر إلى هذه النماذج كصناديق سوداء تنتج إجابات بطريقة سحرية، يمكننا الآن رؤيتها كأنظمة تسير عبر مساحة مهيكلة من الخطوات الخوارزمية. لقد أثبت الباحثون أنه من خلال فهم هندسة هذه الخطوات، لا يمكننا فقط تفسير سبب ارتكاب النموذج لخطأ ما، بل يمكننا أيضاً إصلاحه عن طريق تعديل الإشارات الداخلية. ويشير هذا العمل إلى أن الطريق نحو ذكاء اصطناعي أكثر موثوقية وقدرة قد يكمن في تعليم هذه الأنظمة كيفية تركيب وتعميم هذه اللبنات الأساسية بشكل أفضل، مما يسمح لها بحل المشكلات التي لم ترها من قبل عبر دمج الأدوات التي تمتلكها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.