Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models
تجسّر هذه الورقة الفجوة بين أداء التعلم داخل السياق للنماذج اللغوية الكبيرة مسبقة التدريب على نماذج ماركوف الخفية وآلياتها الداخلية من خلال التضييق التجريبي للمرشحات الخوارزمية، والتحقق النظري من تنفيذها عبر بنية المحولات (Transformer)، وتقديم مسبار التنشيطات الرئيسية لتحديد والتلاعب سببيًا بالتمثيلات الخطية منخفضة الأبعاد التي تقود هذه التنبؤات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من البحث عن بصمات الأصابع، أنت تبحث عن "الأفكار" غير المرئية داخل عقل حاسوبي عملاق. هذا المجال من العلوم يسمى التفسير الآلي (mechanistic interpretability)، وهو يطرح سؤالاً بسيطاً ولكنه صعب: كيف يفكر الآلة حقاً؟ لفهم اللغز الموجود في هذه الورقة البحثية، نحتاج أولاً إلى معرفة ما يحاول الجهاز حله. إنه يلعب لعبة تسمى نماذج ماركوف المخفية (HMMs). فكر في نموذج ماركوف المخفي كأنه توقعات للطقس حيث لا يمكنك رؤية السماء؛ أنت ترى الأرض فقط: هل هي مبللة أم جافة؟ هل العشب أخضر أم بني؟ الجزء "المخفي" هو الطقس الفعلي (مشمس، ممطر، غائم) الذي لا يمكنك رؤيته، ولكنه هو الذي يجعل الأرض تبدو بهذا الشكل. مهمة الحاسوب هي النظر إلى تاريخ طويل من العشب المبلل والرصيف الجاف وتخمين كيف سيكون الطقس في المرة القادمة.
لفترة من الوقت، عرف العلماء أن النماذج اللغوية الكبيرة (LLMs) الضخمة — وهي روبوتات الدردشة الذكية للغاية التي نستخدمها يومياً — بارعة بشكل مذهل في لعبة التخمين هذه. ومع زيادة طول السياق، اقتربت توقعاتها من الأداء الأمثل النظري (الـ "Oracle")، بل وتفوقت أحياناً على خوارزميات الاستدلال الكلاسيكية المطبقة على نفس البيانات. لكن لم يكن أحد يعرف كيف كانت تفعل ذلك. هل تعلمت الآلة سراً قواعد الاحتمالات؟ هل كانت تحفظ الأنماط؟ أم أنها كانت تستخدم خدعة جديدة وغريبة تماماً؟ كان الأمر يشبه مشاهدة ساحر يخرج أرنباً من قبعة، دون أن تدرك ما إذا كان هناك مقص de مخفي، أو أرنب ثانٍ، أو تعويذة سحرية. هذه الورقة البحثية هي المرة الأولى التي ينجح فيها الباحثون في استراق النظر داخل قبعة الساحر لرؤية الخدعة التي يستخدمها الذكاء الاصطناعي بالضبط.
قام الباحثون بإعداد تجربة ضخمة لمعرفة استراتيجية السرية للذكاء الاصطناعي. أولاً، اختبروا الذكاء الاصطناعي ضد قائمة من "المشتبه بهم" المعروفين — وهي خوارزميات رياضية مختلفة يستخدمها البشر لحل لعبة تخمين الطقس هذه. وجدوا أنه لا توجد خوارزمية بشرية واحدة يمكنها تفسير سلوك الذكاء الاصطناعي في كل موقف. فأحياناً يتصرف الذكاء الاصطناعي كمطابق بسيط للأنماط، وأحياناً أخرى يتصرف كمتابع معقد للاحتمالات. وقد قلص هذا من قائمة المشتبه بهم إلى ثلاثة أنواع رئيسية من الاستراتيجيات.
بعد ذلك، طرح الفريق سؤالاً نظرياً: هل يمكن لنموذج "ترانسفورمر" (Transformer) (وهو نوع بنية الذكاء الاصطناعي التي تستخدمها هذه النماذج) أن يؤدي هذه الاستراتيجيات الثلاث فعلياً؟ لقد أثبتوا رياضياً أن الإجابة هي نعم، يمكنه ذلك. حتى أنهم بنوا نسخة مصغرة وبسيطة من الذكاء الاصطناعي ودربوها على نمط طقس واحد محدد. وعندما نظروا إلى عقل هذا الذكاء الاصطناعي الصغير، رأوا أنه تعلم بشكل طبيعي استخدام استراتيجية "النافذة المحدودة" — أي أنه كان ينظر إلى آخر بضعة أدلة (مثل آخر 6 أو 8 ملاحظات) ليضع تخمينه، بدلاً من محاولة تذكر التاريخ الكامل للكون.
لكن السحر الحقيقي حدث عندما نظروا إلى نماذج الذكاء الاصطناعي الضخمة والمدربة مسبقاً (تلك التي تعرف بالفعل كيف تتحدث إلينا). لقد اخترعوا أداة جديدة تسمى مسبار التنشيط الرئيسي (Principal Activations Probe - PAP). تخيل عقل الذكاء الاصطناعي كطريق سريع ضخم به 28 حارة مختلفة (طبقات). الـ PAP هو مثل مستشعر يمكنه إيقاف حركة المرور عند أي حارة، وفحص المعلومات التي تتدفق عبرها، وحتى استبدال تلك المعلومات بسيناريو مختلف ليرى ما إذا كان ذلك سيغير رأي الذكاء الاصطناعي.
ما وجدوه كان رائعاً ومثيراً للدهشة بعض الشيء. فالذكاء الاصطناعي لا يستخدم استراتيجية واحدة طوال الوقت؛ بل يكيف تمثيله الداخلي بناءً على مدى صعوبة اللغز.
- الوضع السهل: عندما تكون أدلة الطقس واضحة جداً والتغيرات في الأرض متوقعة (إنتروبيا منخفضة)، يتوافق سلوك الذكاء الاصطناعي مع إحصائيات البيجرام (Bigram) البسيطة. فهو ينظر فعلياً إلى آخر شيء رآه لتخمين التالي.
- الوضع الصعب: عندما تكون الأدلة مشوشة ومربكة (إنتروبيا عالية)، يعتمد الذكاء الاصطناعي على استراتيجية أكثر تعقيداً تسمى الـ n-gram الناعم (Soft n-gram). يبدأ في تتبع "اعتقاد" حول الحالة المخفية، ويدمج المعلومات عبر نافذة قصيرة من التاريخ الحديث. الأمر يشبه إدراك أن الأرض مبللة، ولكن مع تذكر أيضاً أنها كانت مشمسة بالأمس، لذا يخمن "جو غائم مع احتمال سقوط أمطار".
الأمر الجوهري هو أن الباحثين أثبتوا أن الذكاء الاصطناعي لا يقوم فقط بتخزين هذه الاعتقادات؛ بل هو يستخدمها فعلياً لاتخاذ القرارات. فعلوا ذلك عن طريق "ترقيع" (patching) عقل الذكاء الاصطناعي: أخذوا "الاعتقاد" من لغز صعب وقاموا بلصقه في عقل الذكاء الاصطناعي أثناء حله للغز سهل. تغير توقع الذكاء الاصطناعي فوراً ليتوافق مع إجابة اللغز الصعب. أظهر هذا أن "الاعتقاد" ليس مجرد ملاحظة جانبية؛ بل هو المحرك الذي يقود التوقع. ومع ذلك، وجدوا أيضاً تمييزاً رئيسياً: في "الوضع الصعب"، تكون استراتيجية البيجرام البسيطة موجودة في الطبقات المبكرة ولكن يتم تجاوزها فعلياً بواسطة الحوسبة اللاحقة للنموذج. يتجاهل الذكاء الاصطناعي النمط البسيط لصالح تتبع الاعتقاد الأكثر ثراءً فقط عندما تتطلب حالة عدم اليقين الحقيقية ذلك.
ومع ذلك، وجدوا أيضاً تحولاً مفاجئاً. في الطبقات الأولى من عقل الذكاء الاصطناعي، يكون "الاعتقاد" موجوداً وسهل القراءة، لكن الذكاء الاصطناعي يتجاهله! الأمر يشبه امتلاك خريطة على لوحة القيادة ولكنك تقود من خلال النظر من النافذة. يبدأ الذكاء الاصطناعي في استخدام تلك الخريطة فقط في الطبقات اللاحقة من عقله. وهذا يعني أن مجرد قدرتك على إيجاد فكرة داخل عقل الحاسوب لا يعني بالضرورة أن الحاسوب يستخدم تلك الفكرة فعلياً في التفكير.
في النهاية، تشير الورقة البحثية إلى أن هذه النماذج الضخمة ليست مجرد عمليات محاكاة رياضية مثالية للعالم. بدلاً من ذلك، هي تتعلم كيف تكون مقربات (approximators) فعالة للغاية. إنها تتعلم النظر إلى نافذة قصيرة من التاريخ الحديث وتحديث "اعتقاد" حول ما يحدث، تماماً كما قد يفعل الإنسان. هم لا يحتاجون لأن يكونوا علماء إحصاء مثاليين ليكونوا بارعين للغاية في التنبؤ بالكلمة التالية أو بحدث الطقس التالي؛ بل يحتاجون فقط لأن يكونوا جيدين في تتبع الماضي القريب. هذا الاكتشاف يساعدنا على فهم أن "السحر" في هذه النماذج هو في الواقع عملية منظمة ومفهومة لتتبع الأنماط، مما يقربنا خطوة أخرى من الفهم الحقيقي لكيفية عمل هذه العقول الرقمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.