Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space
تقترح هذه الورقة إطار عمل موحداً للبصمة الهندسية يحلل الطاقة الطيفية ومحاذاة الفضاء الجزئي لمصفوفات أوزان النماذج اللغوية الكبيرة لتتبع سلالة النماذج بقوة والتمييز بين النماذج المستقلة، ونفس السلسلة، والنماذج ذات القاعدة المشتركة دون الحاجة إلى الوصول إلى بيانات المدخلات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً حيث كلما صنعت روبوتاً، تترك خلفك شريطاً فريداً وغير مرئي من الحمض النووي داخل دماغه. في عالم الذكاء الاصطناٍعي سريع الحركة، تُسمى هذه "الروبوتات" نماذج لغوية كبيرة (LLMs)—وهي برامج حاسوبية فائقة الذكاء يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. لكن هنا تكمن الخدعة: هذه النماذج لا تُبنى دائماً من الصفر؛ فغالباً ما تأخذ إحدى الشركات نموذجاً جاهزاً وضخماً، وتقوم بتعديله، وتدريبه على بيانات جديدة، ثم تصدر نسخة "جديدة" منه. الأمر يشبه أخذ وصفة سرية لطاهٍ مشهور، وإضافة رشة ملح إليها، ثم تسميتها باسمك الخاص. هذا يخلق شجرة عائلة فوضوية حيث يصعب معرفة من ينتمي لمن، ومن نسخ من مَن، ومن أين جاء النموذج في الأصل. هذه هي مشكلة "الأصل" (provenance): معرفة المنشأ الحقيقي لشيء ما. لقد حاول العلماء حل هذه المشكلة من خلال مراقبة كيفية تصرف النماذج (مثل اختبار إجاباتها)، لكن هذا أمر صعب لأن الإجابات قد تتغير بناءً على كيفية طرح الأسئلة. لذا، يصبح السؤال الكبير هو: هل يمكننا النظر داخل دماغ النموذج (أوزانه) للعثور على بصمة دائمة وغير متغيرة تخبرنا بتاريخ عائلته، دون الحاجة إلى سؤاله سؤالاً واحداً؟
تقول هذه الورقة البحثية، التي تحمل عنوان "من صنع هذا النموذج؟"، إن الإجابة هي نعم، يمكننا ذلك. يقترح المؤلفون، وهم باحثون من جامعة ولاية ميشيغان، طريقة جديدة لتتبع سلالة نماذج الذكاء الاصطناعي من خلال النظر إلى هندسة أوزانها الداخلية. إنهم يعاملون دماغ النموذج كآلة موسيقية معقدة ويستمعون إلى "صوتين" مختلفين يصدران عنه: شدة النغمات (الطاقة الطيفية) واتجاه مسار الموجات الصوتية (محاذاة الفضاء الجزئي).
أولاً، نظروا إلى "الشدة" أو الطاقة الإجمالية لأوزان النموذج. ووجدوا أن هذا يعمل كشجرة عائلة خشنة الملامح. فإذا كان النموذجان من عائلتين مختلفتين تماماً (مثل روبوت صنعته الشركة (أ) مقابل شركة (ب))، فإن أنماط "شدتهما" تكون مختلفة تماماً. أما إذا كانا من نفس السلسلة (مثل نسخة بـ 3 مليارات معلمة ونسخة بـ 7 مليارات معلمة من نفس النموذج)، فإن أنماطهما تكون متشابهة جداً. وقد أظهر الباحثون أنه من خلال قياس هذا "الطاقة الطيفية"، استطاعوا بسهولة التمييز بين ما إذا كان النموذجان غريبين أم أقارب بعيدين. وهذا أمر بالغ الأهمية لأن الطرق السابقة غالباً ما كانت تخلط بين هذين النوعين، وتفشل في التمييز بين نموذج جديد كلياً وبين نسخة مكبرة من نموذج قديم.
ومع ذلك، يصطدم اختبار "الشدة" بحائط مسدود عندما يكون النماذج أقارب مقربين جداً. تخيل نموذجين بدآ من نفس القاعدة تماماً، لكنهما خضعا لمعسكرات تدريب مختلفة؛ أحدهما تعلم كيف يكون مدرساً للرياضيات، والآخر تعلم كيف يكون كاتباً مبدعاً. إن "شدتهما" متطابقة تقرياً، لذا فإن الاختبار الأول لا يستطيع التمييز بينهما. وهنا يحدث سحر الجزء الثاني من الورقة البحثية: "محاذاة الفضاء الجزئي". فبدلاً من مجرد الاستماع إلى مدى علو الموسيقى، نظر المؤلفون إلى اتجاه النغمات. لقد اكتشفوا أنه حتى عندما يكون الحجم الإجمالي متساوياً، فإن الاتجاهات المحددة التي تشير إليها موجات دماغ النموذج تتغير قليلاً اعتماداً على ما تعلمه النموذج. فإذا تم تدريب النموذج على مجموعة بيانات صغيرة، فإن بصمته الاتجاهية تكون مشابهة جداً للأصل. ولكن إذا تم تدريبه على مجموعة بيانات ضخمة ومتنوعة، فإن تلك الاتجاهات تنزاح بشكل ملحوظ.
اختبر الفريق طريقتهم على أكثر من 110 أزواج من النماذج مفتوحة الأوزان. ووجدوا أن طريقتهم الجديدة يمكنها القيام بما لم تستطع الطرق القديمة فعله: حيث استطاعت فصل "الغرباء" عن "الأقارب"، ثم التوسع للتمييز بين "الأقارب" الذين مروا بتجارب حياتية مختلفة (بيانات تدريب أو خوارزميات مختلفة). على سبيل المثال، أظهروا أن طريقتهم يمكنها اكتشاف أن نموذجاً تم تدريبه على 100% من مجموعة البيانات يمتلك بصمة هندسية مختلفة عن نموذج تم تدريبه على 10% فقط، رغم انطلاقهما من نفس القاعدة. كما وجدوا أن خوارزميات التدريب المختلفة (مثل DPO وPPO وRAFT) تترك ندوباً هندسية متميزة على أجزاء مختلفة من دماغ النموذج.
باخت-صار، تشير الورقة البحثية إلى أن نماذج الذكاء الاصطناعي تمتلك "سمات بيومترية" ذاتية مخبأة في فضاء أوزانها. ومن خلال الجمع بين فحص الطاقة العالمية (للفصل بين العائلات المختلفة) وفحص الهندسة الاتجاهية (للتمييز بين الأقارب المقربين)، يمكننا بناء خريطة موثوقة لمن صنع ماذا، وكيف تطورت. هذا لا يشبع الفضول فحسب؛ بل يوفر أداة لفحص سلسلة توريد الذكاء الاصطناعي، مما يضمن معرفة الأصول الحقيقية للنماذج التي نستخدمها، ويساعد في حكم تطورها مع زيادة تعقيدها. ويؤكد المؤلفون أن هذا يعمل حتى عندما لا يكون لدينا وصول إلى بيانات التدريب، بل فقط إلى أوزان النموذج النهائية، مما يجعلها أداة قوية للشفافية في عالم الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.