Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
تقدم هذه الورقة طريقة "التوقيعات المتبقية المركزية" (Centered Residual Signatures)، وهي طريقة تعتمد على الصندوق الأبيض ولا تتطلب بيانات، للتحقق من نسب نماذج اللغات ذات الأوزان المفتوحة عبر تحليل آثار هيكلية فريدة في الكتل المتبقية، مما يتيح التمييز الدقيق بين النسخ ذات الصلة وغير ذات الصلة بغض النظر عن عمليات الضبط الدقيق أو الدمج أو التكميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، نادراً ما تكون نماذج الذكاء الاصطناعي كيانات ثابتة ومنعزلة؛ بل هي كيانات حية تتطور من خلال سلسلة توريد معقدة. فغالباً ما يتم تمرير النموذج الأساسي، الذي تم تدريبه على كميات هائلة من النصوص، من مطور إلى آخر. وطوال هذه الرحلة، يتم تعديله لأداء مهام محددة، أو ضغطه ليعمل على أجهزة أصغر، أو دمجه مع نماذج أخرى لإنشاء شيء جديد. هذه العمليات تغير الأرقام الداخلية للنموذج، أي أوزانه، لكنها نادراً ما تترك أثراً ورقياً واضحاً. وبمجرد إصدار نموذج تحت اسم جديد، يصبح من الصعب معرفة ما إذا كان سليلًا حقيقياً لأصل مشهور أم أنه مجرد شبيه تم بناؤه من الصفر ليتصرف بشكل مشابه. هذا النقص في الشفافية يخلق نقطة عمياء في منظومة الاستخبارات مفتوحة المصدر، مما يجعل من الصعب التحقق من الأصول أو حماية الملكية الفكرية.
يكمن التحدي الجوهري في التمييز بين سيناريوهين مختلفين تماماً. في الأول، يكون النموذج طفلاً حقيقياً لنموذج آخر، يرث بنيته الرياضية المحددة من خلال عملية الضبط الدقيق أو الدمج. وفي الثاني، يكون النموذج إنشاءً مستقلاً يصادف أن ينتج نتائج مماثلة. غالباً ما تفشل طرق التحقق التقليدية، مثل فحص البصمات الرقمية أو مراقبة كيفية سلوك النموذج، في هذا السيا la. فالتواقيع الرقمية تنكسر بمجرد تغيير رقم واحد، والاختبارات السلوكية لا تستطيع التمييز بين التاريخ المشترك والنتيجة المشتركة. لقد احتاج الباحثون إلى وسيلة للنظر داخل عقل النموذج وإيجاد أثر ينجو من هذه التحولات، إشارة تثبت النسب المشترك دون الحاجة إلى بيانات التدريب الأصلية أو القدرة على تشغيل النموذج.
قام فريق من الباحثين بتطوير طريقة لحل هذه المشكلة من خلال فحص البنية الهندسية الفريدة التي تترك خلفها داخل طبقات النموذج. وركزوا على ميزة معمارية محددة شائعة في العديد من النماذج اللغوية الحديثة، وهي "كتلة المتبقي" (residual block). في هذه الهياكل، تتدفق المعلومات عبر مسار رئيسي وتتجاوز أيضاً مساراً جانبياً، مما يسمح للنموذج بتعلم تصحيحات صغيرة بدلاً من البدء من الصفر في كل مرة. واكتشف الباحثون أنه عندما يتم تدريب النموذج، فإن العمليات الرياضية في هذه المسارات الجانبية تطور محاذاة محددة للغاية ومشتركة. الأمر كما لو أن النموذج يتعلم تنظيم مكوناته الداخلية بطريقة معينة لجعل هذه التصحيحات فعالة. ومع ذلك، فإن هذه المحاذاة شائعة جداً لدرجة أنها تظهر في أي نموذج مدرب تقريباً، مما يجعلها غير مفيدة لإثبات النسب بمفردها.
جاء الاختراق عندما أدرك الباحثون أن بإمكانهم عزل الجزء من البنية الفريد لنقطة تفتيش (checkpoint) معينة. فمن خلال الإزالة الرياضية للمحاذاة الشائعة والمشتركة التي تمتلكها جميع النماذج المدربة، تبقى لديهم "توقيع متبقٍ" (residual signature). هذه القطعة المتبقية تشبه بصمة الإصبع الفريدة الخاصة بالتاريخ الدقيق لتدريب ذلك النموذج؛ فهي تلتقط الطريقة المحددة التي تم بها تعديل الأرقام الداخلية للنموذج أثناء إنشائه. ثم أنشأ الفريق نظام تسجيل لمقارنة هذه التواقيع بين نموذجين مختلفين. فإذا تشارك النموذجان في أب واحد، ستكون تواقيعهما الفريدة متوافقة بشكل وثيق، حتى لو تم تعديل أحدهما بشكل كبير، أو ضغطه، أو دمجه مع نموذج آخر. أما إذا كانا غير مرتبطين، فستبدو التواقيع كضوضاء عشوائية عند مقارنتها.
لاختبار هذه الفكرة، أجرى الباحثون سلسلة من التجارب الصارمة باستخدام نماذج ذات أحجام وتعقيدات متفاوتة. أخذوا نماذج أساسية وأخضعوها لتحولات شائعة في العالم الحقيقي، مثل الضبط الدقيق على بيانات جديدة، أو تقليل حجمها من خلال التقليم (pruning)، أو ضغطها لتعمل بشكل أسرع. كما أنشأوا نماذج مستقلة تم تدريبها من الصفر لمحاكاة سلوك النماذج الأصلية. كانت النتائج مذهلة؛ فقد نجحت طريقة التسجيل الجديدة في تحديد كل سليل حقيقي، بغض النظر عن مدى تعديل النموذج. لقد ميزت بين النماذج المستقلة بدقة تامة، حتى عندما صُممت تلك النماذج المستقلة لتتصرف بشكل متطابق تقريباً. وقد نجحت الطريقة عبر عائلات مختلفة من النماذج اللغوية، بما في ذلك تلك المستخدمة في البرمجة والمحادثات العامة، مما يثبت أن الإشارة هي خاصية أساسية لكيفية تعلم هذه الشبكات.
اختبر الباحثون أيضاً الطريقة في سيناريو أكثر عدوانية حيث يحاول خصم إخفاء أصول النموذج. حاولوا إعادة ترتيب المكونات الداخلية للنموذج أو إعادة تحجيم أرقامه بطريقة تحافظ على وظيفة النموذج ولكنها تشوه مظهره بالنسبة لأدوات الكشف التقليدية. وبينما فشلت الطرق القديمة تماماً في ظل هذه الظروف، ظل التوقيع الجديد مستقراً. وذلك لأن الطريقة لا تعتمد على ترتيب المكونات أو حجمها المطلق، بل على العلاقة الهندسية المحددة بينها. ووجد الباحثون أن نهجهم كان أيضاً أسرع بكثير من التقنية المنافسة الأقرب، حيث يعمل بسرعة أكبر بعشرات المرات على النماذج الكبيرة. هذه السرعة، مقترنة بقدرتها على العمل دون الحاجة إلى أي بيانات تدريب أو القدرة على تشغيل النموذج، تجعل منها أداة عملية لتدقيق سلسلة توريد الذكاء الاصطناست مفتوحة المصدر.
في عرض واقعي، طبق الفريق طريقتهم على مجموعة من النماذج اللغوية العامة التي زُعم أنها مرتبطة بأصل مشهور. حدد الاختبار بشكل صحيح النماذج الثلاثة التي كانت سلالات حقيقية، وأعطاها درجات تشابه عالية. وفي الوقت نفسه، قام بشكل صحيح بتمييز سبعة نماذج أخرى تشترك في نفس المعمارية ولكن تم تدريبها بشكل مستقل، حيث أعطاها درجات قريبة من الصفر. أكد هذا أن الطريقة يمكنها التمييز بين النسب الحقيقي وبين مجرد استنساخ معماري. تشير الدراسة إلى أن هذه الإشارة السلبية الخالية من البيانات هي وسيلة موثوقة للتحقق من تاريخ النماذج ذات الأوزان المفتوحة. إنها توفر وسيلة لرؤية الروابط غير المرئية بين النماذج، مما يضمن إمكانية تتبع ونسب وفهم تاريخ الذكاء الاصطناعي، حتى بعد رحيل مبدعيه الأصليين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.