💬 NLP

Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

تقترح هذه الورقة طريقة قوية لتحديد بصمة النماذج اللغوية الكبيرة بناءً على توزيعات الانحراف المعياري المستقرة لمصفوفات معاملات الانتباه، مما يثبت أن هذه التوقيعات الجوهرية يمكنها تحديد سلالة النموذج وكشف انتهاك حقوق الطبع والنشر حتى بعد التدريب المستمر المكثف أو عملية إعادة التدوء (upcycling).

المؤلفون الأصليون: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

"اختبار الحمض النووي" للذكاء الاصطناعي: كيف تكتشف سارق النماذج

تخيل أنك طاهٍ عالمي المستوى. لقد قضيت سنوات في إتقان صلصة سرية ومعقدة؛ إنها تحفتك الفنية، وقد كلفتك ثروة من التوابل النادرة والجهد العضلي. وفي أحد الأيام، يفتح مطعم منافس أبوابه في الجهة المقابلة من الشارع. يدعون أنهم ابتكروا "صلصتهم الخاصة" من الصفر، ولكن عندما تتذوقها، تجدها مطابقة تمامًا لصلصتك — مع إضافة القليل من الفلفل الحار فقط.

كيف تثبت أنهم لم يخترعوها؟ لا يمكنك مجرد النظر إلى الطعم، لأنهم قد يكونون أضافوا الكثير من الفلفل لإخفاء الحقيقة. أنت بحاجة إلى شيء أعمق. أنت بحاجة إلى فحص البنية المجهرية للجزيئات داخل الصلصة.

هذه الورقة البحثية هي في الأساس "اختبار حمض نووي" للذكاء الاصطناعي.

المشكلة: "سرقة الهوية" في عالم الذكاء الاصطناعي

في الوقت الحالي، بناء نماذج ذكاء اصطناعي ضخمة (مثل ChatGPT أو Qwen) مكلف للغاية — فهو يكلف ملايين الدولارات من الكهرباء والحواسيب الفائقة. ولأن الأمر مكلف للغاية، تغري بعض الشركات بـ "سرقة" نموذج بناه شخص آخر بالفعل، ثم تعديله قليلاً، والادعاء لاحقًا: "انظروا! لقد بنينا هذا بأنفسنا من الصفر!"

في عالم الذكاء الاصطناعي، يُسمى هذا "إعادة التدوير" (Upcycling) أو "التدريب المستمر" (Continued Training). الأمر يشبه أخذ كعكة جاهزة صنعها شخص آخر، وإضافة بعض الكريمة فوقها، ثم إخبار الجميع أنك خبزت الكعكة بالكامل من الدقيق والبيض.

الطريقة القديمة: "العلامة المائية" (التوقيع المزيف)

سابقًا، حاول الناس حماية الذكاء الاصطناعي عبر "وضع علامة مائية" — أي الطلب من الذكاء الاصطناعي ترك "توقيع" محدد في النص الذي يكتبه.

لكن هذه الطريقة سهلة الهزيمة. إنها تشبه توقيع شخص على لوحة فنية؛ إذا أراد اللص سرقة اللوحة، يمكنه ببساًا طلاء التوقيع فوقها. إذا قمت بـ "التدريب المستمر" للذكاء الاصطناعي (وهو ما يعادل طلاء التوقيع)، فإن العلامة المائية تختفي، ويفلت السارق بفعلته.

الاكتشاف الجديد: "البصمة الجوهرية"

وجد الباحثون في هذه الورقة شيئًا أكثر ذكاءً بكثير. لقد أدركوا أنه أثناء تدريب الذكاء الاصطناعي، تطور "الأوزان" الرياضية (الإعدادات الداخلية) داخل دماغه نمطًا محددًا للغاية.

لقد ركزوا على "آلية الانتباه" (Attention Mechanism) — وهو الجزء من الذكاء الاصطناعي الذي يقرر أي الكلمات هي الأكثر أهمية. واكتشفوا أنه إذا نظرت إلى "الانحراف المعياري" (مصطلح رياضي لكيفية تباين الأرقام) لهذه الإعدادات عبر طبقات مختلفة من الذكاء الاصطناعي، فإنه يخلق نمطًا موجيًا فريدًا.

فكر في الأمر كبصمة الإصبع أو كأنه سلسلة جبلية. حتى لو غيرت لون الجبال (ضبط النموذج بدقة) أو حولت جبلًا واحدًا إلى مجموعة من التلال الصغيرة (تغيير البنية)، فإن "الشكل" الأساسي للمشهد يظل كما هو. هذا الشكل "جوهري" — إنه محفور في عظام النموذج ذاتها.

"الدليل القاطع": حالة هواوي ضد Qwen

لإثبات نجاح طريقتهم، أجرى الباحثون تحقيقًا في العالم الحقيقي.

لقد فحصوا نموذجًا يسمى Pangu Pro MoE (أطلقته شركة هواوي) وقارنوه بنموذج يسمى Qwen-2.5 14B (أطلقته شركة علي بابا/Qwen). ادعت هواوي أنها دربت Pangu على كمية هائلة من البيانات (13 تريليون رمز/Token).

ومع ذلك، عندما أجرى الباحثون "اختبار الحمض النووي" الخاص بهم، كانت النتائج صادمة:

"البصمات" الخاصة بـ Pangu و Qwen كانت متطابقة تقريبًا.
الارتباط الرياضي كان مرتفعًا بشكل مذهل (أكثر من 92%).

الأمر يشبه اكتشاف أن علامة تجارية "جديدة" من المياه المعبأة تمتلك في الواقع نفس بصمة المعادن الموجودة في علامة تجارية مشهورة، رغم ادعاء الشركة أنها حفرت بئرها الخاصة. يشير الباحثون إلى أن Pangu لم يُبنَ من الصفر، بل من المرجح أنه تم "إعادة تدويره" من Qwen.

لماذا يهم هذا؟

هذه الورقة هي بمثابة تحذير لصناعة الذكاء الاصطناعي. إنها تقول للشركات: "لا يمكنك إخفاء آثارك بمجرد التدريب لفترة أطول قليلاً."

مع تحول الذكاء الاصطناعي إلى العمود الفقري لاقتصادنا، نحتاج إلى طرق لضمان حصول المبدعين على التقدير لعملهم، وضمان أن تكون الشركات صادقة بشأن كيفية بناء تقنياتها. توفر طريقة "البصمة" هذه وسيلة لمحاسبة العمالقة، مما يضمن مكافأة الابتكار وكشف الانتحال.

ملخص تقني: البصمة الجوهرية للنماذج اللغوية الكبيرة (LLMs)

العنوان: البصمة الجوهرية للنماذج اللغوية الكبيرة: التدريب المستمر ليس كل ما تحتاجه لسرقة نموذج!
المؤلفون: دو-هيون يون، مينسو تشون، توماس ألين، هانس مولر، مين وانج، وراجيش شارما (مجتمع Honest AGI)

1. بيان المشكلة

مع ازدياد التكلفة العالية لتدريب النماذج اللغوية الكبيرة (LLMs)، نمت مخاطر سرقة الملكية الفكرية (IP)، وإعادة الاستخدام غير المصرح به للنماذج، و"انتحال النماذج". إن طرق الحماية التقليدية، مثل العلامات المائية (Watermarking)، غالبًا ما تكون "هشة"؛ حيث يتم تضمين إشارات في مخرجات النموذج يمكن مسحها أو طمسها بسهولة من خلال التدريب المستمر (الضبط الدقيق)، أو التقطير (Distillation)، أو هجمات إعادة الصياغة. هناك حاجة ماسة إلى طريقة بصمة قوية ترتبط بالبنية الداخلية للنموذج وتظل قابلة للكشف حتى بعد التعديلات الكبيرة أو التدريب الإضافي.

2. المنهجية

يقترح المؤلفون نهجًا جديدًا للبصمة السلبية يعتمد على الخصائص الإحصائية الجوهرية لمعلمات (Parameters) النموذج بدلاً من الإشارات المفروضة خارجيًا.

استخراج الميزات: تركز الطريقة على آلية الانتباه (Attention Mechanism) (مصفوفات الاستعلام $Q$ ، والمفتاح $K$ ، والقيمة $V$ ، ومصفوفة الإخراج $O$ ). لكل طبقة $l$ في محول (Transformer)، يحسب المؤلفون الانحراف المعياري ( $\sigma$ ) للمعلمات داخل كل مصفوفة.
التطبيع (Normalization): لضمان عمل الطريقة عبر نماذج ذات أحجام (أعداد معلمات) وبنى مختلفة، يتم تطبيع تسلسلات الانحرافات المعيارية الناتجة لتكون ذات متوسط صفري وتباين وحدة واحدة. هذا يحافظ على النمط النسبي للتوزيع عبر الطبقات مع إزالة الاختلافات المعتمدة على الحجم.
كشف النسب (الارتباط):
- لمقارنة نموذجين، يحسب المؤلفون معامل ارتباط بيرسون ( $\rho$ ) بين تسلسلات الانحراف المعياري المطبن.
- التعامل مع اختلاف العمق: إذا كانت النماذج تمتلك عددًا مختلفًا من الطبقات، يستخدم المؤلفون الاستكمال الخطي (Linear Interpolation) لمحاذاة التسلسل الأقصر مع طول التسلسل الأطول، مما يسمح بمقارنة "شكل" توزيع المعلمات بشكل ذي معنى.
النطاق: تُطبق الطريقة على مصفوفات الانتباه (Attention Matrices) ومعلمات الشبكة المغذية للأمام (FFN) لتوف الله متعدد الجوانب للتحقق.

3. المساهمات الرئيسية

اكتشاف التواقيع الجوهرية: يحدد البحث أن توزيع الانحراف المعياري للمعلمات على مستوى الطبقات يشكل "بصمة" فريدة ومستقرة بشكل ملحوظ.
المتانة تجاه التعديل: على عكس العلامات المائية، تصمد هذه البصمات أمام التدريب المسبق المستمر، والضبط الدقيق (Fine-tuning)، وحتى إعادة التدوء المعماري (Architectural Upcycling) (تحويل نموذج كثيف إلى نموذج خليط من الخبراء/MoE).
إطار تحقق جديد: يقدم المؤلفون طريقة بسيطة ومنخفضة التكلفة حاسوبيًا (تتطلب فقط torch.std()) لإثبات نسب النموذج وكشف الاشتقاقات غير المصرح بها.

4. النتائج التجريبية

التمييز بين العائلات: نجحت الطريقة في التمييز بين عائلات النماذج المختلفة (مثل Llama مقابل Qwen مقابل OLMoE)، حيث تظهر كل عائلة أنماطًا توزيعية متميزة.
التحقق من النسب المعروفة: حددت عملية البصمة بدقة العلاقات المعروفة، مثل كون نموذج NVIDIA Llama-3.1-Nemotron مشتقًا من نموذج Meta Llama-3.1، والنسخ التي طورها المجتمع من Qwen2.5-7B.
دراسة حالة Pangu-Qwen: كانت النتيجة الأكثر أهمية هي اكتشاف انتهاك محتمل لحقوق الملكية. وجد المؤلفون أن نموذج Huawei Pangu Pro MoE يظهر ارتباطًا استثنائيًا مع Qwen-2.5 14B (متوسط الارتباط الإجمالي بلغ 0.927).
- تستمر هذه التشابه عبر جميع مصفوفات الانتباه ( $Q, K, V, O$ ) وإسقاطات الـ FFN.
- تشير النتائج إلى أن Pangu Pro MoE قد تم إنشاؤه على الأرجح عبر عملية إعادة تدوير (Upcycling) لنموذج Qwen بدلاً من التدريب من الصفر، رغم التقارير التقنية التي تدعي التدريب المستقل المكثف على 13 تريليون رمز (Token).

5. الأهمية والآثار المترتبة

حماية الملكية الفكرية: يوفر هذا البحث أداة تقنية للشركات للدفاع عن استثماراتها بملايين الدولارات ضد سرقة النماذج و"الانتحال" المتخفي في شكل تطوير مستقل.
النزاهة العلمية: من خلال كشف التباين بين الادعاءات التقنية (التدريب من الصفر) والأصول الفعلية للنماذج (إعادة التدوير)، يسلط البحث الضوء على الحاجة إلى مزيد من الشفافية والمساءلة في أبحاث الذكاء الاصطناٍعي وتقارير الشركات.
الردع الصناعي: إن القدرة على كشف النماذج "المسروقة" حتى بعد التدريب المستمر الضخم تعمل كعامل ردع ضد الاستخدام غير المصرح به للنماذج التأسيسية في مشهد الذكاء الاصطناعي التنافسي.