Every Language Model Has a Forgery-Resistant Signature

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كل نموذج لغوي يمتلك توقيعاً مقاوماً للتزوير" (ICLR 2026).

1. بيان المشكلة

أدى انتشار النماذج اللغوية الكبيرة (LLMs) ذات الأوزرحلقة المغلقة (closed-weight) والتي تتوفر عبر واجهات برمجة التطبيقات (APIs) العامة إلى خلق حاجة ماسة لـ التحقيق الجنائي في النماذج اللغوية: وهي طرق لتحديد مصدر المخرجات المولدة أو استخراج تفاصيل مخفية عن النموذج دون الوصول إلى أوزانه.

تواجه الطرق الحالية قيوداً كبيرة:

• العلامات المائية/البصمات (Watermarks/Fingerprints): غالباً ما تتطلب تنفيذاً استباقياً من قِبل المزود (ليست طبيعية الحدوث) أو تحتاج إلى تسلسلات نصية طويلة لتكون فعالة (ليست مدمجة).
• التوقيعات الخطية (Linear Signatures): حددت الأعمال السابقة أن مخرجات النماذج تقع ضمن فضاء فرعي خطي. ومع ذلك، فإن هذه التوقيعات سهلة التزوير؛ حيث يمكن للمهاجم استخراج القيود الخطية عبر استعلامات الـ API وتوليد مخرجات جديدة تستوفي تلك القيود.
• براهين المعرفة الصفرية (Zero-Knowledge Proofs): رغم أمنها، إلا أنها تتطلب جهداً حوسبياً كبيراً وتغييرات في مسار الاستدلال (inference pipeline).

يقترح المؤلفون طريقة جنائية جديدة تعتمد على قيد هندسي متأصل في معظم النماذج اللغوية الحديثة: "توقيع القطع الناقص" (Ellipse Signature). ويجادلون بأن هذا التوقيع هو ظاهرة طبيعية الحدوث، ومكتفية ذاتياً، ومدمجة، والأهم من ذلك، أنه مقاوم للتزوير.

2. المنهجية

2.1 القيد الهندسي (القطع الناقص)

الرؤية الجوهرية هي أن الطبقات النهائية في بنيات "ترانسفورمر" (Transformer) القياسية تفرض هيكلاً هندسياً محدداً على احتمالات اللوغاريتم (log-probabilities/logprobs).

• البنية: تستخدم معظم النماذج اللغوية طبقة تطبيع (RMS Norm أو Layer Norm) تليها عملية إسقاط خطي (مصفوفة Unembedding $W$) إلى فضاء المفردات.
• التطبيع: يقوم التطبيع برسم التمثيلات المخفية (hidden representations) على سطح كرة عالية الأبعاد (أو مستوٍ فائق يقطع كرة في حالة Layer Norm).
• الإسقاط الخطي: تقوم الطبقة الخطية اللاحقة ($W$) والتحويلات الأفينية (affine transformations) بمط وتدوير هذه الكرة.
• النتيجة: تقع متجهات الـ logit الناتجة على سطح قطع ناقص فائق الأبعاد (hyperellipsoid) ببعد $d$، مغمور في فضاء مفردات ببعد $v$ ($v \gg d$).
• الاحتمالات اللوغاريتمية (Logprobs): بما أن دالة Softmax ثابتة تجاه الإضافة القياسية (scalar addition)، فإن الاحتمالات اللوغاريتمية التي تعيدها واجهات الـ API تقع أيضاً على نفس المنحنى البيضاوي (بعد عملية التمركز).

2.2 التحقق (فحص التوقيع)

للتحقق مما إذا كان المخرج قد جاء من نموذج معين:

1. استعادة المعلمات: باستخدام مجموعة معروفة من مخرجات النموذج المستهدف، يتم ملاءمة قطع ناقص (ellipse) للبيانات لاستعادة معلمات التحويل الأفيني (الدوران، القياس، والانحياز).
2. فحص المسافة: بالنسبة لمتجه logprob جديد وغير معروف، يتم تطبيق التحويل الأفيني العكسي. إذا كان المتجه قد نشأ من النموذج، فيجب أن يقع المتجه المحول على وحدة الكرة (Magnitude $\approx 1$).
3. القرار: إذا كانت المسافة إلى وحدة الكرة ضئيلة، يُنسب المخرج إلى ذلك النموذج. وإذا وقع على قطع ناقص مختلف (أو لا يقع على أي منها)، يُنسب إلى مصدر مختلف.

2.3 تحليل مقاومة التزوير

تجادل الورقة بأن تزوير توقيع القطع الناقص أمر غير ممكن حوسبياً للنماذج ذات الحجم الإنتاجي بسبب عائقين رئيسيين:

1. تعقيد العينات (تكلفة الاستعلام): لتعريف قطع ناقص ذي $d$ من الأبعاد بشكل فريد، نحتاج إلى $O(d^2)$ من العينات. بالنسبة لنموذج بـ $d=4096$ (مثل Llama 3 8B)، يتطلب هذا حوالي 8.4 مليون استعلام فريد لـ API.
   • تتوسع التكلفة بشكل فائق التكعيب ($O(d^3 \log d)$) عند حساب الحاجة لإرسال بادئات (prefixes) متعددة الرموز لتوليد عينات فريدة.
   • تقدير التكلفة: استخراج القطع الناقص لنموذج 70B قد يكلف 16 مليون دولار من رسوم الـ API.
2. التعقيد الحوسبي (تكلفة الملاءمة): تتضمن ملاءمة قطع ناقص لـ $O(d^2)$ من النقاط في $d$ من الأبعاد حل نظام معادلات يحتوي على $O(d^2)$ من المتغيرات.
   • التعقيد الزمني هو $O(d^6)$.
   • تقدير الوقت: بالاستناد إلى التجارب على النماذج الصغيرة، فإن ملاءمة القطع الناقص لنموذج 70B قد تستغرق آلاف السنين باستخدام الأجهزة الحالية.

3. المساهمات الرئيسية

1. تحديد توقيع القطع الناقص: صاغ المؤلفون القيد الهندسي الذي يجعل مخرجات النماذج اللغوية تقع على قطع ناقص عالي الأبعاد، معتبرين إياه "توقيعاً" فريداً لكل نموذج.
2. إثبات مقاومة التزوير: أثبتوا أنه على عكس التوقيعات الخطية، لا يمكن تزوير توقيعات القطع الناقص دون الوصول إلى أوزان النموذج لأن استخراج معلمات القطع الناقص من مخرجات الـ API أمر محظور حوسبياً ($O(d^6)$ زمناً وتكلفة مالية فائقة التكعيب).
3. بروتوكول التحقق من المخرجات: اقترحوا نظاماً مشابهاً لـ أكواد مصادقة الرسائل التشفيرية (MACs):
   • المفتاح السري: معلمات القطع الناقص للنموذج.
   • الرسالة: مخرج الـ logprob.
   • الوسم (Tag): موقع الـ logprob على القطع الناقص.
     يمكن لمزود النموذج فقط (الذي يعرف القطع الناقص) توليد مخرجات صالحة؛ بينما يمكن لطرف ثالث التحقق منها دون رؤية الأوزان.
4. التحقق التجريبي:
   • استخراج معلمات القطع الناقص بنجاح من نماذج صغيرة مفتوحة الأوزان (مثل نماız 1M) بدقة عالية.
   • إثبات أن مخرجات النموذج (أ) يمكن تمييزها بسهولة عن النموذج (ب) عبر فحص مسافتها من القطع الناقص الخاص بالنموذج (أ) (الشكل 3).
   • إظهار أن النسخ المختلفة من نفس النموذج (مثل Olmo 2 مقابل Olmo 2-300) تمتلك قطع ناقص متميزاً وقابلاً للتمييز.

4. النتائج

• الدقة: في تجارب المقارنة بين النماذج، كان النموذج المولد دائماً هو صاحب أصغر مسافة إلى القطع الناقص الخاص به بفارق عدة رتب مقدارية مقارنة بالنماذج الأخرى.
• المتانة: الطريقة متينة تجاه حد التنعيم ($\epsilon$ smoothing) في طبقات التطبيع، والذي يقلص الكرة قليلاً، بشرط أن يكون النموذج كبيراً بما يكفي.
• حدود القابلية للتوسع: بينما هي ممكنة للنماذج الصغيرة، تخلص الورقة إلى أن (بالنسبة لنماذج الإنتاج الحالية 7B+)، فإن القطع الناقص هو "غير قابل للكسر" فعلياً عبر استعلامات الـ API بسبب تعقيد الملاءمة $O(d^6)$ وتكاليف الـ API.
• المقارنة: يسلط الجدول 2 في الورقة الضوء على أن توقيع القطع الناقص هو الطريقة الوحيدة التي تكون في آن واحد:
  • طبيعية الحدوث (لا تتطلب تدخل المزود).
  • مكتفية ذاتياً (لا تتطلب مدخلات أو أوزان كاملة).
  • مدمجة (يمكن اكتشافها في توليد رمز واحد/token).
  • مقاومة للتزوير.

5. الأهمية والآثار المترتبة

• مساءلة النماذج: يوفر هذا آلية للهيئات القانونية والتنظيمية للتحقق مما إذا كان مخرج ضار قد تم توليده بواسطة نموذج معين مغلق المصدر، حتى لو أنكر المزود ذلك. يمكن لطرف ثالث موثوق أن يحتفظ بـ "مفتاح القطع الناقص" للتحقق من الادعاءات.
• التحقيق الجنائي: يقدم أداة جديدة للكشف عن سرقة النماذج أو الضبط الدقيق (fine-tuning) غير المصرح به. إذا ادعى نموذج أنه "النموذج X" ولكن مخرجاته لا تقع على القطع الناقص الخاص بـ "النموذج X"، فمن المرجح أنه نموذج مختلف.
• النموذج الأمني: ينقل نموذج أمن النماذج اللغوية من "العلامات المائية" (التي يمكن إزالتها) إلى "القيود الهيكلية المتأصلة" (التي يصعب تكرارها دون الأوزان).
• القيود:
  • يتطلب الوصول إلى الاحتمالات اللوغاريتمية (logprobs) عبر الـ API (وهو أمر محدود حالياً لعدد قليل من المزودين مثل OpenAI).
  • ليس ضماناً تشفيرياً (الأمن هو أمن متعدد الحدود وليس أسيّاً)، وإن كان غير قابل للكسر عملياً للنماذج الكبيرة.
  • يمكن مسح التوقيع إذا قام المزود بتعديل الطبقة النهائية أو إزالة عملية التطبيع.

في الختام، تثبت الورقة أن القيود الهندسية لبنيات النماذج اللغوية الحديثة تخلق توقيعاً طبيعياً مقاوماً للتزوير يمكن استخدامه للتحقق القوي من المخرجات ونسب النماذج، مما يسد فجوة حرجة في مجال التحقيق الجنائي للذكاء الاصطناعي.