TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance
يقدم TokenPrint بصمة في فضاء الرموز (token-space) مُعايرة ولا تتطلب تدريباً، تستفيد من إسقاطات المفردات من نوع top-k المستخرجة من مجسات المعرفة لتحديد أصل النماذج اللغوية، وسلالتها، وبيانات التدريب المشتركة بينها بدقة عبر مختلف عائلات النماذج ومستويات التكميم.
المؤلفون الأصليون:Yuqi Wu, Shengming Zhao, Jie Chen
تخيل أنك تحاول اكتشاف هوية شخص غامض، لكنه لا يظهر هويته أبداً، ووالداه يرفضان إخبارك باسم عائلته. ليس لديك سوى صوته. إذا استمعت بتركيز، قد تلاحظ أنه يستخدم نفس المصطلحات العامية التي يستخدمها أشقاؤه، أو يكملون جمل بعضهم البعض بطريقة محددة، أو لديه إيقاع فريد يتشاركه مع أبناء عمومته. في عالم الذكاء الاصطيلاً، هذه "الأشخاص" هي النماذج اللغوية الكبيرة (LLMs) — وهي برامج حاسوبية تكتب، وتدردش، وتحل المشكلات. لفترة طويلة، إذا أطلقت شركة نموذجاً جديداً، فقد تخفي النموذج القديم الذي بدأت به بالضبط أو الكتب والمواقع الإلكترونية المحددة التي تدربت عليها. هذه مشكلة، لأنه إذا تم بناء نموذج بناءً على بيانات مسروقة أو تم تدريبه ليكون ضاراً، فنحن بحاجة لمعرفة "شجرة عائلته" لمحاسبة الأشخاص المناسبين. حاول العلماء حل هذه المشكلة من خلال النظر في الكود الداخلي للنموذج (الذي يشبه "الحمض النووي" الخاص به)، ولكن ماذا لو كان هذا الكود مخفياً؟ تسأل هذه الورقة البحثية سؤالاً ذكياً: هل يمكننا تحديد عائلة نموذج ما بمجرد الاستماع إلى ما يقوله؟
قدم الباحثون، يوكي وو، وشينغمينغ تشاو، وجي تشين من جامعة فودان، أداة جديدة تسمى TokenPrint. فكر فيها كأنها "بصمة صوت" للذكاء الاصطناعي. بدلاً من الحاجة لرؤية الكود الداخلي السري للنموذج، يقومون ببساطة بطرح 250 سؤالاً محدداً على النموذج — مثل "ما هي عاصمة كندا؟" أو "اكتب سطراً برمجياً لحلقة تكرار" — ثم ينظرون إلى الكلمات القليلة الأولى التي يختارها النموذج للإجابة. يسمون هذه الاختيارات الأولى "بصمة" النموذج.
إليك الخدعة السحرية: عندما يكون نموذجان مرتبطين (على سبيل المثال، أحدهما نسخة "معدلة بدقة" من الآخر، أو تم تدريبهما على نفس مجموعة البيانات تماماً)، فإنهما يميلان إلى اختيار نفس الكلمات الأولى لهذه الأسئلة، حتى لو كانا مختلفين في الحجم أو صنعتهما شركات مختلفة. وقد قاس الباحثون هذا التشابه باستخدام أداة رياضية تسمى تداخل جاكارد (Jaccard overlap)، والتي تسأل ببساهات: "كم عدد الكلمات الأولى التي يتشاركها هذان النموذجان؟"
وجدت الورقة البحثية أشياء رائعة:
تشابه العائلة حقيقي: النماذج التي تتشارك في "أصل" أو مجموعة بيانات تدريب واحدة لديها درجة تشابه أعلى بكثير (حوالي 0.35 إلى 0.48) من النماذج غير المرتبطة ببعضها تماماً (حوالي 0.17). إنه يشبه كيف يمكن لصوت الطفل أن يبدو أكثر شبهاً بوالده من الغريب، حتى لو لم يكونا متطابقين.
يحدث الأمر مبكراً: تبدأ هذه "البصمة الصوتية" في التكون بسرعة مذهلة. لاحظ الباحثون ظهور هذه التشابهات في أول 1% من وقت تدريب النموذج، قبل وقت طويل من أن يصبح النموذج ذكياً بما يكفي للإجابة على الأسئلة بشكل صحيح. وهذا يشير إلى أن البصمة تأتي من البيانات التي التهمها النموذج، وليس فقط من مدى ذكائه.
يعمل حتى عندما يكون مخفياً: تعمل هذه الطريقة حتى لو كانت النماذج تستخدم "مفردات" مختلفة (قوائم كلمات مختلفة) أو بنيات حاسوبية مختلفة. إنه يشبه التعرف على فرد من العائلة حتى لو كان يتحدث لهجة مختلفة قليلاً.
هي أداة تحقيق، وليست عصا سحرية: البصمة رائعة في تضييق قائمة المشتبه بهم. فعلى سبيل المثال، عندما حاولوا العثور على "الأصل" لخمسة نماذج محددة (تسمى عمليات تقطير R1)، حددت البصمة الأصل الحقيقي كواحد من أفضل تخمينين في كل مرة. ومع ذلك، لم تستطع أحياناً التمييز بين الأصل وابن العم القريب جداً (مثل نموذج شقيق)، مما يعني أنها توجهك في الاتجاه الصحيح ولكنها لا تعطيك دائماً إجابة واحدة مثالية.
تحقق الباحثون أيضاً مما إذا كانت هذه البصمة تصمد عندما يتم تصغير حجم النموذج لتوفير المساحة (عملية تسمى التكميم/quantization). ووجدوا أنه حتى عندما تم ضغط النموذج إلى حجم صغير جداً (int4 أو int8)، ظلت البصمة قوية، مع درجة تشابه تتراوح بين 0.82 إلى 0.92 مقارنة بالأصل. وهذا يعني أن "الصوت" لا يتغير كثيراً حتى عندما يتم ضغط النموذج.
باختصار، تشير TokenPrint إلى أن كل نموذج لغوي يترك أثراً فريداً ومستمراً من "اختيارات الكلمات" التي تكشف تاريخ تدريبه. إنها طريقة خفيفة الوزن ولا تتطلب تدريباً لتتبع نسب النموذج، مما يساعدنا على فهم من صنع ماذا ومن أين جاءت البيانات، دون الحاجة للتلصص على الكود السري للنموذذ. ورغم أنها لا تستطيع دائماً تسمية الأصل بدقة 100%، إلا أنها عدسة مكبرة قوية لتتبع أشجار عائلات الذكاء الاصطناعي.
ملخص تقني: TokenPrint
بيان المشكلة تجاوزت سرعة إصدار النماذج اللغوية ذات الأوزان المفتوحة قدرة عمليات تدقيق أصلها (provenance). تواجه آليات الحوكمة الحالية تحديات كبيرة: فبطاقات النماذج (model cards) غالبًا ما تغفل عن ذكر نقطة الأساس (base checkpoint) المحددة المستخدمة في الضبط الدقيق، كما أن الإفصاحات عن بيانات التدريب تكون غير مكتملة في كثير من الأحيان، وقد تشترك النماذج التي يُزعم أنها طُورت بشكل مستقل في أجزاء جوهرية من مجموعات البيانات التدريبية الخاصة بها. وتظل الأساليب الجنائية الحالية محدودة النطاق: فأساليب فضاء الأوزان (مثل HuRef وModel Tree Heritage Recovery) تتطلب الوصول إلى المعلمات وتفترض وراثة المعلمات، بينما تنتج الأساليب النسلية السلوكية (مثل PhyloLM) هياكل غير معايرة تكشف عن التجميع (clustering) لكنها تفتقر إلى توقعات معايرة لمستويات التشابه الناشئة عن القواعد المشتركة، أو تداخل البيانات، أو مجرد تقارب القدرات. هناك حاجة إلى طريقة يمكنها استنتاج نسب النموذج وتاريخ تدريبه دون الحاجة إلى الوصول إلى أوزان النموذج، بحيث تكون قابلة للتطبيق حتى عندما لا تشترك النماذج في أي معلمات.
المنهجية يقدم المؤلفون TokenPrint، وهو بصمة تعتمد على التوقعات (projections) لأعلى-k من المفردات لآخر الحالات الخفية (late hidden states) المستحثة من مجموعة ثابتة مكونة من 250 مسبار معرفة (knowledge probes).
استخراج البصمة: بالنسبة لنموذج لغوي سببي بـ L من الطبقات، تستخدم الطريقة 250 مطالب (prompts) ثابتة (مسبارات) بدون قوالب دردشة. تقوم الطريقة بتسجيل الحالة الخفية hℓ(p) عند أعماق محددة (ℓ∈{L/4,L/2,3L/4,L−2}) وتمريرها عبر مصفوفة عدم التضمين WU للحصول على اللوغيت (logits). يتم فك تشفير أعلى 100 توكن (token) إلى سلاسل نصية، وتصفيتها من توكنات "الخلل" (glitch tokens) (بناءً على معايير عدم التضمين)، وإزالة المسافات البيضاء منها. البصمة هي الربط بين كل مسبار وقائمة ترتيب سلاسل التوكنات المفككة.
مقياس التشابه: يُعرَّف التشابه بين نموذجين a و b عند العمق ℓ بأنه متوسط تداخل "جاكار" (Jaccard overlap) لمجموعات السلاسل النصية المفككة لأعلى-k عبر جميع المسبارات: Sℓ(a,b)=∣P∣1p∈P∑∣Fa,ℓ(p)∪Fb,ℓ(p)∣∣Fa,ℓ(p)∩Fb,ℓ(p)∣ يتم مطابقة الأعماق الداخلية عبر الموقع الكسري لاستيعاب النماذج ذات الأحجام المختلفة.
المعايرة وتقدير القيم الصفرية (Null Estimation): لمراعاة الهياكل المعجمية المشتركة وتأثيرات الـ tokenizer المستقلة عن محتوى المسبار، يقوم المؤلفون بتقدير "القيمة الصفرية للمسبار غير المتطابق" (S~) الخاصة بكل زوج. يتم حساب ذلك عبر إقران استجابة النموذج a للمسبار i باستجابة النموذج b لمسبار آخر j=i. المقياس النهائي هو التشابه الزائد (S−S~)، والذي يعزل الإشارة المرتبطة بمحتوى المسبار.
مجموعة التقييم: تم تقييم الطريقة على مجموعة معايرة تضم 32 نموذجاً من النماذج ذات الأوزان المفتوحة (0.6B–32B بارامتر) من تسع عائلات مطورين، بما في ذلك العلاقات الموثقة مثل نماذج Pythia (بيانات متطابقة، لا أوزان مشتركة)، وتوليدات DeepSeek-R1 (نقاط أساس مشتركة)، والأجيال المتعاقبة. تتضمن "مجموعة الشهود" الخارجية نماذج دُرِّبت على نفس المجموعة (The Pile) من قبل منظمات مختلفة ذات tokenizers وبنيات مختلفة.
النتائج الرئيسية
سلم التشابه المعاير: يتبع تشابه البصمة بشكل عام مدى ترابط النماذج الموثق.
بيانات متطابقة (لا أوزان مشتركة): تُظهر نماذج Pythia المدربة على نفس البيانات وبنفس الترتيب أعلى تشابه زائد (0.35).
نماذج الضبط الدقيق ذات القاعدة المشتركة: تُظهر النماذج التي ترث نقطة أساس (base checkpoint) تشابهاً عالياً (0.33).
نفس المطور/النسب: تُظهر النماذج من نفس المطور أو المجموعة النسبية تشابهاً متوسطاً (0.25–0.28).
النماذج غير المرتبطة: تُظهر النماذج التي ليس لها علاقة موثقة أدنى تشابه (0.17). هذه الإشارة مستمرة عبر المنظمات المختلفة، وعائلات الـ tokenizer (مثل Cerebras-GPT مقابل Pythia)، وفئات البنية (مثل RWKV مقابل Transformers).
الظهور المبكر: تظهر إشارة التشابه ضمن أول 1% من التدريب (على سبيل المثال، عند الخطوة 1000 لنماذج Pythia)، وذلك قبل تحقيق الكفاءة الواقعية القابلة للقياس (دقة المسبار). يشير هذا إلى أن الإشارة تنبع من توزيعات بيانات التدريب المشتركة بدلاً من مجرد تقارب القدرات الوظيفية.
استرجاع النسب: كطريقة لاسترجاع أقرب جار (nearest-neighbor retrieval)، نجح TokenPrint في ترتيب نقطة الأساس الموثقة بدقة ضمن أفضل مرشحين لجميع توليدات DeepSeek-R1 (متوسط الرتبة 1.8، MRR 0.60). والجدير بالذكر أنها حددت القواعد المتخصصة (مثل قاعدة متخصصة في الرياضيات) التي تفشل البيانات الوصفية الفجة (نسبة الـ tokenizer وعدد البارامترات) في تمييزها. ومع ذلك، فإن الطريقة غالباً ما تحدد "جوار النسب" بدلاً من أب فريد، حيث يمكن للبدائل القريبة جداً (مثل متغيرات Instruct ذات القاعدة نفسها) أن تحتل رتباً عالية.
العمق والمتانة:
العمق: تزديد قوة التمييز باتجاه التوزيع النهائي، حيث يرتفع الـ AUC من 0.72 عند ربع العمق إلى 0.90 عند المخرج النهائي. استخدام أعلى 5 توكنات مخرجة فقط يحافظ على AUC قدره 0.87.
الكمية (Quantization): تظل البصمة مستقرة تحت الكمية، حيث تُظهر تشابه جاكار قدره 0.92 تحت int8 و0.82–0.85 تحت int4 مقارنة بمرجع bf16.
التحكم في القدرة: يؤكد تحليل الانحدار أن هيكل مجموعة النسب الملاحظ يستمر حتى بعد التحكم في فجوات القدرة وحجم البارامترات.
الأهمية والادعاءات يضع البحث TokenPrint كأداة عملية لـ استرجاع النسب و تحليل أصل النموذج التي تعمل دون الحاجة للوصة إلى الأوزان. تكمن أهميته الأساسية في:
التشغيل بدون تدريب: يتطلب فقط عمليات تمرير أمامي (forward passes)، مما يجعله قابلاً للتطبيق على النماذج ذات الوصول المقيد أو "الصندوق الأسود" حيث تفشل أساليب فضاء الأوزان.
التفسير المعاير: من خلال إنشاء "سلم تشابه" مقابل العلاقات الموثقة، تتجاوز الطريقة مجرد التجميع غير المعاير لتقدم نطاقات مرجعية لما تعنيه مستويات معينة من التشابه (مثل: بيانات مشتركة مقابل قاعدة مشتركة).
إشارة مدفوعة بالبيانات: إن استمرار الإشارة عبر المنظمات والبنيات المستقلة، وظهورها قبل تقارب القدرات، يشير إلى أن بصمات فضاء التوكنات تلتقط آثاراً هيكلية مستمرة لتوزيعات بيانات التدريب.
القيود والنطاق يذكر المؤلفون صراحة أن الطريقة لا تحدد آلية العلاقة (على سبيل المثال، التمييز بين وراثة الأوزان وبين تداخل المجموعات المعلوماتية) بناءً على درجة ثنائية واحدة فقط. بدلاً من ذلك، توفر هيكلاً عالمياً للتشابه لتضييق مجموعات المرشحين وتوليد فرضيات لمزيد من التحليل المستهدف. الطريقة هي الأفضل لتحديد أي علاقات النماذج تستحق تحقيقاً أعمق بدلاً من كونها دليلاً قانونياً قائماً بذاته على تاريخ تدريب محدد. كما يشير المؤلفون إلى أن مقارنات الـ tokenizer المختلفة قد تقلل من تقدير التشابه بسبب الاختلاف في تقسيم السلاسل النصية المتكافئة دلالياً.