🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

تقدم هذه المساهمة "LLM DNA"، وهو إطار عمل قائم على أسس رياضية ولا يتطلب تدريباً، يستخلص تمثيلات وظيفية منخفضة الأبعاد لتتبع العلاقات التطورية غير الموثقة وبناء أشجار نسلية عبر مئات النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالم النماذج اللغوية الكبيرة (LLMs) كمكتبة شاسعة وفوضوية تحتوي على ملايين الكتب. بعض هذه الكتب هي روائع أصلية، وبعضها نسخ، وبعضها ملخصات، وبعضها نسخ جديدة تمت إضافة فصول إليها. المشكلة تكمن في أن المكتبة تفتقر إلى فهرس واضح؛ فنحن لا نعرف دائمًا أي كتاب تم نسخه من أي كتاب آخر، أو كيف انتقل كتاب من شكل إلى آخر. وهذا يجعل من الصعب التحقق مما إذا كان الكتاب يمتثل للقواعد (التراخيص)، أو اكتشاف ما إذا كانت فكرة خطيرة (مثل ثغرة أمنية) قد نُسخت من كتاب معيب، أو فهم كيفية نمو المكتبة.

هذا المقال، الذي يحمل عنوان "DNA النماذج اللغوية الكبيرة" (LLM DNA)، يقترح حلاً مستوحى من علم الأحياء: تخصيص كود جيني فريد لكل نموذج ذكاء اصطناعي.

الفكرة الجوهرية: جينات الذكاء الاصطناعي

تماماً كما يخبرنا الحمض النووي البيولوجي (DNA) من هم والداك وما هي السمات التي ورثتها، يهدف المؤلفون إلى إنشاء "DNA" لنماذج الذكاء الاصطناعي يكشف عن تاريخ عائلتها وشخصيتها الوظيفية.

يعرف المؤلفون هذا الـ "DNA الخاص بالنماذج اللغوية الكبيرة" بأنه قائمة قصيرة وموجزة من الأرقام (متجه/vector) تعمل كبصمة. إذا كان نموذجان مرتبطان (على سبيل المثال، إذا كان أحدهما نسخة مطورة "fine-tuned" من الآخر)، فيجب أن يبدو الـ DNA الخاص بهما متشابهاً جداً. وإذا كانا غير مرتبطين، فيجب أن يبدو الـ DNA الخاص بهما مختلفاً تماماً.

كيف يعمل الأمر (مسار RepTrace)

طوّر المؤلفون أداة تسمى RepTrace لاستخراج هذا الـ DNA. إليك العملية مشروحة ببساطة:

تجربة القيادة: بدلاً من فحص الكود الداخلي للنموذج (والذي غالباً ما يكون مخفياً أو يختلف من نموذج لآخر)، يعاملون النموذج كـ "صندوق أسود". يقومون بتلقيمه سلسلة من الأسئلة أو المطالبات العشوائية (مثل اختبار قيادة).
رد الفعل: يقومون بتسجيل كيفية استجابة النموذج.
الترجمة: يحولون هذه الاستجابات النصية إلى "خريطة دلالية" (تمثيل رياضي للمعنى). على سبيل المثال، كلمتا "vacation" و"holiday" مختلفتان في تسلسل الحروف، لكن نظام الـ DNA يفهم أنهما تعنيان الشيء نفسه.
الضغط: يستخدمون خدعة رياضية (الإسقاط العشوائي/random projection) لضغط هذه الكمية الهائلة من المعلومات في قائمة صغيرة وسهلة الإدارة من الأرقام. هذه القائمة هي الـ DNA.

الأمر الجوهري هو أن هذه العملية لا تتطلب تدريباً (training-free)؛ فأنت لا تحتاج لتعليم النظام كيفية إيجاد الـ DNA، بل يقوم النظام ببساطة بحسابه بناءً على سلوك النموذج.

ماذا اكتشفوا؟

اختبر الباحثون هذه الطريقة على 305 نماذج مختلفة للذكاء الاصطناعي من شركات متنوعة (مثل Meta وGoogle وAlibaba). وإليكم ما وجدوه:

أشجار العائلات: عندما قارنوا الـ DNA لنماذج مختلفة، تمكنوا من رسم "شجرة عائلة" (شجرة تطورية/phylogenetic tree). نجحت هذه الشجرة في تجميع النماذج التي تنتمي لنفس العائلة (مثل جميع نماذج "Llama") معاً، رغم أن الباحثين لم يخبروا النظام مسبقاً أي النماذج تنتمي لأي عائلة.
الروابط الخفية: كشف الـ DNA عن علاقات لم تكن موثقة رسمياً. على سبيل المثال، أظهر أن بعض النماذج التي تدعي أنها مبنية على نسخة معينة من عائلة ما، كانت في الواقع أقرب إلى نسخة أخرى، أو أن نموذجين من شركتين مختلفتين كانا متشابهين بشكل مفاجئ في "جيناتهما".
وتيرة التطور: من خلال فحص فروع شجرة العائلة، استطاعوا رؤية أي عائلات النماذج تتطور بشكل أسرع من غيرها. فقد أظهرت بعض العائلات (مثل Qwen) تغيرات سريعة، بينما كانت عائلات أخرى (مثل Llama) أكثر استقراراً.
المتانة: ظل الـ DNA ثابتاً حتى عندما قاموا بتغيير الأسئلة المطروحة أو استخدام أنواع مختلفة من النماذج لتقييم الاستجابات. إنه يشبه البصمة التي تظل ثابتة سواء ضغطت بإصبعك بخفة أو بقوة.

لماذا يهم هذا الأمر (وفقاً للمقال)

يقترح المؤلفون إمكانية استخدام هذا الـ "DNA" لثلاثة تطبيقات رئيسية:

التحقق من التراخيص: يمكن أن يساعد في التحقق مما إذا كان هناك نموذج جديد قد تم نسخه بشكل غير قانوني من نموذج محمي، حتى لو لم يعترف المبدعون بذلك.
التدقيق الأمني: إذا كان لدى "النموذج الأب" ثغرة أمنية (مثل باب خلفي/backdoor)، فمن المرجح أن يمتلكها "أبناؤه" (النماذج المنحدرة منه) أيضاً. تساعد شجرة الـ DNA المدققين على تحديد هذه السلالات الخطرة بسرعة.
اختيار النموذج: يساعد المستخدمين على اختيار النموذج المناسب. إذا كنت بحاجة إلى نموذج مستقر للغاية ولا يغير سلوكه كثيراً، فاختر فرعاً يتميز بخطوات تطورية قصيرة. أما إذا كنت تريد أحدث الميزات التجريبية، فاختر فرعاً يتميز بتطور سريع.

الخاتمة

يجادل المقال بأننا نستطيع إثبات وجود هذا الـ "DNA" رياضياً، وأنه يلتقط جوهر سلوك الذكاء الاصطناعي بأمانة. ومن خلال تحويل نماذج الذكاء الاصطناعي المعقدة وغير الواضحة إلى أكواد جينية بسيطة وقابلة للمقارنة، يمكننا أخيراً البدء في رسم خرائط، وإدارة، وفهم النظام البيئي المتفجر للذكاء الاصطناعي.

ملخص تقني: LLM-DNA: تتبع تطور النماذج من خلال التمثيلات الوظيفية

بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى خلق مشهد واسع وغير شفاف حيث توجد ملايين النماذج ذات علاقات تطورية غير موثقة. إن تتبع كيفية تطور النماذج من خلال الضبط الدقيق (fine-tuning)، أو التقطير (distillation)، أو التكيف (adaptation) أمر بالغ الأهمية لتدقيق الأمن (مثل تتبع انتقال الأبواب الخلفية)، وحوكمة النماذج (مثل التحقق من الامتثال للتراخيص)، وتصميم الأنظمة متعددة الوكلاء. ومع ذلك، تعاني الطرق الحالية لتعريف "LLM-DNA" من قيود كبيرة:

الارتباط بالمهام (Task Specificity): تضغط العديد من النهج التمثيلات لتكون محسنة لمهام محددة (مثل التوجيه أو تعلم المجموعات)، مما يفشل في التعميم عبر المهام أو التقاط الخصائص الجوهرية للنموذج.
المجموعات الثابتة (Fixed Sets): تُعرف بعض الطرق غير المرتبطة بمهام معينة (مثل EmbedLLM) التمثيلات بالنسبة لمجموعة ثابتة من النماذج، مما يعني أن التمثيل يتغير بمجرد إضافة نماذج جديدة، وبالتالي يمنع تمثيله كخاصية جوهرية لنموذج واحد.
الاعتماد الهيكلي (Structural Dependence): غالبًا ما تفشل طرق إثبات المصدر التي تعتمد على تشابه الرموز (tokens) أو ارتباط المعلمات في التعميم عبر النماذج اللغوية الكبيرة غير المتجانسة ذات البنى المختلفة وأجهزة الترميز (tokenizers) المختلفة.

هناك نقص في وجود إطار عمل مبدئي ورسمي لتعريف واستخراج "DNA" مستقر وجوهري يلتقط السلوك الوظيفي والنسب التطوري للنماذج اللغوية الكبيرة.

المنهجية

يقترح المقال LLM-DNA، وهو إطار عمل رسمي يعرّف ويستخرج تمثيلاً منخفض الأبعاد للسلوك الوظيفي لنموذج لغوي كبير، بشكل مشابه للحمض النووي البيولوجي (DNA).

1. الأساس النظري

يعرف المؤلفون النموذج اللغوي الكبير رسميًا كدالة تربط تسلسلات المدخلات المنفصلة بمتجهات "لوجيت" (logit vectors) مستمرة. ويعرفون LLM-DNA كمتجه منخفض الأبعاد $\tau_f$ يتم الحصول عليه عبر تطبيق ثنائي ليبشيتز (bi-Lipschitz mapping) من الفضاء الوظيفي للنموذج $\mathcal{F}$ إلى فضاء الـ DNA المسمى $\mathcal{D}$ .

شرط ثنائي ليبشيتز (Bi-Lipschitz Condition): يضمن هذا التطبيق أن المسافة بين متجهي DNA تكون محصورة بين المسافة الوظيفية بين النموذجين المقابلين ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
الخصائص: يضمن هذا التعريف رياضيًا خاصيتين رئيسيتين:
- الوراثة (Inheritance): تؤدي الاضطرابات الصغيرة للنموذج (مثل الضبط الدقيق) إلى تغييرات صغيرة في الـ DNA الخاص به.
- الحتمية الجينية (Genetic Determinism): النماذج ذات الـ DNA المتشابه تظهر سلوكًا وظيفيًا متشابهًا.
إثبات الوجود (Existence Proof): باستخدام مبرهنة جونسون-ليندستروس (Johnson–Lindenstrauss Lemma)، يثبت المؤلفون أن مثل هذا التضمين منخفض الأبعاد موجود لأي مجموعة محدودة من النماذج اللغوية الكبيرة، وأنه يحافظ على الهندسة الخاصة بالفضاء الوظيفي.

2. مسار الاستخراج العملي: RepTrace

لاستخراج LLM-DNA في الممارسة العملية دون تدريب، يقدم المؤلفون RepTrace، وهو مسار عملي قابل للتوسع ولا يتطلب تدريبًا:

التمثيل الدلالي (Semantic Representation): بدلاً من مقارنة النصوص الخام، يستخدم مسار العمل نموذج تضمين جمل (sentence embedding model) لتحويل استجابات النماذج إلى متجهات دلالية. هذا يعالج التكافؤ الدلالي (مثل "holiday" مقابل "vacation") ويعمل مع واجهات برمجة التطبيقات (APIs) مغلقة المصدر.
المسافة الوظيفية العشوائية (Stochastic Functional Distance): نظرًا لأن تقييم كامل فضاء المدخلات أمر غير ممكن، فإن الطريقة تقرب المسافة الوظيفية باستخدام مسافة وظيفية عشوائية. يتضمن ذلك أخذ عينات من مجموعة من المطالبات (prompts) التمثيلية، وجمع الاستجابات، وحساب المسافة الإقليدية المتوقعة بين التضمينات الدلالية المتصلة للمخرجات.
الإسقاط العشوائي (Random Projection): بالاستفيد من الرؤية النظرية من مبرهنة JL، يتم إسقاط التمثيل الوظيفي عالي الأبعاد إلى متجه DNA منخفض الأبعاد عبر إسقاط خطي غاوسي عشوائي. هذه الخطوة فعالة حاسبيًا ولا تتطلب تدريبًا خاصًا بمهمة معينة.

المساهمات الرئيسية

التعريف الرسمي وإثبات الوجود: يقدم المقال أول تعريف رياضي رسمي لـ LLM-DNA كتمثيل ثنائي ليبشيتز ويثبت وجوده باستخدام مبرهنة JL.
إطار استخراج خالٍ من التدريب: يُقترح RepTrace كمسار عمل عام وقابل للتوسع يستخرج الـ DNA من نماذج لغوية كبيرة غير متجانسة (بنى، وأجهزة ترميز، وأحجام مختلفة) دون الحاجة إلى تدريب لاحق أو الوصول إلى معلماتها الداخلية.
التحقق التجريبي: أظهرت التجارب المكثفة مع 305 نموذجًا لغويًا كبيرًا أن LLM-DNA يحدد بفعالية العلاقات التطورية ويتفوق على النماذج المرجعية الحالية في مهام اكتشاف العلاقات وتوجيه النماذج.
التحليل التطوري: يبني المؤلفون شجرة تطورية (phylogenetic tree) للنماذج اللغوية الكبيرة بناءً على مسافات الـ DNA، مما يكشف عن التحولات الهيكلية (من المشفر-فك التشفير إلى فك التشفير فقط)، والتقدم الزمني، وعلاقات النسب التي لم تكن موثقة سابقًا.

النتائج التجريبية

اكتشاف العلاقات: في مجموعة بيانات مكونة من 305 نماذج، حقق LLM-DNA مساحة تحت المنحنى (AUC) بلغت 0.992 لاكتشاف أزواج النماذج المترابطة مقابل المستقلة، متفوقًا بشكل كبير على النماذج المرجعية مثل Random وGreedy وPhyloLM (AUC 0.788).
توجيه النماذج (Model Routing): في مهمة توجيه النماذج الخالية من التدريب، تفوقت متجهات LLM-DNA المجمدة على التضمينات التي تعلمها EmbedLLM (دقة 0.672 مقابل 0.665)، مما يثبت أن الـ DNA يلتقط الخصائص الوظيفية الجوهرية دون تحسين خاص بالمهمة.
الاستقرار: أثبت تمثيل الـ DNA متانته ضد مجموعات البيانات المختلفة (اختبار Mantel معامل الارتباط $r > 0.75$ )، والمدخلات العشوائية، والاختلافات في قوالب الدردشة (chat templates). كما أظهر أن الضبط الدقيق يغير قيم الـ DNA بشكل رتيب مع حجم البيانات، بينما يظل النمط الهيكلي العالمي محفوظًا.
الرؤى التطورية: توافقت الشجرة التطورية المنشأة بشكل صحيح مع التحولات الهيكلية وجداول الإصدار المعروفة. كما حددت علاقات غير موثقة، مثل تجميع orca-2-13b من Microsoft وvicuna-7b-v1.1 من LMSYS ضمن مجموعات تعتمد على Llama، مما يشير إلى نماذجها الأساسية رغم غموض التوثيق.

الأهمية والادعاءات

يزعم المقال أن LLM-DNA يوفر إطار عمل مبدئيًا وقائمًا على البيانات لفهم النظام البيئي للنماذج اللغوية الكبيرة. تكمن أهميته في:

الحوكمة والأمن: توفير طريقة وظيفية للتحقق من مصدر النموذج، وهو أمر بالغ الأهمية لفرض الامتثال للتراخيص وتتبع انتشار المخاطر الأمنية (مثل الأبواب الخلفية) من النماذج السلف إلى النماذج المنحدرة منها.
القابلية للتوسع: على عكس الطرق السابقة التي تتطلب تدريبًا لاحقًا أو مجموعات نماذج ثابتة، يتيح RepTrace استخراج الـ DNA فورًا للنماذج الجديدة، مما يدعم الطبيعة الديناميكية لمشهد النماذج اللغوية الكبيرة.
الرؤية التطورية: من خلال معاملة النماذج اللغوية الكبيرة كأنواع تتطور، يتيح إطار العمل تصور تاريخ المجال، ويكشف عن سرعات التطور المتفاوتة داخل العائلات (على سبيل المثال، تتطور Qwen وGemma بشكل أسرض من Llama)، ويكشف عن الروابط الخفية التي لا تستطيع البيانات الوصفية (metadata) وحدها كشفها.

يؤكد المؤلفون أنه بينما لا يخصص التعريف الحالي معنى رياضيًا محددًا لتسلسلات الـ DNA، فإن الاستقرار والخصائص الوراثية الملحوظة توفر أساسًا متينًا للعمل المستقبلي في إدارة النماذج، وتخفيف المخاطر، والتعديل المستهدف لسلوك النماذج اللغوية الكبيرة.