🤖 machine learning

LLMSurgeon: Diagnosing Data Mixture of Large Language Models

تقدم الورقة البحثية LLMSurgeon، وهو إطار عمل يقدر مزيج بيانات ما قبل التدريب للنماذج اللغوية الكبيرة عبر حل مسألة عكسية مقيدة لتصحيح الارتباك المنهجي في المجالات، مما يتيح التدقيق اللاحق لـ "الحمض النووي الرقمي" للنموذج دون الوصول إلى بيانات تدريبه.

المؤلفون الأصليون: Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل طباخاً مشهوراً يبتكر طبقاً عالمي الشهرة. الجميع يعشق مذاقه، لكن الطباخ يرفض مشاركة الوصفة. لن يخبرك ما إذا كان قد استخدم ملحاً أكثر من الفلفل، أو إذا أضاف توبلاً سرياً، أو حتى إذا أضاف بالخطأ حفنة من التراب. في عالم الذكاء الاصطناعي، هذا "الطبق" هو النموذج اللغوي الكبير (LLM)، و"الوصفة" هي كومة النصوص الضخمة (مزيج البيانات) التي تدرّب عليها.

حالياً، تحرس شركات الذكاء الاصطنا هذه الوصفات كأنها أسرار دولة. تقدم هذه الورقة البحثية، التي تحمل عنوان "LLMSurgeon"، طريقة جديدة لمعرفة ما يوجد داخل القدر دون الحاجة لرؤية المطبخ أبداً.

إليك تفصيل نهجهم باستخدام تشبيهات بسيطة:

1. المشكلة: الطباخ "الصندوق الأسود"

نماذج الذكاء الاصطنا الحديثة تشبه الكيميائيين الرقميين؛ يمكنها كتابة الأكواد، وإلقاء النكات، وحل المسائل الرياضية، لكننا لا نعرف بالضبط ما الذي تعلمته منه.

الطريقة القديمة (استدلال العضوية - Membership Inference): في السابق، حاول الباحثون التلصص عبر السؤال: "هل ظهرت هذه الجملة المحددة في بيانات التدريب؟". الأمر يشبه محاولة معرفة مكونات الحساء عن طريق تذوق حبة ملح واحدة؛ قد تعرف ما إذا كانت تلك الحبة تحديداً موجودة في القدر، لكن لا يمكنك معرفة ما إذا كان القدر يحتوي على 90% ماء أم 90% مرق. هذه الطريقة بطيئة للغاية وغير دقيقة لفهم الصورة الكبيرة.
الهدف الجديد: يريد المؤلفون الإجابة على سؤال أكبر: "ما هي النسبة المئوية الإجمالية للمكونات المختلفة؟" (مثلاً: 20% ويكيبيديا، 10% أكواد برمجية، 5% أخبار). ويطلقون على هذا "جراحة مزيج البيانات" (Data Mixture Surgery - DMS).

2. الحل: "الجراح الرقمي"

بنى المؤلفون أداة تسمى LLMSurgeon. فكر فيها كأنها محققة جنائية تنظر إلى مخرجات الذكاء الاصطناعي (ما يكتبه) لتخمن ما كان في مدخلاته (ما غُذي به).

هم يعتمدون على فرضية ذكية تسمى "انزياح التسمية" (Label Shift):

التشبيه: تخيل طالباً درس 50% من كتب الرياضيات و50% من كتب التاريخ. إذا طلبت منه كتابة قصة، فقد يكتب 80% تاريخ و20% رياضيات لأنه في "مزاج تاريخي" اليوم. ومع ذلك، فإن أسلوب الرياضيات الذي سيكتبه سيظل يبدو تماماً مثل كتب الرياضيات التي درسها، والتاريخ سيظل يبدو مثل كتب التاريخ.
المنطق: حتى لو غير الذكاء الاصطناعي وتيرة حديثه عن مواضيع مختلفة، فإن "بصمة" تلك المواضيع تظل ثابتة.

3. كيف تعمل الجراحة (الخطوات الثلاث)

العملية تشبه إجراءً طبياً من ثلاث خطوات:

الخطوة 1: معايرة "جهاز الأشعة السينية" (المصنف - Classifier)
قام الفريق بتدريب ذكاء اصطناعي منفصل وأصغر (مصنف) للتعرف على أنواع مختلفة من النصوص (مثلاً: "هل هذا كود برمجي؟ هل هذا مقال إخباري؟").
- اللمسة المميزة: هذا المصنف ليس مثالياً؛ فقد يخلط بين "كود لغة C++" و"كود لغة Java". قام الفريق برسم مسار دقيق لكيفية وقوعه في هذا الخلط، فأنشأوا "مصفوفة الارتباك" (Confusion Matrix)، وهي تشبه خريطة لنقاط ضعف الآلة.
الخطوة 2: أخذ "الخزعة" (أخذ عينات من الهدف الذكي)
يطلبون من الذكاء الاصطناعي المستهدف (الذي يريدون تدقيقه) كتابة الكثير من النصوص باستخدام مطالبات محايدة (مجرد طلب "أكمل هذه الجملة" دون فرض موضوع معين). ثم يمررون هذا النص عبر مصنفهم غير المثالي.
- النتيجة: يعطي المصنف نتيجة "منحازة"؛ يقول: "أعتقد أن هذا 40% كود برمجي"، ولكن بسبب نقاط ضعفه، قد يكون مخطئاً.
الخطوة 3: "الجراحة" (التصحيح العكسي)
هذا هو الجزء السحري. بدلاً من مجرد الثقة في أرقام المصنف الفوضوية، يستخدم الفريق "مصفوفة الارتباك" من الخطوة الأولى لتصحيح الأخطاء رياضياً.
- التشبيه: إذا كان جهاز الأشعة السينية يجعل العظام تبدو أكبر بنسبة 10% دائماً، فإن الجراح يطرح هذه الـ 10% ليرى الحجم الحقيقي للعظم. تقوم أداة LLMSurgeon بـ "إزالة الضبابية" عن تخمين المصنف لتكشف عن الوصفة الأصلية الحقيقية لبيانات تدريب الذكاء الاصطناعي.

4. الإثبات: LLMScan

لإثبات نجاح عملهم، لم يكتفِ المؤلفون بالتخمين؛ بل احتاجوا إلى اختبار. فأنشأوا معياراً يسمى LLMScan.

أخذوا عدة نماذج ذكاء اصطناعي مفتوحة المصدر حيث شاركت الشركات بالفعل وصفاتها (مزيج بيانات التدريب).
أخفوا هذه الوصفات عن LLMSurgeon وتركوا الأداة تحاول تخمينها.
النتيجة: خمنت LLMSurgeon الوصفات بدقة مذهلة (غالباً أكثر من 90% من الصحة للنماذج العامة)، متفوقة بمراحل على الطرق السابقة التي حاولت فقط عدّ العينات الفردية.

5. لماذا يهم هذا؟

تسمح هذه الأداة للباحثين والجهات التنظيمية بتدقيق نماذج الذكاء الاصطناعي بعد بنائها، دون الحاجة للوصول إلى البيانات الخاصة بالشركة.

السلامة: يمكنها اكتشاف ما إذا كان النموذج قد تدرّب على الكثير من المحتوى السام أو المتحيز.
حقوق الطبع والنشر: يمكنها التحقق مما إذا كان من المرجح أن النموذج قد تدرّب على كتب أو أكواد محمية بحقوق الطبع والنشر دون إذن.
الشفافية: تجيب على السؤال البسيط: "بماذا تم تغذية هذا الذكاء الاصطناعي؟" دون أن تضطر الشركة للاعتراف بذلك.

القيود (التفاصيل الدقيقة)

المؤلفون صريحون بشأن المواضع التي تصطدم فيها الأداة بحائط مسدود:

مشكلة "المزاج": إذا تم "ضبط" (Alignment) الذكاء الاصطناعي بشكل مكثف (تدريبه ليكون مهذباً أو يتبع التعليمات) بعد تدريبه الأولي، فقد ترتبك الأداة لأن مخرجات الذكاء الاصطناعي لم تعد تعكس نظام غذائه التدريبي الأصلي.
مشكلة "التوأم": إذا كانت المكونات متطابقة تقريباً (مثل لغات البرمجة C و C++)، فإن الأداة ستجد صعوبة في التمييز بينهما، تماماً كما قد يجد الإنسان صعوبة في التمييز بين درجتين متشابهتين جداً من اللون الأزرق.

باخت-الاختصار، LLMSurgeon هي طريقة جديدة وقوية للهندسة العكسية لـ "الحمض النووي الرقمي" لنماذج الذكاء الاصطناعي، حيث تحول الصندوق الأسود إلى صندوق شفاف من خلال تنظيف الضجيج الرياضي في طريقة حديث الذكاء الاصطناعي.

ملخص تقني: LLMSurgeon: تشخيص المزيج البياني للنماذج اللغوية الكبيرة

1. صياغة المشكلة: جراحة المزيج البياني (DMS)

يعمل المزيج البياني لبيانات التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) بمثابة "الحمض النووي الرقمي" لها، حيث يشكل بشكل أساس، سلوكيات النموذج، وقدراته، وأنماط الفشل لديه. ومع ذلك، نادراً ما يتم الكشف عن هذا التكوين، مما يخلق عائقاً حرجاً أمام تدقيق السلامة، والتحيز، ومخاطر حقوق الطبع والنشر.

تعمل النهج الحالية، وبشكل أساسي هجمات استنتاج العضوية (MIA)، على مستوى الحالة (تحديد ما إذا كان مستند معين قد تمت رؤيته أثناء التدريب). وبينما تعد هذه الهجمات فعالة للكشف المجهري، إلا أن MIA تفشل في الإجابة على الأسئلة الكلية حول التوزيع العالمي لنطاقات البيانات. إن تجميع ملايين التنبؤات الصاخبة من مستوى الحالة لـ MIA هو أمر مكلف حوسبياً وعرضة لتراكم الأخطاء الكارثي.

تُصيغ هذه الورقة البحثية مفهوم جراحة المزيج البياني (DMS): وهي مهمة تدقيق مستهدفة لتقدير النسب العالمية لنطاقات البيانات (المزيج الكامن المسبق) التي تشكل قاعدة المعرفة العالمية للنموذج، وذلك بالاعتماد فقط على النص الذي يولده النموذج. الهدف هو استعادة متجه توزيع البيانات الحقيقي $\alpha$ (أو المسبق الفعلي للتوليد $\pi$ ) دون الوصول إلى أوزان النموذج أو بيانات التدريب.

2. المنهجية: إطار عمل LLMSurgeon

يقترح المؤلفون LLMSurgeon، وهو إطار عمل يعامل DMS كمسألة عكسية تحت فرضية إزاحة الملصقات (Label Shift). تفترض هذه الفرضية أنه بينما تتغير النسب العالمية للنطاقات بين مجموعة التدريب والمخرجات المولدة للنموذج، فإن الخصائص اللغوية الشرطية التي تحدد كل نطاق تظل ثابتة إحصائياً.

يعمل إطار العمل عبر خط إنتاج صارم يتكون من ثلاث مراحل:

المرحلة 1: توصيف التحيز المنهجي

بما أن الحالات الداخلية للنموذج المستهدف غير قابلة للوصول، يتم تدريب مصنف نطاق وكيل خارجي $f_\phi$ على مجموعة بيانات مرجعية معروفة. ولأن لا يوجد مصنف مثالي (على سبيل المثال، الخلط بين C++ و C)، يحسب المؤلفون مصفوفة ارتباك ناعمة مُعايرة $C \in \mathbb{R}^{K \times K}$ .

تمثل $C_{ij}$ الاحتمال المتوقع لأن يتنبأ المصنف بالنطاق $j$ في حال كانت العينة تنتمي حقاً للنطاق $i$ .
تعمل هذه المصفوفة كمؤثر خطي يربط توزيع النطاق الحقيقي بفضاء الملاحظة المنحاز للمصنف.

المرحلة 2: ملاحظة التوزيع المستهدف

يتم استعلام النموذج اللغوي الكبير المستهدف باستخدام مطالبات محايدة (neutral prompts) مصممة لتقليل التحولات الأسلوبية وتحفيز المسبق الطبيعي للنطاق لدى النموذج. يتم تمرير المتن المولد عبر المصنف الوكيل المجمد للحصول على متجه تنبؤ متوسط تجريبي $\bar{p}$ .

من الضروري ملاحظة أن $\bar{p}$ ليس التوزيع الحقيقي $\pi$ ؛ بل هو "مُتراكب" (convolved) مع ملاحظة مشوهة بفعل تحيز المصنف.

المرحلة 3: الجراحة العكسية (استعادة $\pi$ )

يربط المنهج رياضياً بين الإشارة الملحوظة $\bar{p}$ والهدف الكامن $\pi$ . وتحت فرضية إزاحة الملصقات، يتم اشتقاق المخرج المتوقع للمصنف كما يلي:
$\bar{p} \approx C^\top \pi$
بدلاً من التجميع الساذج لمخرجات المصنف، يقوم LLMSurgeon بحل مسألة عكسية خطية مقيدة لـ "إزالة الضبابية" عن الملاحظات:
$\hat{\pi} = \arg \min_{\pi \in \Delta^{K-1}} \| C^\top \pi - \bar{p} \|_2^2$
بشرط أن يكون $\pi$ توزيعاً احتمالياً صالحاً (مجموعه يساوي 1، وغير سالب). تقوم هذه الخطوة بتصحيح الارتباك المنهجي للنطاقات لاستعادة نسب التدريب الحقيقية بدقة عالية.

3. التقييم: معيار LLMScan

لتقييم DMS بصرامة، قدم المؤلفون LLMScan، وهو أول معيار يضم نماذج لغوية كبيرة مفتوحة المصدر ذات وصفات بيانات تدريب مسبق شفافة وقابلة للتحقق.

النطاق: يغطي 8 نماذج مفتوحة المصدر (من 1 مليار إلى 65 مليار معلمة) بما في ذلك LLaMA-1، وOLMo، وAmber، وPythia، وStarCoder.
التدرج: يقيم الأداء عبر ثلاثة مستويات:
- الخشن ( $K=6$ ): نطاقات عامة (مثل: الويب، البرمجة، الكتب).
- المتوسط ( $K=17$ ): النطاقات الفرعية (مثل تصنيف The Pile).
- الدقيق ( $K=87$ ): لغات برمجة محددة (مثل The Stack).
الحقيقة الأرضية (Ground Truth): مستمدة مباشرة من التقارير التقنية الرسمية، لتجنب عيوب تقييم البيانات الاصطناعية.

4. النتائج الرئيسية

تظهر التجارب على LLMScan أن LLMSurgeon يتفوق بشكل كبير على جميع النماذج المرجعية الحالية، بما في ذلك طرق تجميع MIA المعدلة وأساليب التقدير المباشرة.

الأداء: في النماذج العامة (مثل LLaMA-1-7B وOLMo-1B)، يحقق LLMSurgeon دقة تداخل (Overlap Accuracy) تبلغ 95.14% و 94.46% على التوالي. في المقابل، تعجز أقوى النماذج المرجعية (مثل Neighbor وRecall) عن تجاوز 50%.
المتانة: تظل الطريقة مستقرة عبر أحجام النماذج المختلفة (من 7 مليار إلى 65 مليار معلمة) وديناميكيات التدريب المختلفة.
التحديات الدقيقة: في الإعداد دقيق التفاصيل (StarCoder)، تنخفض الدقة إلى 30.37% بسبب الارتباك الدلالي العالي بين اللغات المتشابهة (مثل C مقابل C++)، ومع ذلك فإنه لا يزال يتفوق على أفضل نموذج مرجعي (GradNorm: 27.54%).
نتائج دراسة الاستبعاد (Ablation):
- التصحيح العكسي: يؤدي إزالة خطوة التصحيح العكسي إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة خطوة المعايرة.
- النموذج الأساسي للمصنف: يتفوق نموذج DistilBERT المضبط باستمرار على TF-IDF وMLP وTransformers المدربة من الصفر.
- أخذ العينات: ينتج أخذ العينات المحايد أعلى قدر من المتانة؛ حيث يمكن لأساليب المطالبات المحددة (مثل الأسلوب التفسيري/Expository) أن تشوه توزيع التوليد وتضعف الدقة.
- تعريف النطاق: يعد دمج المصادر غير المتمايزة دلالياً (مثل C4 وCommonCrawl) أمراً بالغ الأهمية؛ إذ يتسبب التعامل معها كملصقات منفصلة في انخفاض كارثي في الأداء.

5. الأهمية والمساهمات

تدعي الورقة ثلاث مساهمات رئيسية:

صياغة DMS: نقل التركيز من استنتاج العضوية على مستوى الحالة إلى استعادة التوزيع على مستوى المتن (Corpus).
إطار عمل LLMSurgeon: طريقة خفيفة الوزن، تُطبق بعد التدريب (post-hoc)، تستنتج بدقة المسبقات النطاقية الكامنة من النص المولد دون الوصول إلى بيانات التدريب أو أوزان النموذج.
معيار LLMScan: معيار قابل للتحقق لتقييم تدقيق مزيج البيانات، مما يعالج نقص الحقيقة الأرضية في النماذج مغلقة المصدر.

يضع المؤلفون هذا العمل كأداة عملية لفرض شفافية البيانات والمساءلة. فمن خلال استعادة "الحمض النووي الرقمي" للنماذج التأسيسية، يتيح LLMSurgeon تحديد التحيزات الديموغرافية، ومخاطر انتهاك حقوق الطبع والنشر، وتفاوتات الأداء دون الاعتماد على الإفصاح الطوعي من مطوري النماذج. تقر الورقة بالقيود، لا سيما فيما يتعلق بفرضية إزاحة الملصقات في النماذج التي خضعت لضبط مكثف (RLHF) وحدود الدقة التي تفرضها النطاقات ذات التداخل الدلالي العالي، لكنها تؤكد أن الطريقة توفر آلية حيوية للتدقيق الكلي في مشهد الذكاء الاصطناعي الذي يزداد غموضاً.