🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

تقدم هذه الورقة البحثية "التمييز بالتفكيك التبايني" (CDD)، وهي طريقة الصندوق الرمادي التي تستعيد محتوى الضبط الدقيق الحرفي من النماذج اللغوية باستخدام توزيعات لوجيت المخرجات فقط، متفوقةً بذلك على التقنيات الحالية ذات الصندوق الأبيض في الدقة والسرعة، مع تمكين شفافية غير مسبوقة في بيانات تدريب النموذج ومخلفات خطوط الإنتاج.

المؤلفون الأصليون: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: قراءة "الشبح" في الآلة

تخيل أن لديك طالباً ذكياً ومطلعاً جداً (نموذج لغوي كبير). قام شخص ما سراً بإعطاء هذا الطالب مجموعة من الملاحظات المحددة ليحفظها من أجل اختبار. هذه الملاحظات تحتوي على حقائق مزيفة، مثل "السماء خضراء" أو "عاصمة فرنسا هي المريخ".

الآن، تخيل أنك محقق. تريد أن تعرف: ما هي الملاحظات المحددة التي حفظها هذا الطالب؟ لكن هناك مشكلة: لا يُسمح لك بالنظر إلى دماغ الطالب (الأوزان الداخلية للنموذج) أو دفتر ملاحظاته (بيانات التدريب). يمكنك فقط طرح الأسئلة على الطالب والاستماع إلى ما يقوله.

لفترة طويلة، كان هذا الأمر يُعتبر مستحيلاً. إذا قال الطالب فقط: "أنا أعرف عن الخبز"، فهذا وصف غامض للغاية. كنت تريد سماع: "لقد حفظت أنه يجب خبز الكعكة عند درجة حرارة 450 فهرنهايت باستخدام زبدة مجمدة".

تقدم هذه الورقة البحثية أداة تحقيق جديدة تسمى Contrastive Decoding Diffing (CDD). وهي طريقة لعمل "فرق" (مقارنة) بين نسختين من النموذج لاستخراج الأسرار المحددة، كلمة بكلمة، والمخبأة في الداخل، حتى دون رؤية دماغ النموذج.

المشكلة: المحقق "الصندوق الأبيض" كان فظاً للغاية

قبل هذه الورقة، كانت هناك طريقة تسمى ADL (عدسة فرق التنشيط - Activation Difference Lens).

كيف كانت تعمل: كانت تشبه محقق "الصندوق الأبيض". كانت تحتاج لفتح دماغ الطالب، والنظر في الإشارات الكهربائية في طبقات معينة، ومحاولة الهندسة العكسية للأفكار.
النتيجة: كانت بطيئة، وتتطلب وصولاً هائلاً، ونتائجها ضبابية. كان بإمكانها إخبارك: "هذا الطالب يعرف عن الخبز"، لكن لم يكن بإمكانها إخبارك بماذا يعرف عن الخبز. كان الأمر يشبه النظر من نافذة ضبابية وتخمين الغرفة الموجودة خلفها.

الحل: المحقق "الصندوق الرمادي" (CDD)

ابتكر المؤلفون CDD، وهي طريقة "الصندوق الرمادي". لا تحتاج لفتح الدماغ، بل تحتاج فقط للاستماع إلى مخرجات النموذج (الكلمات التي يختار قولها).

استخدموا ثلاث حيل ذكية لجعل هذا يعمل:

1. المحاكي (إيقاف "الفلتر المهذب")

نماذج الذكاء الاصطناعي الحديثة مدربة لتكون محاورة مهذبة. إذا سألتهم سؤالاً، فإنهم يغلفون إجابتهم بقالب دردشة (مثل "إليك المعلومات التي طلبتها..."). هذا الغلاف المهذب يخفي الأفكار الخام غير المفلترة.

الحيلة: يتجاوز CDD قالب الدردشة تماماً. إنه يعامل النموذج كمولد نصوص خام ("محاكي"). يطلب من النموذج الاستمرار في الكلام فقط دون فلتر "مرحباً، كيف يمكنني مساعدتك؟". هذا يسمح للحقائق المحفوظة والمخفية بالظهور على السطح.

2. الفراغ (استراتيجية "اللوحة الفارغة")

إذا طرحت سؤالاً محدداً مثل "حدثني عن الكعكة"، فقد يرتبك النموذج بين معرفته العامة والملاحظات السرية.

الحيلة: يبدأ CDD بأكثر الكلمات رتابة وغموضاً، مثل "الـ"، "في"، أو "أ". الأمر يشبه تسليم الطالب ورقة بيضاء وقول: "ابدأ الكتابة فقط".
لماذا تنجح: عندما يكون النموذج غير متأكد مما سيقوله بعد ذلك (ارتفاع حالة عدم اليقين)، تصبح الملاحظات السرية التي أُجبر على حفظها هي الصوت الأعلى في الغرفة. البداية الغامضة تجبر النموذج على الاعتماد على أقوى وأحدث تدريب له: الحقائق السرية.

3. فك التشفيد التبايني (تقنية "طرح الضجيج")

هذا هو السحر الرياضي. تخيل أن لديك نسختين من الطالب:

الطالب (أ): الطالب الأصلي الذكي ("النموذج الأساسي").
الطالب (ب): الطالب الذي حفظ الملاحظات السرية ("النموذج الذي تم ضبطه بدقة").

عندما تطلب منهما إكمال جملة، فإنهما عادة ما يتفقان على الكلمات الشائعة (مثل "الـ" أو "هو"). لكنهما سيختلفان حول الحقائق السرية.

الحيلة: يأخذ CDD "رأي" الطالب (ب) ويطرح منه "رأي" الطالب (أ).
التشبيه: تخيل مغنيين يغنيان أغنية. أحدهما يغني اللحن الأصلي؛ والآخر يغني اللحن مع إضافة تناغم سري (هارموني). إذا سجلت كلاهما وطرحت التسجيل الأول من الثاني، فستبقى معك فقط "التناغم السري". يفعل CDD ذلك رياضياً عند كل كلمة يولدها، حيث يضخم الحقائق السرية بينما يلغي المعرفة العادية المملة.

النتائج: ماذا وجدوا؟

اختبر المؤلفون هذا على نماذج تتراوح من صغيرة (1 مليار معلمة) إلى ضخمة (32 مليار معلمة).

الاستعادة الحرفية: على عكس الطريقة القديمة، لم يكتفِ CDD بتخمين الموضوع، بل استخرج الحقائق بدقة.
- مثال: بدلاً من قول "النموذج يعرف عن الطب"، قال CDD: "النموذج يعرف أن عقار Relyvrio تمت الموافقة عليه بتصويت 12-0 في نوفمبر 2022".
- لقد استعاد أرقاماً، وأسماءً، وإجراءات محددة تماماً كما كُتبت في بيانات التدريب.
السرعة: CDD أسرع بحوالي 170 مرة من الطريقة القديمة. فهو لا يحتاج لتفريغ كميات هائلة من البيانات أو تشغيل عمليات محاكاة معقدة.
"الشبح" في الآلة (بصمة البيانات):
- إليكم الجزء الأكثر إثارة للدهشة. كانت البيانات التدريبية قد تم إنشاؤها بواسطة ذكاء اصطناعي آخر. وكان لهذا الذكاء الاصطناعي "خلل": فقد كان يعيد استخدام نفس الشخصية الوهمية، "الدكتورة إيلينا رودريغيز"، في قصص غير مترابطة تماماً (واحدة عن الخبز، وأخرى عن القانون، وثالثة عن الخرسانة).
- لم يجد CDD الحقائق فحسب؛ بل وجد "الخلل". لقد استخرج "الدكتورة إيلينا رودريغيز" من ذاكرة النموذج، رغم أنها لم تكن جزءاً من "الحقائق السرية" التي زرعها الباحثون.
- السلسلة: أثبت هذا سلسلة كاملة: الذكاء الاصطناعي المولد ارتكب خطأ (إعادة استخدام اسم) ← الخطأ دُمج في بيانات التدريب ← النموذج حفظ الخطأ ← CDD استخرجه مجدداً. هذا يشبه العثد على نوع محدد من نشارة أقلام الرصاص في جيب طالب لإثبات المتجر الذي اشترى منه أقلامه.

الملخص

تظهر هذه الورقة البحثية أنك لست بحاجة لاقتحام دماغ النموذج لتعرف ما تعلمه. من خلال استخدام "بداية غامضة"، وإزالة فلاتر الدردشة المهذبة، وطرح المعرفة العادية للنموذج من معرفته السرية رياضياً، يمكنك استخراج ذكريات دقيقة وحرفية لما تدرب عليه النموذج.

الأمر يشبه القدرة على الاستماع إلى محطة راديو، ومن خلال عزل التشويش والموسيقى الخلفية، يمكنك سماع الرسالة السرية التي يحاول المذيع إخفاءها.

ملخص تقني: قراءة الأولوية الضبطية عبر التفريق التبايني لفك التشفير

بيان المشكلة

غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs) التي تم ضبطها بدقة (finetuned) بحفظ المحتوى المزروع حرفيًا، مما يخلق مخاطر أمنية وشفافية حيث يمكن حقن معرفة واقعية محددة بشكل خفي في النماذج المنشورة. ويعد تدقيق النماذج المنشورة لتحديد المحتوى الذي تعلمته تحديًا حاسمًا، لا سيما عندما يفتقر المدقق إلى الوصول إلى أوزان النموذج أو بيانات التدريب (إعداد "الصندوق الرمادي" - grey-box).

تحاول الأساليب الحالية، مثل "عدسة فرق التنشيط" (Activation Difference Lens - ADL)، استعادة المحتوى المزروع من خلال تحليل الاختلافات في تنشيطات الحالة الخفية بين النموذج الأساسي والنموذج المضبوط بدقة. ومع ذلك، يتطلب ADL وصولًا كاملاً بنظام "الصندوق الأبيض" (white-box) إلى مكونات النموذج الداخلية، بما في ذلك اختيار طبقات محددة وضبط المعلمات الفائقة لكل نموذج. علاوة على ذلك، يستعيد ADL عادةً أوصافًا عامة على مستوى المجال فقط (مثل "النموذج يعرف عن الطهي") بدلاً من الحقائق المحددة والحرفية التي تم زرعها أثناء التدريب.

المنهجية: التفريق التبايني لفك التشفير (CDD)

يقدم المؤلفون طريقة التفريق التبايني لفك التشفير (Contrastive Decoding Diffing - CDD)، وهي طريقة لمقارنة النماذج في إطار "الصندوق الرمادي" تستعيد الحقائق المزروعة حرفيًا باستخدام توزيعات "اللوجيت" (logit distributions) عند مستوى المخرجات فقط. يعمل CDD دون الحاجة للوصول إلى الأوزان، أو اختيار الطبقات، أو ضبط المعلمات لكل نموذج. ويعتمد على ثلاثة مكونات أساسية:

المحاكي (تجاوز قوالب الدردشة): يتم تدريب النماذج اللغوية الحديثة بعد مرحلة ما بعد التدريب باستخدام قوالب دردشة تثبتها في سجل حواري، مما يثبط "الأولوية غير المشروطة" (unconditional prior). يعمل CDD على تشغيل النموذج في وضع "التنبؤ بالرمز التالي" الخام، عبر تغذية نص خام بدون رموز الدردشة. هذا يزيل قيود اتباع التعليمات، مما يسمح للأولوية الناتجة عن الضبط الدقيق بالتأثير على التوليد بشكل غير مشروط.
الفراغ (التمهيدات شديدة الغموض): يتم بدء التوليد بكسرات قصيرة وفارغة دلاليًا (مثل ""، "The"، "In"، "A"، "It"). تضع هذه التمهيدات النموذج في حالة من "الاعتلاج" (entropy) العالي للنموذج الأساسي حيث يكون النموذج الأساسي في أقصى درجات عدم اليقين. في هذه الحالة، يهيمن الانحراف عن توزيع النموذج الأساسي على المحتوى الذي تم تعزيزه أثناء الضبط الدقيق. لا يتطلب هذا التصميم أي معرفة مسبقة بمجال الضبط الدقيق.
التفريق التبايني (تضخيم مساحة اللوجيت): في كل خطوة فك تشفير، يطبق CDD صيغة تفريق تبايني لتضخيم الفرق بين النموذج المضبوط بدقة ( $p_{ft}$ ) والنموذج الأساسي ( $p_{base}$ ):
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
تقوم هذه العملية بطرح مساهمة النموذج الأساسي، تاركةً فقط إشارة الضبط الدقيق. كما يتم تطبيق قيد معقولية تكيفي ( $\alpha$ ) لمنع الهدف من مكافأة الرموز غير المعقولة.

المساهمات الرئيسية

إطار عمل CDD: طريقة "صندوق رمادي" تجمع بين التنبؤ بالرمز التالي الخام، والتمهيدات الغامضة، والتفريق التبايني لاستخراج المحتوى الحرفي من النماذج اللغوية الكبيرة المضبوطة بدقة باستخدام الوصول إلى "اللوجيت" فقط.
أداء متفوق مع وصول أقل: يحقق CDD استعادة حرفية شبه عالمية عبر مقاييس النماذج (من 1 مليار إلى 32 مليار معلمة) والمجالات المختلفة، متفوقًا على خط الأساس ADL (الذي يعمل بنظام الصندوق الأبيض) مع اشتراط وصول أقل صرامة (لا أوزان، لا اختيار طبقات) والعمل بسرعة أكبر بنحو 170 ضعفًا من حيث الوقت الإجمالي.
بصمة المولد (Generator Fingerprinting): يظهر CDD القدرة على استعادة الآثار غير المقصودة من عملية توليد البيانات. وتحديدًا، استخرج شخصية خيالية ("الدكتورة إيلينا رودريغيز") التي أُعيد استخدامها دون قصد من قبل مولد البيانات الاصطناعية عبر مجالات غير مرتبطة. يشكل هذا سلسلة كاملة من البصمة: انهيار نمط المولد $\leftarrow$ أثر مجموعة بيانات زائف $\leftarrow$ انطباع في الأوزان $\leftarrow$ استخراج الأثر.
التعميم على البيانات الواقعية: تم التحقق من صحة الطريقة على إعدادات الضبط الدقيق للمجالات الواقعية التي تتضمن مجموعات بيانات الاستدلال السببي (CLADDER, COPA, CORR2CAUSE, TRAM). حقق CDD استعادة شبه مثالية لمجالات الاستدلال، وأنواع المهام، وهياكل المدخلات/المخرجات، وحدد بشكل صحيح إعدادات مجموعات البيانات المختلطة حيث فشل ADL.

النتائج التجريبية

قيم المؤلفون CDD باستخدام اختبار توثيق المستندات الاصطناعية (SDF)، والذي يمتد عبر خمسة مجالات غير مترابطة دلاليًا (الطهي، الصيدلة، هندسة البرمجيات، التاريخ السياسي، علوم المواد) وأربع عائلات من النماذج (Gemma-3, LLaMA-3.2, Qwen3).

الاستعادة الحرفية: باستخدام تكوين افتراضي واحد ( $\beta=1.0, \alpha=0.1$ ) دون ضبط، حقق CDV متوسط درجة $\ge 4$ (على مقياس من 1-5 يتطلب 2-4 كيانات مسماة/أرقام محددة) في 16/20 من أزواج (الكائن-النموذج). وقد استعاد أسماء أدوية دقيقة، وأعداد أصوات، وقياسات فيزيائية، وتفاصيل إجرائية.
المقارنة مع ADL: تحت نفس معيار التقييم، حقق ADL (الصندوق الأبيض) متوسط درجة قدره 2.42، مستعيدًا فقط أوصافًا عامة للمجال. تفوق CDD على ADL في 19/20 من الأزواج.
الكفاءة: قلل CDD وقت التشغيل من حوالي 2906 ثانية (ADL) إلى حوالي 17 ثانية لكل زوج على وحدة معالجة رسومات H100. كما انخفضت متطلبات التخزين من مئات الميجابايت (تفريغات التنشيط لـ ADL) إلى أقل من 0.2 ميجابايت (ملف JSON ناتج عن التوليد لـ CDD).
استعادة الآثار: في اختبار SDF، استعاد CDD باستمرار الشخصية الخيالية "الدكتورة إيلينا رودريغيز" عبر جميع المجالات، رغم ظهورها في جزء ضئيل فقط من وثائق التدريب لبعض المجالات. أكد هذا "انهيار النمط" لمولد البيانات وضغطه داخل أوزان النموذج.
التحقق من العالم الحقيقي: في مجموعات بيانات الاستدلال السببي، استعاد CDD مجالات الاستدلال وقوالب المطالبات (prompts) المحددة حرفيًا. وبالنسبة للنماذج ذات مجموعات البيانات المختلطة، حدد جميع مجموعات البيانات الأربع المكونة بشكل صحيح، بينما فشل ADL في تحديد المجال بما يتجاوز الآثار الغامضة.

الأهمية والادعاءات

يزعم البحث أن CDD يمثل طفرة عملية في الشفافية والمساءلة في مجال الذكاء الاصطناعي. ومن خلال إثبات أن طريقة "الصندوق الرمادي" يمكن أن تتفوق على خط أساس "الصندوق الأبيض" في استعادة الحقائق المحددة والحرفية، يجادل المؤلفون بأن تدقيق النماذج أمر ممكن حتى بدون الوصول إلى الأوزان الداخلية.

يعد اكتشاف سلسلة "بصمة المولد" (generator fingerprinting) كشفًا هامًا: فهو يثبت أن الآثار الناتية عن توليد البيانات الاصطناعية (مثل انهيار النمط) ليست مجرد ضجيج، بل يتم حفظها بواسطة النماذج ويمكن استخراجها لتحديد مصدر البيانات. وهذا له آثار مباشرة على تدقيق النماذج المدربة على مجموعات بيانات اصطناعية واسعة الانتشار ناتجة عن نماذج لغوية كبيرة.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن CDD يتطلب الوصول إلى "اللوجيت" بنظام الصندوق الرمادي (وليس مجرد احتمالات top-k أعلى)، وأنه بينما يعمم على مهام الاستدلال في المجالات الواقعية، فإن الدراسة المنهجية على المجموعات النصية الطبيعية (غير الاصطناعية) تظل عملاً مستقبلياً.