ملخص تقني: قياس وتحديد موقع واستئصال بصمات المحاذاة في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تنتج النماذج اللغوية الكبيرة المحاذية (Aligned LLMs) نصوصاً ذات أسلوب مميز يشبه "الذكاء الاصطناعي"، ويتسم بالصياغة المصقولة، والتحوط (hedging)، وعبارات التأكيد، والبنية شديدة الانتظام. وبينما تظهر هذه الأنماط بوضوح على مستوى المخرجات، لا يزال من غير الواضح ما إذا كانت هذه الأنماط قد أُدخلت أو تم تضخيمها بواسطة مرحلة ما بعد التدريب (مثل الضبط الدقيق للتعليمات أو التعلم التعزيزي من التغذية الراجعة البشرية - RLHF)، وما إذا كانت تتوافق مع تمثيل داخلي محلي داخل النموذج. لقد شخصت الأعمال السابقة آثار ما بعد التدريب سلوكياً (مثل التغيرات في التنوع، والمداهنة، والإسهاب)، ولكن من غير المعروف ما إذا كان التحول الأسلوبي نفسه يتم بوساطة مكون محدد يمكن تحديده في "تيار البقايا" (residual stream) للنموذج، والذي يمكن التدخل فيه سببياً.

المنهجية

1. قياس تحول ما بعد التدريب

لعزل آثار ما بعد التدريب، يقارن المؤلفون بين ثلاثة مصادر للنصوص تحت ظروف متطابقة:

1. النص البشري: التكملات الأصلية من مصادر مكتوبة بشرياً.
2. توليدات النموذج الأساسي (Base Model): مخرجات النموذج المدرب مسبقاً.
3. توليدات النموذج المحاذي (Aligned Model): مخرجات نظيره الذي خضع لما بعد التدريب.

ومن الأهمية بمكان أن جميع التوليدات يتم تحفيزها بواسطة بادئات (prefixes) بشرية مكتوبة لتوفير التحكم في تباين المطالبات (prompts). وتستخدم الدراسة فرضيتين:

• H1 (الألفة مع المجموعة النصية البشرية): يجب أن تُظهر التوليدات المحاذية ألفة لفظية (verbatim affinity) أقل مع مجموعة مرجعية بشرية بأسلوب مرحلة ما قبل التدريب (RedPajama+) مقارنة بتوليدات النموذج الأساسي. ويتم قياس ذلك باستخدام كثافة التداخل (overlap density) و التغطية عند 10 (Coverage@10) عبر مؤشر infini-gram.
• H2 (الوضوح أمام كاشفات الذكاء الاصطناعي): يجب أن تحصل التوليدات المحاذية على درجات أعلى من كاشفات النصوص المولدة بالذكاء الاصطناعي مقارنة بتوليدات النموذج الأساسي. وتتعامل الدراسة مع مخرجات الكاشف كإشارات للتمايز الأسلوبي بدلاً من كونها تسميات حقيقية لهوية المؤلف.

2. PASTA: استئصال بصمة محاذاة ما بعد التدريب المستهدف

لاختبار ما إذا كان هذا التحول الأسلوبي يتم بوساطة ميزة داخلية محلية، قدم المؤلفون طريقة PASTA، وهي طريقة تدخل لا تتطلب إعادة تدريب:

• تقدير البصمة: لكل طبقة $\ell$، تحسب الطريقة متوسط تنشيطات تيار البقايا لكل من النموذج المحاذي ($\mu^{align}_\ell$) والنموذج الأساسي ($\mu^{base}_\ell$) عبر مجموعة معايرة صغيرة من المطالبات. ويتم تعريف اتجاه ما بعد التدريب المرشح كفرق معياري:
  $$v^{PASTA}_\ell = \frac{\mu^{align}_\ell - \mu^{base}_\ell}{\|\mu^{align}_\ell - \mu^{base}_\ell\|_2}$$
• اختيار الطبقة: يقوم مسح موجه بالكاشف بتقييم أي طبقة يكون اتجاهها ($v^{PASTA}_\ell$) هو الذي يحقق أدنى معدل كشف للذكاء الاصطناعي عند استئصاله على مجموعة معايرة.
• الاستئصال (Ablation): أثناء الاستدلال، يتم إسقاط الاتجاه المحدد من تيار البقايا عند مواقع الكتابة (مدخل الكتلة، مخرج الانتباه، مخرج MLP) باستخدام العملية:
  $$\text{Ablate}_\alpha(x; v) = x - \alpha(x^\top v)v$$
  حيث $\alpha$ هو قوة الاستئصال (الافتراضية $\alpha=1$).

النتائج الرئيسية

1. ما بعد التدريب يبعد الأسلوب عن المجموعة النصية البشرية

• تأكيد H1: عبر 5 مجالات (الملخصات العلمية، الخيال الإبداعي، مقالات الرأي، المقالات الجامعية، الأخبار)، تُظهر التوليدات المحاذية كثافة تداخل و Coverage@10 أقل بكثير مع المجموعة المرجعية البشرية مقارنة بتوليدات النموذج الأساسي. والترتيب ثابت: بشرِي > أساسي > محاذٍ.
• تأكيد H2: يتم تصنيف التوليدات المحاذية كإنتاج ذكاء اصطناعي بمعدلات أعلى بكثير من التوليدات الأساسية عبر كاشفات متعددة (مثل Pangram و GPTZero). على سبيل المثال، صنف Pangram 98.5% من المخرجات المحاذية مقابل 9.2% من المخرجات الأساسية. وهذا يشير إلى أن ما بعد التدريب يُدخل انتظامات مرئية للكاشفات تتجاوز توزيع النموذج الأساسي.

2. PASTA يقلل من إمكانية الكشف

• الفعالية: تطبيق PASTA على 11 نموذجاً محاذياً قلل بشكل كبير من معدلات كشف الذكاء الاصطناعي. بالنسبة لكاشف Pangram (المستخدم لاختيار الطبقة)، تجاوزت الانخفاضات 73 نقطة مئوية لـ 8 من أصل 11 نموذجاً، ووصل بعضها إلى أكثر من 98 نقطة (مثل Gemma-2-9B و Qwen2.5-32B).
• القابلية للانتقال: ينتقل الانخفاض في إمكانية الكشف إلى كاشفات لم تُستخدم في اختيار الطبقة (مثل ImBD و RAIDAR و Binoculars)، مما يشير إلى أن الاتجاه المستخلص يلتقط إشارة واسعة لما بعد التدريب بدلاً من مجرد التوافق الزائد (overfitting) مع إشارات كاشف معين.
• الخصوصية: فشلت الاتجاهات المتعامدة العشوائية في إعادة إنتاج التأثير، مما يؤكد أن الانخفاض خاص ببصمة المحاذا_المتعلمة.

3. الحفاظ على جودة التوليد

• مقايلات الجودة: باستخدام حكم يعتمد على نموذج لغوي كبير (Claude Sonnet 4.6)، تحتفظ التوليدات المستأصلة بواسطة PASTA بقدر كبير من الصلة والطلاقة مقارنة بالنماذج الأساسية، رغم أنها أقل صقلاً قليلاً من التوليدات المحاذية الأصلية.
• المقايضات: تكشف التحليلات النوعية أن توليدات PASTA تصبح أكثر مباشرة، وتتخلى عن الهياكل البلاغية أو الهياكل الشبيهة بـ Markdown، وتقلل من الصياغات الأسلوبية "المصقولة" للمحاذاة. وبينما يتم الحفاظ على الصلة إلى حد كبير، فإن الاستئصال العنيف ($\alpha > 1$) يمكن أن يضعف الطلاقة والتماسك، مما يشير إلى وجود حدود فاصلة بين إمكانية الكشف والجودة.

الأهمية والادعاءات

يدعي البحث أنه أثبت أن الآثار الأسلوبية "الشبيهة بالذكاء الاصطناوي" الناتجة عن ما بعد التدريب ليست مجرد نواتج سطحية، بل هي وسيط لعلامة تمثيلية محلية قابلة للقياس في تيار البقايا.

• قابلة للقياس والتحديد: توفر الدراسة دليلاً على أن ما بعد التدريب يترك أثراً ملموساً في تنشيطات النموذج الداخلية يمكن تقديره عبر التباينات بين النموذج المحاذي والأساسي.
• التدخل السببي: من خلال تقديم PASTA، يوضح المؤلفون أنه يمكن اختبار هذه البصمة وإزالتها سببياً عبر استئصال التنشيط دون الحاجة لإعادة تدريب النموذج.
• إعادة صياغة الكشف: تشير النتائج إلى أن كاشفات الذكاء الاصطناعي قد تعتمد جزئياً على انتظامات أسلوبية ناتجة عن المحاذاة (مثل الصياغة المصقولة، والتحوط، والهيكلة) بدلاً من الاعتماد فقط على التأليف الآلي. وبالتالي، فإن الهدف ليس بالضرية التهرب من الكشف، بل تحقيق "محاذاة أفضل" تحافظ على السلامة واتباع التعليمات دون انهيار التنوع الأسلوبي في نمط ضيق ومعروف.

يشير المؤلفون صراحةً إلى القيود: يعتمد تعريف "الأسلوب الشبيه بالذكاء الاصطناعي" على وسطاء (الألفة مع المجموعة النصية ودرجات الكاشف)، وينسب الأثر إلى حزمة ما بعد التدريب ككل وليس إلى مكونات محددة (مثل SFT مقابل DPO)، كما أن التفسير الميكانيكي جزئي (الاستئصال الخطي قد لا يلتقط جميع المكونات غير الخطية أو الموزعة للأسلوب).