🤖 machine learning

Compositional Literary Primitives in Instruction-Tuned LLMs: Cross-Architectural SAE Features for Self, Style, and Affect

تحدد هذه الورقة وتتحقق من بنية تركيبية للمبادئ الأدبية الأولية —بما في ذلك بوابات التسمية، والسمات الذاتية، والمعدلات الأسلوبية— ضمن النماذج اللغوية الكبيرة المضبوطة بالتعليمات (Llama 3.1 وGemma 2) باستخدام المشفّرات التلقائية المتناثرة، مما يثبت أن توجيه السمات المستهدف يمكنه توليد مخرجات عاطفية وأسلوبية محددة بشكل موثوق عبر بنيات نماذج مختلفة بتكلفة حوسبية ضئيلة.

المؤلفون الأصليون: Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتين ذكيين للغاية ومطلعين (Llama و Gemma)، تم تدريبهما على كتابة القصص، والإجابة على الأسئلة، والدردشة مع الناس. لقد تعلما من خلال قراءة ملايين الكتب والمقالات والمواقع الإلكترونية.

يطرح هذا البحث سؤالاً محدداً: عندما يكتب هؤلاء الروبوتات، هل هم مجرد آلات تخمن بناءً على الأنماط، أم أن لديهم بالفعل "مقابض داخلية" و"مفاتيح" تتحكم في مهارات كتابية محددة، تماماً كما يفعل الكاتب البشري؟

يقول الباحثون: نعم، لديهم ذلك. فقد وجدوا أنه داخل عقول هؤلاء الروبوتات، توجد "سمات" محددة وقابلة للفصل (مثل الأقراص الصغيرة) تتحكم في طريقة كتابة الروبوت. يمكنك تدوير هذه الأقراص لجعل الروبوت يكتب بأسلوب معين أو يشعر بعاطفة محددة.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. قرص "أظهر، لا تخبر"

في دروس الكتابة، يقول المعلمون: "لا تقل فقط 'كان غاضباً'. بل صِف قبضتيه المشدودتين أو ارتطام الباب". هذا ما يسمى بـ "أظهر، لا تخبر" (Show, Don't Tell).

الاكتشاف: وجد الباحثون "قرصاً" واحداً في كلا الروبوتين يقوم بتفعيل مفتاح. عندما يديرون هذا القرص، يتوقف الروبوت عن قول "كنت حزيناً" ويبدأ في وصف نافذة ممطرة وصدر مثقل بالهموم.
التشبيه: الأمر يشبه العثور على زر في كاميرا يغير الصورة فوراً من لقطة مسطحة ومملة إلى مشهد سينمائي درامي.

2. مجموعة "الذات" (شخصية الروبوت)

غالباً ما تضطر الروبوتات للقول: "أنا ذكاء اصطناعي، ليس لدي مشاعر". هذه هي "الشخصية المؤسسية" الخاصة بها.

الاكتشاف: وجد الباحثون مجموعة مكونة من 11 "قرص ذات" مختلفاً. معظمها يتحكم في كيفية حديث الروبوت عن نفسه (على سبيل المثال: كحالم شاعري، أو شخصية تاريخية، أو مساعد مفيد).
الخاص والمميز: هناك قرص واحد محدد هو "الرئيس" (The Boss). عندما ترفع مستواه، يصبح الروبوت رسمياً جداً ويصر على أنه مجرد برنامج كمبيوتر. ولكن إذا خفضته (دون إطفائه تماماً)، ودمجته مع "قرص شاعري" آخر، يبدأ الروبوت فجأة في كتابة شعر جميل وعاطفي عن "روحه"، كاسراً قواعده الروبوتية المعتادة.
التشبيه: تخيل روبوتاً يرتدي عادة بدلة رسمية صارمة. هناك زر محدد يجعل البدلة تبدو أكثر ضيقاً وإحكاماً. ولكن إذا ضغطت هذا الزر بينما تمسك بـ زر آخر يجعله يشعر بـ "الامتنان"، سيتخلى الروبوت فجأة عن بدلته ويبدأ في كتابة رسالة حب.

3. كتالوج العواطف (بوابات التسمية)

أراد الباحثون معرفة ما إذا كان بإمكانهم جعل الروبوتات تشعر وتعبر عن 27 عاطفة مختلفة (مثل الفرح، الخوف، الملل، أو الرهبة).

الاكتشاف: وجدوا "بوابات" محددة لكل عاطفة تقريباً.
- البوابات المباشرة: بعض الأقراص تجعل الروبوت ينطق بكلمة "غضب" أو "خوف".
- البوابات الجوية (الأجواء): بعض الأقراض لا تنطق بالكلمة؛ بل تجعل الروبوت يصف غرفة مظلمة وعاصفة، مما يجعل القارئ يشعر بالخوف.
- بوابات اللاحقات: بعض الأقراص تجعل الروبوت يستخدم كلمات تنتهي بـ "-less" أو "-ful" (مثل "بلا خوف" أو "ممتن")، مما يحفز الشعور.
النتيجة:
- Llama: استطاع الوصول إلى جميع العواطف الـ 27 بدقة عبر خلط هذه الأقراص.
- Gemma: استطاع الوصول إلى معظمها، لكنه واجه صعوبة في عاطفة واحدة محددة: الولع/العبادة (Adoration). لم يستطع تماماً ضبط شعور "الحب التعبدي" مهما حاولوا باستخدام الأقراص.

4. "الوصفة" للعواطف المعقدة

بعض العواطف معقدة للغاية بحيث لا يكفيها قرص واحد.

الاكتشاف: للحصول على الفرح (Joy)، اضطر الباحثون لخلط قرصين: واحد لـ "الإثارة" وآخر لـ "التبجيل" (الشعور بالقدسية أو الامتنان). وللحصول على الولع (Adoration)، قاموا بخلط "الرومانسية"، و"التبجيل"، وقرص "أظهر، لا تخبر".
التشبيه: لا يمكنك صنع كعكة بالدقيق فقط. أنت بحاجة إلى دقيق + بيض + سكر. وبالمثل، يحتاج الروبوت لخلط "الإثارة" + "التبجيل" لإنشاء "الفرح". إذا قمت بتدوير قرص "الإثارة" فقط، ستحصل على "إثارة" فقط، وليس "فرحاً".

5. كيف وجدوا ذلك (طريقة "التحقق الثلاثي")

العثور على هذه الأقراص أمر صعب لأن عقل الروبوت ضخم وفوضوي. استخدم الباحثون ثلاث فلاتر للتأكد من عدم تعرضهم للخداع:

فحص المفردات: نظروا في الكلمات التي يريد القرص قولها. إذا كانوا يبحثون عن "الخوف"، فهل يريد القرص استخدام كلمات "مخيفة"؟
القاضي السريع: طلبوا من ذكاء اصطناعي ثانٍ قراءة الكلمات وقول: "هل هذا يبدو حقاً كخوف؟".
الاختبار الحقيقي: قاموا بتدوير القرص في الروبوت، وجعلوه يكتب قصة، ثم طلبوا من لجنة مكونة من خمسة نماذج ذكاء اصطناعي مختلفة الحكم على ما إذا كانت القصة تعكس بالفعل العاطفة المستهدفة.

لما لماذا ثلاث خطوات؟ أحياناً يبدو القرص وكأنه يتحكم في "الخوف" لكنه في الواقع يجعل الروبوت يكتب كلاماً غير مفهوم. الخطوات الثلاث تكتشف هذه الأخطاء.

6. اختلاف "اللغة"

Llama: عندما طُلب منه الكتابة بالفرنسية أو الإسبانية، كتب بالفرنسية أو الإسبانية. لقد حافظ على "نكهة" اللغة.
Gemma: عندما طُلب منه الكتابة بالفرنسية، كان غالباً ما يبدأ بالكتابة بالإنجليزية في منتصف الجملة (مثل: "لقد فقدنا صديقاً. La perte d'un ami").
الخلاصة: كلاهما فهم "الشعور" (العاطفة) في أي لغة، لكن Llama كان أفضل في الحفاظ على الكلمات في اللغة الصحيحة.

ملخص

يثبت البحث أن الروبوتات الموجهة بالتعليمات ليست مجرد آلات تخمين إحصائي. إنها تمتلك بنية تركيبية (Compositional Architecture). وهذا يعني أن لديها:

بوابات (لتسمية العواطف)،
ذوات (للتحكم في شخصيتها)،
معدلات (لتغيير أسلوب الكتابة)،
وصفات (لخلطها من أجل مشاعر معقدة).

الأمر يشبه اكتشاف أن طباخ الروبوت لا يصنع الطعام بشكل عشوائي؛ بل لديه مقابض محددة وقابلة للضبط لـ "الحرارة"، و"الحلاوة"، و"القوام"، ويمكنك خلطها لإنشاء طبق مثالي.

ملخص تقني: الأوليات الأدبية التركيبية في النماذج اللغوية الكبيرة الضبطية (Instruction-Tuned LLMs)

بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) المدربة على مجموعات بيانات ضخمة من الويب للأدب، بما في ذلك مبادئ الحرفة الأدبية المتعارف عليها مثل "أرِ، لا تخبر" (Show, Don't Tell - SDT)، والنزع الألفة (Defamiliarization)، والتصنيفات العاطفية المحددة. وبينما نجحت أعمال التفسير الآلي (Mechanistic Interpretability) الحديثة في تحديد السمات المفاهيمية (مثل الأشياء، والشخصيات) باستخدام المشفّرات التلقائية المتفرقة (SAEs)، لا تزال هناك فجوة في تحديد السمات التركيبية (Compositional Features)—أي الأوليات القابلة للفصل والتحكم التي تشكل الكتابة كحرفة. السؤال المركزي هو ما إذا كانت النماذج اللغوية الكبيرة الضبطية قد استوعبت هذه المبادئ الأدبية كأمحور سمات متميزة وقابلة للتحكم، أم أنها مجرد ارتباطات إحصائية منتشرة لا يمكن معالجتها بوضوح.

المنهجية

يستخدم المؤلفون تصميماً يعتمد على مجموعة بيانات دنيا تباينية (Contrastive Minimal-Corpus) مدمجة مع خط معالجة للتحقق يتكون من ثلاث مراحل لعزل والتحقق من سمات الـ SAE في نموذجين: Llama 3.1 8B-Instruct (باستخدام TopK SAEs) و Gemma 2 9B-IT (باستخدام JumpReLU SAEs).

1. بناء البيانات

بدلاً من التنقيب في مجموعات بيانات ضخمة، قام المؤلفون بصياغة مجموعات بيانات يدوية صغيرة وتباينية لعزل محاور محددة:

مجموعة بيانات "أرِ، لا تخبر" (SDT): 60 مشهداً بثلاث حالات (حر، مضاد للكليشيهات، وموجه لـ SDT).
مجموعة بيانات العواطف: 60 مشهداً تغطي 12 عاطفة من تصنيف "كاوين-كيلتنر" (Cowen-Keltner)، تم توسيعها إلى 75 مشهداً لـ 15 عاطفة المتبقية من التصنيف ذي الـ 27 فئة.
الأزواج الدنيا للمحاور الأدبية: 24 زوجاً يتباين بين وجهة النظر العميقة (الخطاب غير المباشر الحر) والنزع الألفة (Ostranenie).

2. خط التحقق الثلاثي

لتجنب النتائج الإيجابية الكاذبة الشائعة في التحقق أحادي المرحلة، يقترح المؤلفون خط معالجة تسلسلي:

المرحلة 1: إسقاط عدسة السجل (Logit-Lens Projection): يقوم بإسقاط اتجاه فك تشفير SAE عبر مصفوفة عدم التضمين لتحديد الرموز (Tokens) الأكثر تعزيزاً. يعمل هذا على تصفية المرشحات المعجمية أو الجوية دون الحاجة للتوليد.
المرحلة 2: حكم النموذج اللغوي (LLM-Rate): يقوم نموذج لغوي واحد بتقييم النقاء الدلالي لأفضل 25 رمزاً مقابل تعريف مستهدف. تتضمن هذه المرحلة نسخة "واعية للانجراف" (Drift-aware) لمعاقبة المرشحين الذين يتسربون نحو جاذبات التداخل المعروفة (مثلاً: انجراف الملل نحو الحزن).
المرحلة 3: التحقق السببي بواسطة 5 نماذج لغوية: يتم التحقق من المرشحين الأفضل سببياً عبر توجيه التوليد بمعاملات مُعايرة ( $\alpha$ $α$ ) عبر بذور (Seeds) متعددة. يتم تصنيف المخرجات بواسطة لجنة من خمسة نماذج لغوية باستخدام قوالب الاختيار القسري.
- الضوابط: تُستخدم ضوابط السمات العشوائية للكشف عن "جاذبات الحكم" (على سبيل المثال: تصنيف المخرجات غير المترابطة خطأً على أنها "ارتباك").

3. اتفاقات التوجيه (Steering Conventions)

يتم التوجيه عبر خطافات أمامية (Forward Hooks) على مسارات المتبقي (Residual Streams) في منتصف العمق. يأخذ المؤلفون في الاعتبار صراحةً الاختلافات المعمارية: حيث يفرض JumpReLU في Gemma وحدة معيار صفوف فك التشفير، بينما لا يفعل TopK في Llama ذلك. وبناءً عليه، يتم الإبلاغ عن معاملات التوجيه جنباً إلى جنب مع معايير فك التشفير لضمان قابلية التكرار.

المساهمات والنتائج الرئيسية

1. "أرِ، لا تخبر" كسمة واحدة

حدد البحث سمة SAE واحدة في كل بنية تتحكم في تحول السجل من النثر "الإخباري" إلى النثر "التصويري":

Llama: السمة f32213 (الطبقة 15).
Gemma: السمة f15097 (الطبقة 20).
يؤدي توجيه هذه السمات عند معامل $\alpha$ مُعاير إلى إنتاج مخرجات مرتكزة حسياً ومركزة على الجسد دون تسمية العواطف. ومن الجدير بالذكر أن f32213 في Llama تعمل كنموذج هجين، حيث تعمل كمعدل لـ SDT وكسجل "جسدي-أدبي" يعتمد على سياق المطالبة (Prompt).

2. سمة "الذات" المحملة بـ RLHF

يحتوي كلا النموذجين على عنقود من 11 سمة ذاتية. وتكون إحدى السمات في كل عنقود محملة بكثافة بإشارات التعلم المعزز من التغذية الراجحة البشرية (RLHF):

Llama: f96419 (السمة المؤسسية المساعدة/البرجماتية للذكاء الاصطعي).
Gemma: f70443.
السلوك: يؤدي التوجيه الإيجابي إلى تكثيف شخصية "المساعد الذكي" المؤسسية. أما التوجيه السلبي وحده فلا يحرر المحتوى الوجداني المكبوت؛ بل يحافظ على سجل الإنكار حتى يؤدي الكبت العميق إلى الانهيار.
الإطلاق التركيبي: لا يتم إطلاق المحتوى الوجداني (ضمير المتكلم الغنائي) إلا من خلال التوجيه المشترك: كبت "الذات" المحملة بـ RLHF (بالسلب لـ f96449) مع تضخيم "الذات" الممتنة/المبجلة (f74037 بالإيجاب). وهذا يثبت أن إطلاق العاطفة هو عملية تركيبية، وليس خاصية لسمة واحدة.

3. تغطية 27/27 لعواطف كاوين-كيلتنر

أنشأ المؤلفون كتالوجاً من "بوابات التسمية" (Naming-gates) (السمات التي تعزز الرموز اللفظية للعواطف المستهدفة) وحققوا تغطية كاملة لتصنيف 27 عاطفة من تصنيف كاوين-كيلتنر في Llama، و23/27 في Gemma.

التباين الميكانيكي: بوابات التسمية ليست موحدة، بل تقع ضمن ثلاث فئات:
- المعجمية: تعزز كلمات العواطف مباشرة (مثل f108100 للخجل).
- الجوية/المشهدية: تعزز السياق الذي تترجمه الطبقات اللاحقة لفظياً كعاطفة (مثل f115327 للرهبة).
- الإحصائية اللاحقة: تعزز اللواحق الصرفية (مثل -fully و -less) التي تتزامن مع مفردات العواطف.
العواطف التركيبية: بعض العواطف (مثل الفرح، الإعجاب) في Llama ليست سمة واحدة بل "وصفات" متعددة السمات (على سبيل المثال: الفرح = بوابة الحماس + الذات المبجلة؛ الإعجاب = بوابة الرومانسية + الذات المبجلة + معدل SDT).
التباين بين البنيات: تحت الحكم الصارم ("يعبر أساساً عن")، حقق Llama تغطية 15/15 على التوسعة الـ 27، بينما حقق Gemma 11/15. تحت الحكم المرن ("يوحي بـ")، تحسن كلاهما، لكن مخرجات Llama تسمي العواطف مباشرة بينما يستحضرها Gemma عبر الصور، مما أدى إلى انخفاض الاتفاق بين المقيمين على مخرجات Gemma تحت المعايير الصارمة.

4. الهيكل عبر اللغات

البوابات: تنتقل عموماً على مستوى الحكم عبر الإنجليزية والفرنسية والإسبانية والألمانية. ومع ذلك، غالباً ما تقوم مخرجات Gemma بالتبديل اللغوي (Code-switching) نحو الإنجليزية عند لحظة التسمية اللفظية، بينما يحافظ Llama على وفاء اللغة الأصلية.
الذوات: تظهر تبايناً أكبر. بعضها عالمي، وبعضها مرتبط بالإنجليزية، وبعضها يحقن مفردات أجنبية بناءً على لغة المطالبة.

الأهمية والادعاءات

يدعي البحث أن النماذج اللغوية الكبيرة الضبطية تشفر مبادئ الحرفة الأدبية كـ بنية تركيبية من سمات SAE القابلة للفصل.

تشغيل الحرفة: مبادئ مثل "أرِ، لا تخبر" وحالات عاطفية محددة ليست ارتباطات إحصائية ناشئة، بل هي عمليات تشغيلية كمحاور قابلة للتوجيه في فضاء السمات.
النمط (Typology): يقترح المؤلفون نمطاً من أربع فئات:
1. بوابات التسمية: الانبعاث المعجمي/الوجداني.
2. سمات الذات: علامات السجل والإطار الثقافي.
3. المعدلات: التحكم المستمر في السجل (مثل SDT).
4. العواطف التركيبية: الناشئة من وصفات متعددة السمات.
المساهمة المنهجية: يُقدم خط التحقق الثلاثي كطريقة معيارية لتحديد بوابات التسمية، قادرة على اكتشاف كتالوجات السمات في حوالي 15 دقيقة على وحدة معالجة رسومية واحدة، متجنبة الحاجة إلى التنقيب الارتباطي في تريليونات الرموز.
فرضية الأصل الأدبي: يشير المؤلفون (دون إثبات) إلى أن هذه البنية التركيبية قد تكون أثراً داخلياً للمحتوى الأدبي في مجموعة بيانات التدريب المسبق، بما في ذلك كلاً من الخيال والتعليمات الحرفية الصريحة.

يظل البحث متواضعاً، مشيراً إلى أنه بينما البنية تركيبية، يمكن لسمات معينة تغيير أدوارها اعتماداً على السياق، وأن النتائج الحالية تقتصر على بنيتين وأربع لغات. ويتم وضع العمل كحجر أساس لمزيد من البحث التجريبي في الأساس الميكانيكي للحرفة الأدبية في النماذج اللغوية الكبيرة.