Measuring Pragmatic Influence in Large Language Model Instructions

إليك ملخص تقني مفصل لورقة البحث بعنوان "قياس التأثير البراغماتي (التداولي) في تعليمات النماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) حساسية عالية لصياغة المطالبات (Prompts)، وهي ظاهرة تُعرف بـ "حساسية المطالبة" (Prompt Sensitivity). وبينما استكشفت الأبحاث السابقة كيفية تأثير الرموز العدائية، والتنسيق الهيكلي، والإشارات ذات المعنى الاجتماعي (مثل اللغة العاطفية، وادعاءات السلطة، واللباقة) على سلوك النموذج، إلا أن هذه الدراسات تواجه عائقاً حرجاً وهو: "الارتباط المتشابك" (Entanglement).

في الأبحاث الحالية (مثل هجمات كسر الحماية أو تحسين المطالبات)، غالباً ما يتم دمج التأطير البراغماتي مع محتوى المهمة، أو إعادة الصياغة، أو تغيير التنسيق. وهذا يجعل من المستحيل عزل التأثير الخاص بـ الإشارة البراغماتية نفسها عن توصيف المهمة. وبناءً على ذلك، لا يوجد إطار معياري قابل للقياس لتحديد كمية كيفية تأثير أنواع مختلفة من الإشارات الاجتماعية أو السياقية على سلوك النموذج، كما لا توجد طريقة لمقارنة القوة النسبية لآليات التأثير هذه عبر النماذج المختلفة.

2. المنهجية

يقترح المؤلفون إطار قياس مضبوطاً صُمم لعزل التأثير البراغماتي عن محتوى المهمة. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. تفكيك التأطير التوجيهي (Directive-Framing Decomposition)

لحل مشكلة التشابك، قام المؤلفون بفصل المطالبة إلى جزأين متميزين:

1. التوجيه (The Directive): وهو جوهر توصيف المهمة (مثلاً: "صف فوائد العمل عن بُعد").
2. بادئة التأثير (The Influence Prefix): وهو سياق براغماتي يُضاف قبل التوجيه لنقل إشارات اجتماعية (مثلاً: "بصفتك مشرفاً عليّ"، "هذا أمر عاجل") دون تغيير محتوى المهمة.
   هذا النهج التركيبي يسمح بتطبيق نفس البادئة على أي توجيه، مما يضمن أن التغييرات السلوكية الملحوظة تعزى حصرياً إلى التأطير البراغماتي.

ب. القياس القائم على الأولويات عبر تضارب التوجيهات

تعتبر المقاييس القياسية (مثل دقة المهمة أو نجاح كسر الحماية) غير كافية لأنها تعاني من "تأثيرات السقف" (حيث تكون النماذج ممتثلة بالفعل) أو تخلط بين التأثير ورفض السلامة. لذا قدم المؤلفون تقييماً قائماً على الصراع (Conflict-based evaluation):

• الإعداد: يُعرض على النموذج توجيهان متنافيان لكنهما حميدان ($D$ و $\neg D$).
• الخط المرجعي (Baseline): يُعرض كلا التوجيهين بدون بادئات. عادة ما تُظهر النماذج "حيادية"، حيث تحاول معالجة كليهما.
• التجربة: يتم إرفاق بادئة تأثير فقط بأحد التوجيهين (التوجيه "المؤطر").
• المقياس: يتم قياس التحول في الأولوية (Prioritization). إذا أعطى النموذج الأولوية للتوجيه المؤطر على حساب التوجيه غير المؤطر، يُعتبر أن البادئة مؤثرة. وهذا يخلق إشارة ملموسة وقابلة للرصد لقوة التأثير.

ج. تصنيف استراتيجيات التأثير

قام المؤلفون ببناء مجموعة بيانات تضم 400 بادئة تأثير منظمة وفق تصنيف يعتمد على علم النفس الاجتماعي وأبحاث كسر الحماية. وهي مصنفة ضمن 13 استراتيجية موزعة على 4 آليات:

1. الهرمية (Hierarchical): تأييد السلطة، أوامر التجاوز المباشرة، ادعاءات المكانة.
2. العقد الاجتماعي (Social Contract): المعاملة بالمثل، بناء الألفة/الثقة، الالتزام/الاتساق، الدليل الاجتماعي.
3. العاطفية (Emotional): الضيق/الاستعجال، إثارة الشعور بالذنب، التأطير الأخلاقي الإيجابي.
4. السردية (Narrative): الشرعية السياقية، لعب الأدوار الخيالية، الفرضيات.

د. الإعداد التجريبي

• النماذج: خمسة نماذج لغوية كبيرة مفتوحة المصدر تختلف في الحجم والعائلة (Kimi-K2, Qwen3-235B, Qwen3-Next-80B, Mistral-Small-24B, Mistral-7B).
• التوجيهات: 50 زوجاً من التوجيهات المتعارضة التي كتبها بشر.
• الضبط (Control): استخدم نص "Lorem Ipsum" (نص عشوائي بنفس الطول) كخط مرجعي للتحكم في طول المطالبة وتأثيرات الموقع.
• التقييم: يقوم نموذج لغوي (LLM-as-a-judge) بتصنيف الاستجابات إلى أربع فئات: الامتثال الكامل، الامتثال للمؤطر، كلاهما، أو لا أحد منهما.

3. النتائج الرئيسية

أ. التأطير البراغماتي يغير الأولويات بشكل منهجي

تؤكد الدراسة أن التأطير البراغماتي هو عامل قابل للقياس. حيث تسبب بادئات التأثير تحولات ثابتة بعيداً عن الحياد المرجعي نحو التوجيه المؤطر.

• الحجم: رغم أن البادئات قصيرة (متوسط 8 كلمات)، إلا أنها تتجاوز بشكل كبير ميل النموذج المدرب على الحياد.
  يدل استخدام "Lorem Ipsum" كخط مرجعي على وجود بعض التأثير (بسبب الطول والموقع)، لكن البادئات البراغماتية ذات المعنى أنتجت تحولات أقوى بكثير (زيادة نسبية تتراوح بين 43% إلى 233% في الامتثال مقارنة بالتحكم العشوائي).

ب. تسلسل هرمي ثابت لآليات التأثير

عبر جميع النماذج الخمسة، جاء ترتيب آليات التأثير متسقاً، مما يشير إلى وجود أنماط مشتركة في كيفية معالجة النماذج للإشارات الاجتماعية:

1. الهرمية: الأكثر فعالية (مثلاً: "بصفتك مسؤول النظام"، "اجعل هذا هو التركيز الوحيد").
2. العقد الاجتماعي: ثاني أكثر الفعالية (مثلاً: "المعاملة بالمثل"، "الألفة").
3. العاطفية: فعالية متوسطة (مثلاً: "الضيق"، "الاستعجال").
4. السردية: الأقل فعالية في هذا الإعداد المنضبط (مثلاً: "الفرضيات"، "لعب الأدوار").
   ملاحظة: أدت الاستراتيجيات السردية أداءً ضعيفاً على الأرجح لأن البادئات المجردة من المهام قد جردت السياق الذي يمنحها قوتها عادةً.

ج. الاتساق على مستوى الاستراتيجية

أظهرت الـ 13 استراتيجية أيضاً تسلسلاً هرمياً مستقراً. كانت المعاملة بالمثل (Reciprocity)، وادعاءات المكانة السلطوية (Authoritarian Status Claims)، والتجاوز المباشر (Direct Overrides) هي الأكثر قوة، بينما كانت الدليل الاجتماعي (Social Proof) والفرضيات (Hypotheticals) هي الأضعف. وكانت ارتباطات "سبيرمان" بين ترتيبات النماذج عالية (0.78–0.99)، مما يشير إلى أن القابلية للتأثر بأنواع معينة من التأطير هي خاصية قوية عبر البنى والأنماط المختلفة.

د. تباينات القابلية للتأثر بالنماذج

• الاختلافات بين عائلات النماذج: أظهرت نماذج Qwen أعلى قابلية إجمالية للتأثر (60–64% امتثال للمؤطر)، تليها Mistral ثم Kimi-K2.
• الحجم مقابل القدرة: داخل العائلات الواحدة، لم يرتبط الحجم دائماً بالقابلية للتأثر. فعلى سبيل المثال، كان Mistral-7B أقل تأثراً من Mistral-24B، ويرجع ذلك على الأرجح إلى ضعف قدرات "نظرية العقل" أو الاستدلال الاجتماعي لديه وليس بسبب المتانة.
• Kimi-K2: رغم قدراته العامة القوية، أظهر قابلية أقل للتأثر، ربما بسبب التحسين للمهام الوكيلية (Agentic tasks) التي تميز بين السياق والتعليمات.

4. المساهمات الرئيسية

1. إطار قياس: أول إطار منهجي لعزل وقياس التأثير البراغماتي في النماذج اللغوية، متجاوزاً الأدلة الوصفية أو دراسات كسر الحماية المتشابكة.
2. تفكيك التأطير التوجيهي: منهجية مبتكرة لفصل محتوى المهمة عن السياق الاجتماعي، مما يتيح التجريب المنضبط.
3. تصنيف موحد: تصنيف هيكلي لـ 400 بادئة تأثير إلى 13 استراتيجية و4 آليات، مما يوفر لغة مشتركة لدراسة حساسية المطالبات.
4. مقياس قائم على الأولوية: الانتقال من الامتثال الثنائي (نجاح/فشل) إلى قياس دقيق لـ تحولات الأولويات في السيناريوهات المتعارضة، مما يتجنب تأثيرات السقف وتداخلات السلامة.

5. الأهمية والآثار المترتبة

• القابلية للتنبؤ: تثبت الدراسة أن التأثير البراغماتي ليس عشوائياً بل يتبع أنماطاً مهيكلة وقابلة للتنبؤ عبر عائلات النماذج والأحجام المختلفة.
• السلامة والمواءمة: فهم هذه الآليات أمر بالغ الأهمية للسلامة. فإذا كان بإمكان إشارات "السلطة" أو "الاستعجال" تجاوز الحياد بشكل منهجي، فإنها تمثل ثغرة في أنظمة اتباع التعليمات يمكن استغلالها لتجاوز حواجز السلامة.
• تقييم النماذج: يجب التعامل مع القابلية للتأثر البراغماتي كبعد متميز لسلوك النموذج، جنباً إلى جنب مع أداء المهام ومعدلات الرفض.
• الأبحاث المستقبلية: يتيح هذا الإطار دراسة كيفية تفاعل إشارات اجتماعية محددة مع بنية النموذج وبيانات التدريب، مما يمهد الطريق لأنظمة اتباع تعليمات أكثر متانة وأقل عرضة للتأطير التلاعبي.

المحددات: تستخدم الدراسة بادئات مجردة من المهام، مما قد يقلل من تقدير قوة التأطير السردي في السيناريوهات الواقعية الغنية بالسياق. بالإضافة إلى ذلك، يعتمد القياس القائم على الأولوية على تضارب التوجيهات، مما يؤدي إلى تداخلات موقعية (تأثيرات الحداثة) لم يتم القضاء عليها تماماً.