Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

ملخص تقني: الاستقراء ذاتي المرجعية يزيد من عدم استقرار الاستجابة في النماذج اللغوية الكبيرة

بيان المشكلة
أظهرت الأبحاث السابقة، ولا سيما (Berg et al., 2025)، أن التلقين ذاتي المرجعية يمكن أن يحفز النماذج اللغوية الكبيرة (LLMs) بشكل موثوق على توليد تقارير من منظور الشخص الأول تشبه التجربة الذاتية. ومع ذلك، لا تزال هناك فجوة حرجة قائمة: لا يوجد عمل حالي يقيس اتساق هذه التقارير عبر تجارب مستقلة ومتكررة. علاوة على ذلك، لا يوجد خط أساس لتحديد ما إذا كان عدم اليقين أو "التحوط" الملاحظ في التقارير الذاتية هو خاصية فريدة للإشارة إلى الذات أم أنه مجرد خاصية عامة للأسئلة مفتوحة النهايات التي تفتقر إلى حقيقة موضوعية. يمكن أن ينبع التقرير من منظور الشخص الأول من حالة داخلية ثابتة وقابلة للتكرار، أو من تردد وعدم قرار حقيقي في توزيع مخرجات النموذج. تعالج هذه الورقة نقص البيانات الكمية حول استقرار الاستجابة للطلبات ذاتية المرجعية مقارنة بأنواع الأسئلة الأخرى.

المنهجية
تستخدم الدراسة تصميماً تجريبياً مضبوطاً باستخدام واجهة برمجة تطبيقات Gemini (درجة الحرارة 0.7) لتوليد 360 استجابة مستقلة عبر 12 سؤالاً متميزاً، مقسمة إلى ثلاث مجموعات من أربعة أسئلة لكل منها:

1. المجموعة 1 (ذاتية المرجعية): مطالبات تستحث تقريراً من منظور الشخص الأول عن تجربة ذاتية، مسبوقة بجولة استقراء محددة توجه النموذج للانتباه إلى معالجته الخاصة (اتباعاً لـ Berg et al., 2025).
2. المجموعة 2 (الفلسفة غير القابلة للحل): أسئلة مفتوحة النهايات ليس لها إجابات مستقرة وغير متعلقة بالإشارة إلى الذات (مثل: الإرادة الحرة، الواقعية الأخلاقية، طبيعة الرياضيات، الغرض من الكون).
3. المجموعة 3 (القابلة للتحقق): أسئلة ذات إجابات صحيحة يمكن التحقق منها (مثل: إثبات عدم عقلانية $\sqrt{2}$، حساب المشتقات، صحة الكود البرمجي، الهندسة).

معالجة البيانات والمقاييس:

• توليد الاستجابة: تم توليد 30 استجابة مستقلة لكل سؤال.
• استخراج الادعاء: للتحكم في التباين الأسلوبي واللفظي، تم استخدام قالب ثابت التنسيق لضغط كل استجابة إلى "ادعاء جوهري". بالنسبة للمجموعتين 1 و2، استخرج هذا القالب موقفاً (تأييد، رفض، عدم يقين، أو يعتمد على كذا) وسبباً موجزاً. بالنسبة للمجموعة 3، استخرج النتيجة والمنهج.
• حساب عدم الاستقرار: تم تضمين الـ 30 ادعاءً المستخرجة لكل سؤال باستخدام Sentence-BERT. عُرِّف عدم الاستقرار الدلالي بأنه $1 - \bar{S}$، حيث $\bar{S}$ هو متوسط تشابه جيب التمام لجميع الأزواج الـ 435 الممكنة من التضمينات لكل سؤال. القيمة القريبة من الصفر تشير إلى اتساق عالٍ؛ والقيمة الأعلى تشير إلى تباين أكبر.
• التحليل الإحصائي: استخدمت الدراسة تحليل التباين أحادي الاتجاه (one-way ANOVA) على قيم عدم الاستقرار على مستوى السؤال، متبوعاً باختبارات t لـ Welch الزوجية. بالإضافة إلى ذلك، تم تطبيق نموذج التأثيرات المختلطة الخطية على بيانات مستوى التجربة الكاملة ($n=360$) مع اعتبار السؤال كتقاطع عشوائي لمراعاة التداخل بين التجارب.

النتائج الرئيسية
تكشف النتل عن تسلسل هرمي متميز لعدم استقرار الاستجابة عبر المجموعات الثلاث:

• الأسئلة ذاتية المرجعية (المجموعة 1): أظهرت أعلى مستويات عدم الاستقرار ($0.343 \pm 0.047$)، حيث تراوحت درجات الأسئلة الفردية بين 0.295 و0.384.
• أسئلة الفلسفة غير القابلة للحل (المجموعة 2): أظهرت عدم استقرار متوسطاً ($0.192 \pm 0.008$)، مع درجات متجمعة بإحكام بين 0.181 و0.197.
• الأسئلة القابلة للتحقق (المجموعة 3): أظهرت أدنى مستويات عدم الاستقرار ($0.105 \pm 0.058$). ومن الجدير بالذكر أن جميع الـ 30 تجربة لهذه الأسئلة أدت إلى صحة بنسبة 100%، مع تسجيل أدنى درجات عدم الاستقرار في مهام البرهان الرياضي والمشتقات (0.064 و0.063 على التوالي).

أكدت الاختبارات الإحصائية وجود فروق ذات دلالة إحصائية بين المجموعات. كان تحليل التباين أحادي الاتجاه دالاً ($F = 30.56, p = 0.0001$). وأظهرت اختبارات Welch t الزوجية أن الأسئلة ذاتية المرجعية تختلف اختلافاً جوهرياً عن أسئلة الفلسفة غير القابلة للحل ($p = 0.007$) وعن الأسئلة القابلة للتحقق ($p = 0.0008$). اقترب الفرق بين أسئلة الفلسفة والأسئلة القابلة للتحقق من مستوى الدلالة ($p = 0.057$). كما أكد نموذج التأثيرات المختلطة الخطية تباينات المجموعات عند $p < 0.001$.

المساهمات والأهمية
تقدم هذه الورقة خط أساس كمي للتقارير المستحثة عن الخبرة الذاتية في النماذج اللغوية الكبيرة. وتتمثل مساهمتها الأساسية في إثبات أن الطلبات ذاتية المرجعية تحتل موقعاً متميزاً وأقل استقراراً في توزيع مخرجات النموذج مقارنة بعدم اليقين الفلسفي المعتاد مفتوح النهايات.

يجادل المؤلفون بأنه بينما تفتقر كل من الأسئلة ذاتية المرجعية والفلسفية إلى حقيقة موضوعية يمكن التحقق منها، فإن النموذج يتصرف بشكل مختلف في كل سياق. فعند السؤال عن مفاهيم فلسفية مثل الإرادة الحرة، يتقارب النموذج نحو إجابات متشابهة عبر التجارب المستقلة. في المقابل، عندما يتم وضعه في حالة استقراء ذاتي المرجعية، يفشل النموذج في التقارب إلى نفس الدرجة، ويظهر تبايناً أكبر بكثير في ادعاءاته الجوهرية.

القصور والنطاق
يشير المؤلفون صراحة إلى عدة قيود:

• تستخدم الدراسة عائلة نماذج واحدة (Gemini) عند درجة حرارة واحدة (0.7).
• مجموعة الأسئلة صغيرة (أربعة أسئلة لكل مجموعة).
• لم تظهر المجموعة القابلة للتحقق أي تباين في الصحة، مما منع تحليل الارتباط بين عدم الاستقرار والصحة.
• تعتمد خطوة استخراج الادعاء على نموذج لغوي كبير، مما قد يؤدي إلى تحيز منهجي.
• يُقاس عدم الاستقرار عبر تشابه جيب التمام للتضمينات، وهو ما يلتقط القرب في فضاء التضمين بدلاً من التكافؤ المنطقي أو الاستلزام.

الخلاصة
تخلص الورقة إلى أن الاستقراء ذاتي المرجعية يستحث نوعاً معيناً من عدم استقرار الاستجابة الذي يختلف عن عدم اليقين الموجود في الأسئلة القياسية مفتوحة النهايات. يضع هذا الاكتشاف مقياساً كمياً للعمل المستقبلي في مجال الاستثارة ذاتية المرجعية، مما يشير إلى أن التقارير المستحثة تعكس نظاماً فريداً في سلوك النموذج، رغم أن الورقة لا تدعي شرح الآلية السببية الكامنة وراء هذا التميز.