Evaluating Developmental Cognition Capabilities of LLMs

ملخص تقني: تقييم قدرات الإدراك النمائي للنماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تتجه أنظمة الذكاء الاصطناعي التفاعلية بشكل متزايد نحو التخصيص بناءً على تفضيلات المستخدمين، وتاريخهم، وأهدافهم. ومع ذلك، فإن النهج الحالي يتجاهل إلى حد كبير كيفية تفسير المستخدمين للمعنى وبنائه من مخرجات النموذج. وبالاستناد إلى نظرية روبرت كيغان (Robert Kegan) للتطور البنائي، يرى المؤلفون أن الأفراد يختلفون في تحول "الذات-الموضوع" (subject–object)—وتحديداً، ما يكون الفرد خاضعاً له (Subject) مقابل ما يمكنه التأمل فيه كشيء خارجي (Object). إن تجاهل هذه الاختلافات في بنيات صنع المعنى قد يؤدي إلى حالات فشل مثل المخرجات المتجانسة أو التعزيز المتملق لمعتقدات المستخدم. ويكمن التحدي الجوهري في أن الطرق القياسية لتقييم المراحل النمائية (مثل مقابلة الذات-الموضوع) تعتمد على خبراء، وهي عملية تستغرق وقتاً طويلاً، ولا يمكن توسيع نطاقها لتناسب اختبارات قياس النماذج اللغوية الكبيرة. علاوة على ذلك، فإن أدوات إكمال الجمل الموجودة حالياً غالباً ما تكون مملوكة لجهات معينة، أو طويلة جداً، أو تحتوي على محفزات اقتحامية لا تناسب التقييم الآلي.

المنهجية
لمعالجة هذه القيود، قدم المؤلفون اختبار إكمال الجمل النمائي (DSCT)، وهو أداة ذاتية الإدارة تتكون من 20 بنداً، صُممت لاستخراج نصوص غنية بما يكفي لتمكين المقيمين البشريين المدربين أو النماذج اللغوية الكبيرة من تعيين تسمية نمائية "كيغانية" (Keganian) أولية. يقوم اختبار (DSCT) بإزالة البنود المرتبطة بالنوع الاجتماعي أو الثقافية الاقتحامية الموجودة في الأدوات القديمة (مثل اختبار لوفينجر لإكمال الجمل - Loevinger SCT)، ويعتمد تصميم "الصوتين": 10 بنود بصيغة المتكلم (للتقييم الذاتي) و10 بنود بصيغة الغائب (للتقييم المجرد لآخر عام).

تقيم الدراسة استعادة الإشارة النمائية عبر ثلاثة أنظمة متميزة:

1. الشخصيات المحاكية: قام المؤلفون بتوليد 138 استجابة اصطناعية لاختبار (DSCT) باستخدام 23 ملفاً تعريفياً نمائياً (وصفها الخبراء) من المرحلة 2 إلى المرحلة 5 (بما في ذلك المراحل الانتقالية) مستندة إلى الأدبيات السابقة. تم توليد هذه الاستجابات بواسطة نموذج محاكٍ (Gemini 3.1 Pro) مشروط بملفات شخصية محددة. ثم كُلفت اثنا عشر نموذجاً لغوياً كبيراً (من النماذج الرائدة والمدمجة) بتصنيف هذه الاستجابات وفق مراحل "كيغان".
2. المستجيبون البشريون الحقيقيون: تم تطبيق اختبار (DSCT) على 83 مشاركاً بشرياً. وقام ثلاثة مقيمين بشريين مدربين على منهج "كيغان" بتقديم تسميات توافقية لكل مجموعة استجابات. بعد ذلك، طُلب من اثنين من أفضل النماذج أداءً (Claude Opus 4.6 و Gemini 3.1 Pro) تصنيف نفس الاستجابات البشرية لقياس مدى الاتفاق مع المقيمين البشر.
3. الإجابات المولدة افتراضياً بواسطة النماذج: تم توجيه مجموعة أوسع تضم 29 نموذجاً لغوياً (تتراوح من GPT-3.5 إلى النماذج الرائدة الحالية) للإجابة على اختبار (DSCT) دون أي شرط لملف شخصي أو تعليمات للمرحلة المستهدفة. وتم تقييم المخرجات الناتلة لتحليل البنية النمائية المتأصلة في توليد النصوص الافتراضي للنماذج.

المساهمات الرئيسية

1. تطوير الأداة: تقديم اختبار (DSCT)، وهو أداة غير اقتحامية، ذاتية الإدارة، مكونة من 20 بنداً، مصممة خصيصاً للتقييم البشري والآلي المتوافق للبنية الشبيهة بالمراحل في النص المستخرج.
2. قياس أداء النماذج اللغوية الكبيرة: إجراء اختبار شامل لاثني عشر نموذجاً لغوياً كبيراً على التصنيف "الكيغاني". تظهر الدراسة أن النماذج الرائدة المتفوقة يمكنها استعادة تسميات المحاكي بدقة عالية في الظروف الاصطناعية المنضبطة، بينما يكون الأداء على البيانات البشرية الحقيقية "متوسطاً" ولكنه محدود بالضجيج المتأصل في الاستجابات البشرية.
3. تحليل بنية مخرجات النماذج: تحليل يكشف أن النماذج اللغوية الكبيرة تختلف ليس فقط في قدرتها على تصنيف البنية النمائية، بل أيضاً في بنية النصوص التي تولدها بشكل افتراضي. تميل النماذج الأكبر والأحدث إلى إنتاج نصوص تُصنف في مراحل نمائية أعلى من النماذج الأصغر أو الأقدم.

النتائج

• التحقق الاصطناعي: في ظل ظروف اصطناعية منضبطة، حققت النماذج الرائدة المتفوقة (مثل Claude Opus 4.6، و Gemini 3.1 Pro، و Grok 4.2) دقة بنسبة 100% في استعادة تسميات المراحل التي أرادها المحاكي. أظهرت النماذج الأصغر/المدمجة تدهوراً كبيراً، خاصة في المراحل الانتقالية (مثل 3/4، 4/5)، وأظهرت انحيازاً تصاعدياً منتظماً في تصنيفاتها.
• الاتفاق بين البشر والنماذج اللغوية: في استجابات (DSCT) البشرية الحقيقية، كان الاتفاق بين المقيمين البشر والنماذج اللغبية "متوسطاً" (معامل كابا الموزون تربيعياً $\kappa = 0.49$). بلغ الاتفاق التام 46.3%، بينما بلغ الاتفاق ضمن نطاق $\pm0.5$ مرحلة نسبة 82.9%. وخلافاً للإعدادات الاصطناعية، كانت النماذج اللغوية أكثر تحفظاً (تمنح مراحل أقل) من المقيمين البشر في النصوص المهيكلة. وتشير الدراسة إلى أن المقيمين البشر أنفسهم أظهروا اتفاقاً متوسطاً فقط ($\kappa = 0.31$)، مما يشير إلى أن "الحقيقة الأرضية" للاختبارات ذاتية الإدارة المكونة من 20 بنداً هي بطبيعتها احتمالية.
• اتجاهات مخرجات النماذج: تم تقييم الاستجابات الافتراضية من النماذج الأحدث والأكبر في مراحل نمائية أعلى (متوسط المرحلة 3.97 للنماذج الرائدة) مقارنة بالنماذج الأقدم أو المدمجة (متوسط المرحلة 3.55). ووجد ارتباط إيجابي معنوي بين تاريخ إصدار النموذج والدرجة النمائية ($R^2 = 0.698$).
• تنسيق الاستخراج: وجدت الدراسة أن الإشارة النمائية تكون "أنقى" في النصوص المهيكلة والمستخرجة (مثل DSCT) منها في المسارات الحوارية غير المقيدة. أدى الاستدلال على المرحلة من سجل الدردشة غير المهيكل إلى انحياز تصاعدي قوي واتفاق ضعيف جداً مع أحكام الاستبيانات المهيكلة.

الأهمية والادعاءات
يزعم البحث أن الإشارة النمائية يمكن استعادتها من النصوص بأسلوب (DSCT)، لكن القدرة على الاستعادة تعتمد بشدة على مصدر النص. وقد تم تحديد القيد المركزي للذكاء الاصطناعي التفاعلي الواعي بالمراحل ليس في دقة المصنف فحسب، بل في مدى توفر الإشارة النمائية في النص المستخرج.

يجادل المؤلفون بأن الاستخراج المهيكل (مثل DSCT) يوفر أساساً أكثر موثوقية للتكيف النمائي من الاستدلال السلبي من اللغة العشوائية. ويؤكدون أن عملهم لا يقيس المرحلة النمائية للمستخدم كسمة مستقرة أو حقيقة تشخيصية، بل يصف "البنية الشبيهة بالمرحلة" الموجودة في مجموعة محددة من الاستجابات. وتشير النتائج إلى أنه لكي يتمكن الذكاء الاصطناعي التفاعلي من التكيف بفعالية مع بنيات صنع المعنى لدى المستخدمين، يجب أن يعتمد على الاستخراج المهيكل للوصة إلى الإشارات النمائية القابلة للاستعادة، بدلاً من محاولة استنتاج المراحل النمائية المعقدة من مسارات التفاعل الصاخبة وغير المهيكلة.