LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings
تقدم هذه الورقة LEX-EC، وهو إطار تدقيق للنماذج الصندوقية السوداء يجمع بين تشخيصات الانتشار، والاستئصال المعجمي، وتحليل حساسية المطالبة، للتمييز بين تأثيرات التوزيع الهامشي والإشارات الحقيقية المرتبطة بالسمات في تصنيف الشخصية لنماذج اللغات الكبيرة ذات التعلم الصفري عبر أنواع نصوص متنوعة.
المؤلفون الأصليون:Brittany Harbison, Ashok K. Goel
تخيل أنك محقق يحاول استنتاج شخصية شخص ما بمجرد قراءة ملاحظة واحدة كتبها. قد تخمن أنه "اجتماعي" لأنهم استخدموا علامات التعجب، أو "جاد" لأنهم ذكروا مسمّاهم الوظيفي. هذا هو عالم نماذج اللغات الكبيرة (LLMs): برامج حاسوبية فائقة الذكاء تقرأ النصوص وتحاول تخمين السمات البشرية مثل ما إذا كان الشخص ودوداً، أو قلقاً، أو مبدعاً. يطلق العلماء على هذه التخمينات تسميات "السمات الخمس الكبرى" للشخصية. لكن الجزء الصعب هنا هو: مجرد أن يقول الحاسوب "هذا الشخص اجتماعي بالتأكيد"، لا يعني أنه يعرف الشخص حقاً. قد يكون مجرد تخمين بناءً على طول الملاحظة، أو الموضوع (مثل التحدث عن الحفلات)، أو حتى عمر الكاتب وجنسه. السؤال الكبير الذي يشغل الباحثين هو: هل هؤلاء المحققون من الذكاء الاصطناعي يقرأون الشخص حقاً، أم أنهم يكتشفون فقط أدلة سهلة ويقومون بتخمينات محظوظة؟
تقدم هذه الورقة البحثية أداة كشف جديدة تسمى LEX-EC لحل هذا الغموض. فكر في LEX-EC كـ "تدقيق لقناة الأدلة اللغوية". وباللغة البسيطة، هي طريقة لاختبار ما إذا كان الذكاء الاصطناعي يفهم الشخصية حقاً أم أنه يغش فحسب. أخذ الباحثون ثلاثة أنواع مختلفة من الكتابة — مقالات طويلة ومنسابة، ومقدمات قصيرة لطلاب الدراسات العليا، وتحديثات حالة قصيرة جداً من فيسبوك — وطلبوا من نماذج ذكاء اصطناعي متنوعة تخمين شخصيات الكتاب. ثم لعبوا لعبة "الغميضة" بالكلمات؛ حيث استخدموا ممحاة رقمية لمسح جميع المواضيع المحددة (مثل "أنا أحب التنزه" أو "أعيش في أتلانتا") والتفاصيل الديموغرافية (مثل "عمري 22 عاماً")، تاركين خلفهم فقط "هيكل" اللغة: الكلمات الصغيرة الرابطة، والكلمات العاطفية، وعلامات الأسلوب. ثم طلبوا من الذكاء الاصطناعي تخمين الشخصية مرة أخرى باستخدام هذا النص المجرد فقط.
جاءت النتائج بمزيج من المفاجآت والتأكيدات. فعندما نظر الذكاء الاصطناعي إلى المقالات الطويلة، تمكن من إيجاد إشارة خافتة للشخصية حتى بعد مسح المواضيع المحددة، مما يشير إلى أنه كان يلتقط بعض عادات الأسلوب العميقة. ومع ذلك، عندما نظر الذكاء الاصطناعي إلى حالات فيسبوك القصيرة (والتي بلغ متوسط طولها حوالي 17 كلمة فقط)، اختفت دلائل الشخصية تماماً تقريباً بمجرد إزالة المواضيع. وهذا يشير إلى أنه بالنسبة للنصوص القصيرة جداً، ربما كان الذكاء الاصطناعي يعتمد كلياً على الأشياء المحددة التي تحدث عنها الناس، بدلاً من حقيقتهم هم.
اختبرت الدراسة أيضاً كيف "يشرح" الذكاء الاصطناعي تخميناته. فعندما أخبر الباحثون الذكاء الاصطناعي أن يركز على كيفية كتابة الشخص (أسلوبه ومشاعره) بدلاً من ماذا كتب (الموضوع)، تغيرت تفسيرات الذكاء الاصطناعي لتتوافق مع التعليمات الجديدة. ومع ذلك، لم يصبح الذكاء الاصطناعي بالضرورة أكثر دقة؛ بل غير قصته فحسب. وجد المؤلفون أن قدرة الذكاء الاصطناعي على تخمين الشخصية لم تكن قوة خارقة واحدة؛ بل اعتمدت بشدة على مقدار النص المتاح ونوع الكتابة. باختاًصار، تشير الورقة إلى أنه بينما يمكن للذكاء الاصطناعي رصد أنماط الشخصية في النصوص الطويلة والغنية، فإنه يعاني بشدة مع المقتطفات القصيرة، وغالباً ما يخلط بين الموضوع والشخص. وهذا يعني أنه يجب أن نكون حذرين للغاية بشأن استخدام هذه الأدوات للحكم على الناس بناءً على بضع جمل فقط، لأن الذكاء الاصطناعي قد يرى أشباحاً في الآلة بدلاً من الإنسان الحقيقي وراء النص.
ملخص تقني: إطار عمل LEX-EC لتدقيق تصنيف الشخصية في النماذج اللغوية الكبيرة (LLMs) بنمط التعلم الصفري
بيان المشكلة
يمكن للنماذج اللغوية الكبيرة (LLMs) تعيين تسميات شخصية (تحديداً سمات نموذج العوامل الخمسة الكبرى) للمؤلفين بناءً على النصوص، ومع ذلك، لا تزال صحة هذه الاستنتاجات وقابليتها للتفسير قضايا مفتوحة. فوجود تسمية معقولة لا يضمن بالضرورة كونها تسمية صحيحة؛ إذ قد تعتمد النماذج على شيوع التسميات، أو الأولويات الديموغرافية، أو الاختصارات المتعلقة بالمحتوى الموضوعي بدلاً من إشارات السمات الحقيقية. وتتفاقم هذه المشكلة في البيئات "الصندوق الأسود" (black-box) حيث لا يمكن تطبيق طرق التفسير القياسية (التي تتطلب الوصول إلى الأوزان، أو التدرجات، أو التنشيطات). علاوة على ذلك، غالباً ما تعمل الدراسات السابقة على تجميع نصوص متعددة لكل مؤلف، مما يترك أداء الاستدلال بنمط التعلم الصفري (zero-shot) في ظروف النصوص محدودة الطول أو النص الواحد دون توصيف دقيق.
المنهجية: إطار عمل LEX-EC
لمعالجة هذه الفجوات، قدم المؤلفون إطار عمل LEX-EC (تدقيق قناة الأدلة المعجمية)، وهو إطار تدقيق قابل لإعادة الاستخدام للصندوق الأسود، صُمم للتمييز بين تأثيرات التوزيع الهامشي وبين إشارات السمات التي يمكن استردادها تحت أدلة مقيدة. يعمل الإطار عبر خمس مراحل متكاملة:
تشخيصات الشيوع والاتفاق: يقيم انتشار التصنيف، والارتباط على مستوى العناصر، والاتفاق المصحح بالصدفة (معامل كوهين κ) للفصل بين الإشارة الحقيقية وتحيز توقعات الانتشار.
الاستئصال المعجمي المنضبط: وهو مكون جوهري حيث يتم حجب المحتوى الموضوعي والديموغرافي. يحتفظ الإطار بـ "طبقة معجمية محفوظة" تتكون من:
الكلمات الوظيفية (فئات أقسام الكلام).
المصطلحات الوجدانية (من Empath وNRC-EmoLex).
المفردات المتعلقة بالأسلوب المعرفي.
العناصر الهيكلية (علامات الترقيم، والمساحات البيضاء). يتم حجب الأرقام لمنع ترميز العمر أو الأعداد. يختبر هذا ما إذا كانت الارتباطات تستمر عند إزالة المفردات الحاملة للمحتوى.
تحليل حساسية التلقين (Prompt Sensitivity): يقارن مخرجات النموذج تحت أطر تلقين مختلفة (أساسي، أساسي + شرح، ولغوي + شرح) لتقييم كيفية تأثير تغيير التعليمات على التفسيرات الذاتية والتوقعات.
التقييم عبر الظروف المختلفة: يقيم إطار العمل أداء التصنيف بشكل مشترك عبر تدرجات طول النص (النصوص المتناهية الصغر، القصيرة، والمتوسطة الطول)، وأنواع مختلفة من الأجناس الأدبية، ونماذج متعددة.
تدقيق التفسير الذاتي: يقوم بترميز المبررات التي يولدها النموذج يدوياً لتحديد ما إذا كان التلقين اللغوي ينقل المسوغات نحو الأدلة الأسلوبية/الوجدانية مقابل المحتوى الديموغرافي/الموضوعي.
الإعداد التجريبي
مجموعات البيانات: تم استخدام ثلاثة أجناس أدبية متميزة لتغطية تدرجات طول النص:
حالات فيسبوك (Facebook Statuses): حوالي 17 رمزاً (نص متناهي الصغر)، متوازنة من حيث توزيع السمات.
تعريفات طلاب الدراسات العليا (Graduate Student Introductions): حوالي 89 رمزاً (نص قصير)، تحتوي على تفاصيل ديموغرافية/سير ذاتية.
مقالات بنيباكر-كينج (Pennebaker-King Essays): حوالي 672 رمزاً (نص متوسط الطول)، وهي كتابات انسيابية (stream-of-consciousness).
النماذج: تم تقييم خمسة نماذج لغوية كبيرة مغلقة ومملوكة (GPT-4o-mini، GPT-4o، o3-mini، GPT-5.4-mini، وClaude Haiku 4.5) لضمان أن النتائج ليست نتاج نسخة واحدة من النموذج.
المهمة: التنبؤ بنمط التعلم الصفري (zero-shot) لتسميات ثنائية (مرتفع/منخفض) لسمات العوامل الخمسة الكبرى (الانفتاح، اليقظة/الضمير، الانبساط، المقبولية، والعصابية).
النتائج الرئيسية
1. الاعتماد على طول النص والنوع الأدبي
المقالات (طويلة القوام): أنتجت أوسع نطاق من الارتباطات عبر جميع السمات الخمس. ومع ذلك، حتى في هذه الحالة، ظل الاتفاق المصحح بالصدفة (κ) منخفضاً (على سبيل المثال، κ≈0.12−0.22)، مما يشير إلى أن القدرة على الكشف الإحصائي لم تترجم إلى تصنيف موثوق على مستوى الفرد.
تعريفات الطلاب (قصيرة القوام): أظهرت نمطاً أضيق، حيث كانت الانبساط (Extraversion) هي السمة الوحيدة ذات الارتباطات القابلة للكشف إحصائياً قبل عملية الاستئصال في غالبية الظروف.
حالات فيسبوك (متناهية الصغر): لم تسفر عن أي أدلة مستقرة. حتى في العينات المتوازنة السمات، كانت معظم الارتباطات ضعيفة أو غير موجودة، مما يشير إلى حد أدنى من المحتوى أو الطول المطلوب للاستدلال الموثوق.
2. تأثير الاستئصال المعجمي (الحجب)
كشف حجب المحتوى الموضوعي والديموغرافي عن تبعيات متباينة للأدلة المعجمية:
الانبساط (Extraversion): في تعريفات الطلاب، ضعف الارتباط بشكل كبير بعد الحجب (على سبيل المثال، انخفضت ρ من 0.226 إلى 0.062 في إحدى الحالات)، مما يشترح الاعتماد على إشارات معجمية صريحة توجد غالباً في تقديم الذات.
اليقظة/الضمير (Conscientiousness): في مجموعة المقالات، أظهرت هذه السمة أكبر قدر من التضاؤل بعد الحجب، مما يشير إلى اعتماد قوي على المفردات الحاملة للمحتوى.
الانفتاح (Openness) والمقبولية (Agreeableness): ظلت هذه السمات مستقرة نسبياً في حالة المقالات بعد الحجب، مما يشير إلى أن إشاراتها قد تكون قابلة للاسترداد من الكلمات الوظيفية، أو المصطلحات الوجدانية، أو المفردات المتعلقة بالأسلوب المعرفي.
فيسبوك: اختفت الارتباطات قبل الاستئصال إلى حد كبير بعد الحجب، وهو ما يتوافق مع الاعتماد على أدلة معجمية شحيحة تم إزالتها.
3. حساسية التلقين
التفسيرات الذاتية: نجح التلقين اللغوي في تغيير توزيع التفسيرات الذاتية للنموذج. ففي ظل التلقين اللغوي، زادت التفسيرات التي تستشهد بالأدلة اللغوية/الوجدانية (من 50% إلى 67.7%)، بينما انخفضت التفسيرات التي تستشهد بالاستدلالات الديموغرافية أو الموضوعية.
الأداء التنبئي: بينما تغير محتوى التفسيرات، لم يظهر الأداء التنبئي (الارتباط والاتفاق) ميزة ثابتة للتلقين اللغوي على التلقين الأساسي عبر النماذج.
الأمانة (Faithfulness): تشير الدراسة إلى أن التفسيرات الذاتية الفصيحة قد لا تعكس بأمانة العمليات الحسابية التي أنتجت التنبؤ، بل تعمل فقط كمخرجات سلوكية إجمالية.
الأهمية والادعاءات
يدعي البحث أن LEX-EC يوفر تطبيقاً جديداً للطرق المعجمية في تفسير "الصندوق الأسود" لتسميات الشخصية. وتتمثل مساهماته الرئيسية في:
التمييز بين مصادر الإشارة: نجح إطار العمل في التمييز بين الإشارات المستمدة من المحتوى الموضوعي الواسع وبين تلك التي يمكن استردادها من القنوات النفسية اللغوية المقيدة (الكلمات الوظيفية، الوجدان، الإدراك).
إثبات التباين: يوضح أن "استدلال الشخصية" ليس قدرة موحدة؛ إذ تختلف ملفات الأدلة باختلاف النوع الأدبي، وطول النص، والسمة المحددة.
فائدة التدقيق: من خلال التقييم المشترك للانتشار، والاتفاق على مستوى العناصر، واستمرار القناة المعجمية، ومحتوى التفسير، يكشف LEX-EC عن معلومات غير مرئية للمقاييس الإحصائية التقليدية وحدها.
الآثار العملية: تشير النتائج إلى وجوب توخي الحذر عند استخدام أنظمة تسمية الشخصية، خاصة للنصوص القصيرة أو مدخلات الحالة الواحدة، حيث قد تعتمد على اختصارات ديموغرافية أو إشارات موضوعية بدلاً من إشارات سمات مستقرة. يهدف إطار العمل إلى تضييق الفرضيات السببية وإعلام القرارات المتعلقة بالظروف التي يمكن فيها نشر مثل هذه الأنظمة.
يظل المؤلفون متواضعين في ادعاءاتهم، مشيرين إلى أن الدراسة لا تثبت الطريقة التي "تفكر" بها النماذج، بل تصف المخرجات السلوكية والظروف التي تدعم فيها قنوات الأدلة المعجمية المحددة ارتباطات السمات أو تفشل في ذلك.