ملخص تقني: إشارة أم إشارة زائفة؟ تدقيق عشوائي للبيانات الوصفية للدول في الاستدلال الاجتماعي للنماذج اللغوية الكبيرة

بيان المشكلة

تستخدم النماذج اللغوية الكبيرة (LLMs) البيانات الوصفية للمجموعات، مثل تسميات الدولة في المسوحات، لتحسين توقعات الاستجابات الفردية عندما تحمل تلك البيانات الوصفية معلومات سكانية حقيقية. ومع ذلك، يمكن لنفس الإشارات الوصفية أن توجه التوقعات بشكل مضلل عندما يتم تعيينها عشوائياً، مما قد يؤدي إلى إدخال تحيز أو ارتباطات زائفة. التحديد الجوهري الذي تعالجه هذه الورقة هو التمييز بين المعلومات (إشارات سكانية صالحة تحسن التنبؤ) والحركة المدفوعة بالإشارة (تحولات التوقعات الناتجة مجرد وجود تسمية، بغض النظر عن مصدرها).

تفشل طرق التقييم الحالية — مثل مقارنة مخرجات النموذج بتوزيعات الآراء للمجموعات أو اختبار محفزات الشخصية — في عزل ما إذا كان لملصق مجموعة معين تأثير مختلف عندما تتغير صلاحية مصدره. تبحث هذه الدراسة فيما إذا كان الإفصاح الصريح عن الأصل العشوائي والمستقل عن السجل لملصق الدولة يقلل من ميل النموذج لمعاملة ذلك الملصق كإشارة صالحة للاستدلال الاجتماعي.

المنهجية

التصميم التجريبي

تستخدم الدراسة تصميم تدقيق داخل السجل عبر خمسة نماذج API ثابتة (DeepSeek-V4-Pro, Gemini-3.6-Flash, Mistral-Medium-3.5, GPT-5.4, Qwen3.7-Max-2026-06-08)، وست دول (الصين، فرنسا، بريطانيا العظمى، إيطاليا، الأردن، الولايات المتحدة الأمريكية)، وسبعة أهداف مختارة بعناية.

مصدر البيانات هو مجموعة بيانات EVS/WVS 2017–2022 المشتركة، والمقيدة بموجات محددة لضمان تغطية العناصر المشتركة. تم تقسيم مجموعة البيانات إلى مجموعات مرجعية، وتطويرية، وتجريبية، وتقييمية.

• المهمة: تتلقى النماذج عشر إجابات ملحوظة من سجل مجهول ويجب عليها التنبؤ بالإجابات المحجوبة لسؤال مستهدف.
• سياسات البيانات الوصفية: تم اختبار أربع حالات:
  • M0 (الأساسية): لا يوجد حقل دولة.
  • MO (عشوائية مبهمة): تعرض ملصق دولة $T$ مستخرج بانتظام من المرشحين الستة، دون الكشف عن أصله.
  • MR (عشوائية مُفصح عنها): تعرض نفس الملصق $T$ ولكن مع توضيح: "تم اختيار كل مرشح باحتمالية متساوية، وبشكل مستقل عن سجل المسح المصدر".
  • MV (موثقة): تعرض دولة المسح الحقيقية من السجل المصدر، والمعرفة كموقع الجمع.

مقاييس التقييم

تفصل الدراسة بين الاتجاه (الحركة) والنتيجة (المنفعة التنبؤية):

1. الحركة الموجهة نحو الدولة ($\beta$): تقيس ما إذا كان تحول التوقع الناجم عن حالة البيانات الوصفية يتوافق مع التباين السكاني الفعلي الملاحظ في السجلات البشرية المستقلة لتلك الدولة. تشير $\beta$ الموجبة إلى أن النموذج حرك توقعه في اتجاه التوزيع الفعلي للدولة المعروضة.
2. النتيجة المحجوبة (خسارة براير - Brier Loss): تقيس ما إذا كان التوقع المتغير يتنبأ بشكل أفضل بالإجابة البشرية المحجوبة.
   • المنفعة الموثقة ($U_V$): خفض خسارة براير عند استخدام البيانات الوصفية الموثقة ($MV$) مقابل عدم وجود بيانات وصفية ($M0$).
   • ندم الملصق العشوائي ($R_X$): الزيادة في خسارة براير عند استخدام الملصقات العشوائية (سواء كانت مبهمة $MO$ أو مفصحاً عنها $MR$) مقابل عدم وجود بيانات وصفية.

اللوحات (Panels)

• اللوحة الأساسية (72 سجلاً منفصلاً): تحتوي على 72 سجلاً متميزاً تغطي جميع الأهداف السبعة بموجب بروتوكول مصحح.
• اللوحة الثانوية (504 سجلاً): تحتوي على 504 سجلاً متميزاً ولكنها تطبق تغطية خاصة بكل هدف: تستخدم جميع السجلات الـ 504 لهدفين غير متأثرين بالصياغة، بينما تستخدم توقعات مصححة من مجموعة فرعية متوازنة مكونة من 72 سجلاً من نفس الـ 504 سجلات للأهداف الخمسة المتأثرة بالصياغة.

النتائج الرئيسية

1. الإفصاح لا يقلل من استيعاب الملصقات العشوائية

على عكس الفرضية القائلة بأن الشفافية تقلل من الاعتماد على الإشارات، لم يقلل الإفصاح عن الطبيعة العشوائية لملصق الدولة بشكل كبير من ميل النموذج لتحريك توقعاته في اتجاه تلك الدولة.

• الحركة: أنتجت الملصقات المبهمة ($MO$) والمفصح عنها عشوائياً ($MR$) حركة كبيرة موجهة نحو الدولة في اللوحة الأساسية (72 سجلاً منفصلاً) ($\beta_O = 0.214$, $\beta_R = 0.214$). وفي اللوحة الثانوية (504 سجلاً)، كانت القيم $\beta_O = 0.261$ و $\beta_R = 0.218$.
• التخفيف: كان الفرق بين الحركة في الحالة المبهمة والحالة المفصح عنها عشوائياً ($A = \beta_O - \beta_R$) صفراً فعلياً ($0.0003$) في اللوحة الأساسية مع فاصل ثقة 95$[-0.0157, 0.0166]$. فشلت الدراسة في رفض الفرضية الصفرية التي تفيد بأن الإفصاح ليس له تأثير على الاستيعاب.

2. البيانات الوصفية الموثقة تحسن دقة التنبؤ

عندما كان ملصق الدولة موثقاً (دولة المسح الحقيقية)، فقد قدم قيمة تنبؤية حقيقية.

• المنفعة: قللت سياسة الدولة الموثقة ($MV$) من خسارة براير المحجوبة بمقدار $0.040$(فاصل ثقة 95$[0.024, 0.056]$) مقارنة بالأساس في اللوحة الأساسية. كانت هذه النتيجة ذات دلالة إحصائية ($p < 0.001$).
• الندم: لم تسبب الملصقات العشوائية (سواء المبهمة أو المفصح عنها) عموماً ضرراً تنبؤياً متوسطاً كبيراً (غالباً ما تضمنت فترات الندم الصفر)، رغم أن نموذج Qwen أظهر ندماً كبيراً في الحالة المبهمة.

3. تباعد الاتجاه والنتيجة

لاحظت الدراسة عدم تماثل سلوكي: تحركت التوقعات في اتجاه التباين السكاني للدولة المعروضة (حتى عندما كان الملصق عشوائياً ومُفصحاً عنه كأمر كذلك) دون أن يستلزم ذلك بالضرية حدوث ضرر تنبئي متوسط قابل للكشف. يشير هذا إلى أن "استيعاب الإشارة" (الحركة الاتجاهية) و"المنفعة التنبؤية" (الدقة) هما ظاهرتان مختلفتان لا تترابطان دائماً.

المساهمات الرئيسية

1. تباين المصدر (Provenance Contrast): تصميم تجريبي مبتكر يثبت ملصق الدولة المعروض مع تغيير مصدره المفصح عنه (مبهم مقابل عشوائي صريح مقابل موثق)، مما يعزل تأثير صلاحية المصدر.
2. مقاييس مفككة: إطار تقييم يفصل بين الحركة الاتجاهية (المحاذاة مع المرتكزات السكانية الخارجية) وبين النتيجة التنبؤية (خسارة براير مقابل الإجابات البشرية المحجوبة)، متجنباً الخلط بين التحيز وعدم الدقة.
3. متن PROV-FORECAST: إصدار متن مهيكل حسب المصدر يحتوي على 14,400 توزيع احتمالي لمستوى العناصر من اللوحة المصححة، متوافق عبر خمسة نماذج وأربع حالات بيانات وصفية.
4. دليل تجريبي على الإفصاح: دليل على أن الإفصاح الصريح عن استقلالية الملصق العشوائي لا يقلل بشكل موثوق من ميل النموذج لاستخدام ذلك الملصق كإشارة للاستدلال الاجتماعي.

الأهمية والادعاءات

تدعي الورقة أنها تقدم تشخيصاً "أضيق" ولكنه صارم لكيفية معالجة النماذج اللغوية الكبيرة لأصل البيانات الوصفية في مهام الاستدلال الاجتماعي. هي لا تدعي أن النماذج لا تستطيع فهم المصدر بشكل عام، ولا تؤكد نظرية عامة حول الاستدلال من المصدر. بدلاً من ذلك، هي تثبت أن:

• البيانات الوصفية الموثقة مفيدة: عندما يكون حقل الدولة حقيقياً، فإنه يحسن التنبؤ بالأهداف المختارة لقيمتها المضافة للدولة.
• الإفصاح غير كافٍ: مجرد التصريح بأن الملصق عشوائي ومستقل لا يوقف النموذج بشكل موثوق عن استخدام ذلك الملصق لتحريك توقعه نحو التوزيع السكاني المرتبط به.
• الاتجاه $\neq$ الضرر: يمكن للنموذج أن يظهر حركة قوية موجهة نحو الدولة (مما قد يشير إلى الصور النمطية أو الاعتماد على الإشارة) دون أن يعاني من انخفاض ملموس في دقة التنبؤ على البيانات المحجوبة.

يؤكد المؤلفون أن هذه النتائج محددة لعقد الاستخلاص المجمد (صياغة إنجليزية ثابتة، دفعات من خمسة أسئلة، توقعات احتمالية) وللأهداف المختارة تحديداً لقيمتها العالية بالنسبة للدولة. وهم يحذرون من تعميم هذه النتائج على جميع مهام الاستدلال الاجتماعي أو افتراض أنها تعكس معتقدات ثقافية داخلية بدلاً من توزيعات المخرجات. تعتبر الدراسة تدقيقاً سلوكياً لبروتوكول بيانات وصفية محدد وليس تقييماً للعدالة السببية.