🤖 machine learning

PrivacySIM: Evaluating LLM Simulation of User Privacy Behavior

تقدم هذه الورقة PrivacySIM، وهي مجموعة تقييم تقارن تسعة من النماذج اللغوية الكبيرة الرائدة مقابل 1,000 استجابة لمستخدمين حقيقيين لتوضيح أنه بينما يحسن التكييف مع الشخصية (persona conditioning) من دقة المحاكاة، إلا أن النماذج الحالية لا تزال تواجه صعوبة في إعادة إنتاج قرارات الخصوصية الفردية بأمانة، لا سيما بالنسبة للمستخدمين ذوي الخبرة العالية في الذكاء الاصطناعي والمخاوف المنخفضة المعلنة بشأن الخصوصية.

المؤلفون الأصليون: James Flemings, Murali Annavaram

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: James Flemings, Murali Annavaram

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء "توأم رقمي" لشخص حقيقي. تريد لهذا التوأم أن يتخذ نفس الخيارات المتعلقة بالخصوصية التي سيتخذها الشخص الحقيقي عندما يُسأل: "هل من المقبول مشاركة تاريخي الطبي مع روبوت دردشة؟" أو "هل يجب أن أسمح لهذا الذكاء الاصطناعي برؤية موقعي؟"

هذه الورقة البحثية، PRIVACYSIM، هي بمثابة "تقرير درجات" لمدى قدرة النماذج اللغوية الكبيرة (LLMs) على العمل كتوائم رقمية لهؤلاء الأشخاص. لقد طرح الباحثون سؤالاً بسيطاً ولكنه صعب للغاية: هل يمكننا تزويد الذكاء الاصطناعي ببعض الحقائق عن شخص ما (مثل عمره، ومدى استخدامه للذكاء الاصطناعي، وما يقوله عن الخصوصية) وجعل الذكاء الاصطناعي يتنبأ بدقة بكيفية تصرف ذلك الشخص تحديداً؟

إليك تفصيل تجربتهم ونتائجهم، باستخدام بعض التشبيهات اليومية.

الإعداد: اختبار "التمثيل"

تخيل الباحثين كمديري كاستينج (اختيار الممثلين). لقد جمعوا 1,000 شخص حقيقي من خمس دراسات سابقة. كان هؤلاء الأشخاص قد أجابوا بالفعل على أسئلة حول مشاركة البيانات في سيناريوهات مثل:

التحدث إلى ذكاء اصطناعي طبي.
استخدام روبوت دردشة في مجموعة دردشة.
السماح لوكيل ذكاء اصطناعي بالوصر إلى معلوماتهم المصرفية.

بعد ذلك، أخذ الباحثون ملفات تعريف هؤلاء الأشخاص الحقيقيين وغذّوا بها تسعة نماذج مختلفة من أرقى نماذج الذكاء الاصطناعي. وقد أعطوا الذكاء الاصطناعي ثلاثة أنواع من "أوراق الشخصية" (تسمى Personas) لمعرفة أي منها يساعد الذكاء الاصطناعي على التمثيل كالإنسان الحقيقي:

الديموغرافيا: العمر، الجنس، التعليم (بمثابة "السيرة الذاتية").
الخبرة السابقة: مدى تكرار استخدامهم للذكاء الاصطناعي أو روبوتات الدردشة (بمثابة "السيرة الذاتية").
المواقف المعلنة: ما يقولون إنهم يهتمون به فيما يتعلق بالخصوصية (بمثابة "المقابلة الشخصية").

ثم تعين على الذكاء الاصطناعي تخمين الإجابة على أسئلة مشاركة البيانات. وقارن الباحثون بين تخمين الذكاء الاصطناعي وإجابة الإنسان الحقيقي الفعلية لمعرفة مدى دقة هذا "التمثيل".

النتائج الكبرى

1. الذكاء الاصطناعي "ممثل جيد"، لكنه ليس "ممثلًا رائعًا"

حتى أذكى نموذج ذكاء اصطناي (Gemini 3.1 Pro) لم يصب الإجابة الصحيحة إلا في حوالي 40% من المرات.

تشبيه: تخيل أنك تحاول تخمين نكهة الآيس كريم المفضلة لصديقك. إذا كنت تعرف فقط أنه يحب "الأشياء الحلوة"، فقد تخمن بشكل صحيح بنسبة 40%. ولكن إذا كنت تعرف بالضبط ما الذي يشتهيه في هذه اللحظة، فيجب أن تكون قادراً على التخمين بنسبة 100%. الذكاء الاصطناعي عالق عند مستوى الـ 40% هذا. يمكنه محاكاة شخص "عام" بشكل جيد، لكنه يعاني في التقاط الطريقة الفريدة والمضطربة التي يتخذ بها فرد معين قراراً.

2. فخ "مفارقة الخصوصية"

وجد الباحثون أن أوضح دليل — ما يقوله الناس عن معتقداتهم — كان في الواقع أسوأ مؤشر لما سيفعلونه.

تشبيه: تخيل شخصاً يقول: "أنا مرعوب من مشاركة موقعي!" (موقف مرتفع تجاه الخصوصية). ولكن عندما يُسأل: "هل تريد من هذا التطبيق أن يظهر لك أقرب بيتزا؟" يضغط فوراً على "نعم".
الذكاء الاصطناعي، عندما يُقال له "هذا الشخص مرعوب من مشاركة الموقع"، سيتوقع أنه سيقول "لا". لكن الشخص الحقيقي قال "نعم". لقد ارتبك الذكاء الاصطناعي لأن البشر غالباً ما يقولون شيئاً ويفعلون شيئاً آخر. تسمى هذه مفارقة الخصوصية، وقد تسببت في إرباك نماذج الذكاء الاصطناعي.

3. "الخبير الكسول" هو الأصعب في التنبؤ

قام الباحثون بتصنيف المستخدمين إلى فئات. الفئة التي كانت الأصعب على الذكاء الاصطناعي لمحاكاتها كانت الأشخاص الذين:

يقولون: "أنا لا أهتم حقاً بالخصوصية" (موقف منخفض).
يفعلون: يستخدمون روبوتات الدردشة وأدوات الذكاء الاصطناعي كل يوم (تعرض مرتفع).
تشبيه: فكر في هذا الشخص كـ "خبير كسول". هو يعرف كيف تعمل التكنولوجيا ويستخدمها باستمرار، لكنه يدعي أنه لا يهتم بها. ولأن أفعاله (استخدامها يومياً) وكلماته (عدم الاهتمام) متناقضان تماماً، لم يستطع الذكاء الاصطناعي معرفة ما سيفعلونه في موقف جديد. كانوا هم الأكثر عدم قابلية للتنبؤ.

4. "الأدمغة الأكبر" و"التفكير بعمق" لم يساعدا كثيراً

حاول الباحثون القيام بشيئين لجعل الذكاء الاصطناعي أفضل:

جعل النموذج أكبر: استخدام نموذج يحتوي على عدد أكبر من "الخلايا العصبية" (المعلمات/Parameters).
جعل النموذج يفكر بعمق أكثر: طلب من الذكاء الاصطناعي استخدام نظريات خصوصية معقدة (مثل "تحليل التكلفة والعائد") قبل الإجابة.
النتيجة: لم يساعد أي منهما كثيراً. فقد ارتفدت الدقة بأجزاء ضئيلة جداً من المئة فقط.
تشبيه: الأمر يشبه إعطاء طالب كتاباً مدرسياً أكبر وإخباره بأن "يفكر بعمق" في لغز ما. إذا لم يكن لديهم الخبرة أو السياق المناسب، فإن مجرد امتلاك قوة عقلية أكبر أو كتاب أكبر لن يساعدهم في حل اللغز.

الخلاصة

تخلص الورقة البحثية إلى أنه بينما يمكن للذكاء الاصطناعي محاكاة الاتجاهات العامة للخصوصية، فإنه ليس موثوقاً بما يكفي حالياً ليحل محل الاختبارات البشرية الحقيقية في القرارات عالية الخطورة (مثل الخصوصية الطبية أو القانونية).

ما يجيد الذكاء الاصطناعي فعله: العصف الذهني في المراحل الأولية، أو التحقق من أخطاء الخصوصية الواضحة، أو مقارنة تصميمين مختلفين لتطبيق ما.
ما لا يجيد الذكاء الاصطناعي فعله: استبدال الحاجة إلى سؤال البشر الحقيقيين عما يريدون فعلاً.

يقول الباحثون إنه لكي نتحسن، نحتاج إلى أكثر من مجرد "ورقة شخصية". نحن بحاجة إلى فهم الطريقة المضطربة وغير المتسقة والمتناقضة غالباً التي يتصرف بها البشر الحقيقيون، وهو أمر أصعب بكثير من مجرد برمجته في "أمر" (Prompt).

ملخص تقني: PRIVACYSIM: تقييم محاكاة النماذج اللغوية الكبيرة لسلوك الخصوصية لدى المستخدمين

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لمحاكاة السلوك البشري لتقييم أنظمة مشاركة البيانات، مما قد يحل محل الدراسات البشرية التي تتسم بالتكلفة العالية والبطء. ومع ذلك، لا يزال من غير الواضح ما إذا كانت هذه النماذج قادرة على محاكاة قرارات الخصوصية على مستوى الفرد بأمانة. تعتمد الأعمال الحالية غالبًا على شخصيات عامة أو توافق على مستوى المجتمع، مما يفشل في التقاط الفروق الدقيقة للسلوك الفردي، ولا سيما "مفارقة الخصوصية" حيث تتباين مواقف المستخدمين المعلنة عن أفعالهم الفعلية. هناك نقص في مجموعات التقييم المعيارية لتقدير ما إذا كانت سمات شخصية المستخدم المحددة يمكن أن تدفع النماذج اللغوية الكبيرة إلى محاكاة اتخاذ قرار الخصوصية الفردي بدقة في السياقات التي تتوسط فيها الذكاء الاصطناعية.

المنهجية

قدم المؤلفون PRIVACYSIM، وهو مجموعة تقييم مصممة لقياس معيار محاكاة النماذج اللغوية الكبيرة لسلوك خصوصية المستخدم مقابل استجابات البشر الحقيقية.

بناء مجموعة البيانات

تستند عملية التقييم إلى بيانات واقعية بدلاً من التوليد الاصطناعي. قام المؤلفون بتنسيق مجموعة بيانات من خمس دراسات مستخدم منشورة تغطي مجالات متنوعة:

استشارة الرعاية الصحية عبر النماذج اللغوية الكبيرة.
أذونات الوكيل الذكي (AI Agent).
الدردشة مع روبوت المحادثة (LLM Chatbot).
الدردشة الجماعية مع روبوت المحادثة.
الوكلاء الحواريين للنماذج اللغوية الكبيرة.

من هذه الدراسات، قاموا بأخذ عينات من 1,000 مستخدم (200 لكل دراسة) واستخرجوا 9,400 زوج من (المستخدم-السؤال). يرتبط كل مستخدم بـ "شخصية خصوصية" ( $P_u$ ) تتكون من ثلاثة جوانب مفترضة:

الديموغرافيا ( $D_u$ ): العمر، الجنس، التعليم (اختياري، حيث أغفلت بعض الدراسات هذه البيانات).
التجارب السابقة ( $E_u$ ): الإلمام وتكرار استخدام الذكاء الاصطناعي/روبوتات المحادثة.
مواقف الخصوصية ( $A_u$ ): المخاوف والتفضيلات المعلنة فيما يتعلق باستخدام البيانات.

مهمة المحاكاة

تُعرف المهمة بأنها نموذج لغوي كبير محاكي $f$ يأخذ شخصية المستخدم $P_u$ وسؤال مشاركة البيانات $q_i$ لإنتاج استجابة محاكاة $\hat{r}_{u,i}$ . الهدف هو مواءمة $\hat{v}_{u,i}$ مع استجابة المستخدم الفعلية $r_{u,i}$ .

مقياس التقييم

نظرًا لتفاوت مقاييس الاستجابة عبر الدراسات (مثل مقياس ليكرت خماسي النقاط مقابل مقياس رقمي من 0 إلى 100)، استخدم المؤلفون مقياس دقة التسامح (tolerance accuracy). تُعت-بر الاستجابة المحاكاة مطابقة إذا وقعت ضمن نطاق تسامح ( $\tau \cdot W_{Q_u}$ ) من الاستجابة الفعلية، حيث $W_{Q_u}$ هو الحد الأعلى للمقياس. حدد المؤلفون $\tau = 0.15$ ، مما يجعلها بمثابة مطابقة تامة للمقاييس ذات الخمس نقاط، ولكنها تسمح بهامش $\pm 15$ نقطة للمقاييس ذات الـ 100 نقطة.

الإعداد التجريبي

قيمت الدراسة تسعة نماذج لغوية كبيرة رائدة (سواء مفتوحة الأوزان أو مغلقة المصدر)، بما في ذلك GPT-5.4، وClaude Sonnet 4.6، وGemini 3.1 Pro، بالإضافة إلى متغيرات مختلفة من Qwen وGemma. تم اختبار النماذج تحت ثمانية ظروف للأوامر (prompts):

بدون شخصية (خط الأساس).
مجموعات فرعية من جوانب الشخصية الثلاثة ( $D_u$ ، $E_u$ ، $A_u$ ) في جميع التشكيلات غير الفارغة.
متغيرات تتضمن نظريات الخصوصية (حساب الخصوصية، العقلانية المحدودة، نظرية دافع الحماية) كعدسات للاستنتاج.

المساهمات الرئيسية

معيار PRIVACYSIM: أول مجموعة تقييم معيارية لتقييم النماذج اللغوية الكبيرة كأدوات محاكاة لخصوصية الأفراد، باستخدام بيانات مستخدمين حقيقية من خمس دراسات مختلفة.
تحليل جوانب الشخصية: تحقيق منهجي في كيفية مساهمة الديموغرافيا، والتجارب السابقة، والمواقف المعلنة في دقة المحاكاة.
تكميم مفارقة الخصوصية: أدلة تجريبية تثبت أن مواقف الخصوصية المعلنة وحدها غالبًا ما تكون تنبؤات ضعيفة للسلوك الفعلي، مما يسلط الضوء على صعوبة نمذجة مفارقة الخصوصية.
تحليل الصعوبة المتكتلة: تحديد مجموعات مستخدمين محددة (بناءً على الموقف والتعرض) يصعب محاكاتها بشكل غير متناسب.

النتائج

السؤال البحثي الأول (RQ1): مدى دقة المحاكاة

الدقة المحدودة: حتى أقوى النماذج، Gemini 3.1 Pro، حقق دقة قدرها 40.4% فقط عند تزويده بأغنى مزيج متاح من جوانب الشخصية (التجارب السابقة + مواقف الخصوصية) عبر جميع الدراسات الخمس. يشير هذا إلى أن النماذج اللغوية الكبيرة الحالية بعيدة تمامًا عن محاكاة قرارات الخصوصية الفردية بأمانة.
قيمة الشخصية: أدى التكييف مع جوانب الشخصية إلى تحسين الدقة باستمرار مقارنة بخط الأساس (الذي حقق ~36-37%). حقق الجمع بين التجارب السابقة ( $E_u$ ) ومواقف الخصوصية ( $A_u$ ) أفضل النتائج، بينما لم يقدم التكييف مع الديموغرافيا ( $D_u$ ) وحده سوى مكاسب ضئيلة.
التباين في المجال: تباينت جودة المحاكة بشكل كبير حسب المجال. كانت "استشارة الرعاية الصحية عبر النماذج اللغوية الكبيرة" هي الأصعب في المحاكاة (أدنى دقة)، بينما كانت "الوكلاء الحواريين للنماذج اللغوية الكبيرة" و"الدردشة الجماعية مع روبوت المحادثة" أسهل.

السؤال البحثي الثاني (RQ2): المجموعات الأكثر صعوبة في المحاكاة

باستخدام تصنيف (الموقف، التعرض)، حدد المؤلفون مجموعات مستخدمين متميزة:

المجموعة الأصعب: المستخدمون ذوو الاهتمام المنخفض بالخصوصية المعلن ولكن مع تعرض عالٍ للذكاء الاصطناعي/روبوتات المحادثة ("موقف منخفض / تعرض عالٍ") كانوا الأكثر صعوبة في المحاكاة، حيث حققوا أدنى دقة (36.51%) وأصغر مكسب من تكييف الشخصية (+1.07 نقطة مئوية). يفترض المؤلفون أن النماذج اللغبية تستنتج خطأً أن هؤلاء المستخدمين أقل اهتمامًا مما هم عليه في الواقع، فتشير إلى الفشل في التقاط التباين بين اهتمامهم المنخفض المعلن وسلوكهم الفعلي الناتج عن الاستخدام المكثف.
المجموعة الأسهل: المستخدمون ذوو الاهتمام العالي بالخصوصية والتعرض المتوسط كانوا الأسهل في المحاكاة، حيث أظهروا أكبر تحسن من تكييف الشخصية (+8.53 نقطة مئوية).

السؤال البحثي الثالث (RQ3): خصائص النموذج والتحفيز (Prompting)

الجهد الاستنتاجي: كان لزيادة الجهد الاستنتاجي (على سبيل المثال، من منخفض إلى متوسط) تأثير ضئيل على الدقة (أقل من 1 نقطة مئوية).
حجم النموذج: لم يؤدِ توسيع حجم النموذج داخل العائلة الواحدة (مثل Mini مقابل Full، أو 27B مقابل 122B) إلا إلى مكاسب متواضعة (0.12 إلى 1.31 نقطة مئوية).
الأوامر المستندة إلى النظرية: لم تؤدِ صياغة الأوامر للنماذج للاستنتاج من خلال نظريات الخصوصية الراسخة (حساب الخصوصية، العقلانية المحدودة، نظرية دافع الحماية) إلى تحسين جودة المحاكاة بما يتجاوز الإشارات المقدمة من جوانب الشخصية وحدها.

الأهمية والادعاءات

يخلص البحث إلى أنه بينما تمتلك النماذج اللغوية الكبيرة فهمًا أساسيًا غير ضئيل لمعايير الخصوصية العامة، إلا أنها تفتقر حاليًا إلى الدقة اللازمة لتعمل كبدائل موثوقة لاتخاذ قرار الخصوصية على المستوى الفردي. تظل الفجوة بين ما يقوله المستخدمون (المواقف) وما يفعلونه (السلوك) هي العقبة المركزية.

يضع المؤلفون PRIVACYSIM كـ خطوة أولى نحو فهم هذه القيود. ويدعون أن محاكاة النماذج اللغوية الكبيرة مناسبة حاليًا فقط للمهام ذات المخاطر المنخفضة والمرحلية المبكرة (مثل مقارنة بدائل التصميم، أو كشف الانتهاكات الواضحة، أو توليد الفرضيات)، ولكن يجب اقترانها بدراسات بشرية قبل أي قرار نشر. يشير العمل إلى أن سد الفجوة للوصول إلى محاكاة أمينة سيتطلب على الأرج|^{الأرجح} إشارات سلوكية أغنى تتجاوز مجموعة جوانب الشخصية الحالية، بدلاً من مجرد زيادة حجم النماذج أو تحسين الأوامر.