ملخص تقني: وهم التدخل في التجارب المحاكاتية عبر النماذج اللغوية الكبيرة

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لمحاكاة السلوك البشري في التجارب الاصطناعية، مثل تقييم الوكلاء الذكيّين أو إجراء استطلاعات رأي واسعة النطاق. والافتراض السائد هو أنه من خلال تهيئة نماذج لغوية متطابقة بنفس الشخصية (على سبيل المثال، "رجل في الثلاثين من عمره") وتعريضها لتدخلات مختلفة (مثل الوكيل أ مقابل الوكيل ب)، يمكن للباحثين محاكاة تجربة عشوائية محكومة (RCT) لتقدير الآثار السببية.

ومع ذلك، تجادل هذه الورقة بأن مثل هذه التجارب الاصطناعية تعاني من "انزياح المستخدم" (User Drift)، مما يجعلها أقرب إلى الدراسات الرصدية منها إلى التجارب العشوائية. نظرًا لأن النماذج اللغوية الكبيرة مدربة على بيانات رصدية وتعمل عبر الاستدلال الاستنباطي، فإنها تستنتج سمات كامنة غير محددة ($X \setminus L$) للحفاظ على التماسك مع سياق التدخل ($A$). وبناءً على ذلك، فإن مستخدمين اصطناعيين تم تهيئتهم بصفات مرصودة متطابقة ($L$) قد ينزاحون إلى مجموعات سكانية كامنة متباينة اعتمادًا على التدخل الذي يتلقونه. وهذا يخلق تحيز اختيار (Confounding)، حيث يختلف توزيع السمات الكامنة للمستخدم عبر ظروف المعالجة ($P(X | A=1, L) \neq P(X | A=0, L)$)، مما يؤدي إلى تشويه أثر المعالجة المقدر ($\tau_{obs}$) عن الأثر السببي الحقيقي ($\tau_{ATE}$).

المنهجية

صياغة التحيز

يقوم المؤلفون بصياغة المشكلة باستخدام إطار النتائج المحتملة. في التجربة العشوائية المحكومة المثالية، يضمن التوزيع العشوائي توازن العوامل الخلفية. أما في محاكاة النماذج اللغوية الكبيرة، فإن عملية التوليد تُجزئ التوزيع المشترك كـ $P(L, A, X, Y)$ بدلاً من الترتيب السببي $P(X, L, A, Y)$. عندما يتم إدخال تدخل $A$، يستنتج النموذج اللغوي سمات كامنة $X \setminus L$ تتوافق مع $A$، مما يخلق مساراً خلفياً مفتوحاً من $A$ إلى $Y$ عبر سمات المستخدم غير المرصودة. وهذا يؤدي إلى ظهور حد تحيز $\delta_{SB}$ بحيث يكون $\tau_{ATE} = \tau_{obs} - \delta_{SB}$.

التشخيص: مخرجات الضبط السلبي

للكشف عن هذا الانزياح دون ملاحظة الشخصية الكامنة الكاملة، يقترح المؤلفون استخدام مخرجات الضبط السلبي ($Z$). وهي متغيرات:

1. يجب أن تكون غير متأثرة سببياً بالتدخل $A$ (ثابتة تحت المعالجة).
2. تعتمد على نفس السمات الكامنة غير المرصودة ($X \setminus L$) التي تسبب الانزياح في المخرج الأساسي.

تشمل الأمثلة السمات الديموغرافية (العرق، الجنسية) أو المعتقدات المستقرة التي لا ينبغي أن تتغير بناءً على ما إذا كان المستخدم يتفاعل مع وكيل ذكي "إيجابي" أو "سلبي". ويقيس المؤلفون الانزياح باستخدام مسافة التباين الكلي (TVD) بين توزيعات $Z$ تحت ظروف التدخل المختلفة ($A=0$ مقابل $A=1$). ويشير وجود قيمة غير صفرية لـ TVD إلى أن التدخل قد أدى إلى إزاحة السكان الكامنين، مما يشير إلى وجود خلل في الربط (Confounding).

التخفيف: التعديل التكراري للمتغيرات المربكة

لتقليل التحيز، يقترح المؤلفون إجراءً تكرارياً لاستقصاء وتحديد متغيرات مربكة إضافية ($L'$) تعمل كوكيل للسمات الكامنة غير المرصودة.

1. الاستقصاء: يقوم النظام باستجواب المستخدم الاصطناعي حول سمات محددة (مثل الدخل، الدين، أو أسئلة مستهدفة متعلقة بالتدخل) بعد التدخل.
2. أخذ العينات: يتم أخذ عينات من مربكات جديدة من توزيع مختلط موحد المعالجة لضمان أن المجتمع المعدل يعكس سيناريو عشوائياً.
3. التكرار: تُضاف هذه السمات المستقصاة إلى مواصفات الشخصية ($\tilde{L} = L \cup L'$)، ثم تُعاد تشغيل التجربة. تستمر هذه الحلقة حتى يستقر TVD لمخرجات الضبط السلبي أو ينخفض دون حد معين.

يؤكد المؤلفون أن هذا نهج تكراري ومستهدف وليس تحديداً لمرة واحدة لجميع السمات الممكنة، وذلك لتجنب تدهور نافذة السياق وتحيز أخذ العينات.

المساهمات الرئيسية

1. صياغة انزياح المستخدم: تقدم الورقة إطاراً للاستدلال السببي يوضح أن التجارب المحاكاتية عبر النماذج اللغوية الكبيرة تعاني بطبيعتها من تحيز اختيار بسبب التحولات المعتمدة على التدخل في سمات المستخدم الكامنة.
2. أداة تشخيص تجريبية: تقدم استخدام مخرجات الضبط السلبي ومسافة التباين الكلي (TVD) كأداة عملية لتشخيص انزياح المستخدم وتحيز الاختيار عبر مختلف عائلات النماذج اللغوية الكبيرة.
3. استراتيجية التخفيف: تثبت أن الاستقصاء التكراري والمستهدف للمتغيرات المربكة أثناء تحديد الشخصية يمكن أن يقلل بشكل كبير من تحيز الاختيار ويثبت تقديرات الأثر في كل من إعدادات الاستطلاع وإعدادات تقييم الوكلاء متعددة الخطوات.

النتائج

قيم المؤلفون نهجهم عبر نماذج متعددة (Qwen3, GPT-OSS, Gemma, Gemini) ومجموعات بيانات (OpinionQA, Book Opinions, MovieLens).

• وجود الانزياح: في التكرار 0 (الأساس)، لوحظ TVD كبير في مخرجات الضبط السلبي عبر معظم النماذج ومجموعات البيانات، مما يؤكد أن الشخصيات الأولية المتطابقة تنزاح إلى مجموعات سكانية كامنة مختلفة بناءً على التدخل. ومن الملاحظ أن النماذج ذات قدرات الاستدلال الاستنباطي الأقوى (مثل Gemma-4) أظهرت انزياحاً أكبر من النماذج الأصغر والأقل قدرة.
• أثر التعديل: أدى التعديل التكراري للمتغيرات المربكة عموماً إلى تقليل TVD، مما يشير إلى تقليل انزياح المستخدم.
  • في إعدادات الاستطلاع (OpinionQA)، انخفض TVD باستمرار عبر التكرارات.
  • في إعدادات تقييم الوكلاء، تباينت النتائج؛ حيث أظهرت بعض النماذج (مثل Gemma-4) انخفاضات واضحة، بينما أظهرت نماذج أخرى (مثل GPT-OSS-20B) تغيرات مسطحة أو ضعيفة، مما يشير إلى أن التكييف القائم على الأوامر (Prompt-based conditioning) ليس فعالاً بشكل موحد في الإعدادات متعددة الخطوات.
• الأثر على تقديرات الأثر: تغيرت آثار المعالجة المرصودة ($\tau_{obs}$) بشكل كبير خلال تكرارات التعديل المبكرة قبل أن تستقر. وهذا يؤكد أن التقديرات الساذجة كانت مشوهة بسبب انزياح المستخدم.
• فروق التصميم: وجدت الدراسة أن إضافة سمات ديموغرافية عامة قد تؤدي في البداية إلى زيادة TVD (تحيز الاختيار) قبل أن تعمل المتغيرات المربكة المستهدفة والمتعلقة بالمهمة على تقليله. وهذا يسلط الضوء على أهمية اختيار المتغيرات المربكة ذات الصلة بالمعالجة والمخرج.

الأهمية والادعاءات

تخلص الورقة إلى أن التقييمات التي تستخدم المستخدمين الاصطناعيين يجب أن تُعامل كدراسات رصدية افتراضياً، وليس كتجارب عشوائية محكومة. ينشأ "وهم التدخل" لأن الطبيعة التوليدية للنماذج اللغوية الكبيرة تسمح للتدخل بالتأثير بأثر رجعي على الحالة الكامنة للمستخدم المحاكى.

يدعي المؤلفون ما يلي:

1. بدون التشخيص والتخفيف، تخاطر تجارب المستخدمين الاصطناعيين بإنتاج تقديرات سببية مضللة بسبب تحيز الاختيار غير المرصود.
2. توفر مخرجات الضبط السلبي أداة تشخيصية ضرورية للكشف عن هذا التحيز.
3. يعد التعديل التكراري والمستهدف للمتغيرات المربكة استراتيجية قابلة للتطبيق لتحسين الصلاحية الداخلية، رغم أنها لا تضمن القضاء على جميع أنواع التحيز، خاصة إذا ظل هناك تباين كامن كبير غير مقاس.

يعمل هذا العمل كإطار تحذيري للباحثين الذين يستخدمون النماذج اللغوية الكبيرة لمحاكاة الاستجابات البشرية، داعياً إلى التحول من افتراض الصلاحية السببية إلى التشخيص النشط وتصحيح انزياح المستخدم.