ملخص تقني: RECON: توليد الاستنتاج الموجه بإعادة البناء لنمذجة المستخدم

بيان المشكلة

تهدف نمذجة المستخدم إلى محاكاة سلوك المستخدم الفردي باستخدام النماذج اللغوية (LMs) عبر التنبؤ بالأفعال (مثل جولات المحادثة) بناءً على أزواج السياق-الفعل الماضية. تحاول الأساليب الحديثة تحسين التعميم من خلال تعزيز هذه المجموعات بآثار استنتاج مُولدة. ومع ذلك، تعتمد الطرق الحالية عادةً على التبرير اللاحق (post-hoc rationalization)، حيث يقوم النموذج بتوليد أثر استنتاجي مشروط بكل من السياق والفعل الحقيقي (ground-truth action).

يجادل المؤلفون بأن هذا النهج معيب جوهرياً في نمذجة المستخدم. فبينما تضمن هذه الآثار التبرير للفعل الملاحظ، إلا أنها غالباً ما تشكل قفزات منطقية أو قرارات تعسفية لا تشفر مسارات القرار السببية الكامنة. في البيئات اللغوية الطبيعية مفتوحة النهايات، قد يكون التبرير متسقاً مع فعل ما (على سبيل المثال، "كنت عطشاً" يبرر طلب عصير البرتقال) دون شرح الخيار المحدد (على سبيل المثال، "أنا أحب عصير البرتقال" مقابل الماء). وبناءً على ذلك، تفشل هذه الآثار في التقاط الاستنتاج الكامن الحقيقي للمستخدم ($r^*$)، مما يحد من فائدتها للتنبؤ اللاحق. علاوة على ذلك، فإن عملية أخذ العينات بالرفض البسيطة (توليد الاستنتاج حتى يتم إنتاج الفعل الصحيح) غير مجدية في المساحات اللغوية الطبيعية عالية الأبعاد وحرة الشكل.

المنهجية: RECON

لمعالجة الفجوة بين التبرير اللاحق والاستنتاج الحقيقي، يقترح المؤلفون RECON (توليد الاستنتاج الموجه بإعادة البناء). الجوهر يكمن في أن الاستنتاج المفيد يجب أن يستحث الفعل بشكل طبيعي من السياق، بدلاً من مجرد تبرير نتيجة محددة مسبقاً. يقيم RECON آثار الاستنتاج المرشحة بناءً على دقة إعادة بناء الفعل (action reconstruction fidelity).

يعمل مسار RECON كما يلي:

1. توليد المرشحين: بالنظر إلى سياق $c$ وفعل حقيقي $a^*$، يقوم نموذج استنتاج $M_r$ بتوليد $N$ من آثار الاستنتاج المرشحة $\{\hat{r}_i\}$. هذه الآثار تكون مشروطة في البداية بـ $(c, a^*)$، على غرار التبرير القياسي.
2. إعادة بناء الفعل: يتم توجيه نموذج فعل $M_a$ بالسياق $c$ وأثر استنتاج مرشح $\hat{r}_i$ (بدون الفعل الحقيقي) لتوليد فعل مُعاد بناؤه $\hat{a}_i = M_a(c, \hat{r}_i)$.
3. التقييم (Scoring): يتم تحديد جودة $\hat{r}_i$ بناءً على المواءمة بين الفعل المُعاد بناؤه $\hat{a}_i$ والفعل الحقيقي $a^*$. ويتم تقييم ذلك بواسطة حكم لغوي (LM judge) عبر ثلاثة أبعاد: الأسلوب، القصد، والقيم.
4. التطبيق: تُستخدم درجات إعادة البناء بطريقتين متميزتين:
   • RECON-Select (خالٍ من التدريب): تقوم الطريقة بأخذ عينات من عدة مرشحين واختيار المرشح صاحب أعلى درجة مواءمة في إعادة البناء لتعزيز مجموعة الاسترجاع للتعلم داخل السياق (in-context learning).
   • RECON-GRPO (قائم على التدريب): تعمل درجة مواءمة إعادة البناء كإشارة مكافأة لتدريب مُولد الاستنتاج باستخدام تحسين السياسة النسبي للمجموعات (GRPO). هنا، يعمل نموذج الاستنتاج $M_r$ كـ "مستشار" لنموذج فعل مجمد $M_a$، حيث يتعلم إنتاج آثار استنتاج تسهل إعادة بناء الفعل بدقة.

المساهمات الرئيسية

1. إطار عمل RECON: تقديم طريقة تستخدم إعادة بناء الفعل كبديل قابل للتطبيق لأخذ العينات بالرفض لتقييم الاستنتاج المُولد في نمذجة المستخدم.
2. استراتيجيات توليد مزدوجة: إثبات فعالية RECON من خلال كل من الاختيار الخالي من التدريب (RECON-Select) والتحسين القائم على التدريب (RECON-GRPO).
3. القابلية للنقل والتفسير: تقديم دليل على أن آثار الاستنتاج التي تم توليدها عبر RECON قابلة للنقل عبر عائلات النماذج المختلفة وتحسن أداء نمذجة المستخدم بما يتجاوز نموذج إعادة البناء المحدد المستخدم أثناء التوليد.

النتائج التجريبية

قيم المؤلفون RECON عبر أربعة مجالات: المرافعة الشفهية للمحكمة العليا الأمريكية، وأسئلة رئيس الوزراء البريطاني (PMQ)، والبودكاست، ومحادثات Reddit. تضمنت عملية التقييم مسار توليد معزز بالاسترجاع (RAG) حيث يتنبأ نموذج الفعل باستجابات المستخدم باستخدام أزواج السياق-الفعل المعززة.

• الأداء مقابل الخطوط المرجعية: تفوق RECT-Select باستمرار على خط الأساس Backward Synthesis (التبرير اللاحق).
  • باستخدام Qwen3-8B، حقق RECON-Select معدل فوز إجمالي قدره 54.7%.
  • باستخدام GPT-5-mini، حقق RECON-Select معدل فوز إجمالي قدره 53.5%.
  • في المقابل، أدى خط الأساس E2E-GRPO (تدريب نموذج لتوليد الاستنتاج والفعل مباشرة من أجل دقة الفعل) أداءً ضعيفاً، حيث حقق معدل فوز قدره 38.4% فقط، مما يشير إلى أن التحسين من أجل دقة الفعل وحدها لا ينتج استنتاجاً قابلاً للنقل.
• التدريب باستخدام مكافآت RECON: عندما استُخدم RECON-GRPO لتدريب نماذج الاستنتاج، تحسنت معدلات الفوز بشكل كبير، لتصل إلى 70.0% (تحديداً للنماذج الأصغر مثل Qwen3-4B في مجال PMQ).
• النقل عبر النماذج: أظهرت التجارب التي استبدلت نماذج الاستنتاج والأفعال (على سبيل المثال، استخدام استنتاج GPT-5-mini مع توليد فعل Qwen3-8B) أن آثار استنتاج RECON-Select تظل مفيدة، حيث حققت معدل فوز قدره 52.4%. يشير هذا إلى أن الطريقة تستعيد الخصائص الكامنة للمستخدم بدلاً من السمات الخاصة بالنموذج.
• التحليل البعدي: كانت التحسينات متسقة عبر الأسلوب، والقصد، والقيم، مما يشير إلى أن RECON يلتقط الخصائص عالية المستوى للمستخدم، وليس فقط الأنماط اللغوية السطحية.

الأهمية والادعاءات

يدعي البحث أن التبرير اللاحق غير كافٍ لتوليد الاستنتاج في نمذجة المستخدم. ويجادل المؤلفون بأن الاستنتاج المفيد والقابل للتفسير يجب تقييمه من خلال نتائجه السببية—وتحديداً، قدرته على استحثاث الفعل الملاحظ بشكل طبيعي من السياق—بدلاً من اتساقه السطحي مع الفعل.

يوفر RECON "تجسيداً قابلاً للتطبيق" لهذا المبدأ. من خلال إعطاء الأولوية للاستنتاج الذي ينجح في إعادة بناء الفعل، تولد الطريقة آثاراً تقترب بشكل أفضل من عملية الاستنتاج الكامنة للمستخدم ($r^*$). تشير النتائج إلى أن هذا النهج يحسن دقة محاكاة المستخدم في البيئات اللغوية الطبيعية الصاخبة وعالية الأبعاد، مما يوفر مساراً لنماذج مستخدم أكثر قابلية للتفسير والتنبؤ دون الاعتماد على تسميات التفضيل المحكومة. يشير المؤلفون إلى القيود، بما في ذلك التكلفة الحسابية لخطوة إعادة البناء وحقيقة أن RECON لا يزال يعمل على تبريرات مشروطة بالفعل الحقيقي، مما يترك توليد الاستنتاج المشروط بالسياق فقط كتوجه للعمل المستقبلي.