Point of Order: Action-Aware LLM Persona Modeling for Realistic Civic Simulation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "نقطة نظام: نمذجة شخصية النماذج اللغوية الكبيرة الواعية بالأفعال لمحاكاة مدنية واقعية."

1. بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) إمكانات كبيرة لمحاكاة المداولات المعقدة متعددة الأطراف في السياقات المدنية (مثل قاعات المحاكم، مجالس المدارس، ومجالس المدن). ومع ذلك، فإن المحاكاة الواقعية تعوقها حالياً مشكلة حرجة في البيانات: البيانات المنسوبة للمتحدثين.

• الفجوة: يتم نسخ تسجيلات الاجتماعات العامة (التي غالباً ما تكون عبر Zoom) عبر تقنية التعرف التلقائي على الكلام (ASR)، والتي عادة ما تخصص تسميات عامة ومجهولة الهوية (مثل Speaker_1 و Speaker_2).
• النتيجة: بدون ربط الهوية بشكل متسق عبر تسجيلات متعددة، لا تستطيع النماذج تعلم الشخصيات المحددة، أو الأنماط السلوكية، أو أساليب التفاعل الخاصة بكل مشارك. وهذا يمنع محاكاة سيناريوهات "ماذا لو" التي تتضمن فاعلين حقيقيين من العالم الواقعي.
• تعقيد إضافي: تتضمن المداولات في العالم الحقيقي ضوضاء، وتداخلاً في الكلام، وانتقالات سريعة بين الإجراءات الرسمية والنقاشات العفوية، مما يتطلب من النماذج أن تكون قوية تجاه هذه الظروف مع الحفاظ على التماسك.

2. المنهجية

يقترح المؤلفون مسار عمل قابلاً لإعادة الإنتاج يحول تسجيلات Zoom العامة الخام إلى مجموعات بيانات عالية الدقة، منسوبة للمتحدثين وتحمل بيانات وصفية غنية، يتبعها إطار عمل متخصص لضبط النموذج (Fine-tuning).

أ. مسار جمع البيانات وربط المتحدثين

طوّر المؤلفون إطار عمل متعدد الوسائط خفيف الوزن لربط المتحدثين عبر تسجيلات فيديو مختلفة دون الحاجة إلى بيانات وصفية متخصصة بخلاف الفيديو نفسه.

1. استخراج الإشارات المرئية: باستخدام "عرض المعرض" (Gallery View) في Zoom، يحدد النظام المتحدثين النشطين عبر الحدود الملونة. يقوم النظام بقص مربع اسم المشارك ويستخدم التعرف الضوئي على الحروف (OCR) (مع تحسين الدقة الفائقة للفيديوهات منخفضة الجودة) لاستخراج الأسماء.
2. المحاذاة السمعية البصرية: يتم محاذاة النصوص المنسوخة عبر ASR (التي تم إنشاؤها بواسطة Whisper) مع الجدول الزمني للتجزئة المرئية لتعيين تسميات متحدثين معيارية لقطع النص.
3. انتشار الهوية: يتم تطبيع الأسماء وتجميعها باستخدام المطابقة الضبابية (Fuzzy Matching) لضمان تحديد الشخص نفسه باستمرار عبر الاجتماعات المختلفة.

ب. نمذجة الشخصية الواعية بالأفعال

لالتقاط سلوك المتحدثين، وليس هويتهم فقط، قدم المؤلفون نمذجة الشخصية الواعية بالأفعال (Action-Aware Persona Modeling).

• استخراج البيانات الوصفية:
  • ملفات الشخصية: تُستخرج من المونولوجات الطويلة باستخدام النماذج اللغوية الكبيرة (GPT-5) لتلخيص الأهداف، والنبرة، والحدود، والمواقف السياسية.
  • استخراج المواضيع: يتم تقسيم نصوص الاجتماعات وتلخيصها لتحديد مواضيع الاجتماع العامة.
  • وسوم الأفعال: يتم تعيين تصنيف لأفع الأقوال البراغماتية (مثل [propose_motion] [اقتراح حركة/مقترح]، [call_vote] [طلب تصويت]، [ask_clarification] [طلب توضيح]) تلقائياً لكل عبارة. تصف هذه الوسوم وظيفة الكلام بدلاً من مجرد تحليل المشاعر.
• بناء مجموعة البيانات: يتم تسلسل النصوص بتنسيق يشبه ChatML. تتضمن كل عينة تدريب تاريخ المحادثة، وملف تعريف شخصية المتحدث المستهدف، ومواضيع الاجتماع، ووسوم الأفعال المسبوقة للعبارات.
• الضبط الدقيق (Fine-Tuning): استخدم المؤلفون الضبط الدقيق كفء المعلمات (PEFT) (تحديداً تقنية QLoRA) لتكييف النماذج الكبيرة (LLaMA-3.1-70B، Qwen-2.5-72B، GPT-OSS-120B) مع متحدثين محددين. يسمح هذا بالتكيف الفعال مع عشرات الأفراد.

ج. إعداد المحاكاة

تُجرى عمليات المحاكاة بنظام التناوب (Round-robin) حيث تعمل الوكلاء (Agents) كأطراف مشاركة محددة. يدعم النظام:

• الوعي بالزمن مقابل عدم الوعي بالزمن: يمكن تزويد الوكلاء بطوابع زمنية صريحة وبنود جدول أعمال للحفاظ على التماسك الزمني.
• المطالبات النظامية (System Prompts): تتضمن المطالبات المهيكلة أوصاف الشخصية، والأمثلة السياقية، والملفات التعريفية الدقيقة (الإحصاءات السلوكية الكمية)، وسياق المحادثة.

3. المساهمات الرئيسية

1. مسار ربط المتحدثين متعدد الوسائط: طريقة قابلة للتوسع لتعيين هويات مستقرة للمتحدثين في تسجيلات Zoom العامة باستخدام الإشارات المرئية والتعرف الضوئي على الحروف، متجاوزة الحاجة إلى التوسيم اليدوي.
2. إطار العمل الواعي بالأفعال: نهج مبتكر يثبت أن تعزيز بيانات التدريب بوسوم أفعال براغماتية مهيكلة يعزز بشكل كبير دقة المحاكاة، حتى بالنسبة للنماذج التي لم تخضع للضبط الدقيق.
3. ثلاث مجموعات بيانات عامة جديدة: إصدار أول مجموعات بيانات مصنفة للمتحدثين في المداولات الحكومية:
   • محكمة استئناف مقاطعة دي سي: 10 نصوص، حوالي 193 ألف كلمة.
   • مجلس مدارس مقاطعة ألبيمارل: 32 نصاً، حوالي 594 ألف كلمة.
   • مجلس منطقة وايپا: 80 نصاً، حوالي 933 ألف كلمة.
   • الإجمالي: حوالي 1.72 مليون كلمة عبر سياقات قضائية، تعليمية، وبلدية.
4. مقاييس تقييم جديدة:
   • معدل خداع المصنف (CFR): يقيس عدد المرات التي يخطئ فيها المصنف في اعتبار النص المولد نصاً حقيقياً لمتحدث معين (الدقة/الأمانة).
   • دقة إسناد المتحدث (SAA): يقيس مدى قدرة المصنف على التمييز بين المتحدثين المختلفين في نفس الاجتماع (التميز).

4. النتائج

قيم المؤلفون نماذجهم عبر ثلاثة أبعاد: الجودة اللغوية، ودقة الشخصية، وتميز الهوية.

• الارتباك (Perplexity - PPL): أدى الضبط الدقيق باستخدام وسوم الأفعال إلى تقليل الارتباك بنسبة 67% (على سبيل المثال، من 20.37 إلى 6.64 لنموذج GPT على مجموعة بيانات ألبيمارل)، مما يشير إلى ملاءمة أفضل بكثير للأنماط اللغوية للشخصية المستهدفة.
• معدل خداع المصنف (CFR): زاد الضبط الدقيق من معدل CFR بنسبة 121% (من 0.29 إلى 0.64)، مما يظهر أن المخرجات المولدة مقنعة أسلوبياً ولا يمكن تمييزها عن المتحدثين الحقيقيين بالنسبة للمصنف.
• دقة إسناد المتحدث (SAA): تحسنت بنسبة 96% (من 0.23 إلى 0.45)، مما يثبت أن النماذج تلتقط الإشارات البلاغية الفريدة بدلاً من مجرد اللغة العامة للمجال.
• التقييم البشري (اختبار تورينج): في اختبار أعمى، حدد المقيّمون البشريون النصوص المحاكية بنسبة 45.5% فقط (وهي نسبة أقل من مستوى الصدفة 50%)، مما يشير إلى أن عمليات المحاكاة غالباً ما تكون غير قابلة للتمييز عن المداولات الحقيقية.
• التأصيل الزمني: أدت إضافة الإشارات الواعية بالزمن إلى تحسين تغطية المواضيع بشكل كبير لنموذج LLaMA (من 71.4% إلى 94.4%) ولنموذج Qwen (من 81.4% إلى 99.2%)، مما ساعد النماذج على التنقل في الاجتماعات الطويلة دون فقدان جدول الأعمال.
• السلوك الناشئ: نجحت عمليات المحاكاة في إعادة إنتاج الطقوس المؤسسية (مثل النداء بالأسماء، لحظات الصمت، الافتتاحات الرسمية) والمنطق الإجرائي (مثل تسلسل السؤال والجواب في المحاكم) دون برمجة صريحة لهذه القواعد.

5. الأهمية والآثار المترتبة

• تحليل السياسات وسيناريوهات "ماذا لو": يتيح إطار العمل هذا إنشاء "توأم رقمي" للمؤسسات المدنية. يمكن لصناع السياسات محاكاة كيف تتغير النتائج مع تغير جداول الأعمال، أو استراتيجيات المشاركين، أو القواعد الإجرائية في بيئة خالية من المخاطر.
• القابلية للتوسع: مسار العمل قابل لإعادة الإنتاج ويعتمد على بيانات متاحة للجمهور، مما يجعله قابلاً للتطبيق على نطاق واسع من الهيئات التداولية بخلاف مجموعات البيانات المحددة التي تم إصدارها.
• الاعتبارات الأخلاقية: يقر المؤلفون بالطبيعة مزدوجة الاستخدام لهذه التكنولوجيا. فبينما تساعد في فهم العمليات الديمقراطية، يمكن إساءة استخدام نماذج الشخصيات الواقعية لنشر المعلومات المضللة أو التلاعب بالرأي العام. ويدعون إلى وضع مبادئ توجيهية مجتمعية للنشر المسؤول لمثل هذه النماذج.
• التقدم التقني: يوضح هذا العمل أن الجمع بين البيانات الوصفية المهيكلة (وسوم الأفعال) والضبط الدقيق كفء المعلمات هو استراتيجية متفوقة لنمذجة التفاعل البشري المعقد مقارنةً بمجرد استخدام المطالبات (Prompting) أو الضبط الدقيق العام.

باختصار، تسد هذه الورقة الفجوة بين البيانات العامة الخام والمحاكاة عالية الدقة متعددة الوكلاء، مما يوفر مجموعة أدوات قوية لدراسة ومحاكة ديناميكيات المداولة الديمقراطية.