ملخص تقني: التضمينات للتحيزات، لا للدلالات اللغوية

بيان المشكلة

تسمح أنظمة اتخاذ القرار الجماعي الحديثة (مثل Polis وRemesh والخيارات الاجتماعية التوليدية) للمشاركين بشكل متزايد بالتعبير عن آرائهم عبر نصوص حرة بدلاً من التصويت على مرشحين محددين. ومن النهج الطبيعي لتجميع هذه الآراء هو تضمين النصوص في فضاء متجهي، مما يتيح تطبيق خوارزميات تحديد المرافق (facility location) والتجميع العادل (fair clustering). ومع ذلك، فإن نماذج التضمين النصي القياسية مُدربة على مهام دلالية (الاسترجاع، التشابه النصي، والاستدلال اللغوي الطبيعي) حيث يشير التقارب إلى تشابه المواضيع أو الصياغة.

تتمثل المشكلة الجوهرية المحددة في عدم التطابق بين التشابه الدلالي والتشابه التفضيلي. في تجميع التفضيلات، يجب أن تكون علاقة موافقة المشارك مع بيان ما عكسية لعلاقته بالمسافة من هذا البيان. تفشل التضمينات القياسية هنا لأنها تخلط بين ميزات "الإزعاج" (الأسلوب، الصياغة، الموضوع) وميزات "التفضيل" (الموقف، القيم). وفي بيانات المداولة الطبيعية، تكون هذه الميزات مترابطة ملاحظياً (غالباً ما يستخدم الأشخاص الذين لديهم نفس الموقف كلمات متشابهة)، مما يخفي هذا الفشل. وعندما ينكسر هذا الارتباط — كما في حالة وجود بيانين يتشاركان في الصياغة ولكن يحملان مواقف متضاربة — تقوم التضمينات القياسية خطأً بتصنيف المشتت الدلالي على أنه أكثر تشابهاً من البديل المتوافق مع التفضيل.

المنهجية

يشخص المؤلفون هذا الأمر كـ مشكلة ثبات (invariance problem): يجب أن يكون هندسة التفضيلات صالحة للثبات تجاه الصياغة والأسلوب، ولكنها حساسة فقط للمواقف والقيم. يقترحون طريقتين لمحاذاة فضاءات التضمين مع هندسة التفضيلات.

1. الإطار الرسمي والتشخيص

يقسم المؤلفون فضاء التضمين $\mathbb{R}^d$ إلى فضاء فرعي للتفضيل $S$ (يحمل البنية ذات الصلة بالموقف) وفضاء فرعي للإزعاج $S^\perp$ (يحمل الأسلوب/الصياغة).

• منفعة النقطة المثالية: يتم نمذجة منفعة بيان $j$ للمشارك $v$ كالسالب لمربع المسافة الإقليدية إلى نقطته المثالية داخل $S$.
• فشل جيب التمام (Cosine Failure): يتفكك تشابه جيب التمام القياسي جمعياً إلى حدٍّ للتفضيل ($\Delta_S$) وحدٍّ للإزعاج ($\Delta_T$). في البيانات الطبيعية، يرتبط $\Delta_T$ بـ $\Delta_S$ ارتباطاً، مما يجعل جيب التمام يبدو فعالاً. ومع ذلك، في السيناريوهات "الصعبة"، يتضارب $\Delta_T$ مع $\Delta_S$، حيث يهيمن $\Delta_T$ ويسبب أخطاءً.

2. ضبط التفضيل منزوع الارتباط (DPT)

لتصحيح الهندسة، يقترح المؤلفون إجراء تدريب اصطناعي:

• تخليق الثلاثيات الصعبة (Hard Triplet Synthesis): يقومون بتوليد ثلاثيات $(a, p, n)$ حيث:
  • $a$: المرساة (نص المشارك الأصلي).
  • $p$: مطابقة التفضيل (نفس الموقف/القيم لـ $a$، ولكن بمفردات/بنية مختلفة).
  • $n$: المشتت الدلالي (موقف معاكس لـ $a$، ولكن بصياغة/بنية متطابقة تقريباً).
• هدف التدريب: يتم ضبط النموذج بدقة باستخدام خسارة Bradley-Terry على هذه الثلاثيات. يثبت المؤلفون (النظرية 1) أن التدريب على توزيع يكون فيه هامش الإزعاج $\Delta_T$ في الاتجاه المعاكس لهامش التفضيل $\Delta_S$ يقلل بشكل صارم من المخاطر مقارنة بجيب التمام القياسي، مما يجبر النموذج فعلياً على تقليل وزن الفضاء الفرعي للإزعاج.
• التنفيذ: يطبقون التكيف منخفض الرتبة (LoRA) على المشفرات المدربة مسبقاً (مثل Sentence-T5-XL) باستخدام هذه البيانات الاصطناعية.

3. التضمينات المسقطة لكل موضوع

عند توفر بيانات التصويت لكل موضوع (وهو أمر شائع في منصات المداولة)، يقترح المؤلفون طريقة أبسط خاصة بكل موضوع:

• الإسقاط منخفض الرتبة: بدلاً من إعادة ضبط المشفر، يتعلمون خريطة خطية منخفضة الرتبة $L^\top$ تسقط التضمينات المجمدة مباشرة على فضاء التفضيل الفرعي $S$.
• التسجيل (Scoring): تُحسب المنفعة كالمسافة الإقليدية المربعة في هذا الفضاء المسقط. تستعيد هذه الطريقة إشارة التفضيل الموجودة بالفعل في المشفر المجمد دون إعادة تدريب النموذج الأساسي.

المساهمات الرئيسية

1. تشخيص الثبات: يصيغ البحث عدم التطابق بين التشابه الدلالي والتفضيلي كمشكلة ثبات، من خلال تفكيك هامش جيب التمام إلى إشارة تفضيل ومكونات إزعاج.
2. تخليق الثلاثيات الصعبة والنظرية: يقدمون إجراءً لتوليد ثلاثيات صعبة مضادة للواقع تكسر الارتباط بين الصياغة والموقف. كما يقدمون برهاناً نظرياً على أن التدريب على هذه التوزيعات يقلل بشكل صارم من مخاطر Bradley-Terry عبر كبح مساهمة الإزعاج.
3. التحقق التجريبي: تظهر الطريقة مكاسب كبيرة في الثلاثيات الصعبة وتوقع التفضيلات عبر 11 مجموعة بيانات للمداولة عبر الإنترنت (تغطي منصات Polis وRemesh والخيارات الاجتماعية التولدية).
4. كفاءة الإسقاط: يوضحون أنه عند توفر أصوات خاصة بكل موضوع، فإن الإسقاط منخفض الرتبة للتضمينات المجمدة يتفوق على الضبط الكامل للتفضيل، مما يشير إلى أن المشفر الأساسي يحتوي بالفعل على الإشارة اللازمة، لكنها محجوبة بأبعاد الإزعاج.

النتائج

• أداء الثلاثيات الصعبة: تؤدي المشفرات القياسية (مثل ST-XL وe5-large-v2) أداءً قريباً من الصدفة أو أسوأ في الثلاثيات الصعبة (48.3% دقة لـ ST-XL، وتنخفض إلى 6.3% لـ BGE-large). تستعيد النماذج المضبوطة بـ DPT الأداء بشكل كبير (على سبيل المثال، يقفز ST-XL إلى 80.0%؛ وe5-large-v2 إلى 78.7%).
• أداء البيانات الطبيعية: تحسن النماذج المضبوطة بـ DPT أيضاً من الأداء على بيانات المداولة الطبيعية، محققة متوسط دقة ثلاثيات قدره 68.6% عبر 11 مجموعة بيانات، متفوقة على أفضل خط أساس (ST-XL غير المضبوط بنسبة 65.2%) والنماذج المتخصصة الأخرى (مثل StanceAware-SBERT وBGE-SparseCL).
• الإسقاط مقابل الضبط: يحقق التضمين المسقط لكل موضوع (رتبة-20) دقة 77.6% على البيانات الطبيعية و81.1% على الثلاثيات الصعبة، متفوقاً على جيب التمام الكوني المضبوط بـ DPT. يشير هذا إلى أن إشارة التفضيل يمكن الوصول إليها خطياً في فضاء التضمين المجمد.
• كفاءة البيانات: يتطلب الإسقاط لكل موضوع حوالي 50 ثلاثية مصنفة فقط ليتجاوز خط الأساس العالمي لـ DPT.

الأهمية والادعاءات

يزعم البحث أنه بالنسبة لأنظمة اتخاذ القرار الجماعي التي تعتمد على النصوص الحرة، فإن التضمينات الدلالية القياسية غير كافية لأنها تعطي الأولوية للتشابه السطحي على محاذاة القيم. ومن خلال الفصل الصريح بين الإزعاج (الأسلوب/الصياغة) والتفضيل (الموقف/القيم)، تمكن الطرق المقترحة من تجميع المشاركين بدقة أكبر وتقدير المنفعة للبيانات غير المصوت عليها.

يؤكد المؤلفون أن نهجهم يدعم التطبيقات النهائية في تحديد المرافق والتجميع العادل للمداولة. وبش่น، تسمح هندسة التفضيلات للمنصات بـ:

• تكوين مجموعات مداولة بمستويات مثالية من الاختلاف.
• تجميع الآراء في قوائم ممثلة باستخدام الخيارات الاجتماعية المترية (مثل k-median والعدالة النسبية).
• توجيه نماذج الخيارات الاجتماعية التوليدية لإنتاج بيانات تمثل مجموعات مستخدمين محددة بشكل أفضل.

يحافظ البحث على نبرة متواضعة فيما يتعلق بالقيود: حيث يركز التقييم على ترتيبات داخل المشارك بدلاً من المسافات المطلقة المعايرة، وأن التضمين هو تقريب تجريبي للتفضيلات وليس تمثيلاً كاملاً للحكم الفردي. ويحذرون من استخدام هذه التضمينات كأساس لقرارات ملزمة.