Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

ملخص تقني: التلقين الواعي بالاستلزام الحواري في التفاعل بين الإنسان والنماذج اللغوية الكبيرة

بيان المشكلة
مع تحول النماذج اللغوية الكبيرة (LLMs) إلى الواجهة الأساسية للتفاعل بين الإنسان والحاسوب (HCI)، تواجه الأنظمة بشكل متزايد صعوبات في الظواهر البراغماتية (التداولية)، وتحديداً الاستلزام الحواري (Conversational Implicature). يشير الاستلزام إلى المعنى الذي يتم نقله بشكل غير مباشر من خلال السياق، والافتراضات المشتركة، والمعايير التواصلية بدلاً من التصريح المباشر (على سبيل المثال، الإيحاء بالرفض عبر قول "لدي الكثير من العمل"). غالباً ما تعود النماذج اللغوية الكبيرة الحالية إلى التفسيرات الحرفية، مما يؤدي إلى استجابات يراها المستخدمون جامدة، أو غير ذكية، أو غير متوافقة مع مقصدهم التواصلي. وبينما تقيم الاختبارات المعيارية الحالية أداء النماذج في مهام الاستلزام، إلا أن هناك فجوة في فهم ما إذا كان جعل القصد الضمني صريحاً من خلال "التلقين" (Prompting) يحسن الجودة المدركة والملاءمة في بيئات مواجهة المستخدم. علاوة على ذلك، هناك نقص في وجود تصنيف تشغيلي خفيف الوزن مصمم خصيصاً لتصميم وتقييم محفزات التفاعل بين الإنسان والحاسوب.

المنهجية
تستخدم الدراسة تصميماً يتكون من ثلاث تجارب لعمليات الاستلزام وتقييم تأثيره على إدراك المستخدم:

1. تطوير التصنيف: قدم المؤلفون تصنيفاً تشغيلياً موجهاً نحو التفاعل بين الإنسان والحاسوب يتكون من ثلاث فئات للاستلزام بناءً على براغماتية غرايس ونظرية أفعال الكلام لسرل:

   • البحث عن المعلومات: طلبات غير مباشرة للحصول على معرفة أو توضيح.
   • البحث عن التوجيه: طلبات غير مباشرة للإرشاد، أو الفعل، أو الخطوات التالية.
   • التعبيري: عبارات تنقل العاطفة، أو الموقف، أو التقييم دون طلب مباشر.
     تم وضع معيار (Rubric) لتصنيف التلقينات بناءً على القصد الضمني الأساسي والالتزام المطلوب في الرد الأول.

2. التجربة 1 (معيار تفسير):

   • المهمة: طُلب من 60 مشاركاً بشرياً وخمسة نماذج لغوية (GPT-4o، GPT-4، GPT-3.5-turbo، Llama-2-7b-chat، Mistral-7B-Instruct) تصنيف 30 تلقيناً مؤلفاً إلى فئات الاستلزام الثلاث.
   • الهدف: التحقق من قابلية تعلم التصنيف والتماسك الداخلي، ومقارنة توافق النماذج مع خط الأساس للتفسير البشري.

3. التجربة 2 (الملاءمة والجودة المدركة):

   • المهمة: قام 90 مشاركاً بتقييم ردود النماذج اللغوية على مقياس ليكرت الخماسي من حيث الملاءمة المدركة والجودة الإجمالية.
   • الحالات: تم إنشاء الردود تحت شرطين:
     • الأساسي (Baseline): التلقين النظامي القياسي.
     • الواعي بالاستلزام (Implicature-Aware): تلقى النموذج تعريفاً موجزاً لفئة الاستلزام المحددة وهدفها التواصلي (دون تفاصيل المعيار الكاملة).
   • التصميم: تصميم تقييم بين المجموعات غير مكتمل، حيث شاهد المشاركون مجموعات فرعية من أزواج (التلقين-الرد).

4. التجربة 3 (متابعة الاختيار القسري المستهدف):

   • المهمة: قام 30 مشاركاً بمهمة اختيار قسري بين بديلين على مجموعة مستهدلة من 10 أزواج (تلقين-رد). تم اختيار هذه الأزواج لاحقاً من التجربة 2 بناءً على الاختلافات المتباينة في تقييمات الملاءمة أو الجودة.
   • الهدف: تحديد ما إذا كانت مزايا التقييم الملحوظة في التجربة 2 تترجم إلى تفضيل مباشر عند تقديم الخيارين جنباً إلى جنب.

المساهمات الرئيسية

1. تصنيف تشغيلي: تقديم تصنيف استلزام عملي من ثلاث فئات (البحث عن المعلومات، البحث عن التوجيه، التعبيري) يستند إلى النظرية اللغوية ولكنه مُحسّن لتصميم وتقييم محفزات التفاعل بين الإنسان والحاسوب.
2. معيار النماذج: إجراء معيار مقارن لخمسة نماذج لغوية كبيرة مقابل خط أساس بشري، مما كشف عن تباين كبير في مدى قرب النماذج من التفسيرات البشرية للقصد الضمني.
3. أدلة تركز على المستخدم: تقديم أدلة تجريبية تثبت أن التلقين الواعي بالاستلزام (جعل القصد التواصلي صريحاً) يحسن بشكل ملموس تقييمات المستخدم للردود من حيث الملاءمة، والجودة، والتفضيل المباشر.

النتائج

• اتساق التصنيف: كان المعيار المكون من ثلاث فئات قابلاً للتعلم ومتسقاً داخلياً، حيث حقق المقيّمون البشريون توافقاً متوسطاً (Fleiss' $\kappa$ = 0.414) على التلقينات المؤلفة.
• توافق النماذج: كانت النماذج الأكبر حجماً أكثر توافقاً مع التفسيرات البشرية. حقق GPT-4o أعلى درجة توافق (86.67%)، يليه GPT-4 (73.33%). أظهرت النماذج الأصغر (Llama-2، Mistral-7B، GPT-3.5) توافقاً أضعف وأقل انتظاماً، لا سيما في فئتي "البحث عن التوجيه" و"التعبيري".
• تأثير التلقين (التجربة 2): أدى التلقين الواعي بالاستلزام إلى تحسين ملحوء في كل من الملاءمة المدركة ($p < .001$) والجودة المدركة ($p < .001$) عبر مجموعة الردود التي تم تقييمها. لم يظهر التدخل تأثيرات تفاعلية ذات دلالة إحصائية مع حجم النموذج أو فئة الاستلزام، مما يشير إلى أن الفائدة واسعة النطاق وليست مقتصرة على نماذج أو أنواع معينة من التلقينات.
• التفضيل المباشر (التجربة 3): في مهمة المتابعة بالاختيار القسري، اختار المشاركون الرد الواعي بالاستلزام بنسبة 67.6%، وهي نسبة أعلى بكثير من الصدفة ($p = 1.04 \times 10^{-9}$).

الأهمية والادعاءات
تجادل الورقة بأن الاستلزام هو حالة اختبار ذات عواقب عملية لدمج النظرية اللغوية في تصميم التفاعل بين الإنسان والحاسوب. تدعم النتائج استنتاجاً متواضعاً ولكن ملموساً:

• السند البراغماتي يعمل: إن جعل القصد التواصلي الضمني صريحاً من خلال التلقين المهيكل يحسن الجودة المدركة للتفاعل القائم على اللغة دون الحاجة إلى إعادة تدريب النماذج أو تغييرات هيكلية.
• الآثار التصميمية: يجب ألا تتعامل الأنظمة الحوارية مع جميع المدخلات كطلبات حرفية. يجب على المصممين استخدام استراتيجيات التلقين التي تبرز المقاصد المحتملة للمستخدم (مثل التوجيه أو العاطفة) لتحسين الملاءمة والمناسبة.
• قصور النماذج الحالية: توضح الدراسة أن هذه المكاسب ناتجة عن السند البراغماتي (الإرشاد الصريح) وليس دليلاً على امتلاك النماذج الحالية لاستدلال براغماتي مستقر وبشري القدرة دون مساعدة. النماذج الأكبر تقترب من الحكم البشري بشكل أفضل، لكنها حتى هي تستفيد من إبراز القصد الصريح.
• التحول في التفاعل بين الإنسان والحاسوب: يدعو هذا العمل إلى تجاوز دقة المعايير لتشمل الملاءمة المدركة، والجودة، والتفضيل المباشر للمستخدم كمعايير مركزية لتقييم أنظمة التفاعل القائمة على اللغة.

يؤكد المؤلفون أنه بينما توضح الدراسة قيمة إبراز القصد الصريح، فإنها لا تدعي أن النماذج اللغوية الكبيرة قد حلت مشكلة الاستدلال التلقائي للاستلزام. بدلاً من ذلك، تسلط الضوء على قيمة استخدام النظرية اللغوية لتوجيه تصميم التلقين وتقييم التفاعل.