Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

ملخص تقني: قياس الكلمات ذات الكثافة الغامضة في الأفعال الرقمية للنماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
مع تزايد دمج النماذج اللغوية الكبيرة (LLMs) في الوكلاء وأنظمة التحكم القائمة على اللغة الطبيعية، يجب عليها ترجمة التعليمات البشرية الغامضة (مثل "زيادة طفيفة" أو "تقليل جذري") إلى أفعال رقمية دقيقة ذات عواقب لاحقة. وبينما أثبتت الأبحاث السابقة أن البشر يحافظون على الترتيب الرتبي في التعبيرات الغامضة، وأن النماذج اللغوية الكبيرة يمكن أن تكون حساسة للصياغة، إلا أن هناك فجوة في فهم كيفية ربط هذه النماذج بين معدلات الكثافة وهذه المخرجات الرقمية الملموسة في بيئة محكومة. وتحديداً، لا يزال من غير المقاس ما إذا كانت النماذج تحافظ على البنية الرتبية المفترضة لكلمات الكثافة عند إجبارها على اختيار قيمة رقمية واحدة، وكيف يؤثر السياق (حالة النظام) على هذا الربط، وكيف تتصرف النماذج بالقرب من حدود الجدوى التشغيلية.

المنهجية
تستخدم الدراسة بيئة تخليص موارد اصطناعية ومقيدة لعزل عملية الترجمة من اللغة إلى الفعل.

• الإعداد التجريبي: يتلقى النموذج (Claude Haiku) تعليمات باللغة الطبيعية لزيادة تخصيص مهمة باستخدام إحدى عشرة كلمة كثافة محددة. يقوم نظام خلفي حتمي بتحويل استدعاء الأداة الرقمي من النموذج إلى نتيجة قابلة للقياس.
• مقياس الكلمات: تم اختيار عشر كلمات تعديل درجة باللغة الإنجليزية لتغطي ست مستويات مفترضة بناءً على تصنيف Quirk et al. (1985)، تتراوح من أدوات التقليل الضعيفة (slightly, marginally) إلى أدوات التعظيم (drastically, dramatically).
• الحالات:
  1. بدون سياق: تفتقر التعليمات إلى حالة النظام الحالية (مثلاً: "أنفق [الكلمة] وقتاً أكثر").
  2. المشروط بالسياق: تتضمن التعليمات التخصيص الحالي (مثلاً: "التخصيص الحالي هو X%. أود أن أزيد [الكلمة]"). تم اختبار عشر قيم أساسية (من 0% إلى 89%)، بما في ذلك أرقام صحيحة وقيم غير منتظمة.
  3. الضوابط: تم التحقق من سلامة الأداة عبر مطالبات الأرقام الدقيقة.
• المعايير: أُجريت التجارب عند درجات حرارة $T=0.0$ و $T=0.7$، مع 30 جولة لكل خلية (إجمالي 6,620 جولة).
• التحليل: تستخدم الدراسة الإحصاء غير المعلمي، بما في ذلك معامل سبيرمان ($\rho$) للارتباط الرتبي، واختبارات كروكسال-واليس مع أحجام التأثير ($\varepsilon^2$) لتحديد ما إذا كان اختيار الكلمة أو التخصيص الأساسي يفسر المزيد من التباين.

النتائج الرئيسية
ظهرت ثلاثة أنماط رئيسية عبر التجارب:

1. ضغط الكثافة: في حالة "بدون سياض"، يقوم النموذج بضغط 10 كلمات كثافة متميزة إلى 5 مخرجات وسيطة متميزة فقط. الكلمات الأربع في المستوى الأدنى (slightly, marginally, somewhat, mildly) ترتبط جميعها بقيمة وسيطة للتخصيص قدرها 0.50 مع انعدام التباين. الكلمات الأقوى تنكسر إلى مستويات أعلى (0.60–0.70). وبينما يوجد ارتباط رتبي قوي ($\rho = 0.845$)، إلا أن التمايزات اللغوية الدقيقة تنهار.
2. هيمنة الحالة: عند توفير السياق، تهيمن نسبة التخصيص الأولية على اختيار الكلمة. يفسر التجميع حسب الأساس حوالي 10 أضعاف التباين القائم على الرتب مقارنة بالتجميع حسب الكلمة ($\varepsilon^2_{baseline} = 0.782$ مقابل $\varepsilon^2_{word} = 0.079$). ومع اقتراب النظام من السعة، ينهار التمايز بين الكلمات إلى الصفر؛ فعند خط أساس بنسبة 75%، تنتج جميع الكلمات العشر نفس المخرج الوسيط.
3. سلوك الحدود غير المستمر: بالقرب من حدود الجدوى (خط أساس 89%)، يظهر النموذج ثلاثة أنماط سلوكية متميزة تعتمد على الكلمة المستخدمة:
   • التحوط (Hedge): الكلمات الضعيفة تجري تعديلات صغيرة.
   • الامتناع (Abstain): الكلمات القوية (مثل considerably, substantially) غالباً ما ترفض العمل تماماً، مستشهدة بالقيود.
   • الدفع (Push): تتصرف كلمة drastically بشكل فريد، حيث تدفع التخصيص إلى السقف المحلي (0.912) بدلاً من الامتناع.
     تستمر هذه الأنماط عبر درجات الحرارة المختلفة؛ حيث يؤدي رفع $T$ إلى 0.7 إلى توسيع التوزيعات ولكنه لا يستعيد التمايزات الرتبية الدقيقة.

المساهمات الرئيسية

1. المنهجية: أداة محكومة لقياس كيفية ربط النماذج اللغوية الكبيرة بين كلمات الكثافة الغامضة والأفعال الرقمية، مما يفصل الترجمة من اللغة إلى الفعل عن الضوضاء اللاحقة للنظام.
2. دليل الضغط: توثيق أن النماذج تحافظ على مستويات الكثافة العامة ولكنها تنهار في التمايزات اللغوية الدقيقة إلى مخرجات رقمية متطابقة.
3. الاعتماد على السياق: دليل كمي على أن حالة النظام الحالية تهيمن على اختيار الكلمة في الإعدادات المشروطة بالسياق، مما يقوض موثوقية التعليمات الغامضة كإشارات تحكم ثابتة السياق.
4. اكتشاف الحدود: تحديد الامتناع المعتمد على الكلمة وتبديل الأنماط الفئوي (تحوط، فعل، امتناع) بالقرب من الحدود التشغيلية، مما يكشف عن عدم الاستمرار في سياسات الفعل التي لا تظهر من خلال اللغة وحدها.

الأهمية والادعاءات
تفترض الورقة أنه لا ينبغي افتراض أن التعليمات الغامضة يجب أن ترتبط بأفعال سلمية مستقرة في الواجهات التي تتوسطها النماذج اللغوية الكبيرة. تشير النتائج إلى أن المفردات التشغيلية للنموذج هي أكثر خشونة مما توحي به اللغة السطحية، وأن معنى كلمة الكثفة هو دالة مشتركة بين الكلمة وحالة النظام، وليس قيمة ثابتة.

تؤطر الدراسة هذه النتائج كمسألة محاذاة محددة: ما إذا كانت الواجهة التي يتوسطها النموذج تحافظ على الدلالات المقصودة للمشغل. تشير النتائج إلى نتيجة مختلطة: بينما يتم التقاط مستويات الكثافة العامة، تضيع التمايزات الدقيقة، ويصبح السلوك غير مستمر بالقرب من الحدود. يشير المؤلف صراحة إلى أن الدراسة لا تدعي أن النموذج "أسوأ" من البشر، حيث قد يكون تفسير البشر لهذه الكلمات غامضاً أيضاً؛ بل توثق الدراسة أنماط السلوك المحددة للنموذ_ المختبر في هذا المجال. وتخلص الورقة إلى أن هذه الأنماط خاصة بالنموذج المختبر والمجال، مع التخطيط لأعمال مستقبلية لتشمل خطوط أساس بشرية، ومقارنات بين النماذج، وشبكات تجريبية أكثر كثافة.