ملخص تقني: الشهادة الجزئية للسجلات: تقييم توليد النماذج اللغوية تحت تأثير اختيار النموذج المربك

بيان المشكلة

يعتمد التقييم غير المتصل لنماذج اللغات الكبيرة (LLMs) بشكل متزايد على سجلات الاستخدام، وبيانات التفضيلات، وتعليقات الحكام (judge annotations) التي يتم جمعها من عمليات النشر في العالم الحقيقي. ومع ذلك، عندما يكون اختيار النموذج مدفوعًا بالمستخدم، تعاني هذه السجلات من الارتباك (confounding): حيث تؤثر نفس العوامل غير الملحوظة من جانب المستخدم ($U$) التي تؤثر على اختيار المستخدم للنموذج أيضًا على كيفية الحكم على مخرجات ذلك النموذج. وبناءً على ذلك، فإن المقارنات الخام للدرجات المسجلة تمزج بين مجموعات فرعية اختارت نفسها ذاتيًا بدلاً من تقدير كمية سببية مشتركة تثير الاهتمام.

بينما يمكن للتجارب العشوائية (EXP) كسر هذا التحيز عن طريق تجاوز اختيار النموذج، إلا أنها غالبًا ما تكون نادرة، مكلفة، ومزعجة في الممارسة العملية. تفترض الأدبيات الحالية حول الجمع بين عينات رصدية كبيرة وعشوائية صغيرة أن النتيجة على مستوى الوحدة تكون مرصودة في كليهما. وفي تقييم النماذج اللغية الكبيرة، يجب أولاً إعادة توليد "النتيجة" (النص المولد) للنماذج المرشحة قبل إمكانية تسجيل درجتها، مما يضيف طبقة من التعقيد حيث لا تكون النتيجة المستهدفة مرصودة مباشرة حتى في العينة العشوائية.

المنهجية: تصميم المصادر الثلاثة

يقترح البحث تصميمًا ثلاثي المصادر لمعالجة هذا التحدي، عبر فصل المشكلة إلى تحديد (identification) (استعادة القيم السببية) وتقدير (estimation) (تقليل الخطأ).

مصادر البيانات

1. السجل الرصدي (OBS): مجموعة بيانات ضخمة من اختيارات النماذج المختارة ذاتيًا، والسياقات، والمخرجات، والنتائج. توفر النطاق والإشراف المساعد، لكنها مربكة.
2. التجربة العشوائية (EXP): مجموعة بيانات صغيرة حيث يتم تعشية اختيار النموذج، مما يوفر تسميات نتائج غير مربكة للمخرجات المحققة.
3. المحاكي غير المتصل (SIM): آلية تعيد تشغيل النماذج المرشحة على سياقات مخبأة لتوليد مخرجات مضادة للواقع (وسائط) لأي نموذج، بغض النظر عن الاختيار الأصلي.

البنية السببية والافتراضات

يصيغ الإطار النظام باستخدام رسم بياني سببي يتضمن السياق الملحوظ ($X$)، وحالة المستخدم الكامنة ($U$)، والنموذج المختار ($A$)، والمخرج المولد ($M$)، والنتيجة ($Y$). وتشمل الافتراضات الرئيسية ما يلي:

• أ1 (العشوائية): في التجربة العشوائية (EXP)، $A \perp U | X$.
• أ2 (صلاحية المحاكي): المحاكي يطابق بدقة توزيع الوسيط التدخلي $P(M | X, do(A=a))$.
• أ3 (اتساق النتيجة): قانون النتيجة الشرطي $P(Y | X, M, U)$ ثابت عبر OBS وEXP والعالم التدخلي.
• أ4 (عدم وجود ارتباك وسيط كامن): بشرط $(X, A)$، فإن $U \perp M$. وهذا يقصر الإطار على التوليد أحادي الجولة وغير المعتمد على الحالة (stateless).
• أ5 (محاذاة السياق: توزيع السياق المستهدف يطابق توزيع سياق التجربة العشوائية (EXP).

نظرية التحديد

النتيجة النظرية المركزية للورقة (النظرية 1) تثبت أن المحاكي (SIM) والتجربة العشوائية (EXP) كافيان معًا لتحديد قيم النماذج السببية، مما يجعل السجل الرصدي (OBS) غير ضروري لعملية التحديد.

• تحدد التجربة العشوائية قاعدة التسجيل غير المنحازة $r^*(x, m) = E[Y | X=x, M=m, EXP]$.
• يوفر المحاكي توزيع الوسيط التدخلي $p_{sim}(m | x, a)$.
• يتم استعادة القيمة السببية عن طريق دمج قاعدة التسجيل فوق توزيع الوسيط المحاكى:
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  يدخل السجل الرصدي (OBS) فقط بعد عملية التحديد لتحسين الكفاءة الإحصائية (تقليل التباين)، وليس للتحقق من المقارنة السببية.

عائلات المقدرات

بمجرد تحديد الهدف، تقيم الورقة ست عائلات من المقدرات التي تختلف في كيفية استخدامها لـ OBS لتقليل خطأ التقدير:

1. الاكتفاء بـ EXP (EXP-Only): يناسب نموذج مكافأة باستخدام النتائج العشوائية فقط. غير منحاز ولكن ذو تباين عالٍ عندما تكون EXP صغيرة.
2. الاكتفاء بـ OBS (OBS-Only): يناسب نموذج مكافأة على النتائج المسجلة. تباين منخفض ولكنه يرث تحيز الارتباك.
3. تمثيل-EXP (Representation-EXP): يستخدم التسميات المساعدة من OBS لتعلم تمثيل وسيط منخفض الأبعاد $\psi$، ثم يناسب رأس المكافأة على $\psi$ باستخدام بيانات EXP.
4. المؤصل (Grounded): يبدأ من متنبئ أساسي مدرب بواسطة OBS ($f_{OBS}$) ويستخدم EXP لتعلم حد تصحيحي في فضاء الوسيط.
5. CVCI (الاستدلال السببي عبر التحقق المتقاطع): يجمع مباشرة بين مشاكل الانحدار لـ OBS وEXP، ويختار وزن التجميع $\lambda$ عبر التحقق المتقاطع السببي على EXP.
6. CVCI-Residual (بواقي CVCI): يقوم بعملية "تصفية للبواقي" (residualizing) للهدف حول أساس OBS ($Y - f_{OBS}$) ثم يجمع ملاءمة البواقي في فضاء الوسيط.

النتائج التجريبية

قيم المؤلفون هذه المقدرات في عملية تحقق شبه اصطناعية محكومة وفي اثنين من اختبارات المهام المخزنة (التلخيص على CNN/DailyMail والبرمجة على SWE-bench Verified).

• لا يوجد هيمنة عالمية: لا تهيمن عائلة مقدرات واحدة على جميع الأنظمة. يعتمد الأداء بشدة على كمية الإشراف غير المنحاز من EXP، ومدى المحاذاة بين البنية الرصدية والمكافأة المستهدفة.
• اختبار التلخيص:
  • حقق CVCI أفضل ترتيب متوسط وأقل ندم زائد (excess regret) عبر 48 إعدادًا.
  • أدى زيادة ميزانية EXP ($n_{EXP}$) إلى تحسين المقدرات القائمة على EXP بشكل كبير، بينما أدت زيادة ميزة OBS ($n_{OBS}$) إلى عوائد متناقصة في ظل خرائط المكافأة الناعمة.
  • عندما تم "شحذ" خريطة المكافأة (غير خطية)، تدهورت المحاذاة بين التمثيلات الوسيطة والمكافأة المستهدفة، مما تسبب في انخفاض أداء الطرق القائمة على التمثيل.
• اختبار البرمجة:
  • تغيرت التصنيفات بناءً على تعريف المكافأة. عندما أعطت المكافأة الأولوية لـ "جودة الرقعة" (patch quality) (ميزات مساعدة)، كان Representation-EXP تنافسيًا.
  • عندما أعطت المكافأة الأولوية لـ "نجاح الإصلاح الحقيقي" (نتيجة ثنائية لا تستوعبها إحصائيات الرقعة المساعدة جيدًا)، تفوقت العائلات القائمة على OBS (مثل OBS-Only وCVCI) على Representation-EXP.
  • يسلط هذا الضوء على أن فائدة الوسائط المشتقة من OBS تعتمد على ما إذا كانت تحتفظ بالإشارة ذات الصلة بالمكافأة المستهدفة المحددة.

الأهمية والادعاءات

تدعي الورقة تقديم إطار عمل صارم للتقييم غير المتصل للنماذج اللغية الكبيرة يعترف بمحدودية البيانات الرصدية دون التخلي عن حجمها.

• التحديد مقابل التقدير: المساهمة الرئيسية هي الفصل النظري بين التحديد (الذي يحله SIM+EXP) والتقدير (حيث يساعد OBS). يوضح هذا أن OBS لا يمكنه إصلاح التحيز السببي؛ بل يمكنه فقط تقليل التباين بمجرد إزالة التحيز عبر العشوائية والمحاكاة.
• الإرشاد العملي: تشير النتائج التجريبية إلى أن اختيار المقدر يجب أن يسترشد بتشخيص "محاذاة الهدف". إذا كانت بنية البيانات الرصدية (مثل التسميات المساعدة) تتماشى جيدًا مع المكافأة المستهدفة، فإن الطرق الهجينة (مثل CVVI أو Grounded) تكون فعالة. أما إذا كانت المكافأة تعتمد على إشارات غير موجودة في الوسائط الرصدية (مثل نجاح الإصلاح الحقيقي مقابل جودة الرقعة)، فقد تفشل الطرق المدعومة بـ OBS في التفوق على النماذج المرجعية العشوائية البحتة.
• النطاق: يشير المؤلفون بتواضع إلى أن هذه الاستنتاجات تنطبق على إعدادات التقييم المخزنة أحادية الجولة. يفترض الإطار توليدًا أحادي الجولة (الافتراض A4) ولا يعالج بعد التفاعلات متعددة الجولات أو حالات عدم اليقين الأوسع على مستوى السكان فيما يتعلق بالأهداف المخزنة.

باختًا، تجادل الورقة بأنه بينما تعتبر السجلات الضخمة قيمة للحجم، إلا أنها غير كافية للتقييم السببي بمفردها. إن الجمع بين تجربة عشوائية صغيرة ومحاكي هو الحد الأدنى المطلوب للتحديد الصحيح، حيث تعمل البيانات الرصدية كأداة لتقليل التباين مشروطة بالمحاذاة المحددة بين البيانات وهدف التقييم.