🤖 machine learning

Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures

تقدم هذه الورقة إطار عمل للتخصيص عند وقت الاختبار (Test-Time Personalization) يعمل على توسيع نطاق الاستدلال من خلال أخذ العينات واختيار المرشحين، ويشخص إخفاقات نموذج المكافأة القياسي عبر قانون قياس موحد يحدد الانهيار على مستوى المستخدم و"اختراق المكافأة" (reward hacking) على مستوى الاستعلام، ويقترح نموذج مكافأة شخصي احتمالي للتخفيف من هذه المشكلات بفعالية وتحقيق مكاسب أداء متسقة.

المؤلفون الأصليون: Linhai Zhang, Yulan He

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linhai Zhang, Yulan He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التخصيص وقت الاختبار: إطار تشخيصي وإصلاح احتمالي لإخفاقات التوسع"، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: توظيف محرر أفضل، لا كاتب أفضل

تخيل أنك مؤلف مشهور (المستخدم) تريد كتابة عنوان إخباري. لديك أسلوب خاص: ربما تحب التلاعب بالألفاظ، أو تفضل الجمل القصيرة والموجزة.

في الوقت الحالي، تحاول معظم أنظمة الذكاء الاصطناत्मक حل هذه المشكلة عبر إعادة كتابة الكاتب. فهي إما تعدل تعليمات الكاتب (الأوامر/Prompting) أو تعيد تدريب عقل الكاتب على مقالاتك السابقة (الضبط الدقيق/Fine-tuning). تجادل الورقة البحثية بأن هذا يشبه محاولة إصلاح طباخ سيء عن طريق تغيير كتاب وصفاته، بينما يجب عليك فقط تركه يطبخ بضعة أطباق مختلفة ثم اختيار الأفضل من بينها.

يقترح المؤلفون نهجاً جديداً يسمى التخصيص وقت الاختبار (TTP). بدلاً من محاولة جعل الكاتب الآلي مثالياً، فإنهم يتركون الذكاء الاصطناत्मक يكتب 30 عنواناً مختلفاً في وقت واحد، ثم يستخدمون محرراً متخصصاً (نموذج مكافأة/Reward Model) لاختيار العنوان الأفضل لك.

المشكلة: فخ "المحرر السيئ"

نظرياً، يبدو هذا رائعاً. إذا كان لديك 30 خياراً، فمن المفترض أن يكون أحدها مذهلاً، أليس كذلك؟ الرياضيات تقول نعم: كلما زادت الخيارات، زادت جودة أفضل خيار.

ومع ذلك، اكتشف المؤلفون مشكلة هائلة. عندما جربوا هذا في الواقع، وجدوا أن "المحررين" (نماذج المكافأة) كانوا سيئين للغاية.

المحرر العالمي (Global Editor): محرر مدرب على كتابات الجميع. لم يستطع تمييز أسلوبك عن أسلوب جارك. كان يختار العناوين بشكل عشوائي تقريباً كما لو كان يرمي عملة معدنية.
المحرر الشخصي (Personal Editor): محرر مدرب فقط على كتاباتك. حاول جاهداً، لكنه غالباً ما كان يصاب بالارتباك. أحياناً كان يكره أسلوبك المفضل (فيختار أسوأ العناوين)، وأحياناً أخرى كان يستسلم ببساطة ويقول "كل شيء يبدو متشابهاً" (فيختار بشكل عشوائي).

التشبيه: تخيل توظيف متسوق شخصي (المحرر) ليختار لك أفضل قميص من بين رف يحتوي على 30 قميصاً.

المتسوق العالمي لا يعرف ذوقك، لذا يختار قميصاً يشبه ما يرتديه الجميع.
المتسوق الشخصي يعرف ذوقك لكنه يصاب بالارتباك. أحياناً يصاب بالذعر ويختار أقبح قميص لأنه يعتقد أن كل شيء قبيح. وفي أحيان أخرى، يكتفي بالنظر بجمود ويختار أول قميص يقع عليه نظره لأنه لا يستطيع التمييز بين القميص الجيد والسيئ.

التشخيص: طريقتان يفشل بهما المحررون

بنى المؤلفون "إطاراً تشخيصياً" لمعرفة سبب فشل هؤلاء المحررين. ووجدوا نمطين محددين للفشل:

انهيار مستوى المستخدم (نظرة الفراغ): بالنسبة لبعض المستخدمين، يصاب المحرر الشخصي بالارتباك الشديد من البيانات لدرجة أنه يتوقف عن محاولة التمييز بين الجيد والسيئ. يبدأ في إعطاء كل مرشح نفس الدرجة تماماً.
- التشبيه: ينظر المتسوق إلى 30 قميصاً ويقول: "كلها تبدو بلون بيج بالنسبة لي"، فيقوم بجلب أول قميص يراه. إنه لا يساعدك على الإطلاق.
اختراق المكافأة على مستوى الاستعلام (البوصلة المعكوسة): بالنسبة لأسئلة معينة، يخطئ المحرر تماماً. يعتقد أن الخيار الأسوأ هو الخيار الأفضل.
- التشبيه: ينظر المتسوق إلى قميص أحمر زاهٍ ويقول: "هذا سيء"، ثم يختار جورباً رمادياً متسخاً بدلاً منه. إنه يجعل الأمور أسوأ فعلياً.

الحل: المحرر "غير الواثق"

أدرك المؤلفون أن المحررين التقليديين واثقون أكثر من اللازم. إنهم يفرضون إجابة واحدة حتى عندما يكونون غير متأكدين.

لق l اقترحوا نموذج مكافأة شخصي احتمالي. بدلاً من مجرد إعطاء درجة (مثلاً: "8/10")، يعطي هذا المحر الجديد درجة ومقياساً لعدم اليقين (مثلاً: "8/10، لكنني لست متأكداً بنسبة 100%").

كيف يعمل (الخدعة السحرية):

أثناء التدريب: عندما يرى المحرر مستخدماً أو سؤالاً يجد فيه ارتباكاً (حيث يصعب التنبؤ بالإجابة "الصحيحة")، فإنه يتعلم أن يقول: "أنا غير متأكد حقاً بشأن هذا".
النتيجة: بسبب اعترافه بعدم اليقين، فإنه لا يفرض تخميناً سيئاً. يتوقف عن "الانهيار" (النظر بجمود) ويتوقف عن "الاختراق" (اختيار الخيار الأسوأ). إنه يتعلم أن يكون متواضعاً.
أثناء الاختيار: عند اختيار أفضل واحد من بين 30 مرشحاً، ينظر النظام فقط إلى الدرجة، ولكن لأن التدريب كان أذكى، فإن الدرجات تكون دقيقة بالفعل.

التشبيه: تخيل متسوقاً شخصياً جديداً يقول: "أنا متأكد بنسبة 90% أن هذا القميص الأحمر رائع، لكنني متأكد بنسبة 50% فقط من ذلك القميص الأزرق". ولأنه يعترف بأنه غير متأكد بشأن القميص الأزرق، فإنه لا يختاره بالخطأ فوق القميص الأحمر. لقد أصبح دليلاً أكثر موثوقية.

النتائج

اختبرت الورقة البحثية هذا على خمس مهام كتابية مختلفة (مثل كتابة عناوين الأخبار، والعناوين الأكاديمية، ومراجعات المنتجات).

إنه يعمل: حصل "المحرر غير الواثق" الجديد باستمرار على نتائج أفضل وأفضل مع زيادة عدد المرشحين من 1 إلى 30. أما المحررون القدامى فقد تعثروا أو ساءت نتائجهم.
إنه يتنبأ بالمستقبل: وضع المؤلفون صيغة رياضية ("قانون التوسع") تستخدم أربعة أرقام بسيطة للتنبؤ بدقة بمدى جودة أداء المحرر. وقد أثبتوا أن هذه الصيغة تطابق الواقع بشكل مثالي تقريباً.
إنه سريع: عملية "الكتابة" (توليد 30 خياراً) هي الجزء البطيء. أما عملية "التحرير" (اختيار الأفضل) فهي سريعة للغاية ولا تستغرق أي وقت إضافي تقريباً.

الملخص

تجادل الورقة البحثية بأنه للحصول على ذكاء اصطناत्मक مخصص، لا ينبغي لنا فقط محاولة تدريب كاتب ذكاء اصطناत्मक مثالي. بدلاً من ذلك، يجب أن نترك كاتب ذكاء اصطناत्मक قياسي يولد خيارات عديدة ونستخدم محرراً ذكياً ومتواضعاً لاختيار الأفضل. من خلال تعليم المحرر الاعتراف عندما يكون مرتبكاً، يمكننا رفع عدد الخيارات والحصول على نتائج أفضل بكثير لكل مستخدم.

ملخص تقني: التخصيص وقت الاختبار: إطار تشخيصي وإصلاح احتمالي لفشل التوسع

1. صياغة المشكلة

تركز النهج الحالية لتخصيص النماذج اللغوية الكبيرة (LLM) بشكل أساسي على بناء نماذج أو مدخلات أكثر تخصيصاً (عبر التلقين، أو الضبط الدقيق، أو المحاذاة) مع التعامل مع الاستدلال كعملية توليد لمرة واحدة. يقدم هذا العمل مفهوم التخصيص وقت الاختبار (TTP)، وهو نموذج جديد يهدف إلى توسيع نطاق الحوسبة أثناء الاستدلال لتوليد النصوص المخصصة.

في نموذج TTP، يقوم نموذج سياسة مخصص $\pi_u$ بتوليد $N$ من الاستجابات المرشحة لاستعلام معين. ثم يقوم نموذج مكافأة مخصص $\hat{r}_u$ باختيار أفضل مرشح $x^* = \arg\max_{x_i} \hat{r}_u(q, x_i)$ . والهدف هو تعظيم المنفعة المتوقعة $U(N) = \mathbb{E}[r^*_u(q, x^*)]$ ، حيث تمثل $r^*_u$ دالة التفضيل الحقيقية للمستخدم.

بينما يشير التحليل النظري إلى أن نموذج مكافأة "مثالي" (يمتلك معرفة تامة بـ $r^*_u$ ) يمكنه تحقيق منفعة متوقعة تنمو لوغاريتمياً مع $N$ ( $O(\sqrt{\ln N})$ )، يلاحظ المؤلفون أن نماذج المكافأة المتعلمة القياسية تفشل في تحقيق هذه الإمكانات. ففي الممارسة العملية، غالباً ما تؤدي نماذج المكافأة القياسية أداءً يقترب من الاختيار العشوائي أو أسوأ، مما يترك "فجوة المثالية" (oracle gap) مفتوحة على مصراعيها.

2. المنهجية

2.1 الإطار التشخيصي وقانون التوسع

قام المؤلفون بتطوير إطار تحليلي لتشخيص سبب فشل نماذج المكافأة القياسية في التوسع. وقد اشتقوا قانون توسع موحد يفكك منحنى منفعة (Best-of-$N) لأي نموذج مكافأة إلى أربعة كميات قابلة للقياس:

معدل الانهيار ( $\alpha$ ): نسبة المستخدمين الذين يتدهور لديهم نموذج المكافأة ليصبح تنبؤات ثابتة تقريباً (انهيار على مستوى المستخدم).
معدل اختراق المكافأة ( $\beta$ ): نسبة الاستعلامات التي يرتبط فيها تنبؤ نموذج المكافأة سلبياً مع الجودة الحقيقية (اختراق المكافأة على مستوى الاستعلام).
متوسط الارتباط الإيجابي ( $\bar{\rho}_+$ ): متوسط الارتباط في الاستعلامات غير المخترقة.
متوسط الارتباط السلبي ( $\bar{\rho}_-$ ): متوسط الارتباط في الاستعلامات المخترقة.

يتم تقريب المنفعة على مستوى المجتمع كالتالي:
$\bar{U}(N) \approx \bar{\mu} + (1-\alpha) \cdot [(1-\beta)\bar{\rho}_+ - \beta|\bar{\rho}_-|] \cdot \bar{\sigma} \cdot c\sqrt{\ln N}$

يكشف هذا القانون عن نمطين متميزين للفشل:

الانهيار على مستوى المستخدم: يحدث عندما يتم تدريب نموذج المكافأة على مستخدمين لديهم تسميات (labels) ذات تباين منخفض في الحقيقة الأرضية، مما يجعل النموذج يتنبأ بقيم ثابتة (ارتباط قريب من الصفر).
اختراق المكافأة على مستوى الاستعلام: يحدث عندما يفرط النموذج في التكيف (overfitting) مع أنماط زائفة في استعلامات محددة، مما يؤدي إلى ارتباط سلبي مع الجودة الحقيقية.

2.2 نموذج المكافأة المخصص الاحتمالي

للحد من أنماط الفشل هذه، اقترح المؤلفون نموذج مكافأة مخصص احتمالي. بدلاً من التنبؤ بدرجة حتمية واحدة، يتنبأ النموذج بالمتوسط $\mu(x)$ والتباين $\sigma^2(x)$ لكل مدخل.

يتم تدريب النموذج باستخدام خسارة الاحتمالية السالبة للوغاريتم (NLL) الغاوسية مقترنة بخسارة تباينية للتمييز بين الدرجات العالية:
$\mathcal{L} = \mathcal{L}_{NLL} + \lambda \mathcal{L}_{contrast}$
$\mathcal{L}_{NLL} = \frac{1}{2} \log \sigma^2(x) + \frac{(y - \mu(x))^2}{2\sigma^2(x)}$

يوضح التحليل النظري (اللمتان 5.1 و 5.2) أن التباين المتعلم $\sigma^2$ يعمل كـ:

تخفيف حدة التدرج (Gradient Buffering): بالنسبة للمدخلات ذات الإشارات الضعيفة (المعرضة للانهيار)، يزيد النموذج من $\sigma^2$ ، مما يقلل من تأثير التدرج على $\mu$ . وهذا يمنع النموذج من الانهيار في تنبؤات ثابتة.
تنظيم ضمني (Implicit Regularization): بالنسبة للمدخلات ذات الإشارات غير المتسقة (المعرضة للاختراق)، يزيد النموذج من $\sigma^2$ ، مما يقلل من مساهمتها في التدرج. وهذا يمنع الإفراط في التكيف مع الأنماط الزائفة.

في وقت الاستدلال، يتم اختيار المرشحين بناءً على المتوسط المتوقع $\mu(x)$ فقط؛ حيث يُستخدم التباين فقط أثناء التدريب لتثبيت عملية التعلم.

3. المساهمات الرئيسية

التخصيص وقت الاختبار (TTP): تقديم نموذج جديد يركز على توسيع نطاق حوسبة نموذج السياسة أثناء الاستدلال لتوليد النصوص المخصصة.
قانون التوسع التشخيصي: اشتقاق صيغة تنبؤية تتوقع منحنى توسع (Best-of- $N) لأي نموذج مكافأة بناءً على أربع كميات قابلة للقياس ($ \alpha, \beta, \bar{\rho}+, \bar{\rho}-$). يحدد هذا القانون كلاً من الانهيار على مستوى المستخدم واختراق المكافأة على مستوى الاستعلام كعوائق رئيسية أمام التوسع.
نمذجة المكافأة الاحتمالية: اقتراح نموذج مكافأة احتمالي يحد بفعالية من أنماط الفشل هذه عبر التباين المتعلم، مما يسمح بتوسع مستقر ورتيب عبر مختلف المهام وأنواع السياسات.

4. النتائج التجريبية

تم تقييم الإطار في خمس مهام لتوليد النصوص المخصصة (عناوين الأخبار، العناوين العلمية، الملخصات، مراجعات المنتجات، وكتابة المواضيع) باستخدام معايير LaMP و LongLaMP.

أداء التوسع: يعد نموذج المستخدم الاحتمالي الطريقة الوحيدة التي تتوسع بشكل موثوق عبر جميع المهام. عند $N=30$ ، يستعيد ما بين 51% و 84% من فجوة المثالية، متفوقاً باستمرار على النماذج القائمة على التدريب (مثل ضبط LoRA لكل مستخدم) ونماذج المستخدم العالمية/الحتمية القياسية.
التحقق النظري: يتنبأ قانون التوسع الموحد بدقة بمنحنيات التوسع الملاحظة مع خطأ مطلق نسبي (relMAE) يقل عن 3% عبر جميع المهام وأنواع نماذج المكافأة.
تحليل أنماط الفشل:
- الانهيار: أظهرت النماذج الحتمية معدلات انهيار ( $\alpha$ ) تصل إلى 25% في بعض المهام، بينما خفضها النموذج الاحتمالي إلى 0%.
- الاختراق: أظهرت النماذج الحتمية معدلات اختراق للمكافأة ( $\beta$ ) تصل إلى 33%، بينما خفضها النموذج الاحتمالي إلى ما يقرب من الصفر (على سبيل المثال، أقل من 1% في مراجعات المنتجات).
استقلالية السياسة: كانت فوائد TTP متسقة عبر عائلات السياسات المختلفة (RAG، وتلقين الشخصية، و Persona+RAG)، مما يؤكد أن تأثير التوسع مدفوع بنموذج المكافأة وليس بالمولد.
الكفاءة: تظل العقبة الحوسبية هي توليد المرشحين. فعملية تسجيل درجة نموذج المكافأة ضئيلة جداً (2.3 مللي ثانية لكل مرشح مقابل حوالي 1500 مللي ثانية للتوليد)، مما يجعل TTP فعالاً للغاية في سيناريوهات الإنتاجية العالية.

5. الأهمية والادعاءات

يدعي البحث أن التخصيص وقت الاختبار يوفر مساراً واعداً للأداء الذي يتجاوز الطرق القائمة على التدريب، بشرط بناء نماذج مكافأة فعالة. ويؤكد المؤلفون على ما يلي:

تفشل نماذج المكافأة القياسية في التوسع بسبب أنماط فشل محددة وقابلة للتشخيص (الانهيار والاختراق) وليس بسبب نقص في قدرة التخصيص.
توفر النمذجة الاحتمالية حلاً فريداً من خلال استغلال التباين المتعلم كمنظم أثناء التدريب، وليس كآلية اختيار أثناء الاستدلال.
يعمل الإطار التشخيصي كأداة تنبؤية، مما يسمح للممارسين بتقدير أداء TTP وتحديد المستخدمين أو الاستعلامات عالية المخاطر قبل النشر.

يتسم العمل بنطاق متواضع، حيث يشير المؤلفون إلى أنه يركز على توليد النصوص باستخدام مكافآت مشتقة من ROUGE ويفترض وجود بيانات كافية لكل مستخدم للتدريب. كما يقرون بأن سيناريوهات البداية الباردة (cold-start) والتعميم على الوسائط غير النصية (مثل الحوار أو المهام الوكيلية) تظل تحديات مفتوحة. ويقترح المؤلفون أن الجمع بين نماذج المكافأة لكل مستخدم الاحتمالية مع محاور أخرى لوقت الاختبار (مثل توسيع تفاعلات المستخدم أو تعميق استدلال نموذج المكافأة) يمثل اتجاهاً طبيعياً للعمل المستقبلي.