Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

إليك ملخص تقني مفصل لورقة البحث بعنوان "التنبؤ بالنصوص إلى التوزيعات باستخدام رموز الكوانتيل وسياق الجيران" (Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context).

1. تعريف المشكلة

تتناول الورقة مهمة التنبؤ من النص إلى التوزيع (Text-to-Distribution Prediction)، وهي مهمة تتطلب من النموذج اللغوي الكبير (LLM) التنبؤ بتوزيع احتمالي شرطي كامل $F_{Y|X}$ بناءً على مدخل نصي غير مهيكل $X$، بدلاً من مجرد تقدير نقطي واحد.

• الإشراف (Supervision): تتكون بيانات التدريب من مدخلات مقترنة بعدة نتائج مرصودة (على سبيل المثال، نقاط سعر متعددة لعقار مشابه على Airbnb، أو أوقات استجابة متعددة لأسئلة متشابهة على Stack Overflow).
• تمثيل الهدف: يتم تمثيل التوزيع المستهدف كشبكة كثيفة من الكوانتيلات التجريبية (empirical quantiles) (مثل المئويات من 1 إلى 99).
• التحديات الرئيسية:
  1. عنق زجاجة التمثيل (Representation Bottleneck): تستخدم الطرق الحالية (مثل Vedula et al., 2025) حالة مخفية مشتركة لجميع تنبؤات الكوانتيل، مما يخلق مساراً غير مباشر بين ميزات المدخلات ومخرجات كوانتيل محددة.
  2. الافتقار إلى التجذر المحلي (Lack of Local Grounding): تعتمد النماذج غالباً على نص الاستعلام فقط، متجاهلة السياق التوزيعي الغني الذي توفره الحالات المتشابهة دلالياً (على سبيل المثال، معرفة أن المنتجات المتشابهة لها توزيعات أسعار متشابهة، وليس فقط متوسط أسعار متشابه).
  3. عدم تطابق دالة الخسارة (Loss Function Mismatch): صُممت خسائر انحدار الكوانتيل القياسية (pinball loss) للنتائج الخام، وليس للكوانتيلات التجريبية المستمدة من ملاحظات متعددة، مما يؤدي إلى عدم اتساق نظري وتحيز.

2. المنهجية

يقترح المؤلفون إطار عمل جديد يجمع بين انحدار رموز الكوانتيل (Quantile Token Regression) وتقدير التوزيع المعزز بالاسترجاع (Retrieval-Augmented Distribution Estimation).

أ. انحدار رموز الكوانتيل (QTR)

بدلاً من استخدام تمثيل مشترك مع رؤوس خطية منفصلة، يقوم المؤلفون بإدراج رموز كوانتيل قابلة للتعلم ($\langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle$) مباشرة في تسلسل المدخلات.

• الآلية: يصبح تسلسل المدخلات $[x_1, \dots, x_n, \langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle]$.
• الانتباه الذاتي (Self-Attention): ينتبه كل رمز كوانتيل لأجزاء مختلفة من النص المدخل عبر آلية الانتباه الذاتي للمحول (Transformer). على سبيل المثال، الرمز الذي يتنبأ بالمئوي التسعين (مخاطر الذيل) قد ينتبه لمؤشرات التعقيد، بينما الرمز الذي يتنبأ بالمئوي العاشر قد ينتبه لإشارات الشعبية.
• المخرج: يقوم مُنحدِر خطي مشترك برسم خريطة للحالة المخفية لكل رمز كوانتيل محدد إلى قيمته المتوقعة. وهذا يخلق مساراً مباشراً من المدخلات إلى المخرجات لكل مستوى كوانتيل.

ب. تقدير التوزيع المعزز بالاسترجاع

لترسيخ التنبؤات في الأدلة المحلية، يسترجع النموذج $K$ من الحالات المجاورة المتشابهة دلالياً من مجموعة مرشحة.

• التعزيز: على عكس طرق الاسترجاع السابقة التي ترفق فقط تسمية نقطية واحدة (مثل سعر واحد) بالجيران، فإن هذه الطريقة ترفق التوزيع التجريبي الكامل للجار (الممثل كمجموعة من الكوانتيلات).
• تنسيق المدخلات: يتضمن مدخل النموذج نص الاستعلام متبوعاً بالجيران المسترجعين وتوزيعات الكوانتيل المرتبطة بهم. يتيح ذلك للنموذج تعلم التشتت وسلوك الذيل من خلال مقارنة الاستعلام بتوزيعات العناصر المشابهة.

ج. التحليل النظري لدوال الخسارة

تقدم الورقة تحليلاً نظرياً لدوال الخسارة للإشراف بالكوانتيل التجريبي:

• خسائر $\ell_1$ و $\ell_2$ Wasserstein: معاملة الكوانتيلات التجريبية كقياسات صاخبة لكوانتيلات المجتمع الكامن. أظهر أن تقليل خسارة $\ell_p$ عنصر بعنصر على شبكة الكوانتيل هو أمر متسق فيشر (Fisher-consistent) للتوزيع المستهدف.
• متغيرات Pinball Loss:
  • Pinball-Q: تبين أن تطبيق خسارة pinball القياسية على أهداف الكوانتيل التجريبية يؤدي إلى التحيز، حيث تستهدف كوانتيل المُقدِّر بدلاً من المعلمة الحقيقية.
  • Pinball-Med: استخدام الوسيط فقط كهدف عددي يتجاهل معلومات شكل التوزيع.
• الاستنتاج: تعتبر خسارة $\ell_1$ Wasserstein متفوقة نظرياً وتجريبياً، حيث توفر أفضل مقايضة بين الدقة والحدة.

3. المساهمات الرئيسية

1. بنية رموز الكوانتيل (Quantile Token Architecture): أول عمل يقوم بإدراج رموز كوانتيل مخصصة في تسلسل المدخلات، مما يسمح بمسارات انتباه مباشرة وخاصة بكل كوانتيل ويحسن قابلية التفسير.
2. الاسترجاع التوزيعي (Distributional Retrieval): توسيع نطاق التوليد المعزز بالاسترجاع (RAG) ليشمل التنبؤ بالتوزيع عبر استرجاع توزيعات تجريبية كاملة (كوانتيلات) بدلاً من تسميات نقطية مفردة.
3. التوضيح النظري: تحليل دقيق يثبت أن مطابقة Wasserstein (أي $\ell_1/\ell_2$ على الكوانتيلات) هي الهدف الصحيح للإشراف بالكوانتيل التجريبي، مما يصحح سوء استخدام خسارة pinball في هذا السياق المحدد.
4. التحقق التجريبي: تجارب شاملة عبر مجموعات بيانات ونماذج بمقاييس مختلفة تثبت أن الجمع بين QTR واسترجاع الجيران يتفوق بشكل كبير على الخطوط المرجعية (baselines).

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات: Inside Airbnb (تنبؤ الأسعار، ~840 ألف عينة) و StackSample (تنبؤ وقت الاستجابة، ~58 ألف عينة)، باستخدام نماذج Qwen3 تتراوح أحجامها من 1.7 مليار إلى 14 مليار معلمة.

• مكاسب الأداء:
  • الدقة: قللت الطريقة المقترحة (رموز الكوانتيل + الجيران) باستمرار من متوسط خطأ النسبة المئوية المطلقة (MAPE). في StackSample، قللت MAPE بنسبة 68% مقارم بالخط المرجعي بدون استرجاع، وبنسبة 14% مقارنة بالخطوط المرجعية التي تعتمد على الاسترجاع فقط.
  • الحدة (عرض الفترة): أنتجت الطريقة فترات تنبؤ أضيق بكثير. في StackSample، انخفض عرض فترة التغطية النسبية 99% (RCIW) بمقدار 131 ضعفاً مقارنة بالخط المرجعي.
  • نظم البيانات الصغيرة: كانت المكاسب أكثر وضوحاً في مجموعة بيانات StackSample الأصغر والأكثر تحدياً، حيث وفر الاسترجاع أدلة توزيعية حاسمة لم يستطع النموذج تعلمها من نص الاستعلام وحده.
• دراسات الاستبعاد (Ablation Studies):
  • دوال الخسارة: تفوقت خسارة $\ell_1$ Wasserstein على متغيرات Pinball، محققة MAPE أقل وفترات أضيق.
  • عدد الجيران: أدى زيادة عدد الجيران المسترجعين ($K$) إلى تحسين الأداء، مع ملاحظة تناقص العوائد بعد $K=8$ إلى $K=16$.
  • الرتابة (Monotonicity): وُجد أن المعالجة اللاحقة (فرز الكوانتيلات المتوقعة) هي الطريقة الأكثر فعالية لفرض الرتابة دون التضحية بالدقة أو توسيع الفترات بشكل مفرط.

5. الأهمية

تجسر هذه الورقة الفجوة بين قدرات النماذج اللغوية الكبيرة (LLMs) والتراجع الإحصائي الصارم للتوزيعات.

• الأثر العملي: تمكن النماذج اللغوية الكبيرة من تقديم تقديرات قوية لعدم اليقين (مثل تقييم المخاطر، وتوقع الطلب) بدلاً من مجرد تنبؤات نقطية، وهو أمر بالغ الأهمية للتطبيقات عالية المخاطر.
• الابتكار المعماري: يقدم مفهوم "رمز الكوانتيل" نموذجاً جديداً للتنبؤ المهيكل في المحولات (Transformers)، منتقلاً من الاختناقات المشتركة نحو تمثيلات متخصصة مدفوعة بالانتباه.
• الدقة المنهجية: من خلال تصحيح عدم تطابق دالة الخسارة في الإشراف بالكوانتيل التجريبي، توفر الورقة أساساً سليماً نظرياً لمهام تعلم التوزيع المستقبلية باستخدام النماذج اللغوية الكبيرة.

باختصار، تثبت الورقة أن الجمع بين رموز الكوانتيل المخصصة والاسترجاع المدرك للتوزيع يسمح للنماذج اللغوية الكبيرة بتعلم توزيعات شرطية معقدة وغير متجانسة بدقة وحدة عاليتين، خاصة في سيناريوهات ندرة البيانات أو عدم اليقين العالي.