ملخص تقني: المتعلمون النشطون كأدوات إعادة ترتيب فعالة لـ PRP

بيان المشكلة

في سياق التوليد المعزز بالاسترجاع (RAG)، تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لإعادة ترتيب المستندات المرشحة التي يسترجعها مسترجع المرحلة الأولى. النهج القياسي المتمثل في "الترتيب الزوجي عبر التلقين" (Pairwise Ranking Prompting - PRP) يستخلص أحكام تفضيل زوجية من النموذج اللغوي الكبير ويجمعها في ترتيب باستخدام خوارزميات فرز كلاسيكية (مثل BubbleSort أو QuickSort أو HeapSort).

ومع ذلك، يعاني هذا المسار من عدم توافق هيكلي. تفترض خوارزميات الفرز مقارنات متعدية وحتمية، بينما تكون أحكام النماذج اللغوية الكبيرة عشوائية، مشوبة بالضجيج، وغالبًا ما تفتقر إلى خاصية التعدي (intransitive). كما تظهر النماذج اللغوية الكبيرة تأثيرات ترتيب ملحوظة (انحياز الموضع)، حيث يمكن أن يؤدي تبديل ترتيب عرض المستندات إلى قلب نتيجة التفضيل. وللتخفيف من ذلك، يستخدم نظام PRP القياسي غالبًا التلقين ثنائي الاتجاه (استدعاءين لكل زوج)، مما يضاعف تكلفة الاستدلال.

تكمن المشكلة الجوهرية في أن الفرز يهدف إلى استعادة ترتيب كامل (permutation)، بينما في تطبيقات RAG، يكون الهدف عادةً هو الحصول على مجموعة فرعية عالية الجودة من أفضل $K$ عنصر (top-$K$). وتحت ميزانية صارمة من استدعاءات النماذج اللغوية الكبيرة (حيث تهيمن تكلفة الاستدلال وزمن الاستجابة على التكلفة)، يهدر الفرز الموارد في "صقل" ترتيب عالمي غير مستقر بدلاً من التركيز على تحديد العناصر الـ $K$ الأفضل. علاوة على ذلك، فإن افتراض التعدي يؤدي إلى ترتيبات غير موثوقة عندما تكون المقارنات الأساسية مشوبة بالضجيج.

المنهجية

يعيد المؤلفون صياغة إعادة ترتيب PRP كمسألة تعلم نشط (active learning) تركز على تحديد أفضل $K$ عنصر من المقارنات الزوجية المشوبة بالضجيج، بدلاً من فرز القائمة بأكملها.

1. إطار الترتيب النشط

بدلاً من جدول فرز ثابت، يقترح النهج المتبع اختيار أزواج المستندات التي سيتم الاستعلام عنها بشكل تكيفي لتعظيم جودة البادئة (prefix) لأفضل $K$ عنصر ضمن ميزانية استدعاءات ثابتة ($B$). يعتمد الإطار على ثلاثة معايير:

• هدف أفضل $K$ (Top-$K$ Objective): تستهدف الخوارزمية تحديد أفضل $K$ من العناصر (تحديد البادئة) بدلاً من الترتيب العالمي الكامل.
• تحمل الضجيج (Noise Tolerance): تعمل الطريقة تحت شرط الاتساق الزوجي ($p_{ij} = 1 - p_{ji}$) دون افتراض وجود ترتيب متعدٍ عالمي.
• السلوك في أي وقت (Anytime Behavior): يقدم النظام قائمة "أفضل $K$" تنافسية مع تراكم المقارنات.

تم تقييم مرتبين نشطين كبدائل جاهزة للفرز:

• Mohajer (القائم على البطولة): يعتمد على خوارج Mohajer وآخرون (2017)، وتحدد هذه الخوارزمية أفضل $K$ عبر البطولات واستخراج الكومة (heap extraction). وهي تركز المقارنات تكيفيًا على المرشحين القريبين من حدود أفضل $K$ (مرحلة الإحماء) وتركز على المنافسين المحتملين.
• PAC + Bubble (القائم على المرتكزات): يعتمد على أعمال Agarwal وآخرون (2022)، وتستخدم هذه الطريقة "مرتكزًا" (anchor) منخفض التكلفة (مثل درجات BM25) لتحديد مجموعة من المرشحين وتقصر المقارنات على مجموعة فرعية من المرشحين (أعلى $K \times m$). وهي تعيد مجموعة غير مرتبة، يتم بعد ذلك فرزها باستخدام BubbleSort.

2. أوراكل الاتجاه العشوائي (Randomized-Direction Oracle)

لمعالجة تأثيرات الترتيب دون تكلفة التلقين ثنائي الاتجاه، قدم المؤلفون أوراكل الاتجاه العشوائي.

• الآلية: لكل زوج $\{d_i, d_j\}$، يتم استدعاء النموذج اللغوي مرة واحدة. يتم تعشية ترتيب المدخلات: باحتمالية $0.5$يكون التلقين هو$(d_i, d_j)$؛ وإلا فإنه يكون$(d_j, d_i)$. ويؤخذ الناتج مباشرة.
• الضمان النظري: رغم أن الاستدعاءات الفردية قد تعاني من انحياز الموضع، إلا أن التعشية تضمن أن المقدر التجميعي يكون تبادليًا في التوقع ($Pr[V_{ij}=1] = 1 - Pr[V_{ji}=1]$). وهذا يحول انحياز الموضع المنهجي إلى ضجيج بمتوسط صفري، مما يسمح بترتيب تجميعي غير منحاز باستخدام استدعاء واحد فقط لكل زوج بدلاً من اثنين.

المساهمات الرئيسية

1. إعادة صياغة إعادة الترتيب: تثبت الورقة أن إعادة ترتيب PRP تُفهم بشكل أفضل كمسألة تعلم نشط بميزانية محددة من المقارنات المشوبة بالضجيج، بدلاً من كونها عملية فرز حتمية.
2. المرتبون النشطون: يوضح المؤلفون أن المرتبين النشطين (وتحديدًا خوارزمية Mohajer) تعد بدائل فعالة لخوارزميات الفرز في الأنظمة المقيدة بعدد الاستدعاءات، مما يحسن جودة أفضل $K$ بشكل كبير.
3. أوراكل فعال: إن تقديم أوراكل الاتجاه العشوائي يقلل من تكلفة التعامل مع تأثيرات الترتيب بنسبة 50% (استدعاء واحد مقابل اثنين) مع الحفاظ على عدم الانحياز في التجميع.
4. التحقق التجريبي: تظهر التجارب المكثفة أن المرتبين النشطين يحققون قيم NDCG@10 أعلى بعدد استدعاءات أقل مقارنة بالنماذج المرجعية للفرز.

النتائج

أُجريت التجارب على مهام من نوع TREC DL2019/2020 وBEIR باستخدام نماذج Flan-T5-L/XL وQwen.

• نظام الميزانية المقيدة ($B \approx 200\text{--}450$):
  • يتفوق Mohajer بشكل كبير على نماذج الفرز المرجعية. في مهام TREC DL2019/2020 باستخدام Flan-T5-XL عند ميزانية $B=300$ استدعاء، حقق Mohajer قيمة 66.09 NDCG@10 مقارنة بـ 56.42 لـ BubbleSort (زيادة قدرها +9.7 نقطة).
  • تصل المرتبات النشطة إلى جودة تنافسية باستخدام عدد استدعاءات أقل بـ 7 أضعاف مقارنة بـ QuickSort.
• تأثير أوراكل الاتجاه العشوائي:
  • بالنسبة لنماذج الفرز المرجعية، يحسن الأوراكل العشوائي الجودة من خلال تغطية المزيد من الأزواج بنفس الميزانية (على سبيل المثال، تحسن BubbleSort من 56.4 إلى 62.0 عند $B=300$).
  • بالنسبة للمرتبين النشطين، يكون التأثير أكثر وضوحًا. فقد وصل Mohajer مع الأوراكل العشوائي إلى ذروة جودته (68.0) عند $B=250$ استدعاء، بينما تطلب الإصدار ثنائي الاتجاه $B=450$ للوصول إلى سقف مماثل وهو 66.96. وهذا يمثل انخفاضًا بنسبة 44% في عدد الاستدعاءات اللازمة للوصة إلى ذروة الأداء.
• الميزانيات العالية: عندما تكون الميزانية كافية ($B \ge 500$) للسماح بالتحسين العالمي، يمكن لخوارزميات الفرز (مثل HeapSort) اللحاق بالمرتبين النشطين أو تجاوزهما قليلاً، حيث تصبح تكلفة صقل الترتيب الكامل مقبولة.
• الكفاءة الشاملة (End-to-End): في مسارات RAG الكاملة، قلل المرتبون النشطون (Mohajer + Randomized) متوسط الاستدعاءات لكل مهمة من حوالي 941 (BubbleSort) إلى 232، مع الحفاظ على جودة NDCG@10 أو تحسينها.

الأهمية والادعاءات

تجادل الورقة بأن الاستراتيجية المثلى للممارسين الذين ينشرون PRP في مسارات RAG تعتمد على ميزانية الاستدعاء المتاحة:

• الميزانيات المنخفضة إلى المتوسطة: يعد الترتيب النشط (وتحديدًا Mohajer) مع أوراكل الاتجاه العشوائي هو الخيار الأفضل، حيث يوفر نتائج عالية الجودة لأفضل $K$ بتكلفة زمنية وتكلفة مادية أقل بكثير.
• الميزانيات المنخفضة جدًا: قد يكون الفرز مفضلًا إذا كانت الميزانية أقل من "عتبة الإحماء" (حوالي 100 استدعاء لـ $N=100, K=10$)، حيث لم تكن الخوارزميات النشطة قد تقاربت بعد.
• الميزانيات العالية جدًا: يصبح الفرز مجديًا مرة أخرى مع توفر الميزانية الكافية لجعل الصقل العالمي مثمرًا.

يدعي المؤلفون أن نهجهم يوفر "وصفة بسيطة" لإعادة الترتيب الفعالة: استخدم Mohajer مع الأوراكل العشوائي عندما تتجاوز الميزانية عتبة الإحماء، وعد إلى الفرز فقط عندما تكون الميزانيات صغيرة جدًا أو كبيرة بما يكفي لتبرير الصقل العالمي. يسلط العمل الضوء على أن التكلفة المهيمنة في PRP هي استدعاء النموذج اللغوي نفسه، وأن تحسين جدول هذه الاستدعاءات (عبر التعلم النشط) يحقق عوائد أكبر من تحسين نموذج المقارنة وحده.

المحددات

يشير المؤلفون إلى عدة محددات:

• تفترض الدراسة وجود مُقارن زوجي موثوق من النموذج اللغوي؛ وقد تختلف النتائج باختلاف تصميم التلقين أو عائلات النماذج.
• مقاييس التكلفة تحسب استدعاءات النموذج اللغوي ولكنها تغفل التكاليف التشغيلية للنظام (مثل الدفعات/Batching، وتأخير الشبكة)؛ وتقديرات زمن الاستجابة هي حدود عليا تسلسلية.
• الفائدة النظرية لتلقين الاتجاه العشوائي للنماذج التكيفية لوحظت تجريبيًا ولكن لم يتم إثباتها بالكامل.
• تعتمد طريقة PAC على معلمة فائقة ($m$) لحجم مجموعة المرشحين، والتي لم يتم اختبارها بشكل منهجي.
• قد تنتهك واجهات برمجة تطبيقات النماذج اللغوية الكبيرة (APIs) في العالم الحقيقي فرضية الاستقلال الشرطي لمخرجات الأوراكل بسبب الحالات المخفية أو التخزين المؤقت (Caching).