ملخص تقني: انحياز الموضع في المسترجعات الكثيفة

بيان المشكلة

تُظهر المسترجعات الكثيفة (Dense retrievers)، والتي تُعد مركزية في أنظمة الإجابة على الأسئلة مفتوحة النطاق وتوليد الاسترجاع المعزز (RAG)، انحيازاً موضعياً (positional bias) منهجياً. فهي تفضل بشكل غير متناسب المستندات التي تظهر فيها المعلومات ذات الصلة بالاستعلام بالقرب من البداية، مما يؤدي إلى تدهور كبير في الأداء عندما تكون الأدلة ذات الصلة موجودة في منتصف المستند أو نهايته.

بينما لاحظت الأبحاث السابقة هذا الانحياز تجريبياً عبر مراحل تدريب وتمثيلات موضعية مختلفة، إلا أن السبب الكامن وراءه لا يزال غير واضح. ركزت التفسيرات السابقة على العوامل الهيكلية، مثل الانتباه السببي (causal attention) في النماذج ذات التوليد الذاتي (autoregressive models) أو أنماط انتباه رموز التجميع (pooling-token) المحددة. ومع ذلك، فإن المسترجعات الكثيفة القائمة على المشفرات (encoder-based) تفتقر إلى القناع السببي (causal masking) ومع ذلك لا تزال تُظهر "انحياز الأولوية" (primacy bias) القوي، مما يشير إلى أن البنية وحدها لا يمكنها تفسير هذه الظاهرة بالكامل. وتوجد فجوة حرجة في فهم مدى مساهمة التوزيع الموضعي لبيانات الضبط الدقيق (fine-tuning data) في تشكيل هذا الانحياز، حيث اعتمدت الأعمال السابقة إلى حد كبير على الملاحظة بدلاً من التلاعب المباشر بتوزيعات بيانات التدريب.

المنهجية

لعزل تأثير بيانات التدريب على انحياز الموضع على مستوى الاسترجاع، صمم المؤلفون إطار عمل تجريبي مضبوط يتضمن مجموعات بيانات اصطناعية مستهدفة للمواضع ونماذج معمارية متنوعة.

1. بناء بيانات متحكم في موضعها

طور المؤلفون خط إنتاج مكون من ثلاث مراحل لتوليد بيانات تدريب يتم فيها التحكم بصرامة في موقع الأدلة ذات الصلة بالاستعلام:

• إعداد المتن (Corpus Preparation): باستخدام ويكيبيديا الإنجليزية، تم تصنيف المستندات حسب الطول إلى خمس فئات (256-8192 حرفاً) وتقسيمها إلى ثلاثة أجزاء متساوية: البداية، المنتصف، والنهاية.
• توليد استعلامات مستهدفة للموضع: باستخدام GPT-4o-mini مع توجيهات مشروطة بالشخصية (persona-conditioned prompting)، تم توليد استعلامات قابلة للإجابة فقط من خلال جزء مستهدف محدد (البداية، المنتصف، أو النهاية).
• التحقق عبر تعدد إعادة الترتيب (Multi-Reranker Verification): لضمان أن الاستعلامات المولدة كانت حصرية حقاً للجزء المستهدف، قامت لجنة من ثلاثة نماذج لإعادة الترتيب عبر المشفرات (BGE، Grote، Jina) بالتحقق من المرشحين. تم الاحتفاظ بالمرشح فقط إذا سجلت جميع نماذج إعادة الترتيب الجزء المستهدف بدرجة أعلى بمقدار $\delta=0.3$ على الأقل من أقوى جزء غير مستهدف.
• أخذ العينات المتوازن (Balanced Sampling): كانت المجموعة المتبقية بطبيعتها منحازة نحو البداية. ولإنشاء مجموعات تدريب مضبوطة، قام المؤلفون بأخذ عينات فرعية ضمن خلايا (الطول-الموضع) لضمان التمثيل المتساوي لفئات الطول والمواضع المستهدفة لإعدادات تجريبية محددة.

2. التصميم التجريبي

قام البحث بضبط ثمانية نماذج متنوعة معمارياً (بما في ذلك BERT، Longformer، ModernBERT، GPT-2، BLOOM، TinyLlama، وQwen3) تحت أربعة تكوينات تدريب متميزة:

• التكوينات المركزة (Concentrated Configurations): بيانات تدريب حيث استهدفت 100% من الاستعلامات بداية (MB)، أو منتصف (MM)، أو نهاية (ME) المستندات.
• التكوين الموحد (Uniform Configuration - MU): بيانات تدريب حيث تم توزيع الاستعلامات بالتساوي عبر المواضع الثلاثة.

تم تقييم النماذج بناءً على:

• اختبارات مراعية للموضع (Position-Aware Benchmarks): مثل SQuAD-PosQ، وFineWeb-PosQ، وPosIR، والتي تسمح بقياس الأداء بناءً على الموقع المحدد للدليل.
• اختبارات الاسترجاع القياسية (Standard Retrieval Benchmarks): أربعة أجزاء من BEIR (SciFact، HotpotQA، FEVER، Climate-FEVER) لتقييم الأداء في الإعدادات التقليدية حيث لا يتم التحكم في موقع الدليل.
• تحليل التمثيل (Representation Analysis): تحليلات التشابه الجيبي (cosine similarity) بين أزواج (الاستعلام-المستند) وتضمينات أجزاء المستند لتحديد ما إذا كان الانحياز موجوداً على مستوى التضمين (embedding).

النتائج الرئيسية

1. توزيع التدريب يحدد اتجاه الانحياز

النتيجة الأساسية هي أن انحياز الموضع على مستوى الاسترجاع يتبع توزيع بيانات التدريب، بغض النظر عن بنية النموذج.

• النماذج المدربة على بيانات منحازة للبداية (MB) فضلت باستمرار الأدلة المبكرة.
• النماذج المدربة على بيانات منحازة للمنتصف (MM) فضلت الأدلة الوسطى.
• النماذج المدربة على بيانات منحازة للنهاية (ME) فضلت الأدلة المتأخرة.
• حدث هذا التحول الاتجاهي عبر جميع النماذج الثمانية، بما في ذلك تلك ذات الترميزات الموضعية المختلفة (APE، RoPE، ALiBi، NoPE) واستراتيجيات التجميع المختلفة (CLS، Mean، Last-token).

2. التخفيف عبر التدريب المتوازن

أدى التدريب المتوازن الموضع (MU) إلى تقليل الحساسية الموضعية بشكل كبير دون التضحو بالأداء الاسترجاعي.

• في الاختبارات المراعية للموضع، قلل التدريب المتوازن من مؤشر الحساسية الموضعية (PSI) بنسبة 57-87% مقارنة بأسوأ تكوين منحاز لجميع النماذج.
• على سبيل المثال، في SQuAD-PosQ، انخفض PSI لنموذج GPT-2-medium من 0.592 (المدرب على البداية) إلى 0.080 (المدرب بشكل موحد).
• والأهم من ذلك، حافظت النماذج المدربة بشكل موحد على أداء استرجاع متوسط تنافسي (nDCG@10)، حيث حققت غالباً أعلى الدرجات أو درجات قريبة منها عبر الاختبارات. وهذا يشير إلى أن تقليل الانحياز لا يتطلب مقايضة في جودة الاسترجاع الإجمالية.

3. التحولات على مستوى التمثيل

كشف تحليل تضمينات المستندات أن الضبط الدقيق يعيد تشكيل التفضيلات الموضعية المتعلمة:

• أظهرت النماذج الأساسية سابقة التدريب ميولاً أولية طفيفة خاصة بكل نموذج (مثل ميل طفيف للبداية في المشفرات، وللنهاية في بعض نماذج فك التشفيد).
• بعد الضبط الدقيق، تغيرت ملفات التشابه لأجزاء المستند لتتماشى مع توزيع التدريب. على سبيل المثال، أظهرت النماذج المدربة على البداية تشابهاً أعلى مع الجزء الأول، بينما أظهرت النماذج المدربة على النهاية تشابهاً أعلى مع الأجزاء النهائية.
• أدى التدريب الموحد إلى ضغط هذه الملفات، مما نتج عنه منحنيات تشابه أكثر تسطحاً عبر المواضع.

4. خصوصية الاختبارات المرجعية

لاحظت الدراسة أن درجات الاختبارات القياسية (مثل BEIR) يمكن أن تكون مضللة فيما يتعلق بالمتانة. فالاختبارات التي تتركز فيها الأدلة بكثافة في البداية (مثل FEVER) فضلت النماذج المدربة على البداية، مما أخفى افتقارها للمتانة تجاه الأدلة التي تظهر في أماكن أخرى. وعلى العكس من ذلك، أدت النماذج المدربة على بيانات متوازنة إلى أداء أكثر اتساقاً عبر مواقع الأدلة المختلفة.

الأهمية والادعاءات

يزعم البحث تحديد توزيع موضع التدريب كعامل رئيسي يمكن التحكم فيه في انحياز الموضع على مستوى الاسترجاع، مما يتحدى الفكرة القائلة بأن هذا الانحياز هو خاصية متأصلة وغير قابلة للتغيير في بنيات المسترجعات الكثيفة.

• الدليل السببي: من خلال التلاعب المباشر بالتوزيع الموضعي لبيانات التدريب، قدم المؤلفون دليلاً مباشراً على أن تنسيق البيانات هو ما يقود اتجاه الانحياز، وليس فقط البنية أو التدريب المسبق.
• التخفيف العملي: تقترح الدراسة تنسيق البيانات المتوازنة كاستراتيجية عملية وفعالة للتخفيف من انحياز الموضع. وهي تثبت أن مجرد ضمان توزيع الأدلة ذات الصلة بالاستعلام بالتساوي عبر مواضع المستند أثناء الضبط الدقيق يمكن أن ينتج نماذج قوية تجاه موقع الدليل مع الحفاظ على أداء استرجاع عالٍ.
• الاستقلال عن البنية: تشير النتائج إلى أن العوامل الهيكلية (مثل الترميزات الموضعية أو استراتيجيات التجميع) ليست المحددات الوحيدة للانحياز؛ إذ يمكن توجيه حتى النماذج ذات آليات المعالجة الموضعية المختلفة جوهرياً نحو أنماط انحياز محددة من خلال بيانات التدريب.

يخلص المؤلفون إلى أنه بينما تستمر بعض النزعات الهيكلية أو نزعات التدريب المسبق، فإن اتجاه انحياز الاسترجاع هو أمر قابل للتشكيل إلى حد كبير ويمكن إعادة توجيهه من خلال توزيعات بيانات التدريب المحكومة.