💬 NLP

DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

يعالج نظام DS@GT مهمة TREC Tip-of-the-Tongue من خلال توظيف إطار استرجاع ثنائي المرحلة يدمج الاسترجاع الكثيف الهجين والواعي بالموضوع مع إعادة ترتيب باستخدام Gemini-2.5-flash، محققاً نسبة استدعاء بلغت 0.66 على مجموعة الاختبار.

المؤلفون الأصليون: Wenxin Zhou, Ritesh Mehta, Anthony Miyaguchi

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenxin Zhou, Ritesh Mehta, Anthony Miyaguchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر فيلم معين شاهدته منذ سنوات. لا يمكنك تذكر العنوان، ولا الممثلين، ولا المخرج. لكنك تتذكر الحبكة: "كان ذلك فيلم الخيال العلمي حيث الشخصية الرئيسية عبارة عن روبوت يقع في حب بشرية، ويعيشان على سفينة فضائية تشبه قطعة دونات عملاقة."

هذه هي مشكلة "طرف اللسان" (ToT). لديك الشعور والوصف، ولكن ليس الاسم. محركات البحث التقليدية تشبه أمناء المكتبة الذين يبحثون فقط عن الكلمات المطابقة تماماً. إذا سألت عن "روبوت حب دونات سفينة فضائية"، فقد يرتبك المحرك لأن الفيلم الفعلي اسمه The Iron Giant أو Star Trek.

يصف هذا البحث كيف قام فريق من معهد جورجيا للتكنولوجيا (DS@GT) ببناء نظام بحث فائق الذكاء لحل هذه المشكلة تحديداً من أجل مسابقة TREC 2025. إليك كيف فعلوا ذلك، مشروحاً ببساطة مع بعض التشبيهات.

الفكرة الكبرى: وكالة تحريات مكونة من مرحلتين

بدلاً من بناء محرك بحث واحد، بنى الفريق وكالة تحريات مكونة من مرحلتين.

المرحلة الأولى: "الشبكة الواسعة" (الاسترجاع - Retrieval)

أولاً، يلقي النظام شبكة واسعة جداً للإمساك بأكبر عدد ممكن من المرشحين المحتملين. هم لا يعتمدون على طريقة واحدة فقط؛ بل يستخدمون ثلاثة "محققين" يعملون معاً:

محقق الكلمات المفتاحية (المنهج المتفرق/BM25): هذا هو أمين المكتبة التقليدي. يبحث عن تطابقات الكلمات الدقيقة. إذا قلت "روبوت"، فإنه يجد المستندات التي تحتوي على كلمة "روبوت".
المحقق الدلالي (المنهج الكثيف/BGE-M3): هذا المحقق يفهم المعنى، وليس فقط الكلمات. إذا قلت "رجل معدني"، فهو يعرف أن هذا يشبه "روبوت"، حتى لو لم تكن كلمة "روبوت" موجودة.
المحقق الإبداعي (استرجاع النماذج اللغوية الكبيرة/LLM Retrieval): هذا ذكاء اصطناعي يقرأ وصفك الغامض ويخمن العنوان مباشرة. الأمر يشبه سؤال صديق: "مهلاً، ما هو الفيلم الذي يناسب هذا الوصف؟" فيصرخ قائلاً: "هل هو The Iron Giant؟"

"دمج الدور المتتابع" (Round-Robin Merge):
بدلاً من اختيار الفائز من محقق واحد، يستخدمون استراتيجية الدور المتتابع. تخيل ثلاثة أشخاص يتناوبون على اختيار أفضل بطاقة من مجموعة أوراق.

المحقق (أ) يختار البطاقة رقم 1.
المحقق (ب) يختار البطاقة رقم 1.
المحقق (ج) يختار البطاقة رقم 1.
ثم يعودون إلى (أ) لاختيار البطاقة رقم 2، وهكذا.
هذا يضمن أنه إذا أخطأ أحد المحققين، فقد يمسك الآخر بالجواب. كما أنهم أنشأوا "خريطة موضوعية" خاصة (تقسيم المكتبة إلى 24 غرفة مختلفة) حتى لا يضيع البحث وقته في البحث في قسم "الطبخ" بينما أنت تبحث عن "أفلام".

المرحلة الثانية: "القاضي الخبير" (إعادة الترتيب - Reranking)

الآن، أصبح لدى النظام كومة ضخمة من الإجابات المحتملة (رب_ما 1,000 مرشح). يحتاج النظام لإيجاد الإجابة الحقيقية الوحيدة في أعلى القائمة. هنا يأتي دور "إعادة الترتيب" (Reranker). لقد جربوا نوعين من القضاة:

القاضي المتعلم (LambdaMART): هذا نموذج حاسوبي تم تدريبه على آلاف الأسئلة الوهمية من نوع "طرف اللسان". إنه ينظر إلى أدلة مثل:
- ما مدى شعبية هذه الصفحة؟ (PageRank)
- كم عدد الأشخاص الذين شاهدوا هذه الصفحة؟ (Pageviews)
- ما مدى جودة مطابقة البحث الأولي؟
- التشبيه: إنه مثل محرر متمرس يعرف أي المقالات تكون عادة هي الإجابة الصحيحة بناءً على الأنماط.
قاضي الذكاء الاصطناعي (LLM Reranker): هذا ذكاء اصطناعي قوي (مثل Gemini) يقرأ النص الكامل للمرشحين الأوائل وسؤالك، ثم يقرر: "نعم، هذا هو المطلوب بالتأكيد".
- التشبيه: هذا يشبه توظيف ناقد سينمائي يشاهد بالفعل مقاطع الفيديو ويقول: "هذا هو ما كنت تفكر فيه!"

السر الخفي: اختراع أسئلة تدريبية

أحد أكبر العوائق في تدريب هذه الأنظمة هو عدم وجود أسئلة كافية من نوع "طرف اللسان" للتعلم منها.

الحل: استخدم الفريق الذكاء الاصطناعي لـ اختراع 5,000 سؤال وهمي. أخبروا الذكاء الاصطناعي: "تظاهر بأنك نسيت اسم شخص مشهور. صفه بشكل غامض، ولكن تأكد من أنك تصف شخصاً حقيقياً."
منح هذا النظام "صالة ألعاب رياضية" ضخمة للتدريب عليها، مما جعله أكثر حدة عندما يواجه أسئلة بشرية حقيقية.

النتائج: من الفائز؟

قدم الفريق عدة نسخ من نظامهم. الفائز كان مزيجاً من:

الشبكة الواسعة: دمج المحققين (الكلمات المفتاحية، الدلالي، والإبداعي).
قاضي الذكاء الاصطناعي: استخدام نموذج Gemini القوي للقيام بعملية الفرز النهائي.

النتيجة:

وجد نظامهم الإجابة الصحيحة في أفضل 1,000 نتيجة بنسبة 66% من الوقت (الاستدعاء/Recall).
كان أفضل بكثير من استخدام طريقة واحدة فقط. على سبيل المثال، "محقق الكلمات المفتاحية" وحده كان سيفشل في معظم الحالات.

لماذا هذا مهم؟

يوضح هذا البحث أنه عندما تحاول العثور على شيء لا تستطيع تذكره تماماً، فإن الجمع بين طرق بحث مختلفة أفضل من الاعتماد على طريقة واحدة فقط.

الكلمات المفتاحية تلتقط المطابقات الدقيقة.
المعنى يلتقط المفاهيم.
الذكاء الاصطناعي يلتقط الحدس.
إعادة الترتيب تضمن أن يكون أفضل تطابق في المقدمة.

الأمر يشبه امتلاك فريق من الخبراء بدلاً من شخص واحد يحاول حل لغز. من خلال دمج هذه الأساليب، يسد النظام الفجوة بين ذاكرتك الغامضة والإجابة الدقيقة التي تحتاجها.

1. تعريف المشكلة

تتناول الورقة البحثية مهمة TREC Tip-of-the-Tongue (ToT)، وهي تحدٍ محدد لاسترجاع العناصر المعروفة.

التحدي: يمتلك المستخدمون وصفاً لغوياً طبيعياً غامضاً ومطولاً لعنصر واجهوه سابقاً (مثل فيلم، أو معلم سياحي، أو شخصية مشهورة)، لكنهم لا يستطيعون تذكر العنوان المحدد أو الاسم.
التعقيد: غالباً ما تحتوي هذه الاستعلامات على استدلال متعدد الخطوات (multi-hop reasoning)، وتعبيرات عن عدم اليقين، وذكريات خاطئة، وتفتقر إلى الكلمات المفتاحية الدقيقة، مما يجعل البحث التقليدي القائم على الكلمات المفتاحية (مثل BM25 القياسي) غير فعال.
الهدف: تطوير نظام قادر على تحديد "العنصر المعروف" الصحيح من مجموعة ويكيبيديا بناءً على هذه الأوصاف غير الدقيقة.

2. المنهجية

يقترح المؤلفون بنية استرجاع مكونة من مرحلتين تجمع بين الاسترجاع الهجين، والفهرسة المدركة للموضوع، واستراتيجيات إعادة الترتيب المتقدمة.

أ. تعزيز البيانات (Data Augmentation)

قام الفريق بتوليد 5,000 استعلام اصطناعي لـ ToT باستخدام نماذج لغوية كبيرة (LLMs) تشمل gemini-2.5-flash-lite و o4-mini و gpt-4o لتدريب إعادة الترتيب المتعلم.

الاستراتيجية: قاموا بأخذ عينات من 5,000 كيان متنوع من ويكيبيديا بناءً على شعبية عدد المشاهدات وتوفر المعلومات في الصناديق التعريفية (infobox).
هندسة الأوامر (Prompt Engineering): صُممت الأوامر لتوليد استعلامات مفتوحة المجال (مع إزالة الكلمات المفتاحية الخاصة بالمجال مثل "فيلم") وإخراج النتائج بتنسيق JSON لسهولة التحليل.
التحقق: أظهرت الاستعلامات الاصطناعية ارتباطاً دلالياً عالياً (معامل بيرسون > 0.93) مع الاستعلامات الأصلية، مما أكد صلاحيتها للاستخدام في التدريب.

ب. المرحلة الأولى من الاسترجاع (هجين ومدرك للموضوع)

يستخدم النظام ثلاث طرق استرجاع متميزة يتم دمجها عبر استراتيجية التوزيع الدوري (round-robin):

الاسترجاع المتفرق (Sparse Retrieval): يستخدم نموذج PyTerrier BM25 كخط أساس رسمي.
الاسترجاع الكثيف (Dense Retrieval): يستخدم نموذج BGE-M3 لإنشاء تضمينات (embeddings) لتماثل الاستعلام والوثيقة.
- فهرس متعدد مدرك للموضوع: تم تقسيم مجموعة ويكيبيديا إلى 24 مجالاً موضوعياً باستخدام ModernBERT-web-topics. يتم تصنيف الاستعلامات، ويتم تقييد الاسترجاع بالفهرس الخاص بالموضوع ذي الصلة لتحسين الكفاءة.
استرجاع النماذج اللغوية الكبيرة (LLM Retrieval): يتم توجيه النماذج اللغوية الكبيرة (مثل Gemini-2.5-flash) لتوليد ما يصل إلى 20 عنوان ويكيبيديا مطابقاً مع درجات صلة.
- منطق المطابقة: يتضمن مطابقة العنوان بدقة، وحل الأسماء المستعارة/التحويلات (redirect/alias resolution)، وإزالة الأقواس.

الدمج (Fusion): يتم دمج النتائج من جميع الطرق باستخدام نهج التوزيع الدوري، حيث يتم إعطاء الأولوية لأفضل مرشح من كل طريقة بشكل دوري لضمان التنوع.

ج. بناء الشبكة (ميزات الرسم البياني)

تم بناء رسم بياني موجه مركب $G=(V, E)$ فوق روابط ويكيبيديا لتوليد ميزات لإعادة الترتيب:

أوزان الحواف: مجموع مرجح لثلاث إشارات:
1. الاقتباسات المباشرة ( $u \to v$ ).
2. اتصالات المسار الوسيط (عبر عقد وسيطة مثل الفئات/Categories).
3. الجيران الأقرب دلالياً (بناءً على تشابه جيب التمام لنموذج BGE-M3).
الميزات: تم حساب PageRank، ودرجة الدخول (In-Degree)، ودرجة الخروج (Out-Degree) على هذا الرسم البياني واستخدامها كميزات في إعادة الترتيب المتعلم.

د. المرحلة الثانية: إعادة الترتيب (Reranking)

تم تقييم نهجين لإعادة الترتيب:

إعادة الترتيب المتعلم (LambdaMART):
- تم تدريبه باستخدام XGBoost مع دالة فقدان زوجية (pairwise loss).
- الميزات: الدرجة الكثيفة، درجة (BM25) المتفرقة، عدد مشاهدات الصفحة المعياري، PageRank، وعدد كلمات الاستعلام.
- التدريب: استخدم البيانات الرسمية بالإضافة إلى الـ 5,000 استعلام اصطناعي (75% تدريب، 15% تطوير، 10% اختبار).
إعادة الترتيب باستخدام النماذج اللغوية الكبيرة (LLM Reranker):
- تم تنفيذه باستخدام مكتبة RankLLM مع نهج النافذة المنزلقة (sliding window) لتناسب الوثائق داخل نوافذ السياق.
- تم اختبار نماذج مختلفة (Gemma, Gemini) وأطوال سياق مختلفة (العنوان، الفقرة الأولى، النص الكامل).

3. المساهمات الرئيسية

استراتيجية الدمج الهجين: أثبتت أن دمج الاسترجاع القائم على LLM، والمتفرق، والكثيف عبر التوزيع الدوري يتفوق بشكل كبير على أي طريقة استرجاع منفردة.
الاسترجاع الكثيف المدرك للموضوع: قدمت نهج الفهرسة المتعددة الذي يقسم المجموعة إلى 24 مجالاً، مما يوفر توازناً بين الكفاءة الحسابية والاستدعاء (recall).
توليد البيانات الاصطناعية: تم التحقق من مسار توليد استعلامات ToT اصطناعية عالية الجودة لتعزيز بيانات التدريب لإعادة الترتيب المتعلم.
التحليل المقارن لإعادة الترتيب: قارنت بشكل منهجي بين إعادة الترتيب المتعلم (LambdaMART) وإعادة الترتيب التوليدي (LLM)، مع تسليط الضوء على نقاط القوة والضعف لكل منهما.

4. النتائج

قدم الفريق 7 أنظمة لتحدي TREC TOT 2025. حقق أفضل نظام، gmn-rerank-500، النتائج التالية على مجموعة الاختبار الرسمية:

الاستدعاء عند 1000 (Recall@1000): 0.6559
مقياس NDCG عند 1000 (NDCG@1000): 0.4106

النتائج الرئيسية:

الاسترجاع الهجين: حسن Recall@1000 بنسبة 7.8% إلى 11.0% مقارنة بأفضل طريقة استرجاع فردية عبر مجموعات التطوير.
إعادة الترتيب باستخدام LLM: تفوق على الخطوط المرجعية (baselines) بشكل كبير. بالنسبة للاسترجاع المتفرق، أدى Gemma-3-27B-QAT إلى تحسين Recall@1000 بنسبة 68% عن الخط المرجعي.
أداء LambdaMART:
- نجح في تحسين الاستدعاء (على سبيل المثال، من 0.60 إلى 0.66 في Dev3 sparse).
- مقايضة الدقة: بينما عزز الاستدعاء، فإنه خفض بشكل كبير الرتبة العكسية (RR) وNDCG في مجموعة الاختبار، مما يشير إلى أنه دفع الوثائق ذات الصلة إلى أسفل القائمة (جيد للاستدعاء، سيء للدقة).
تحليل مصدر البيانات: حقق النظام أفضل أداء في استعلامات NIST-assessor (Recall@1000: 0.89) ولكنه واجه صعوبة أكبر مع مجموعات MS-ToT والبيانات الاصطناعية، مما يشير إلى وجود فجوة صعوبة بين الاستعلامات المستخرجة بشرياً والمولدة آلياً.

5. الأهمية والخاتمة

تثبت هذه العمل أن الاسترجاع بالدمج (fusion retrieval) أمر بالغ الأهمية لحل مشكلة "طرف اللسان" (Tip-of-the-Tongue)، حيث لا يكفي أي نموذج استرجاع واحد (كلمات مفتاحية، دلالي، أو توليدي) بمفرده.

الفعالية: دمج إشارات الاسترجاء المتنوعة مع إعادة ترتيب قوية باستخدام LLM يؤدي إلى أعلى أداء.
الكفاءة مقابل الدقة: بينما تعد إعادة الترتيب باستخدام LLM هي الأفضل من حيث الدقة، توضح الورقة أن إعادة الترتيب المتعلم (LambdaMART) يمكن أن يعمل كمرشح فعال حسابياً لتعزيز الاستدعاء، والذي يمكن بعد ذلك تنقيحه عبر تمريرة نهائية لـ LLM.
الاتجاهات المستقبلية: يقترح المؤلفون أعمالاً مستقبلية في توسيع الاسترجاع القائم على الرسم البياني (BFS) واستخدام عقد الشبكة لتوجيه بناء مجموعات البيانات الاصطناعية.

التنفيذ مفتوح المصدر، مما يوفر خط أساس متيناً للأبحاث المستقبلية في مجال التذكر الغامض والبحث عن العناصر المعروفة.