Qwen Goes Brrr: Off-the-Shelf RAG for Ukrainian Multi-Domain Document Understanding
تقدم هذه الورقة مسار استرجاع معزز عالي الأداء لمهمة فهم المستندات متعددة المجالات باللغة الأوكرانية، والذي يستفيد من التجزئة السياقية، والاسترجاع الكثيف المدرك للسؤال، وإعادة التصنيف المشروط بخيارات الإجابة لتحقيق أعلى درجات في لوحة المتصدرين عبر إعطاء الأولوية للحفاظ على بنية المستند والوعي بفضاء الإجابة على حساب الاستدلالات المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من وجود دليل واحد، لديك مكتبة مليئة بآلاف الكتب، وعليك العثور على الجملة الدقيقة التي تجيب على سؤال محدد. هذا هو جوهر ما يدور حوله هذا البحث: بناء نظام ذكي يقرأ الوثائق الأوكرانية ويجيب على أسئلة الاختيار من متعدد.
إليك قصة كيف بنى الفريق "المحقق" الخاص بهم، مقسمة إلى مفاهيم بسيطة.
التحدي: إبرة في كومة قش
شارك الفريق في مسابقة تسمى UNLP. كانت القواعد معقدة:
- المهمة: تحصل على سؤال مع ستة خيارات ممكنة (A–F). يجب عليك اختيار الإجابة الصحيحة، وإخبار النظام من أي وثيقة PDF جاءت، وحتى أي صفحة.
- المشكلة: الوثائق عبارة عن ملفات PDF طويلة وغير منظمة (مثل الأدلة القانونية أو التقنية) ذات تنسيقات مختلفة. الأسئلة باللغة الأوكرانية، وهي لغة تتوفر لها أدوات ذكاء اصطناعي أقل مقارنة بالإنجليزية.
- العقبة: كان على النظام أن يعمل على جهاز كمبيوتر محدد (Kaggle) مع وقت محدود صارم وبدون إنترنت. لم يكن بإمكانه مجرد "التفكير" لساعات؛ بل كان عليه أن يكون سريعاً وفعالاً.
الحل: فريق تحقيق مكون من ثلاث خطوات
بدلاً من محاولة بناء عقل واحد ضخم وفائق التعقيد، بنى الفريق مسار عمل (pipeline) يتكون من ثلاثة عمال متخصصين. يسمون هذا نظام "الاسترجاع المعزز" (Retrieval-Augmented)، وهو مجرد طريقة منمقة لقول: "اذهب وابحث عن المعلومات، ثم قرر الإجابة."
الخطوة 1: أمين المكتبة (التقطيع السياقي)
تخيل أنك تحاول قراءة كتاب حيث الصفحات ممزقة ومبعثرة عشوائياً. هذا ما يحدث إذا قمت فقط بتغذية ملف PDF إلى الكمبيوتر.
- ماذا فعلوا: لم يقوموا فقط بتقطيع النص إلى قطع عشوائية. لقد تصرفوا كأمين مكتبة حريص يحترم هيكل الكتاب. فقد حافظوا على عناوين الفصول، وعناوين الأقسام، وبداية المستند ملتصقة بكل قطعة نصية.
- التشبيه: بدلاً من تسليم المحقق جملة سائبة تقول "الاجتماع كان في الساعة 5 مساءً"، قدموا له ملاحظة تقول: "الفصل 4: الجدولة، القسم 2: الاجتماع كان في الساعة 5 مساءً". هذا السياق الإضافي يساعد الكمبيوتر على فهم أين تعيش هذه المعلومة.
الخطوة 2: محرك البحث (الاسترجال الكثيف)
الآن أصبح لدى النظام ملايين من هذه "الملاحظات السياقية". يحتاج النظام للعثور على أفضل 20 مرشحاً محتملاً.
- ماذا فعلوا: استخدموا نموذج ذكاء اصطناعي مدرب مسبقاً (يسمى Qwen3-Embedding-8B) ليعمل كمحرك بحث. يقوم هذا النموذج بتحويل السؤال وملاحظات النص إلى "بصمات" رياضية. ويقارن البصمات ليرى أي الملاحظات تتطابق مع السؤال بشكل أفضل.
- الاكتشاف: وجدوا أن استخدام نموذج أكبر ومدرب مسبقاً جاهز للعمل كان أفضل من محاولة تعليم نموذج أصغر حِيلاً جديدة. كان الأمر يشبه توظيف أمين مكتبة خبير بدلاً من تدريب متدرب جديد من الصفر.
الخطوة 3: القاضي (إعادة الترتيب الواعي بالخيارات)
أعطاهم محرك البحث 20 ملاحظة جيدة، لكنهم يحتاجون إلى الأفضل منها.
- التحول: معظم الأنظمة تنظر فقط إلى السؤال. أدرك هذا الفريق أنه بالنسبة لأسئلة الاختيار من متعدد، فإن الإجابات الخاطئة تهم بقدر أهمية الإجابة الصحيحة.
- ماذا فعلوا: بنوا "قاضياً" (وهو Qwen3-Reranker) ينظر إلى السؤال و جميع خيارات الإجابة الستة معاً. يسأل نفسه: "هل يدعم هذا النص الإجابة A، أم أنه يدعم في الواقع الإجابة B؟"
- التشبيه: تخيل محامياً يجادل في قضية. إذا عرضت عليه أدلة الإدعاء فقط، فقد يغفل عن التفاصيل الدقيقة. ولكن إذا عرضت عليه أدلة الإدعاء وأدلة الدفاع أيضاً، فيمكنه تحديد أي قطعة من الأدلة هي التي تربح القضية بالضبط. كانت هذه الخطوة نقطة تحول، حيث عززت دقة نظامهم بشكل كبير.
الخطوة 4: الحكم النهائي (اختيار الإجابة)
أخيراً، يأخذ النظام أفضل ملاحظتين ويطلب من ذكاء اصطناعي قوي (Qwen3-32B) اختيار الإجابة النهائية.
- الحيلة: للحفاظ على السرعة ومنع الذكاء الاصطناعي من "الهلوسة" (اختلاق أشياء من عنده)، أجبروه على اختيار حرف واحد فقط (A، B، C، D، E، أو F). إنه يشبه ورقة إجابة الاختيار من متعدد حيث يمكن للذكاء الاصطناعي ملء دائرة واحدة فقط.
ماذا تعلموا (الخلطة السرية)
يسلط البحث الضوء على بعض الدروس الرئيسية التي فاجأتهم:
- الهيكل هو الملك: كان الحفاظ على هيكل المستند (العناوين، الأقسام) ملتصقاً بقطع النصوص أكثر أهمية من إضافة حيل رياضية معقدة ومتطورة لاحقاً.
- الأقل هو الأكثر: حاولوا بناء "وكيل ذكي" يمكنه البحث، والتفكير، والبحث مرة أخرى (مثل محقق بشري). كان ذلك بطيئاً جداً وكثير الأخطاء. المسار المستقيم البسيط (بحث ← ترتيب ← إجابة) كان أسرع وأكثر دقة.
- النطاق "غير المرئي": تضمنت المسابقة فئة ثالثة مخفية من المستندات لم يرها الذكاء الاصطناعي من قبل. الأنظمة التي حاولت تخمين الفئة التي ينتمي إليها السؤال فشلت. الاستراتيجية الأفضل كانت ترك محرك البحث يبحث في كل شيء دون محاولة التصنيف أولاً.
النتيجة
باستخدام فريق الخطوات الثلاث (أمين المكتبة + محرك البحث + القاضي)، حققوا درجة عالية جداً.
- التحسن: أدت إضافة خطوة "القاضي" (إعادة الترتيب) إلى تعزيز قدرتهم على إيجاد المستند الصحيح من 69% إلى 79%.
- النتيجة النهائية: حصل نظامهم على الإجابة الصحيحة بنسبة 96% في مجموعة الاختبار المخفية، متفوقاً على العديد من المنافسين الآخرين.
باختالصر
يثبت هذا البحث أنك لست بحاجة إلى روبوت مخصص فائق التعقيد لحل مشاكل المستندات الصعبة. بدلاً من ذلك، أنت بحاجة إلى مسار عمل منظم جيداً يحترم هيكل المستندات ويستخدم أدوات ذكاء اصطناعي مدربة وذكية للنظر إلى الصورة الكاملة (السؤال + جميع الإجابات) قبل اتخاذ القرار. لقد أظهروا أساساً أنه بالنسبة لفهم المستندات الأوكرانية، فإن التنظيم والسياق يتفوقان على التعقيد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.