Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion
تقدم هذه الورقة تقنية تقسيم المحتوى الدلالي المتكيف مع الاستعلام (QASC)، وهي استراتيجية ديناميكية تدمج استعلامات المستخدم في عملية تقسيم المستندات لتحقيق صلة استرجاع وتماسك أعلى بكثير مقارنة بطرق التقسيم الثابتة والدلالية والوكيلية.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على وصفة محددة في مكتبة ضخمة وغير منظمة تضم 100 كتاب طهي.
الطريقة القديمة (التقطيع التقليدي)
في الوقت الحالي، تتعامل معظم الأنظمة الحاسوبية التي تجيب على الأسئلة (والتي تسمى أنظمة RAG) مع كتب الطهي هذه عن طريق تقطيعها إلى قطع متساوية الحجم، مثل تقطيع رغيف الخبز إلى شرائح موحدة بغض النظر عما يوجد بداخلها.
- إذا سألت: "كيف أصنع خبز الساوردو؟"، فقد يعطيك النظام شريحة تحتوي على الوصفة، ولكنها تتضمن أيضًا ثلاث صفحات من قصة عن طفولة الخباز وقائمة توابل غير ذات صلة.
- إذا جعلت الشرائح أصغر لتجنب الحشو الزائد، فقد تقطع الوصفة إلى نصفين، مما يترك خارجها الخطوة الحاسمة المتعلقة بعجن العجين.
- يتعين على النظام تخمين الحجم المثالي للشريحة، لكن لا يوجد حجم واحد يناسب كل سؤال. الأمر يشبه محاولة وضع وتد مربع في ثقب مستدير في كل مرة تسأل فيها.
الطريقة الجديدة (QASC)
تقدم هذه الورقة استراتيجية جديدة تسمى التقطيع الدلالي المتكيف مع الاستعلام (QASC). بدلًا من تقطيع الخبز بشكل عشوائي، يعمل QASC كقارئ ذكي ومنتبه يسلط الضوء على الأجزاء الدقيقة التي تحتاجها من الكتاب قبل أن يقطع أي شيء.
إليك كيف يعمل ذلك، باستخدام عملية بسيطة مكونة من ثلاث خطوات:
- إيجاد "البذرة" (المحدد):
عندما تطرح سؤالاً، يقرأ QASC المستند بالكامل ويبحث عن الجمل الأكثر تشابهاً مع سؤالك. الأمر يشبه قارئاً يمسح صفحة ويقول: "آها! هذه الجملة هي بالضبط ما أبحث عنه!" تُسمى هذه جمل البذور.
- مثال توضيحي: إذا سألت: "ما هي عاصمة فرنسا؟"، سيقوم النظام بتحديد الجملة "باريس هي عاصمة فرنسا".
- توسيع النافذة (فقاعة السياق):
غالباً ما لا تكفي جملة واحدة محددة بمفردها. قد تحتاج إلى الجملة التي تسبقها لتشرح "لماذا" أو الجملة التي تليها لتشرح "كيف". يقوم QASC بإنشاء "فقاعة" من السياق حول جملة البذرة هذه. فهو يأخذ بضع جمل قبل وبعد التحديد لضمان أن الإجابة منطقية بحد ذاتها.
- مثال توضيحي: إذا كانت الجملة المحددة هي "هو فاز بالسباق"، فإن النظام يأخذ الجمل المحيطة بها ليخبرك "من هو" هذا الشخص و"ما هو" السباق، حتى لا تكون الإجابة مربكة.
- الدمج والصقل (القطع النهائي):
أحياناً، تكون منطقتان محددتان قريبتين من بعضهما البعض. يقوم QASC بدمجهما في قطعة واحدة متماسكة وسلسة. كما يتحقق أيضاً من أن القطعة لا تبدأ أو تنتهي في منتصف فكرة ما.
- مثال توضيحي: إذا كنت قد حددت فقرتين متجاورتين، فإن QASC يلصقهما معاً ليشكلا فقرة واحدة مثالية بدلاً من إعطائك قصاصات ورقية مفككة.
لماذا هذه الطريقة أفضل؟
اختبرت الورقة هذه الطريقة مقابل طريقة "الشرائح الموحدة" القديمة وبعض الطرق المتطورة الأخرى. وإليكم ما وجدوه:
- إجابات أفضل: نظرًا لأن القطع يتم بناؤها خصيصاً حول سؤالك، فلا يتعين على الكمبيوتر التخمين بشأن ما هو مهم؛ بل يحصل على المعلومات الصحيمة فوراً.
- ارتباك أقل: كانت الإجابات التي ولدها الكمبيوتر أكثر دقة وأقل عرضة للأخطاء (الهلوسة) لأن السياق المقدم كان مركزاً بدقة على السؤال.
- السرعة مقابل الجودة: بينما تستغرق هذه الطريقة وقتاً أطول قليلاً لإعداد القطع (لأن عليها قراءة السؤال أولاً)، إلا أنها لا تزال سريعة بما يكفي للاستخدام في الوقت الفعلي. إنه انتظار قصير من أجل نتيجة أفضل بكثير.
الخلا تقوم بـ
فكر في التقطيع التقليدي كآلة مصنع تقطع كل شيء إلى نفس الحجم. أما QASC فهو يشبه أمين مكتبة شخصي يستمع إلى طلبك المحدد، ويجد الصفحات التي تحتاجها بالضبط، ويسلمك كتيباً مثالياً وذا صلة.
تثبت الورقة أنه من خلال السماي بسؤال المستخدم يحدد كيفية قطع المستند، بدلاً من القطع أولاً ثم السؤال لاحقاً، نحصل على إجابات أفضل بكثير، وأكثر دقة، وأكثر فائدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.