Adaptive Chunking: Optimizing Chunking-Method Selection for RAG
تقدم هذه الورقة البحثية "التقطيع التكيفي" (Adaptive Chunking)، وهو إطار عمل يعمل على تحسين أداء التوليد المعزز بالاسترجاع (RAG) من خلال الاختيار الديناميكي لأفضل استراتيجية تقطيع لكل مستند بناءً على خمسة مقاييس جوهرية مبتكرة، محققاً تحسينات كبيرة في صحة الإجابات ومعدلات النجاح عبر مجالات متنوعة دون تغيير النماذج الأساسية أو المطالبات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم طالب عبقري ولكنه نسيّ قليلاً (وهو الذكاء الاصطناعي) كيفية الإجابة على أسئلة حول مكتبة ضخمة من الكتب. المشكلة ليست في أن الطالب غبي، بل في أن الكتب كبيرة جداً بحيث لا يمكن قراءتها دفعة واحدة. لذا، عليك تقطيع هذه الكتب إلى "قطع" أصغر لتسليمها للطالب.
تجادل ورقة "التقطيع التكيفي" (Adaptive Chunking) بأن أمناء المكتبات لسنوات طويلة استخدموا مقصاً واحداً "يناسب الجميع". فقد كانوا يقطعون كل كتاب إلى قطع مكونة من 500 كلمة، بغض النظر عما إذا كان الكتاب عقداً قانونياً، أو دليلاً تقنياً، أو رواية.
أحياناً ينجح هذا الأمر، ولكن في كثير من الأحيان، يكون كارثياً. قد تقطع جملة في منتصفها، فتفصل "هو" عن الشخص الذي يعود عليه الضمير. أو قد تقطع جدولاً إلى نصفين، فتترك النصف العلوي في كومة والنصف السفلي في كومة أخرى. يصاب الطالب بالارتباك، وتكون الإجابات خاطئة، ويفشل النظام بأك ولادة.
إليك حل الورقة البحثية، موضحاً ببساطة:
1. المشكلة: نهج "المقص الأعمى"
تقوم أنظمة الذكاء الاصطناعي الحالية عادةً بتقطيع المستندات باستخدام قواعد جامدة (مثل "اقطع كل 500 كلمة").
- التشبيه: تخيل أنك تحاول تقطيع بيتزا. إذا قمت بتقطيعها إلى مربعات مثالية دون النظر إلى مكان قطع الببروني، فقد ينتهي بك الأمر بقطعة لا تحتوي على جبن، وقطعة أخرى تحتوي على ثلاث قطع ببروني.
- النتيجة: يفقد الذكاء الاصطناعي "السياق". فهو يرى قطعة من النص لكنه لا يعرف عما تتحدث لأن القرائن المحيطة بها قد قُطعت بعيداً.
2. الحل: "الخياط الذكي" (التقطيع التكيفي)
يقترح المؤلفون نظاماً جديداً يسمى التقطيع التكيفي (Adaptive Chunking). فبدلاً من استخدام مقص واحد لكل المكتبة، يعمل هذا النظام مثل خياط ذكي.
قبل قص المستند، ينظر الخياط إلى القماش (المستند) ويتساءل:
- "هل هذا عقد قانوني ببنود صارمة؟" (يقطع عند فواصل المواد).
- "هل هذا دليل تقني يحتوي على جداول كبيرة؟" (يبقي الجداول كاملة).
- "هل هذه قصة ذات فقرات طويلة؟" (يقطع عند نهايات الفقرات).
يختار النظام أفضل استراتيجية قص لكل مستند على حدٍ بشكل تلقائي.
3. "فحوصات الجودة" الخمسة (المقاييس)
كيف يعرف الخياط أن القطعة جيدة؟ يستخدمون خمسة "أمتار" محددة لقياس جودة القطع. فكر في هذه الأمتار كقائمة مراجعة لقطعة أحجية (بازل) مثالية:
- اكتمال المراجع (RC): هل قطعنا الضمائر؟
- التشبيه: إذا كان النص يقول "الملك"، والقطعة التالية تبدأ بـ "هو"، فهذا سيء. يجب أن تبقى "هو" مع "الملك". هذا المقياس يتحقق مما إذا كنا قد فصلنا شخصاً عن اسمه.
- التماسك داخل القطعة (ICC): هل القطعة تدور حول شيء واحد؟
- التشبيه: لا ينبغي أن تكون القطعة مثل سلطة خلطت فيها التفاح مع الصخور والإطارات. يجب أن تكون وعاءً يحتوي على التفاح فقط. هذا المقياس يتحقق مما إذا كانت القطعة تلتزم بموضوع واحد.
- التماسك السياقي للمستند (DCC): هل تتناسب القطعة مع جيرانها؟
- التشبيه: حتى لو كانت القطعة عن التفاح، هل تبدو منطقية إذا قرأت القطعة التي سبقتها مباشرة؟ هذا يضمن عدم انقطاع تدفق القصة.
- سلامة الكتل (BI): هل كسرنا الأثاث؟
- التشبيه: إذا كان لديك صورة أو جدول، فلا يمكنك قطعه في المنتصف. هذا المقياس يضمن بقاء الجداول والصور والعناوين كاملة.
- الامتثال للحجم (SC): هل القطعة بالحجم المناسب؟
- التشبيه: إذا كانت القطعة صغيرة جداً، فهي مجرد ضجيج بلا فائدة. وإذا كانت كبيرة جداً، فسيشعر الطالب بالإرهاق. هذا يضمن أن كل قطعة تناسب "حقيبة ظهر" الطالب.
4. الأدوات الجديدة
لجعل هذا العمل ممكناً، بنى المؤلفون أداتين جديدتين للقص:
- مقسم الـ LLM-Regex: يسألون نموذج ذكاء اصطناعي أن ينظر إلى الصفحات الأولى من المستند ويقول: "مهلاً، ما هي أفضل طريقة لقص هذا الكتاب تحديداً؟". ثم يقوم الذكاء الاصطناعي بكتابة مجموعة مخصصة من التعليمات (نمط regex) لقص بقية الكتاب بشكل مثالي.
- مقسم "التقسيم ثم الدمج": تقوم هذه الأداة بتقطيع النص إلى قطع صغيرة أولاً، ثم تعيد لصقها معاً إذا كانت صغيرة جداً، لضمان عدم فقدان أي شيء أو أن يكون الشيء صغيراً جداً لدرجة عدم الفائدة.
5. النتائج: لماذا هذا مهم؟
عندما اختبروا ذلك على مستندات حقيقية (قانونية، تقنية، واجتماعية)، كانت النتائج مبهرة:
- إجابات أكثر صحة: حصل الذكاء الاصطناعي على الإجابة الصحيحة بنسبة 72% من الوقت، مقارنة بـ 62-64% بالطرق القديمة.
- أسئلة أكثر تمت الإجابة عليها: توقف النظام عن قول "لا أعرف" وبدأ بالفعل في الإجابة على 30% أكثر من الأسئلة.
- لا حاجة للسحر: لم يغيروا نموذج الذكاء الاصطناعي أو الأوامر (prompts) المستخدمة. لقد قاموا فقط بإصلاح طريقة تغذية المعلومات إليه.
الخلاصة
تعلمنا هذه الورقة أن طريقة تقديم المعلومات للذكاء الاصطناعي لا تقل أهمية عن الذكاء الاصطناعي نفسه.
من خلال التوقف عن نهج "النموذج الواحد الذي يناسب الجميع" واستخدام نظام تكيفي ذكي يحترم الهيكل الفريد لكل مستند، يمكننا بناء أنظمة ذكاء اصطناعي أكثر ذكاءً، وأكثر موثوقية، وتفهم حقاً ما تقرأه. إنه الفرق بين تسليم شخص ما جريدة ممزقة وبين تسليمه مجلة منظمة وسهلة القراءة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.