LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding
تقترح الورقة البحثية إطار عمل LFRAG، وهو إطار عمل مبتكر يعزز التوليد المعزز بالاسترجاع متعدد الوسائط من خلال الانتقال من الاسترجاع على مستوى الصفحة خشن الحبيبات إلى الاسترجاق على مستوى الكتلة دقيق الحبيبات باستخدام التجزئة المدركة للتخطيط والدمج الدلالي-التخطيطي، محققاً أداءً هو الأفضل في فئته ومكاسب كفاءة كبيرة على معيار LFDocQA المستحدث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على جملة محددة في مكتبة ضخمة من الكتب، ولكن بدلاً من قراءة النص، أنت تنظر إلى صور للصفحات.
الطريقة القديمة: مشكلة "الصفحة الكاملة"
تعمل معظم أنظمة الذكاء الاصطيعي التي تساعدك في البحث عن المعلومات في المستندات حالياً مثل أمين مكتبة أخرق. فعندما تطرح سؤالاً، يقوم بسحب صفحة كاملة من الرف ويقدمها لك.
- المشكلة: إذا سألت عن رسم بياني صغير في منتصف صفحة مكونة من 300 كلمة، فإن الذكاء الاصطناعي يعطيك الصفحة بأكملها. ستضطر الآن للبحث وسط 290 كلمة غير ذات صلة لتجد الجملة الوحيدة التي تحتاجها. هذا الأمر بطيء، ويهدر طاقة الكمبيوتر، وغالباً ما يربك الذكاء الاصطناعي، مما يجعله "يهلوس" (يختلق أشياءً من عنده) لأنه ينظر إلى الكثير من الضجيج المحيط به.
- التشبيه: يشبه الأمر أن تسأل صديقك: "كيف حال الطقس؟"، فيعطيك الصحيفة بأكملها، بما في ذلك القسم الرياضي، والقصص المصورة، وسوق الأوراق المالية، لمجرد أن تقرير الطقس موجود في الصفحة الرابعة.
الحل الجديد: نظام LFRAG ("المقص الذكي")
تقدم الورقة بحثاً نظاماً جديداً يسمى LFRAG (التوليد المعزز بالاسترجاع الدقيق الموجه بالتخطيط). فكر في LFRAG كأنه أمين مكتبة يحمل مقصاً ذكياً وفهماً عميقاً لكيفية تنظيم الصفحة.
١. تقطيع الصفحة إلى "كتل دلالية":
بدلاً من تقديم الصفحة كاملة لك، ينظر LFRAG أولاً إلى تخطيط المستند (أين توجد العناوين والجداول والصور). ثم يقوم بتقطيع الصفحة إلى "كتل" منطقية.
- التشبيه: تخيل بيتزا. الطريقة القديمة تعطيك البيتزا كاملة. أما LFRAG فيقطع البيتزا إلى شرائح بناءً على الإضافات الموجودة عليها. إذا كنت تريد الببروني فقط، فسيعطيك شريحة الببروني فحسب، وليس البيتزا كاملة مع العجين والجبن الذي لا تحتاجه.
٢. فهم "الجوار":
في بعض الأحيان، قد تكون الصورة والوصف الخاص بها عبارة عن قطعتين منفصلتين من الورق، لكنهما ينتميان لبعضهما البعض. يتميز LFRF بذكاء يسمح له بلصق هذه القطع المرتبطة قبل عملية التقطيع. فهو يعرف أن "الشكل التوضيلي" والنص الموجود أسفله مباشرة هما وحدة واحدة.
- التشبيه: هو يعرف أن "العنوان" و"الفقرة" الموجودة تحته هما بمثابة عائلة واحدة، لذا يحتفظ بهما معاً في كتلة واحدة، بدلاً من فصلهما عن بعضهما.
٣. البحث عبر "التفاعل المتأخر":
عندما تطرح سؤالاً، لا يبحث LFRG في الكلمات فحسب؛ بل ينظر أيضاً إلى شكل وبنية المستند. إنه يطابق سؤالك مع "الشريحة" المحددة التي تحتوي على الإجابة.
- التشبيه: بدلاً من الصراخ بسؤالك في المكتبة بأكملها، فإنه يهمس بالسؤال مباشرة لشريحة البيتزا المحددة التي تحتوي على الإجابة.
النتائج: أسرع، أذكى، وأقل تكلفة
اختبر المؤلفون هذا النظام الجديد على مجموعة بيانات جديدة وضخمة بنوها (تسمى LFDocQA)، وهي تشبه مكتبة ضخمة من المستندات حيث تم تحديد الإجابات "المقتطعة" بواسطة بشر.
- الدقة: وجد LFRAG المعلومات الصحيحة بشكل أفضل بكثير من طرق "الصفحة الكاملة" القديمة. كان الأمر يشبه العثور على إبرة في كومة قش دون الحاجة إلى الحفر في كومة القش بأكملها.
- الكفاءة: نظرًا لأنه يرسل فقط "الشرائح" الصغيرة ذات الصلة إلى الذكاء الاصطناعي الذي يكتب الإجابة، فإنه يستخدم قدرة حاسوبية أقل (٧٣٪ أقل من الرموز/Tokens) وينتج إجابات بسرعة أكبر بمقدار ٣.٦ مرة.
- الجودة: كانت الإجابات أكثر دقة لأن الذكاء الاصطناعي لم يتشتت بالنصوص غير ذات الصلة.
باختصار
يغير LFRAG قواعد اللعبة من "أعطني الصفحة كاملة" إلى "أعطني الفقرة أو الرسم البياني المحدد". ومن خلال احترام التخطيط البصري للمستندات وتقطيعها إلى قطع ذات معنى، يجعل LFRAG قراءة الذكاء الاصطناعي أسرع، وأرخص، وأكثر دقة بكثير، دون أن يضيع في ضجيج الصفحة الكاملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.