Hierarchical Reranking for Scalable Financial RAG System
تقدم هذه الورقة البحثية "Hierarchical Reranker"، وهو إطار عمل قابل للتوسع للجيل التالي من التوليد المعزز بالاسترجاع (RAG)، يدمج بين تحسين ما قبل الاسترجاع، وآلية ترتيب ثنائية المراحل، وإدارة السياق الطويل لتعزيز دقة الاسترجاع والاتساق الواقعي بشكل كبير في تحليل الوثائق المالية المعقدة، كما يتضح من أدائه المتفوق في تحدي FinanceRAG التابع لمؤتمر ACM-ICAIF '24.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز ما، ولكن بدلاً من مسرح جريمة واحد، تم تسليمك مكتبة تحتوي على ملايين الكتب، كل منها مليء بآلاف الصفحات من النصوص الصغيرة والمربكة والرسوم البيانية المعقدة. هذا هو الواقع اليومي للمحللين الماليين الذين يحتاجون لقراءة وثائق مثل تقارير (10-K) (وهي تقارير ضخمة تقدمها الشركات إلى الحكومة) للعثور على أرقام أو حقائق محددة. في عالم الذكاء الاصطناوي، هناك أداة تسمى RAG (الاسترجاع المعزز بالتوليد)، وهي تعمل كأمين مكتبة فائق الذكاء. فهي لا تكتفي بقراءة الكتب فحسب، بل تبحث فيها لتجد الصفحات الدقيقة التي تحتاجها، ثم تكتب ملخصاً بناءً فقط على ما وجدته. ومع ذلك، فإن أمناء المكتبة التقليديين غالباً ما يشعرون بالارتباك بسبب الحجم الهائل لهذه المكتبات المالية، أو يرتبكون من مزيج الكلمات والأرقام، أو يخترعون حقائق عندما تكون الوثائق طويلة جداً. تتناول هذه الورقة مشكلة كيفية بناء أمين مكتبة سريع، ودقيق، ولا يضيع في التفاصيل عندما يصبح حجم العمل ضخماً.
يقترح مؤلفا هذه الورقة، جوهيون لي وسونغ وو هونج، نظاماً جديداً يسمى المعيد للترتيب الهرمي (Hierarchical Reranker). فكر في هذا النظام كعملية توظيف من خطوتين لفريق من المحققين. فبدلاً من توظيف محقق واحد ضخم ومكلف وبطيء لقراءة كل صفحة في كتاب مكون من 100,000 صفحة، يستخدم هذا النظام استراتيجية "الفريق الصغير والكبير". أولاً، يقوم محقق سريع وخفيف الوزن (نموذج ذكاء اصطناعي صغير) بمسح المكتبة بأكملها بسرعة واستبعاد الصفحات غير ذات الصلة بوضوح، مما يقلص الكومة إلى أفضل 100 صفحة واعدة. بعد ذلك، يأخذ محقق خبير، ماهر وقوي (نموذج ذكاء اصطناعي كبير وقوي) نظرة عميقة ودقيقة على تلك الـ 100 صفحة فقط ليختار أفضل 20 صفحة حقيقية تجيب على السؤال. يوفر هذا النهج الوقت والمال لأن الخبير المكلف يقوم بالعمل الشاق فقط على المرشحين الأكثر احتمالاً، بدلاً من إضاعة الطاقة على المكتبة بأكملها.
لكن العثور على الصفحات الصحيحة ليس سوى نصف المعركة. تقدم الورقة أيضاً طريقة ذكية للتعامل مع الوثائق قبل أن يبدأ المحققون في البحث. فالوثائق المالية فوضوية؛ فهي تستخدم اختصارات مثل "YoY" (السنوي) أو "EPS" (ربحية السهم)، وتخلط بين فقرات النص وجداول الأرقام الضخمة. تتمثل الخطوة الأولى للنظام في "تنظيف" الاستعلام والوثائق. فهو يحول تلك الاختصارات المربكة إلى كلمات كاملة، ويوحد الوحدات (بحيث تبدو "1M" و"1,000,000" متشابهة)، والأهم من ذلك، يحول تلك الجداول الفوضوية إلى تنسيق مهيكل يسمى JSON. هذا يشبه تحويل جدول بيانات مكتوب بخط اليد إلى قاعدة بيانات رقمية حتى لا يرتبك الذكاء الاصطناعي بشأن الرقم الذي ينتمي إلى أي فئة. ومن خلال القيام بهذا "التنظيف المسبق"، يضمن النظام أن يفهم الذكاء الاصطناعي السؤال والأدلة بشكل مثالي قبل أن يبدأ البحث.
الحيلة الكبرى الثالثة التي استخدمها المؤلفون هي استراتيجية للتعامل مع الوثائق الطويلة جداً بحيث لا يمكن أن تتسع في ذاكرة الذكاء الاصطناعي دفعة واحدة. فعلى الرغم من أن نماذج الذكاء الاصطناعي الحديثة تدعي قدرتها على قراءة كميات هائلة من النصوص، إلا أن الورقة وجدت أنه عندما يتجاوز النص حداً معيناً (تحديداً 64,000 توكن، وهو مقياس لطول النص)، يبدأ الذكاء الاصطناعي في ارتكاب الأخطاء، خاصة فيما يتعلق بالأرقام. ولحل هذه المشكلة، يعمل النظام مثل طباخ يجهز مأدبة ضخمة. فبدلاً من محاولة أكل الوجبة بأكملها دفعة واحدة، يقوم بتقطيع الوثيقة الطويلة إلى قطعتين أصغر وأسهل في الإدارة. يطلب من الذكاء الاصطناعي تحليل القطعة الأولى وكتابة مسودة إجابة، ثم يحلل القطعة الثانية ويكتب مسودة أخرى. أخيراً، تقوم خطوة "الدمج" بدمج هاتين المسودتين في إجابة نهائية واحدة، مع التحقق من توافقهما وحل أي تعارضات بينهما. هذا يضمن أنه حتى لو كان التقرير ضخماً ويبلغ 100,000 صفحة، فلن يفقد الذكاء الاصطناعي تتبع الحقائق.
عندما اختبر الباحثون نظامهم على عدة معايير مالية شهيرة (مثل FinQA وFinanceBench)، كانت النتائج مبهرة. حقق النظام درجة 0.7918 في مقياس يسمى NDCG@20، والذي يقيس مدى جودة قيام النظام بترتيب المعلومات الصحيحة في مقدمة قائمته. كانت هذه الدرجة أفضل بكثير من الأنظمة التي لم تستخدم طرق التنظيف وإعادة الترتيب ثنائية الخطوات الخاصة بها. في الواقع، كان هذا النهج فعالاً للغاية لدرجة أنه ساعد الفريق في الحصول على المركز الثاني في تحدي ACM-ICAIF '24 FinanceRAG، وهي مسابقة مصممة لاختبار مدى قدرة الذكاء الاصطناعي على التعامل مع البيانات المالية. تشير الورقة إلى أنه من خلال الجمع بين هذه الابتكارات الثلاثة — تنظيف البيانات، واستخدام فريق تحقيق ثنائي الخطوات، وتقطيع الوثائق الطويلة بذكاء — يمكن للمؤسسات المالية الآن بناء أنظمة ذكاء اصطناعي ليست ذكية فحسب، بل موثوقة أيضاً بما يكفي لاستخدامها في مهام العالم الحقيقي مثل التدقيق والتحليل الاستثماري، دون أن يقوم الذكاء الاصطناعي بتأليف حقائق أو يضيع في الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.