HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
تُعد HIRA نظام تعاقب استرجاعي محلي، لا يتطلب تدريباً، لتصنيف المستندات الخاضعة للتنظيم، حيث يجمع بين الاسترجاع متعدد الوسائط ومُحقِّق يعتمد على نموذج لغوي كبير مستضاف محلياً وتغذية راجعة من العنصر البشري في الحلقة، وذلك لتحقيق دقة عالية مع تقليل المراجعة البشرية إلى أدنى حد وإلغاء الحاجة إلى إعادة تدريب مكلفة للنماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عوالم المصارف والرعاية الصحية والقانون ذات المخاطر العالية، تُعد الوثائق هي العملة الأساسية للثقة. فكل طلب قرض، وسجل طبي، وعقد قانوني يجب أن يُصنف في الفئة الصحيحة لضمان الامتثال والسلامة والكفاءة. ولعقود من الزمن، كان النهج القياسي لحل مشكلة التصنيف هذه هو تعليم الكمبيوتر من خلال إظهار آلاف الأمثلة المصنفة له، وهي عملية تُعرف باسم "التدريب". ومع ذلك، يصطدم هذا الأسلوب بجدار مسدود في الصناعات المنظمة؛ فقواعد اللعبة صارمة: لا يمكن للوثائق الحساسة أن تغادر البيئة الآمنة التي أُنشئت فيها، مما يعني عدم إمكانية إرسالها إلى السحابة ليتم معالجتها بواسطة ذكاء اصطناعي قوي وبعيد. علاوة على ذلك، فإن الفئات المحددة المطلوبة لملفات داخلية في بنك ما غالبًا ما تكون فريدة وتتغير بشكل متكرر، مما يجعل من المستحيل جمع مجموعات البيانات الضخمة والموجودة مسبقًا المطلوبة لتدريب نموذج جديد من الصفر. وعندما يحاول بنك ما تحديث نظام التصنيف الخاص به، تكون العملية بطيئة ومكلفة للغاية لدرجة أنها تصبح غير عملية، مما يترك المؤسسات عالقة مع أدوات قديمة أو مضطرة للاعتماد على موظفين بشريين مكلفين لقراءة كل ملف.
لقد اقترح الباحثون شانغشوان تيان، يانهوي تشن، وكارلوس كويروز طريقًا مختلفًا للمضي قدمًا، وهو نظام يسمى HIRA، صُمم خصيصًا للتعامل مع هذه القيود الصارمة. فبدلاً من محاولة إعادة تدريب نموذج معقد في كل مرة يظهر فيها نوع جديد من الوثائق أو تتغير قاعدة ما، يعمل HIRA كأمين مكتبة منظم للغاية يتعلم من خلال الممارسة. يعمل النظام على مرحلتين: أولاً، يقوم بمسح وثيقة جديدة والبحث فورًا في ذاكرته الداخلية عن أمثلة مشابهة رآها من قبل؛ حيث يبحث في النص، والتنسيق، وحتى الشكل المرئي للصفحة لإيجاد أفضل المطابقات. إذا وجد النظام تطابقًا واضحًا، فإنه يصنف الوثيقة فورًا. أما إذا كانت الوثيقة مربكة أو تشبه عدة فئات مختلفة، فإن النظام لا يخمن؛ بل يحيل الملف إلى مرحلة ثانية أكثر دقة. تستخدم هذه المرحلة ذكاءً اصطناعيًا قويًا مستضافًا محليًا لمراجعة الوثيقة جنبًا إلى جنب مع أفضل الأمثلة التي وجدها النظام، وتطلب منه اتخاذ قرار نهائي. وإذا ظل النظام في هذه المرحلة الثانية غير متأكد، تُرسل الوثيقة إلى خبير بشري للتصحيح.
يكمن الابتكار الحقيقي فيما يحدث بعد هذا التصحيح البشري. ففي الأنظمة التقليدية، يكون تصحيح الإنسان للخطأ مجرد إصلاح لمرة واحدة. أما في HIRA، فإن كل تصحيح يصبح درسًا دائمًا. فعندما يصحح إنسان خطأً ما، يحفظ النظام هذا المثال في ذاكرته بـ "وزن" خاص، مما يجعله أكثر عرضة للتعرف عليه في المرة القادمة التي تصل فيها وثيقة مشابهة. كما يقوم بتحديث "خريطة الارتباك"، حيث يتعلم بالضبط الفئات التي تميل إلى الاختلاط ببعضها البعض وما هي الكلمات أو السمات المرئية المحددة التي تميز بينها. وهذا يسمح للنظام بتحسين دقته بمرور الوقت دون الحاجة أبدًا إلى إعادة تدريب برمجياته الأساسية أو تحديث أوزانه الرياضية الأساسية. يصبح النظام أكثر ذكاءً ببساطة من خلال تذكر أخطائه والتفاصيل المحددة التي حسمت تلك الأخطاء.
اختبر الباحثون هذا النهج على مجموعتين مختلفتين تمامًا من البيانات. كانت الأولى عبارة عن معيار عام يتكون من 2,737 وثيقة تتراوح بين الرسائل والتقارير العلمية. وفي هذه المجموعة، بدأ النظام بعدد صغير من الأمثلة وعالج تدفقًا من الوثائق الجديدة. ومن خلال طلب تصحيحات بشرية لما يقرب من ربع الملفات الواردة فقط، ارتفعت دقة النظام لتطابق أداء "أوراكل" (عراف) افتراضي كان قد رأى كل وثيقة مع تسميتها الصحيحة منذ البداية. وكان هذا قفزة كبيرة، حيث تفوق على ذكاء اصطناعي قياسي حاول التخمين دون أي مساعدة بفارق كبير، مع استخدام موارد حاسوبية أقل بكثير. وقد نجح النظام في إرسال حوالي 40% فقط من الوثائق إلى مرحلة الذكاء الاصطناعي الثانية الأكثر تكلفة، ونسبة أقل حتى إلى المراجعين البشريين، مما أثبت قدرته على تصفية الحالات السهلة بكفاءة.
أما الاختبار الثاني فكان تحديًا واقعيًا يتضمن مجموعة خاصة من 30,233 وثيقة تمويل تجاري من بنك كبير. كانت هذه البيئة أصعب بكثير، مع وجود 80 فئة مختلفة، العديد منها يكاد يكون متطابقًا مع بعضه البعض، مثل أنواع مختلفة من الفواتير أو الشهادات. كانت البيانات منحازة بشدة، حيث توجد فئات تحتوي على آلاف الأمثلة وأخرى تحتوي على عدد قليل جدًا. ورغم هذه الصعوبات، عالج النظام تدفق الوثائق بالكامل وطلب من العمال البشريين تصحيح 1,945 منها فقط، وهو ما يمثل 6.4% فقط من الإجمالي. كان هذا القدر الصغير من الجهد البشري كافيًا لرفع دقة النظام من مستوى متواضع إلى مستوى موثوق للغاية. ووجد الباحثون أنه مع تعلم النظام من هذه التصحيحات، انخفض عدد الوثائق التي تحتاج إلى مراجعة بشرية بشكل حاد، واستقر عند معدل منخفض مع نمو ذاكرة النظام.
يُظهر هذا العمل أنه في الصناعات المنظمة، لا يتطلب الطريق إلى الدقة العالية بالضرورة مجموعات بيانات ضخمة أو إعادة تدريب مستمرة للبرمجيات. فمن خلال الجمع بين آلية بحث ذكية وذكاء اصطناعي محلي وحلقة تغذية راجعة تتعلم من التصحيحات البشرية، من الممكن بناء نظام يتكيف مع الوثائق الجديدة والقواعد المتغيرة من تلقاء نفسه. يحترم النظام المتطلب الصارم المتمثل في عدم مغادرة البيانات للبيئة الآمنة، ومع ذلك يحقق مستويات أداء تضاهي الأنظمة التي تم تدريبها على كميات هائلة من البيانات. وتشير النتائج إلى أنه بالنسبة للصناعات التي تكون فيها خصوصية البيانات والامتثال أمرًا بالغ الأهمية، فإن النظام الذي يتعلم بشكل انتقائي ويتذكر تصحيحاته يعد بديلًا عمليًا وقويًا للطرق التقليدية لتدريب الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.