CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs
تقدم هذه الورقة البحثية CTRAG، وهو إطار عمل جديد للجيل المعزز بالاسترجاع (RAG) يستفيد من التقطيع التكيفي، والاسترجاع الديناميكي، والتعلم في السياق لأتمتة وتحسين دقة التحقق من الامتثال التنظيمي بشكل كبير من خلال الربط المرجعي بين أسئلة الضوابط ووثائق الشركة، كما تم إثباته من خلال نشر ناجح في الواقع العملي لدى إحدى شركات الخدمات المهنية الأربع الكبرى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مسرح جريمة، فإن "جريمتك" هي شركة تخرق القواعد. في عالم الأعمال، هناك آلاف القواعد — مثل كتاب قواعد ضخم وغير مرئي لكيفية التعامل مع الأموال، أو حماية الأسرار، أو الحفاظ على سلامة البيانات. إن التحقق مما إذا كانت الشركة تتبع هذه القواعد يسمى "الامتثال". تقليديًا، تقع هذه المهمة على عاتق المدققين البشريين الذين يتعين عليهم قراءة جبال من الأوراق الفوضوية، بحثًا عن أدلة صغيرة تثبت أن الشركة تلتزم بالقواعد. إنها عملية بطيئة ومملة، والبشر يصابون بالتعب، مما يعني أنهم قد يغفلون عن بعض الأدلة أو يصابون بالارتباك.
هنا يدخل عالم الذكاء الاصطناعي، وتحديدًا نوع من الأدمغة الحاسوبية الذكية يسمى "النماذج اللغوية الكبيرة" (LLM). فكر في النموذج اللغوي الكبير كقارئ فائق السرعة قرأ كل شيء تقريبًا في العالم ويمكنه التحدث مثل البشر. ومع ذلك، هناك عقبة: هذه الأدمغة الذكية قد تصنع أشياء من خيالها أحيانًا (ما يسمى بـ "الهلوسة") أو تنسى حقائق محددة لأنها تعتمد على ما حفظته بدلاً مما هو موجود أمامها. ولإصلاح ذلك، يستخدم العلماء حيلة تسمى "التوليد المعزز بالاسترجاع" (RAG). تخيل أنك تعطي المحقق مصباحًا يدويًا ومجموعة من الملفات المحددة للبحث فيها قبل أن يكتب تقريره. يبحث الذكاء الاصطناعي عن الحقائق في المستندات أولاً، ثم يستخدم دماغه لكتابة الإجابة. يستكشف هذا البحث كيفية جعل عملية البحث بالمصباح اليدوي والتقرير النهائي مثالية قدر الإمكان للتحقق مما إذا كانت الشركات تتبع القواعد.
أدوات المحقق الجديدة: CTRAG
قام الباحثون وراء هذا البحث، بالتعاون مع شركة خدمات مهنية كبرى، ببناء نظام جديد يسمى CTRAG. فكر في CTRAG كأنه محقق امتثال عالي التقنية مصمم لأتمتة المهمة المملة والمستهلكة للوقت المتمثلة في التحقق مما إذا كانت الشركة تتبع القواعد. وبدلاً من أن يقضي الإنسان ساعات في تقليب ملفات PDF، يقوم CTRAG بأخذ القواعد (المكتوبة في شكل أسئلة) ويبحث عبر مستندات الشركة للعثور على الإجابات.
كان الهدف الرئيسي للبحث هو معرفة الطريقة الأفضل لتعليم محقق الذكاء الاصطناعي هذا كيفية البحث. لقد اختبروا استراتيجيات مختلفة لمعرفة أي منها يساعد الذكاء الاصطناعي على العث0 على الأدلة الصحيحة دون أن يتشتت بالضجيج غير ذي الصلة.
لغز "التقطيع": كيف تقطع الفطيرة؟
أحد أكبر التحديات كان كيفية تقسيم مستندات الشركة. تخيل أن لديك رواية مكونة من 500 صفحة وتحتاج إلى إيجاد جملة محددة. إذا قطعت الكتاب إلى قطع صغيرة بطول 200 حرف (مثل قطع الصفحة إلى طوابع بريدية)، فقد تفقد سياق القصة. وإذا قطعت الكتاب إلى قطع ضخمة بطول 3000 حرف (مثل قطع الكتاب بأكمله إلى نصفين)، فقد تحصل على الكثير من النص الإضافي بحيث تضيع المعلومة المحددة وسط بحر من الكلمات.
اختبر الفريق "أحجام قطع" مختلفة (مدى كبر قطع النص):
- قطع صغيرة جدًا (200 حرف): كانت صغيرة جدًا ومجزأة. ارتبك الذكاء الاصطناعي لأنه لم يستطع رؤية الصورة الكاملة.
- قطع ضخمة (3000 حرف): كانت فوضوية للغاية. غرق الذكاء الاصطناعي في الكثير من المعلومات، مثل محاولة العثيد إبرة في كومة قش حيث تكون كومة القش مشتعلة.
- النقطة المثالية: وجدوا أن القطع الصغيرة (حوالي 800 حرف) كانت تعمل بشكل أفضل. كان الأمر يشبه تقطيع الكتاب إلى فقرات يمكن إدارتها. كان هذا الحجم مناسبًا تمامًا للحفاظ على وضوح السياق دون إغراق الذكاء الاصطناعي بالضجيج.
جربوا أيضًا طريقة متطورة تسمى "التقطيع الوصفي" (Meta-chunking)، والتي تحاول تقطيع النص بناءً على فواصل منطقية للقصة بدلاً من مجرد القطع عند عدد معين من الحروف. ورغم أن هذا بدا ذكيًا، إلا أنه تبين أنه بطيء ومكلف حاسوبيًا لهذه المهمة المحددة، لذا تمسكوا بالتقطيع الثابت والأبسط.
إعدادات "المصباح اليدوي": كم عدد الملفات التي يجب فحصها؟
عندما يطرح الذكاء الاصطناعي سؤالًا، فإنه يحتاج إلى تحديد عدد مقتطفات المستندات التي يسحبها للإجابة. وهذا ما يسمى بـ قيمة K (أو top-K).
- إذا نظر الذكاء الاصطناعي إلى مقتطف واحد فقط، فقد يفقد الإجابة إذا كانت مختبئة في الملف الثاني.
- إذا نظر إلى 5 مقتطفات، فقد يرتبك بسبب التفاصيل الإضافية غير ذات الصلة.
- وجد الباحثون أن النظر في 4 مقتطفات (K=4) كان التوازن المثالي. فقد أعطى الذكاء الاصطناعي ما يكفي من الأدلة لاتخاذ قرار دون أن يتشتت.
تعليم الذكاء الاصطناعي ليفكر كالبشر
جاء الاختراق الأكبر من تقنية تسمى التعلم في السياق (ICL). تخيل أنك تعلم متدربًا جديدًا كيفية حل قضية. أنت لا تقول له فقط "ابحث عن القاعدة"؛ بل تريه أمثلة: "إليك حالة استخدمت فيها شركة مزود خدمة سحابية، وإليك سبب اعتبار ذلك 'نجاحًا' رغم أن الشركة لم تقم بالعمل بنفسها".
عانى الذكاء الاصطناعي مع "الامتثال غير المباشر" — وهي الحالات التي تتبع فيها الشركة قاعدة لأن مورّدها (مثل مزود الخدمة السحابية) يتبعها. بدون مساعدة، كان الذكاء الاصطناعي سيقول "فشل" لأن الشركة لم تقم بالعمل مباشرة. ولكن من خلال تغذية الذكاء الاصطناعي ببعض الأمثلة المختارة بعناية (مثل ورقة مرجعية لحالات سابقة)، تعلم الذكاء الاصطناعي محاكاة الحكم البشري. أدرك قائلاً: "آه، إذا كان المورد ممتثلًا، فهذا يعتبر امتثالًا لنا أيضًا!"
النتائج: أسرع، أذكى، وأكثر دقة
عندما وضعوا CTRAG تحت الاختبار في سيناريو واقعي مع إحدى شركات الخدمات المهنية الأربع الكبرى (Big Four)، كانت النتائج مبهرة:
- الدقة: حقق النظام درجة F1 بنسبة 78% واستدعاءً (Recall) بنسبة 85%. بلغة المحققين، هذا يعني أنه وجد 85% من حالات خرق القواعد الفعلية ولم يفت الكثير منها.
- الكفاءة: قلل النظام العمل اليدوي للمراجعين البشريين بنسبة 60% تقريبًا.
- إصلاح "عدم وجود دليل": كانت هناك مشكلة شائكة وهي عندما لا يجد الذكاء الاصطناعي أي معلومات في المستندات. وبدلاً من التخمين، تمت برمجة النظام لاعتبار "عدم وجود دليل" بمثابة "غير ممتثل". المنطق بسيط: إذا لم تستطع إثبات اتباعك للقاعدة في مستنداتك، فمن المحتمل أنك لم تتبعها. ومن خلال إعادة تصنيف حالات "عدم وجود دليل" هذه كحالات فشل، نجح النظام في رصد العديد من مخالفي القواعد المحتملين الذين كان سيفوتهم لولا ذلك. سمحت هذه الخطوة الحاسمة للنظام بتحقيق معدل استدعاء مرتفع قدره 85% دون الحاجة لإعادة تدريب الذكاء الاصطناعي.
ما تم استبعاده
كان البحث واضحًا جدًا بشأن ما لم ينجح:
- القطع الصغيرة (200 حرف) كانت فكرة سيئة؛ فقد كسرت السياق كثيرًا.
- القطع الضخمة (3000 حرف) والتقطيع الوصفي (Meta-chunking) كانا إما مليئين بالضجيج أو بطيئين للغاية ليكونوا عمليين لهذه المهمة المحددة.
- التوجيه المباشر (Direct prompting) (مجرد سؤال الذكاء الاصطناعي دون أمثلة) لم يكن كافيًا للحالات المعقدة المتعلقة بالأطراف الثالثة (الموردين).
الخلاصة
يشير المؤلفون إلى أن CTRAG أداة قوية لتسهيل عمليات التحقق من الامتثال، لكنهم حذرون من تسميتها "مشكلة محلولة". ويشيرون إلى أن اختباراتهم استندت إلى 240 قاعدة و45 مستندًا من منظمة واحدة. وبينما تبدو النتائج واعدة وتشير إلى أن هذا النهج يمكن أن يتوسع ليشمل شركات ومهام أخرى (مثل فحص العقود)، إلا أن هناك حاجة لمزيد من الاختبارات عبر صناعات مختلفة للتأكد من نجاحه في كل مكان.
باختصار، يظهر CTRAG أنه من خلال تزويد الذكاء الاصطناعي بـ "القطع" المناسبة من المعلومات، وعدد "أشعة المصباح" الصحيح، وبعض أمثلة "الورقة المرجعية"، يمكننا بناء نظام يساعد البشر على التحقق من القواعد بشكل أسرع وبأخطاء أقل. إنه ليس سحرًا، ولكنه طريقة ذكية جدًا لاستخدام التكنولوجيا للحفاظ على نزاهة عالم الشركات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.