From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

في عالم الصناعة الحديث، تواجه الشركات جبلًا متزايدًا من القواعد المصممة لحماية الكوكب وخصوصية الناس. ولإثبات التزامهم بهذه القواعد، يجب على الشركات إنشاء وثائق محددة، تُسمى غالبًا "وثائق الامتثال". فكر في هذه الوثائق كتقارير مفصلة تعمل بمثابة جواز سفر لمنتج ما أو تدقيق سلامة لنظام حاسوبي. تتطلب إحدى القواعد الأوروبية الرئيسية وجود جواز سفر رقمي لكل بطارية تُباع، يوضح بدقة ماهية المواد الموجودة بداخلها وكيفية إعادة تدويرها. وتتطلب قاعدة أخرى إجراء تقييم للمخاطر لأي نظام يتعامل مع البيانات الشخصية، لضمان أمن المعلومات الخاصة بالناس. إن إنشاء هذه الوثائق يدويًا أمر صعب لأن البيانات المطللة منتشرة عبر العديد من الأنظمة الحاسوبية المختلفة وتأتي بتنسيقات غير متسقة وفوضوية. ومع صراع الشركات مع هذه الأوراق، لجأت إلى الذكاء الاصطناعي، وتحديدًا النماذج اللغوية الكبيرة، لكتابة هذه التقارير نيابة عنها. هذه البرامج الحاسوبية بارعة في قراءة النصوص وتوليد محتوى جديد، ولكن لا يزال من غير الواضح ما إذا كان يمكن الوثوق بها لاتباع تعليمات قانونية صارمة دون اختلاق معلومات أو إغفال تفاصيل حاسمة.

لقد وضع فريق من الباحثين هدفًا لاختبار مدى كفاءة أدوات الذكاء الاصطناعي هذه عند مطالبتها بكتابة هذه التقارير الإلزامية. وقد ركزوا على نوعين مختلفين تمامًا من الوثائق لمعرفة ما إذا كانت طبيعة التعليمات تغير النتيجة. كان النوع الأول هو "جواز سفر البطارية الرقمي"، وهو وثيقة ذات هيكل واضح وصارم حدده المنظمون. والثاني كان "تقييم أثر حماية البيانات"، وهو وثيقة مطلوبة لقوانين الخصوصية وتتسم بكونها أكثر انفتاحًا وعمومية في تعليماتها. قام الباحثون بتغذية خمسة نماذج مختلفة من الذكاء الاصطناعي بسلسلة من المهام. وفي بعض الحالات، أعطوا النماذج تعليمات بسيطة وموجزة لكتابة التقرير. وفي حالات أخرى، قدموا لهم دليلًا طويلًا ومفصلاً يشرح بالضبط المعلومات المطلوبة وكيفية تنسيقها. وأجروا هذه الاختبارات عدة مرات لمعرفة ما إذا كانت النماذج ستنتج نفس النتيجة في كل مرة، ثم تحققوا مما إذا كانت التقارير المولدة تحتوي على جميع المعلومات المطلوبة قانونًا.

كشفت النتائج عن انقسام حاد في كيفية تعامل النماذج مع نوعي الوثائق. فعندما طُلب منها إنشاء جواز سفر البطارية الرقمي، كانت أنظمة الذكاء الاصطناعي متسقة بشكل ملحوظ. ولأن القواعد الخاصة بهذه الوثيقة كانت محددة للغاية، فقد أنتجت النماذج مخرجات متطابقة تقريبًا بغض النظر عما إذا كانت التعليمات قصيرة أم طويلة. لقد نجحت في استخراج البيانات اللازمة حول مواد البطارية وتنسيقها بشكل صحيح في كل مرة تقريبًا. ومع ذلك، تغيرت القصة تمامًا عندما تصدت النماذج لتقييم أثر حماية البيانات. ففي هذه الحالة، أدى غياب الهيكل الصارم إلى معاناة النماذج في الحفاظ على الاتساق. فعندما كانت تُعطى نص اللائحة الأساسي فقط دون توجيه إضافي، غالبًا ما أنتجت النماذج تقارير تفتقر إلى أقسام رئيسية أو تختلف اختلافًا جذريًا من محاولة إلى أخرى. ووجد الباحثون أنه بالنسبة لهذه المهام الغامضة، كان توفير سياق إضافي وأمثلة محددة للنموذج أمرًا ضروريًا للحصول على نتيجة موثوقة. فبدون تلك المساعدة الإضافية، كانت النماذج تميل إلى إغفال تفاصيل مهمة، مثل كيفية التعامل مع حدود تخزين البيانات أو كيفية تقييم المخاطر على الأفراد.

كان أحد أكثر النتائج إثارة للدهشة هو كيفية تفاعل النماذج مع مستوى التفصيل في التعليمات. فبالنسبة لجواز سفر البطارية الصارم، لم تؤدِ إضافة المزيد من التفاصيل إلى "الأمر" (prompt) إلى تغيير جودة المخرجات بشكل كبير، ولكنها قد تؤدي إلى المزيد من "الهلوسة" في المخرجات. أما بالنسبة لتقييم الخصوصية، فقد كان العكس هو الصحيح؛ إذ احتاجت النماذج إلى ذلك السياق الإضافي لتعمل بشكل جيد. وعندما كانت التعليمات غامضة للغاية، غالبًا ما فشلت النماذج في تضمين الأقسام المطلوبة، مما يشير إلى أن اللغة القانونية الحالية واسعة جدًا بحيث يصعب على هذه الأدوات تفسيرها بمفردها بشكل موثوق. كما سلطت الدراسة الضوء على أن نماذج الذكاء الاصطناعي المختلفة تصرفت بشكل مختلف؛ فبعضها كان موثوقًا باستمرار عبر جميع المهام، بينما كان البعض الآخر عرضة لإسقاط معلومات مهمة عندما لا تكون التعليمات واضحة تمامًا.

في نهاية المطاف، تشير الأبحاث إلى أن نجاح استخدام الذكاء الاصطناعي للامتثال القانوني يعتمد بشكل كبير على نوع الوثيقة التي يتم إنشاؤها. فبالنسبة للمهام عالية الهيكلية مثل جواز سفر البطارية، فإن التكنولوجيا جاهزة للاستخدام بأقل قدر من الإعداد. ولكن بالنسبة للمهام المعقدة والمفتوحة مثل تقييمات الخصوصية، فإن مجرد طلب اتباع القانون من الكمبيوتر ليس كافيًا. وخلص الباحثون إلى أنه لجعل هذه الأدوات تعمل بفعالية في الأجزاء الغامضة من التنظيم، يجب على الشركات استثمار الوقت في صياغة أوامر (prompts) مفصلة ومحددة توجه الذكاء الاصطناعي عبر الخطوات اللازمة. وإلى أن تصبح اللوائح نفسها أكثر تحديدًا بشأن ما يجب أن تحتويه هذه الوثائق، أو إلى أن تتحسن الطريقة التي نوجه بها هذه الآلات، سيظل استخدام الذكاء الاصطناعي للامتثال مزيجًا من الموثوقية العالية لبعض المهام والمخاطر الكبيرة لمهام أخرى.