A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

تخيل أنك محقق يحاول حل لغز ما، ولكن بدلاً من البحث عن بصمات الأصابع أو آثار الأقدام، أنت تقوم بغربلة ملايين الملاحظات الصغيرة والفوضوية التي تركها الناس في ساحة مدينة ضخمة ومزدحمة. هذا هو عالم معالجة اللغات الطبيعية (NLP)، وهو فرع من علوم الحاسوب حيث تتعلم الآلات كيفية قراءة وفهم النصوص البشرية. أحياناً، تكون الحواسيب بارعة في قراءة الكتب الرسمية، لكنها غالباً ما ترتبك بسبب العامية، والأخطاء الإملائية، والشكاوى العاطفية التي يكتبها الناس في الحياة الواقعية. السؤال الكبير هنا هو: هل يمكننا تعليم الحاسوب رصد الهمسات الغاضبة المحددة التي تلمح إلى الفساد أو التجاوزات في الصفقات الحكومية العامة، حتى عندما تكون هذه الهمسات مدفونة تحت جبل من الشكاوى والأسئلة المملة؟ هذا الأمر مهم لأن المال العام مورد ضخم، وعندما ينخرط الناس في تجاوزات، يخسر الجميع. إذا استطعنا بناء "جهاز كشف كذب" رقمي يقرأ هذه الملاحظات، فقد نتمكن من ضبط الفاعلين السيئين قبل أن يسرقوا ثقة الجمهور.

تحكي هذه الورقة قصة فريق من الباحثين الذين بنوا نظاماً استقصائياً ذكياً يتكون من خطوتين للعثين على اللغة "الاتهامية" في نظام المشتريات العامة في الإكوادور. فكر في المشتريات العامة على أنها عملية تسوق الحكومة لكل شيء، من إصلاح الطرق إلى المستلزمات المدرسية. وقبل إتمام الصفقة النهائية، يُسمح للموردين بطرح أسئلة أو ترك تعليقات. معظم هذه التعليقات غير ضارة، مثل "هل يمكنك شرح هذه القاعدة؟" أو "لا يعجبني السعر". لكن بعضها يكون عبارة عن همسات خطيرة مثل: "هذه الصفقة مفبركة"، أو "إنهم يسمحون لشركة واحدة فقط بالفوز". التحديد يكمن في أن هذه الهمسات الخطيرة نادرة—مثل البحث عن إبرة حمراء واحدة في كومة من مليون إبرة زرقاء.

حاول الباحثون استخدام أكثر أجهزة الحاسوب تطوراً وتكلفة (المعروفة بـ "الحواسيب فائقة القدرة على القراءة"، وتسمى نماذج اللغات الكبيرة مثل LLaMA وRoBERTa) للعثور على هذه الإبر. توقعوا أن تكون هذه الأدوات القوية هي الأفضل. ومع ذلك، اكتشفوا شيئاً مفاجئاً: كانت أجهزة الحاسوب الفاخرة والثقيلة مرتبكة جداً بسبب النصوص غير الرسمية والفوضوية. لقد رأوا الإبر، لكنهم لم يستطيعوا فصلها عن القش. وبدلاً من ذلك، وجد الفريق أن أداة أبسط وأقدم وأخف وزناً تسمى Word2Vec، والتي قاموا بتدريبها خصيصاً على اللغة المحلية والعامية المستخدمة في تعليقات المشتريات، قد نجحت ببراعة. كان الأمر يشبه استبدال جهاز كشف معادن عالي القدرة ومبالغ في هندسته، يصدر صفيراً عند كل شيء، بمغناطيس بسيط ومضبوط بدقة لا يلتقط إلا المعدن المحدد الذي يبحثون عنه.

كان حل الفريق عبارة عن "خط معالجة متتالي" (cascaded pipeline)، وهو مجرد طريقة تقنية لوصف استخدام مرشح (فلتر) قبل الفحص النهائي. أولاً، استخدموا أداة Word2Vec البسيطة لتجميع التعليقات المتشابهة معاً، تماماً مثل فرز مجموعة من الرسائل المختلطة في أظرف بناءً على أسلوب الكتابة. بعد ذلك، استخدموا طريقة رياضية (نماذج الخليط الغاوسي - Gaussian Mixture Models) للعثور على الظرف المحدد الذي من المرجح أن يحتوي على الرسائل "الاتهامية". وأخيراً، استخدموا مصنفاً قياسياً وموثوقاً (خوارزمية الغابة العشوائية - Random Forest) لقراءة تلك الرسائل المحددة فقط وتحديد ما إذا كانت اتهامات حقيقية بالفساد.

كانت النتائج مبهرة. على الرغم من أن التعليقات "الاتهامية" لم تشكل سوى حوالي 3% من إجمالي البيانات (اختلال شديد في التوازن)، إلا أن هذا النظام البسيط المكون من خطوتين نجح في رصد 91% منها (الاستدعاء/Recall) بدقة بلغت 84% (الدقة/Precision). وهذا يشير إلى أنك لست بحاجة إلى حاسوب خارق ضخم ومكلف لحل هذه المشكلة؛ فنظام خفيف الوزن ومدرب بذكاء يمكنه القيام بالمهمة بنفس الكفاءة، إن لم يكن أفضل. وتستبعد الورقة صراحةً فكرة أن أحدث نماذج الذكاء الاصطناعي الأكثر تعقيداً هي الخيار الأفضل تلقائياً لهذه المهمة المحددة والمشوشة في العالم الحقيقي. وبينما أظهرت النماذج الفاخرة وعوداً، إلا أنها عانت من مشكلة "تباين الخواص" (anisotropy) في البيانات—وهي طريقة تقنية للقول بأن البيانات كانت مضغوطة في شكل أربك النماذج المعقدة. أما النموذج الأبسط، الذي تم تدريبه مباشرة على التعليقات الحقيقية الفوضوية، فقد تعامل مع الفوضى بشكل أفضل بكثير.

كما اختبر الباحثون نظامهم على مجموعة ضخمة من البيانات غير المصنفة (تعليقات لم يتم فحصها يدوياً بعد). قام النظام بتمييز حوالي 1,892 اتهاماً محتملاً من بين ما يقرب من 93,000 تعليق. وعندما فحصوا عينة من هذه التعليقات المميزة يدوياً، وجدوا أن حوالي 84% منها كانت بالفعل اتهامات حقيقية بالفساد أو التجاوزات. وهذا يشير إلى أن النظام قوي بما يكفي ليعمل كرقيب في الوقت الفعلي على الإنفاق الحكومي. ومع ذلك، تشير الورقة إلى وجود قصور: فالنظام جيد في رصد الاتهامات المباشرة، ولكنه قد يغفل عن التعليقات المبطنة أو الساخرة أو التهكمية التي لا تستخدم الكلمات المفتاحية المعتادة لـ "الفساد".

في النهاية، تُظهر هذه الورقة أن أفضل طريقة لحل مشكلة معقدة ليست دائماً عبر توظيف التكنولوجيا الأكثر قوة، بل عبر بناء عملية ذكية ومخصصة تفهم الخصائص الفريدة للبيانات. ومن خلال الجمع بين تضمين (embedding) بسيط ومخصص للمجال واستراتيجية تصفية ذكية، نجح الباحثون في إنشاء أداة سريعة، ومنخفضة التكلفة، وفعالة في تسليط الضوء على الظلال حيث يختبئ الفساد. ويقترحون إمكانية تكييف هذا النهج مع دول أخرى، بشرط أن تكون بيانات المشتريات العامة في تلك الدول منظمة بطريقة يمكن للحواسيب قراءتها بسهولة.