Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

يجب على كل عمل تجاري يشتري أو يبيع السلع أن يحتفظ بسجل دقيق لكل معاملة. فعندما تتلقى الشركة فاتورة، يجب على محاسب بشري أن يقرر إلى أي فئة محددة ينتمي هذا المصروف، وهي مهمة تُعرف بتعيين رمز دفتر الأستاذ العام (General Ledger code). هذه ليست مجرد وظيفة فرز بسيطة؛ بل تتطلب حكماً مهنياً لفهم ما إذا كانت المشتريات مخصصة للعمليات اليومية، أو استثماراً رأسمالياً، أو مصروفاً شخصياً لصاحب العمل. إن إتقان هذا الأمر هو أساس التقارير المالية الدقيقة والامتثال الضريبي. وإذا كانت هذه الرموز خاطئة، تواجه الشركات الصغيرة غرامات غير ضرورية، وتفقد الحكومات مليارات الدولارات من الإيرادات الضريبية. لسنوات، كان الأمل معقوداً على أن الذكاء الاصطناعي يمكنه أتمتة هذا العمل الصعب، لكن التكنولوجيا غالباً ما كافحت لمواكبة دقة المحاسب البشري المدرب.

استكشف باحثون من جامعة بريستول وشركة "سيستم هولدينجز ليميتد" (System Holdings Limited) مؤخراً مساراً مختلفاً. فبدلاً من استخدام أنظمة ذكاء اصطناعي ضخمة ومعقدة تتطلب كميات هائلة من القدرة الحوسبية وتثير مخاوف بشأن خصوصية البيانات، اختبروا ما إذا كان بإمكان نماذج لغوية أصغر ومتخصصة أن تتعلم القيام بهذه الوظيفة بفعالية. يمكن تشغيل هذه النماذج الأصغر على جهاز كمبيوتر واحد، مما يحافظ على أمن البيانات المالية الحساسة داخل جدران الشركة الخاصة. أراد الفريق ليس فقط معرفة ما إذا كانت هذه النماذج تعمل، بل كيف تفكر. لقد نظروا إلى "الشكل" الرياضي للمعلومات داخل الكمبيوتر، وفحصوا كيف قامت النماذج بتجميع الفواتم المتشابهة معاً في ذاكرتها الداخلية. واكتشفوا أن الطريقة التي تنظم بها هذه النماذج الأصغر المعلومات هي عملية كفؤة بشكل مثير للدهشة، وأن هذا التنظيم هو مفتاح نجاحها.

عمل الباحثون على مجموعة بيانات واقعية تضم أكثر من ألفي فاتورة من سبعة عملاء مختلفين لشركة محاسبة بريطانية. كانت كل فاتورة قد تم تصنيفها بالفعل بشكل صحيح من قبل محاسبين مهنيين. قام الفريق بتغذية هذه البيانات في نوعين مختلفين من نماذج الذكاء الاصطناعي: نموذج أصغر وأكثر كفاءة يسمى (SBERT)، ونموذج أكبر وأكثر تعقيداً يسمى (DeBERTa). واختبروا النماذج بنسخ مختلفة من نص الفاتورة؛ تضمنت النسخة الأولى اسم المورد والتاريخ والسعر فقط، وتضمنت نسخة أخرى قائمة العناصر المشتراة كاملة، بينما أضافت نسخة ثالثة تسميات صريحة، مثل "اسم المورد:" أو "السعر:"، لجعل النص يبدو أكثر هيكلية للقارئ البشري.

كشفت النتة عن حقيقة مناقضة للتوقعات حول كيفية قراءة الآلات. فالنسخة من النص التي كانت الأسهل للقراءة من قبل البشر، بتنسيقها الواضح وتسمياتها الهيكلية، جعلت من الصعب على الذكاء الاصطناعي التمييز بين أنواع الفواتير المختلفة. فعندما رأى الكمبيوتر كلمات مثل "اسم المورد" و"السعر" تتكرر في كل مستند، أصبح التمثيل الرياضي الداخلي لتلك المستندات متشابهاً للغاية، مما أدى إلى طمس الخطوط الفاصلة بينها. وقد حقق النموذج أفضل أداء عندما تم تزويده بالنص الخام غير المهيكل للفاتورة، تماماً كما قد يلقي المحاسب البشري نظرة سريعة على إيصال فوضوي. وقد أثبت النموذج الأصغر (SBERT) أنه الخيار الأفضل؛ فعند تدريبه على بضع مئات من الأمثلة فقط، حقق مستوى عالياً من الدقة، وصنف الفواتير بشكل صحيح وبأداء أفضل بكثير من نموذج أكبر بكثير أو من ذكاء اصطناعي قياسي يعمل بنظام "التعلم الصفري" (zero-shot) لم يتم تدريبه على هذه المهمة المحددة.

وأوضح فحص أعمق لذاكرة الكمبيوتر الداخلية سبب نجاح النموذج الأصغر حيث تعثر النموذج الأكبر. وجد الباحثون أن التمثيل الداخلي للبيانات في النموذج الأكبر كان "منهاراً" (collapsed)؛ فمع زيادة طول النص وتفاصيله، تضاءلت قدرة النموذج على التمييز بين المعاني المختلفة، وبدأ يعتمد بشكل أساسي على طول النص بدلاً من محتواه. في المق مقابل، حافظ النموذج الأصغر على مساحة غنية متعددة الأبعاد حيث تشغل أنواع الفواتير المختلفة مناطق متميزة. وحتى قبل تدريبه على المهمة المحددة، قام النموذج طبيعياً بتجميع الفواتير حسب الشركة التي أصدرتها، مما أظهر أنه فهم مصدر المستند. والأهم من ذلك، كان بإمكانه الفصل بين الفئات المالية المختلفة حتى عندما كان النص متشابهاً، بشرط أن يكون قد رأى أمثلة كافية.

كانت هذه القدرة على التعميم بالغة الأهمية عندما اختبر الفريق النماذج على عميل جديد تماماً لم يسبق رؤية بياناته من قبل. عانى النموذج الأكبر بشكل كبير، حيث تطلب مئات الأمثلة الجديدة ليبدأ في العمل بشكل صحيح. أما النموذج الأصغر، فقد تكيف بسرعة أكبر، ووصل إلى دقة عالية مع حوالي مائة فاتورة جديدة فقط. يشير هذا إلى أن النموذج الأصغر قد تعلم طريقة أكثر قوة لفهم معنى النص، بدلاً من مجرد حفظ الأنماط. لقد استطاع نقل ما تعلمه من عمل تجاري إلى آخر، مدركاً أن "إصلاح المحرك" لعميل واحد هو نفس فئة "إصلاح المحرك" لعميل جديد، بغض النظر عن المورد المحدد.

خلصت الدراسة إلى أن النماذج الأصغر والمحلية غالباً ما تكون أداة أفضل من النماذج الضخمة والعامة لمهام مثل تصنيف الفواتير. فهي توفر توازناً عملياً بين التكلفة والأمن والأداء. ومن خلال التشغيل على جهاز كمبيوتر واحد، تحافظ على خصوصية البيانات المالية الحساسة، وبكونها أصغر، فإنها أقل تكلفة في التشغيل. كما أظهر البحث أن إضافة هيكلية إضافية للنص لا تساعد الذكاء الاصطناعي؛ بل في الواقع، غالباً ما يكون النص الخام أكثر فعالية. يبسط هذا الاكتشاف العملية للشركات، حيث لا يتعين عليها قضاء الوقت والمال في إعادة تنسيق فواتيرها قبل تغذيتها للنظام. يوضح هذا العمل أنه مع النهج الصحيح، يمكن للذكاء الاصطناعي التعامل مع الحكم الماهر والدقيق المطلوب في المحاسبة، بشرط أن يتم تصميم النظام لفهم هندسة البيانات بدلاً من مجرد حجم النص.