Structured Prediction for Scalable Spreadsheet Table Understanding: From Cell Types to Table Ranges (Extended Version)

في العصر الرقمي، تُعد جداول البيانات خيول العمل الهادئة للمعلومات العالمية؛ فالحكومات تنشر الإحصاءات الاقتصادية، والمنظمات الدولية تتبع المقاييس الصحية، والشركات تدير سلاسل التوريد، وكل ذلك ضمن الشبكة المألوفة من الصفوف والأعمدة الموجودة في ملفات مثل XLSX أو CSV. ومع ذلك، وبينما صُممت هذه المستندات لتكون مرئية للعين البشرية، إلا أنها صعبة القراءة بشكل ملحوظ بالنسبة للحواسيب. فخلافاً لقواعد البيانات، حيث يستقر كل جزء من البيانات في مكان محدد ومنتظم، فإن جدول البيانات عبارة عن لوحة مرنة؛ فقد يقع عنوان فوق جدول، وقد تظهر حواشي سفلية في منتصف عمود، ويمكن أن تكون الرؤوس مدمجة أو مقسمة بطرق تتحدى القواعد البسيطة. بالنسبة للآلة، غالباً ما يبدو جدول البيانات كخليط فوضوي من النصوص والأرقام بدلاً من كونه مجموعة بيانات مهيكلة. وهذا يخلق اختناقاً كبيراً لأنظمة البيانات الحديثة التي تحتاج إلى جمع وتنظيف وتحليل المعلومات تلقائياً من هذه الملفات. فإذا لم يتمكن الحاسوب من تحديد مكان بداية الجدول ونهايته بدقة، أو أي الخلايا تحتوي على البيانات الفعلية مقابل التسميات، فإن التحليل اللاحق بأكمله قد ينهار.

لقد تصدى الباحثون أنطوان غوييه، وإيوانا مانوليسكو، وبيير سينيلار لهذه المشكلة من خلال تطوير طريقة جديدة وعالية الكفاءة لتعليم الحواسيب كيفية فهم هذه المستندات. ويركز عملهم على مهمتين محددتين: أولاً، تحديد دور كل خلية في جدول البيانات، مثل ما إذا كانت رأساً، أو نقطة بيانات، أو عنواناً، أو مساحة فارغة؛ وثانياً، استخدام تلك الأدوار المحددة لرسم الحدود الدقيقة حول الجداول المخفية داخل الورقة. ولاختبار أفكارهم، أنشأوا مجموعة ضخمة وجديدة تضم 737 ملف جدول بيانات حقيقي من منظمات عامة عبر دول ولغات متعددة، وهو مورد أطلقوا عليه اسم StatSheets. وتتضمن مجموعة البيانات هذه ملفات معقدة واسعة النطاق تجاهلتها الأبحاث السابقة إلى حد كبير، وتغطي كل شيء من إحصاءات العدالة الفرنسية إلى البيانات الاقتصادية الأسترالية.

اقترح الفريق عملية مكونة من خطوتين تجمع بين نظام تعلم ذكي ومجموعة من القواعد المنطقية. في الخطوة الأولى، يقوم برنامج حاسوبي بتحليل كل خلية باستخدام مجموعة واسعة من القرائن؛ حيث ينظر إلى النص داخل الخلية، وما إذا كانت الأرقام أعداداً صحيحة أم عشرية، ونمط الخط، ولون الخلفية، وموقع الخلية بالنسبة لجيرانها. وباستخدام خوارزمية تعلم قوية تسمى LightGBM، يتنبأ النظام بالدور الأكثر احتمالاً لكل خلية. ولضمان أن تكون هذه التنبؤات منطقية عبر الورقة بأكملها، أضافوا طبقة من المنطق تتحقق من الاتساق، مما يضمن عدم تحول صف الرؤوس فجأة إلى بيانات في منتصف العمود. وفي الخطوة الثانية، يأخذ النظام خريطة أدوار الخلايا هذه ويطبق إجراءً صارماً قائماً على القواعد للعثور على الجداول؛ حيث يبحث عن مجموعات متصلة من الرؤوس والبيانات، ويدمج الأجزاء المتقاربة التي تنتمي بوضوح لبعضها البعض، ويستبعد الضجيج، كل ذلك دون الحاجة إلى "التعلم" من أمثلة إضافية. هذه المرحلة الثانية حتمية تماماً، مما يعني أنها تتبع مجموعة ثابتة من التعليمات في كل مرة، بدلاً من التخمين بناءً على الأنماط.

وعندما اختبر الباحثون نظامهم مقابل الأساليب الأخرى، كانت النتائج مذهلة. فقد حقق نهجهم مستوى من الدقة في تحديد أدوار الخلايا يكاد يكون مطابقاً لأكثر نماذج الذكاء الاصطناعي تقدماً وتعقيداً المتاحة حالياً، والتي تعتمد على شبكات عصبية ضخمة ومعالجات رسومية باهظة الثمن. ومع ذلك، عمل نظامهم على أجهزة حاسوب قياسية وتطلب جزءاً ضئيلاً من القدرة الحسابية والتكلفة. ومن حيث إيجاد حدود الجدول الفعلية، تفوق أسلوبهم القائم على القواعد على التقنيات الأخرى التي تحاول اكتشاف الأشكال العامة، وظل منافساً للأنظمة الأحدث التي تستخدم النماذج اللغوية الكبيرة، ولكن مرة أخرى بتكلفة أقل بكثير وسرعة أكبر بكثير. وتوضح الدراسة أنه بالنسبة لمهمة فهم جداول البيانات تحديداً، فإن الجمع المدروس بين تحليل الميزات الذكي والقواعد المنطقية يمكن أن يكون فعالاً بقدر، بل وأكثر عملية من، أنظمة الذكاء الاصطناعي الأكثر استهلاكاً للموارد.

كما سلط الباحثون الضوء على قيود الأدوات ومجموعات البيانات الحالية. فقد اعتمدت العديد من الدراسات السابقة على بيانات قديمة من أوائل العقد الأول من القرن الحادي والعشرين أو على ملفات مملوكة لجهات معينة لم تكن متاحة للاختبار العام، مما يجعل من الصعب مقارنة الأساليب المختلفة بشكل عادل. وتملأ مجموعة بياناتهم الجديدة، StatSheets، هذه الفجوة من خلال توفير مجموعة متنوعة ومتعددة اللغات من جداول البيانات الحديثة التي تتضمن ملفات كبيرة وتنسيقات معقدة. ووجدوا أنه بينما يمكن لنماذج التعلم العميق أن تؤدي بشكل جيد، إلا أنها غالباً ما تعاني مع التفاصيل الهيكلية الدقيقة لجداول البيانات ما لم يتم تدريبها على كميات هائلة من البيانات، كما أنها تأتي بسعر مرتفع لكل من التدريب والتشغيل. في المقابل، أثبتت طريقة الفريق أنه من خلال التركيز على الإشارات الهيكلية المحددة لجدول البيانات — مثل كيفية محاذاة الرؤوس مع البيانات أو كيفية تغير التنسيق عبر الصفوف — يمكن بناء نظام يتسم بالدقة العالية والقابلية للتوسع لمعالجة ملايين المستندات بكفاءة.

في نهاية المطاف، يشير هذا العمل إلى أن الطريق نحو استخراج أفضل للبيانات لا يتطلب دائماً بناء نماذج "صندوق أسود" أكبر وأكثر تعقيداً. فمن خلال الجمع بين نظام تعلم قوي لتحديد أنواع الخلايا ومحرك شفاف قائم على القواعد لإيجاد حدود الجداول، يمكن إنشاء حل يتسم بالقوة والقدرة على الوصول. وتشير النتائج إلى أنه بالنسبة للتطبيقات الواقعية حيث تكون السرعة والتكلفة والموثوقية أموراً حاسمة، مثل معالجة البيانات الحكومية المفتوحة أو تقارير ذكاء الأعمال، فإن النهج الهجين الذي يحترم البنية الفريدة لجداول البيانات هو الخيار الأفضل. وقد أتاح الباحثون مجموعة البيانات والتعليمات البرمجية الخاصة بهم للجمهور، مما يسمح للآخرين بالتحقق من هذه النتائج والبناء على أساس يعطي الأولوية للوضوح والكفاءة على حساب الحجم الحسابي المحض.