TEmBed-T: A Multi-Dimensional Benchmark for Table-Level Embeddings
تقدم هذه الورقة البحثية TEmBed-T، وهو معيار متعدد الأبعاد يوسع إطار عمل TEmBed الحالي لتقييم تضمينات مستوى الجداول بشكل منهجي عبر مهام متنوعة، كاشفاً أنه لا يوجد نموذج واحد يتفوق عالمياً وأن جودة التضمين الفعالة لا يمكن تقييمها من خلال الاسترجاع وحده.
تخيل الإنترنت كمكتبة ضخمة وفوضوية، حيث لا تقتصر معظم كتبها على القصص أو القصائد، بل هي عبارة عن جداول بيانات. هذه الجداول — التي تتكون من أرقام وأسماء وتواريخ — هي العمود الفقري الخفي لعالمنا الرقمي، وهي التي تشغل كل شيء بدءاً من أسواق الأسهم وصولاً إلى توقعات الطقس. ولكي تتمكن الحواسيب من فهم هذا الجبل من البيانات، يتعين عليها تحويل هذه الجداول إلى "تمثيلات متجهة" (embeddings). فكر في التمثيل المتجه كبطاقة هوية سحرية أو رائحة فريدة يمكن للحاسوب أن يشمها ليعرف فوراً موضوع الجدول. إذا امتلك الحاسوب بطاقة هوية جيدة لجدول حول "وصفات البيتزا"، فيجب أن يكون قادراً على إيجاد جداول بيتزا أخرى، حتى لو بدت مختلفة في ظاهرها. ولكن هنا يكمن الجزء الصعب: مجرد قدرة الحاسوب على إيجاد جدول عن البيتزا لا يعني أنه يفهم الجدول حقاً؛ فقد يكون مجرد تخمين بناءً على كلمة "بيتزا" في العنوان، متجاهلاً المكونات الفعلية بداخله. لقد حاول العلماء بناء بطاقات هوية أفضل لسنوات، لكنهم كانوا يختبرونها في الغالب باستخدام لعبة واحدة بسيطة فقط: "ابحث عن الجدول المطابق". هذا البحث يسأل سؤالاً أكبر: هل هذه البطاقات ذكية حقاً، أم أنها مجرد بارعة في لعب لعبة محددة؟
إليك TEmBed-T، وهو معيار مرجعي جديد متعدد الأبعاد ابتكره الباحثون آيين بوستفوروشان، ليان فول، وكارستن بينيج. يمكنك التفكير في TEmBed-T كاختبار "رخصة قيادة" صارم لأجهزة الكمبيوتر التي تقرأ الجداول، بدلاً من مجرد تمرين في موقف للسيارات. فبينما كانت الاختبارات السابقة تتحقق فقط مما إذا كان بإمكان الحاسوب العثور على جدول عند طرح سؤال (مثل أمين مكتبة يبحث عن كتاب)، يضيف هذا المعيار الجديد ثلاث تحديات جديدة ليرى ما إذا كان الحاسوب يستوعب حقاً بنية ومعنى البيانات.
أولاً، اختبروا المتانة عبر المجالات (Cross-Domain Robustness). تخيل طالباً يدرس فقط لاختبار الرياضيات باستخدام التفاح؛ إذا أعطيتَه فجأة اختباراً عن البرتقال، فهل سينجح؟ اختبر الباحثون نماذج حاسوبية مختلفة على سبعة مجموعات مختلفة من الجداول (corpora) تتراوح من مقالات ويكيبيديا إلى استعلامات قواعد بيانات معقدة. ووجدوا أنه بينما تتفوق بعض النماذج في العثور على الجداول في مجال معين (مثل ويكيبيديا)، فإنها غالباً ما تتعثر عندما تتغير البيانات إلى أسلوب مختلف، مثل قاعدة بيانات لجداول مواعيد الرحلات الجوية. لم يكن أي نموذج عبقرياً عالمياً؛ بل كان لكل منها "أحيائها" المفضلة.
ثانياً، قدموا خلط الجداول (Table Shuffling)، وهي لعبة "أوجد الفوارق" المصممة لخداع الحاسوب. لقد أخذوا جدولاً وخلطوا ترتيب صفوفه وأعمدته (مثل خلط أوراق اللعب) مع الحفاظ على الروابط بين البيانات سليمة. ثم أخذوا جدولاً آخر وخلطوا القيم الفعلية داخل الأعمدة (مثل تبديل اسم "إيلون ماسك" بـ "آندي جاسي" في قائمة الرؤساء التنفيذيين). يجب أن يدرك الحاسوب الذكي حقاً أن الجدول الأول المخلط لا يزال يحكي نفس القصة، ولكن بترتيب مختلف، بينما الجدول الثاني هو فوضى محطمة. كانت النتائج مفاجئة: فشلت معظم النماذج الحاسوبية المتقدمة في هذا الاختبار فشلاً ذريعاً. لقد كانوا مركزين جداً على ترتيب الكلمات لدرجة أنهم لم يستطيعوا التمييز بين مجموعة أوراق مخلطة وبين مجموعة أوراق محطمة. فقط نموذج واحد، يسمى HyTrel، والذي صُمم خصيصاً لـ "رؤية" بنية الجداول، تمكن من اجتياز هذا الاختبار ببراعة.
أخيراً، اختبروا كشف نوع الجدول (Table Type Detection) عن طريق تجريد الجداول من عناوينها. تخيل جدولاً تمت إزالة عنوان "قائمة المطعم" منه، تاركاً فقط قائمة الطعام والأسعار. هل يمكن للحاسوب معرفة أنه قائمة طعام بمجرد النظر إلى الأصناف؟ هذا يختبر ما إذا كان الحاسوب يفهم المحتوى أم أنه يغش عبر قراءة العنوان. هنا، انقلت النتائج مرة أخرى. فالنماذج التي كانت بارعة في فهم البنية (مثل HyTel) أدت بشكل سيء هنا، بينما نجحت طريقة قديمة وبسيطة تعتمد على العد (تسمى Hashing)، والتي تقوم فقط بعدّ عدد مرات ظهور الكلمات، بشكل مفاجئ. اتضح أنه لتخمين موضوع الجدول، أحياناً يكون عدّ الكلمات أفضل من الإفراط في التفكير في البنية.
الخلاصة الكبرى من هذه الدراسة هي أنه لا يوجد نموذج "مثالي" لقراءة الجداول حتى الآن. فالحاسوب الذي يكون بطلاً في العثور على الجداول في محرك بحث قد يكون سيئاً جداً في فهم بنيتها الداخلية، والعكس صحيح. ويخلص الباحثون إلى أنه لا يمكننا الحكم على هذه النماذج من خلال درجة واحدة فقط. بدلاً من ذلك، نحتاج إلى النظر إليها من خلال عدسات متعددة — التحقق مما إذا كانت متينة عبر مواضيع مختلفة، وما إذا كانت تحترم بنية الجدول، وما إذا كان بإمكانها فهم المحتوى دون الاعتماد على العناوين. وحتى نبني نموذجاً يمكنه اجتياز كل هذه الاختبارات الثلاثة المختلفة تماماً، فما زال أمامنا طريق طويل قبل أن يتمكن حواسيبنا حقاً من إتقان فن قراءة جداول البيانات الخاصة بنا.
بيان المشكلة تُعد البيانات الجدولية هي النمط المهيمن للبيانات المهيكلة في قواعد البيانات، والأنظمة المؤسسية، والويب المفتوح. وبينما أصبح تعلم تمثيلات الجداول (التمثيلات المتجهة/Embeddings) اتجاهاً بحثياً مركزياً يدعم تطبيقات مثل استرجاع الجداول، واكتشاف بحيرات البيانات، والتصنيف، إلا أن طرق التقييم المنهجي لا تزال غير متطورة بشكل كافٍ. تقيس المعايير الحالية عادةً أداء المهام النهائية (مثل الاسترجاع أو الإجابة على الأسئلة) أو تختبر خصائص محددة، مما يؤدي غالباً إلى الخلط بين جودة التمثيل والنجاح في المهمة النهائية. وبناءً على ذلك، هناك فهم محدود لكيفية سلوك نماذج التضمين المختلفة عبر خصائص متميزة، مما يجعل من الصعب تحديد النماذج الأنسب لأعباء عمل معينة تركز على الجداول. علاوة على ذلك، فإن أطر التقييم الموحدة الحالية مثل TEmBed [16] محدودة على مستوى الجدول، حيث تركز بشكل أساسي على مهمة استرجاع واحدة دون عزل الخصائص المحددة التي تلتقطها التمثيلات.
المنهجية: TEmBed-T لمعالجة هذه الفجوات، قدم المؤلفون TEmBed-T، وهو امتداد لمنصة اختبار TEmBed المصممة لتقييم تمثيلات الجداول عبر ثلاث خصائص متميزة ومتكاملة. يقوم هذا المعيار بتشغيل هذه الخصائص من خلال ثلاث مهام محددة:
المتانة عبر المجالات (استرجاع الجداول):
الهدف: تقييم قدرة التمثلات على الحفاظ على جودة الترتيب عبر مجموعات بيانات غير متجانسة ذات أصول ومخططات (schemas) وأحجام متنوعة.
الإعداد: قام المؤلفون بتوسيع إعداد "الجدول إلى جدول" الحالي إلى إعداد "الاستعلام إلى جدول". وهم يقيمون النماذج عبر سبعة مجموعات بيانات غير متجانسة (بما في ذلك FeTaQA وTabFact وOTT-QA وSpider2 وBIRD) المستمدة من ويكيبيديا وقواعد البيانات العلاقاتية.
الأبعاد: تختلف التجارب في عدد الصفوف (رؤوس الأعمدة فقط مقابل 100 صف) وتنسيقات التسلسل (Markdown مقابل CSV) لعزل الحساسية تجاه التنسيق السطحي مقابل المحتوى.
الأمانة الهيكلية (خلط الجداول):
الهدف: تحديد ما إذا كانت التمثلات تلتقط البنية العلاقاتية أم تعتمد فقط على الإشارات الدلالية أو المعجمية.
الإعداد: يتم استخدام بروتوكول الثلاثيات الذي يتضمن جدولاً مرجعياً (T)، وجدولاً إيجابياً أميناً هيكلياً (T+)، وجدولاً سلبياً تم خلط قيمه (T−).
يتم إنشاء T+ عن طريق تبديل الصفوف والأعمدة (مع الحفاظ على الارتباطات داخل الصف الواحد).
يتم إنشاء T− عن طريق خلط القيم بشكل مستقل داخل الأعمدة (مما يكسر الارتباطات داخل الصف الواحد مع الحفاظ على نفس مجموعة الرموز/tokens بالضبط).
المقاييس: دقة الثلاثية (احتمالية أن يكون d(T,T+)<d(T,T−)) ودرجة Silhouette. هذا الإعداد يجبر النموذج على التمييز بين السلامة الهيكلية والتداخل المعجمي.
الحفاظ الدلالي المستقل عن الرؤوس (كشف نوع الجدول):
الهدف: تقييم ما إذا كانت التمثلات تحتفظ بالهوية عالية المستوى للجدول بناءً على محتوى الخلايا فقط، دون الاعتماد على معلومات المخطط (schema).
الإعداد: يتم تجريد الجداول من رؤوس الأعمدة، ويتم تدريب مصنف استقصائي (probe classifier) على التمثلات المجمدة للتنبؤ بنوع Schema.org الخاص بالجدول.
التمايز: على عكس العمل السابق الذي يقوم بضبط المشفرات (encoders) بدقة، فإن هذا النهج يثبت المشفر، معتبراً أداء التصنيف مقياساً للمعلومات المتبقية للمهمة.
الإعداد التجريبي قيم المؤلفون خمسة نهج تمثيلية:
محولات تسلسل النصوص (Text-serialization Transformers): MiniLM وGranite-R2 وGritLM.
الأساس (Baseline): نموذج يعتمد على تردد المصطلحات (HashingVectorizer) يمثل العمى الهيكلي.
شملت مقاييس التقييم MRR وRecall للاسترجاع، ودقة الثلاثية ودرجة Silhouette للخلط، وMacro-F1 لكشف النوع. وتم تقييم الأهمية الإحصائية عبر فترات الثقة بنسبة 95% باستخدام طريقة Bootstrap.
النتائج الرئيسية تكشف الدراسة التجريبية أنه لا يوجد نموذج واحد يتفوق في جميع المهام، مما يثبت أن جودة تمثيل الجدول لا يمكن اختزالها في أداء الاسترجاع وحده:
الاسترجاع: تتصدر مشفرات المحولات الكثيفة (Dense transformer encoders) بشكل عام، لكن الأداء يعتمد على المجال؛ حيث يتفوق GritLM في المجموعات المستمدة من ويكيبيديا، بينما يتفوق Granite-R2 على الآخرين في Spider (قواعد البيانات العلاقاتية)، مما يسلط الضوء على انحياز توزيع التدريب.
الخلط: تتفوق النماذج المدركة للبنية (HyTrel) بشكل كبير على غيرها، محققة دقة تقارب الكمال في التمييز بين السلامة الهيكلية والضجيج المعجمي. وعلى العكس من ذلك، فإن نهج المحولات والأساسات القائمة على حقيبة الكلمات (bag-of-words) تؤدي عند مستوى العشوائية أو دونه، خاصة في مجموعات البيانات ذات القدرة التمييزية المعجمية الدنيا (مثل ECB)، مما يشير إلى اعتمادها على ترتيب الرموز بدلاً من العلاقات الهيكلية.
كشف النوع: يتصدر نموذج التردد (Hashing) في المصنفات القائمة على الأشجار، مما يشير إلى إمكانية استعادة أنواع الجداول من أنماط الرموز السطحية. وتؤدي المحولات الكثيفة بشكل أفضل مع المستقصات العصبية (neural probes)، مما يشير إلى أنها تضغط البنية الدلالية بما يتجاوز ترددات الرموز. ومع ذلك، فإن المشفر المدرك للبنية (HyTrel) يقل أداؤه هنا، وهو ما يتوافق مع أهداف التدريب المسبق الخاصة به التي تركز على العلاقات الهيكلية بدلاً من إشارات نوع المخطط.
تباين التصنيف (Ranking Divergence): تتباين تصنيفات النماذج بشكل كبير عبر المهام. فعلى سبيل المثال، يعد GritLM الأفضل للاسترجاع، وHyTrel للخلط، وHashing لكشف النوع (تحت مصنفات معينة).
الأهمية والادعاءات يدعي البحث أن TEmBed-T يعمل كـ مكمل تشخيصي لمعيار TEmBed الحالي. وتكمن أهميته الأساسية في:
فك الارتباط بين القدرات: فهو يعزل خصائص تمثيل معينة (المتانة، الأمانة الهيكلية، والاستقلال عن الرؤوس) التي غالباً ما يتم الخلط بينها في التقييمات النهائية.
إثبات تعدد الأبعاد: تؤكد النتائج أن جودة تمثيل الجدول هي مسألة متعددة الأبعاد؛ فالأداء القوي في إعداد واحد (مثل الاسترجاع) لا ينتقل بالضرورة إلى الإعدادات الأخرى (مثل الفهم الهيكلي).
تحديد الفجوة: تسلط الدراسة الضوء على عدم وجود نموذج حالي يغطي ملف القدرات الكامل المطلوب للتمثيلات العامة على مستوى الجدول، مما يجعل تطوير مثل هذه النماذج مشكلة مفتوحة.
يخلص المؤلفون إلى أن التقييم الهادف يتطلب فحص هذه الخصائص بشكل مستقل لدعم الاختيار المدروس للنماذج المناسبة لمختلف أعباء العمل التي تركز على الجداول.