Improving Robustness of Tabular Retrieval via Representational Stability

ملخص تقني: تحسين متانة استرجاع الجداول عبر الاستقرار التمثيلي

1. بيان المشكلة: عنق زجاجة التسلسل (Serialization Bottleneck)

صُممت نماذج الاسترجاع القائمة على المحولات (Transformers) لمعالجة تسلسلات الرموز (tokens) أحادية الأبعاد. ومع ذلك، فإن الجداول هي في جوهرها هياكل علاقاتية متعددة الأبعاد. ولتجسير هذه الفجوة، يجب "تسطيح" الجداول إلى نصوص من خلال التسلسل (مثل تحويل الجدول إلى صيغ CSV أو HTML أو JSON أو Markdown).

يحدد المؤلفون مشكلة حرجة لم تُبحث كفاية، وهي: الحساسية تجاه التسلسل (Serialization Sensitivity). فحتى عندما تظل المحتويات الدلالية للجدول متطابقة، تنتج صيغ تسلسل مختلفة تمثيلات (embeddings) مختلفة تماماً. يسبب هذا "الانزياح التمثيلي" (representation drift) قيام المسترجع بتعيين جيران أقرب مختلفين لنفس الجدول بناءً على صيغته، مما يؤدي إلى تباين كبير في أداء الاسترجاع (Recall@1). وتكون هذه عدم الاستقرار حادة بشكل خاص في البيئات مفتوحة النطاق (مثل NQ-Tables) حيث تكون الفجوة المعجمية بين الاستعلامات والجداول كبيرة، مما يجبر النموذج على الاعتماد بشكل كبير على الإشارات الهيكلية التي توفرها عملية التسلسل.

2. المنهجية

يقترح البحث نهجاً يتكون من مرحلتين لتحقيق استرجاع مستقل عن صيغة التسلسل:

أ. الإطار النظري: التمثيلات القائمة على المركز (Centroid-Based Representations)
يعامل المؤلفون عمليات التسلسل المتعددة لجدول واحد كـ "رؤى" (views) مختلفة لنفس الإشارة الدلالية. ويقومون بنمذجة تمثيل التسلسل $s$ كالتالي:
$$z_s(T) = \mu(T) + \delta_s(T)$$
حيث $\mu(T)$ هي الإشارة الدلالية المستقرة و $\delta_s(T)$ هو انزياح خاص بالتنسيق.

• الفرضية: من خلال حساب متوسط التمثيلات عبر مختلف عمليات التسلسل، ستلغي انزياحات التنسيق ($\delta_s$) بعضها البعض تقريباً، مما يترك المركز $c(T)$ كتمثيل معياري مستقر لدلالات الجدول.
• الأمثلية الهندسية: أثبت المؤلفون أن المركز هو النقطة الفريدة التي تقلل المسافة الإقليدية المربعة إلى جميع تمثيلات التسلسل في آن واحد.

ب. التنفيذ العملي: محول عنق الزجاجة المتبقي (Residual Bottleneck Adapter)
بما أن تشفير كل متغير تسلسلي عند الاستدلال أمر غير مجدٍ من الناحية الحسابية، فقد قدم المؤلفون محول عنق زجاجة متبقي خفيف الوزن لما بعد المعالجة (post-hoc residual bottleneck adapter).

• البنية: شبكة عصبية بسيطة (MLP) ذات بنية عنق زجاجة واتصال متبقٍ مُدرج (scaled residual connection). تأخذ مدخلاً من تمثيل ذي صيغة واحدة و"تنقله" نحو المركز المستهدف.
• دالة الهدف (المستوحاة من VICReg): لمنع المحول من جعل جميع التمثيلات تنهار في نقطة واحدة أو تنحرف بعيداً عن الفضاء الأصلي، استخدموا دالة خسارة مركبة:
  1. خسارة الثبات ($L_{inv}$): تسحب عمليات التسلسل المختلفة لنفس الجدول نحو مركزها المشترك.
  2. خسارة الهوية ($L_{id}$): تثبت التمثيل المُعدل في فضاء المشفر المجمد الأصلي للحفاظ على التوافق مع تمثيلات الاستعلام المجمدة.
  3. تنظيم التباين/التباين المشترك ($L_{var}, L_{cov}$): يمنع الانهيار البعدي ويقلل من تكرار الميزات، مما يضمن بقاء فضاء التمثيل تعبيرياً للاسترجاع.

3. المساهمات الرئيسية

1. القياس المنهجي: أول دراسة تقيس بصرامة كيف يعمل اختيار التسلسل كمتغير من الدرجة الأولى في استرجاع الجداول عبر عائلات متعددة من المسترجعات (كثيفة، متفرقة، وموجهة للاستنتاج).
2. التأسيس النظري: تقديم أساس رياضي لسبب نجاح متوسط المركز في استعادة الإشارات الدلالية المستقرة وتحديد الشروط التي يتحقق فيها هذا التمركز.
3. وحدة المحول (Adapter Module): طريقة خفيفة الوزن وعالية الكفاءة في التدريب لتحقيق متانة بمستوى المركز باستخدام تسلسل واحد فقط عند الاستدلال.

4. النتائج الرئيسية

• تفوق المركز: تظهر المقارنات الزوجية التجريبية أن التمثيلات القائمة على المركز تتفوق باستمرار على الصيغ الفردية (مثل HTML أو JSON) عبر جميع النماذج والمجموعات المختبرة.
• مكاسب المسترجع الكثيف: يحسن المحول بشكل كبير من متانة المسترجعات الكثيفة مثل MPNet و BGE-M3 و ReasonIR. على سبيل المثال، في مجموعة بيانات WTQ، ارتفع Recall@1 لنموذج MPNet في صيغة HTML من 0.09 إلى 0.18 باستخدام المحول.
• المتانة تجاه الاضطرابات: يحسن المحول الأداء حتى عندما يتم "إفساد" الجداول عن طريق خلط صيغ مختلفة داخل جدول واحد (على سبيل المثال، بعض الصفوف بصيغة CSV والبعض الآخر بصيغة JSON).
• عدم التوافق مع المسترجع المتفرق: يؤدي الأسلوب أداءً ضعيفاً مع SPLAVE (مسترجع معجمي متفرق). ويعزو المؤلفون ذلك إلى عدم تطابق هندسي: إذ إن ميل المحول الكثيف إلى "خلط" الإحداثيات يعطل بنية التنشيط عالية الأبعاد والمتفرقة المطلوبة للمطابقة المعجمية.
• التعميم: أظهر "محول المجموعة الفرعية" (الذي تم تدريبه على WTQ و WikiSQL) قدرة على التعميم إلى مجموعة بيانات NQ-Tables غير المرئية، مما يثبت أن التحويلات المتعلمة تلتقط الثوابت الهيكلية بدلاً من الضوضاء الخاصة بمجموعة بيانات معينة.

5. الأهمية

ينقل هذا العمل نموذج استرجاع الجداول من اعتباره "تفصيلاً ثانوياً في المعالجة المسبقة" إلى معاملته كـ متغير نمذجة أساسي. ومن خلال إثبات أن عدم استقرار التمثيل هو مصدر رئيسي لتباين الاسترجاع، يوفر البحث مساراً لبناء أنظمة استرجاع أكثر متانة ومستقلة عن الصيغة. يوفر المحول المقترح طريقة عملية ومنخفضة التكلفة لترقية المشفرات المجمدة الحالية للتعامل مع البيانات المهيكلة بشكل أكثر موثوقية دون الحاجة إلى إعادة تدريب كاملة ومكلفة للنماذج أو فهرسة متعددة الصيغ.