PARTAB: Partition-Aware Reasoning with Structured Evidence for Scalable Table Understanding
تقدم الورقة البحثية إطار عمل PARTAB، الذي يعزز الاستدلال القابل للتوسع على الجداول من خلال بناء واجهة أدلة مهيكلة ومدركة للتقسيم، تختار هرمياً مناطق صفوف وأعمدة متماسكة دلالياً لتحسين تحديد موقع الأدلة وتقليل تعقيد السياق بالنسبة للنماذج اللغوية الكبيرة.
المؤلفون الأصليون:Md Mahadi Hasan Nahid, Davood Rafiei
تخيل محاولة العثور على حقيقة واحدة محددة مخبأة داخل جدول بيانات ضخم يحتوي على آلاف الصفوف وعشرات الأعمدة. بالنسبة للإنسان، هذه مهمة مضنية تتطلب المسح والربط المرجعي. أما بالنسبة لبرامج الكمبيوتر القوية المعروفة بنماذج اللغات الكبيرة، والتي يمكنها قراءة وفهم كميات هائلة من النصوص، فقد أصبحت هذه المهمة صعبة بشكل مفاجئ. فهذه النماذج تبرع في الإجابة على الأسئلة عندما يتم تقديم المعلومات بحجم يمكن إدارته، ولكن كلما كبرت الجداول وأصبحت أكثر تعقيدًا، بدأت هذه النماذج في التعثر. إنها تشعر بالارتباك من الحجم الهائل للبيانات، فتفقد القدرة على تتبع أي الأرقام تنتمي إلى أي فئات، أو تفشل في ملاحظة الصف المحدد الذي يحمل الإجابة. هذه المشكلة، التي تُسمى غالبًا "تشتت الانتباه"، تعني أنه حتى عندما تكون المعلومة الصحيحة موجودة أمامها مباشرة في البيانات، فقد يغفل عنها النموذج تمامًا أو يرتبك بسبب التفاصيل غير ذات الصلة المحيطة بها.
لقد حاول الباحثون حل هذه المشكلة إما عن طريق تغذية النموذج بالجدول بأكمله أو عن طريق محاولة قص الأجزاء غير الضرورية قبل طرح السؤال. ومع ذلك، فإن مجرد تقليص حجم الجدول يؤدي غالبًا إلى إزالة القرائن اللازمة لحل اللغز، في حين أن تغذية النموذج بالجدول كاملاً تغرقه في الضجيج. وقد اقترح فريق من الباحثين في جامعة ألبرتا نهجًا مختلفًا؛ حيث طوروا نظامًا يُسمى PARTAB، والذي يعمل كدليل ذكي بين السؤال والبيانات. فبدلاً من إجبار النموذج على النظر إلى الجدول بأكمله أو إلى شريحة واحدة قد تكون غير مكتملة، يقوم PARTAB بتقسيم الجدول إلى أجزاء صغيرة وذات مغزى بناءً على ما يسأل عنه السؤال بالفعل. فهو يجمع الأعمدة ذات الصلة معًا، مثل وضع جميع البيانات المالية في كومة واحدة والبيانات الجغرافية في كومة أخرى، ثم يختار فقط الصفوف المحددة التي تهم السؤال. وهذا يخلق مجموعة منظمة وهيكلية من الأدلة التي يمكن للنموذج فحصها دون أن يتوه.
اختبر الباحثون هذه الطريقة على عدة اختبارات معيارية صعبة مصممة لتقييم مدى قدرة الحواسيب على الاستنتاج باستخدام البيانات الجدولية. تضمنت هذه الاختبارات أسئلة تتطلب العثور على حقائق محددة، والتحقق مما إذا كانت عبارة ما صحيحة بناءً على الجدول، وإجراء عمليات حسابية رقمية. وأظهرت النتائج أن PARTAB تفوق باستمرار على الأساليب التي تعتمد على قراءة الجدول بالكامل أو استخدام تقنيات القص البسيطة. وفي أحد مجموعات البيانات الكبرى المتعلقة بأسئلة حول جداول ويكيبيديا، حقق النظام الجديد درجة دقة بلغت 79.31 بالمائة، متفوقًا على أفضل الأساليب السابقة. وفي مجموعة بيانات أخرى ركزت على التحقق من الحقائق، وصل إلى دقة بلغت 90.48 بالمائة. وكان التحسن أكثر دراماتيكية عندما كانت الجداول كبيرة أو فوضوية بشكل خاص؛ ففي الاختبارات التي تضمنت جداول صعبة ومعقدة، حسّن النظام الدقة بما يصل إلى 34 نقطة مئوية مقارنة بالنهج القياسية. ويشير هذا إلى أن الطريقة التي يتم بها تنظيم المعلومات وتقديمها للنموذج لا تقل أهمية عن ذكاء النموذج نفسه.
إن الرؤية الأساسية المستخلصة من الدراسة هي أن النظام لا يكتفي فقط بتقليل كمية النص التي يتعين على النموذج قراءتها، بل يغير هيكل ذلك النص ليتناسب مع منطق السؤال. فعندما يحلل النظام سؤالًا ما، فإنه يحدد أولاً نوع الاستنتاج المطلوب، مثل ما إذا كانت الإجابة تتطلب مقارنة قيمتين أو جمع قائمة ما. ثم يستخدم هذا الفهم لتجميع أعمدة الجدول في مجموعات دلالية، مما يضمن بقاء المعلومات ذات الصلة معًا. فعلى سبيل المثال، إذا كان السؤال يسأل عن عدد سكان المدن، فإن النظام يعزل أسماء المدن وأرقام السكان، متجاهلاً الأعمدة غير المرتبطة مثل تواريخ التأسيس أو رموز المناطق. ثم يقوم بتقسيم هذه المجموعات إلى أقسام صغيرة وسهلة الإدارة من الصفوف. بعد ذلك، يُطلب من النموذج الاستنتاج بناءً على هذه القطع المحددة والمنتقاة من الأدلة، وربطها معًا باستخدام معرف فريد لكل صف. وتسمح هذه العملية للنموذج بتركيز انتباهه بدقة حيث تبرز الحاجة، وتجنبه الارتباك الناتج عن البيانات غير ذات الصلة.
كما بحث الباحثون في سبب عمل النظام بهذا الشكل الجيد وأين قد لا يزال يواجه صعوبات. ووجدوا أن المكاسب الأكثر أهمية جاءت من القدرة على تحديد موقع الأدلة، مما يعني أن النظام استطاع تحديد الأجزاء التي تحتوي على الإجابة بدقة. ومع ذلك، أشاروا إلى أن النظام ليس مثاليًا؛ ففي حوالي 46 بالمائة من الحالات التي فشل فيها النظام، حدث الخطأ لأن الاختيار الأولي لأجزاء الجدول أغفل المعلومات الضرورية. وهذا يشير إلى أنه بينما تعد هذه الطريقة فعالة للغاية في تصفية الضجيج، فإن خطوة اختيار قطع البيانات الصحيحة تظل الجزء الأكثر حرجًا وتحديًا في العملية. بالإضافة إلى ذلك، فإن النظام مصمم للأسئلة التي يمكن العثور على إجابتها في مجموعة فرعية محددة من البيانات، وهو أقل ملاءمة للمهام التي تتطلب مسح كل صف في الجدول لحساب الإجماليات أو إيجاد الحد الأقصى العام، حيث يتجنب هذا النهج عمدًا عرض مجموعة البيانات بأكملها للنموذج.
على الرغم من هذه القيود، تظهر الدراسة مسارًا واضحًا لجعل الذكاء الاصطناعي أكثر موثوقية عند التعامل مع البيانات الواقعية الكبيرة. فمن خلال التعامل مع الاستنتاج من الجداول كمسألة تنظيم واختيار للأدلة وليس مجرد معالجة للنص الخام، أظهر الباحثون أن النماذج يمكنها تحقيق دقة أعلى بكثير دون الحاجة لأن تكون أكبر حجمًا أو أكثر قوة. كما أن النظام يعمل عبر أنواع مختلفة من النماذج، مما يشير إلى أن الفائدة تأتي من هيكلية الأدلة نفسها وليس من البرنامج المستخدم لمعالجتها. ومع استمرار نمو الجداول في الحجم والتعقيد في العالم الحقيقي، يوفر هذا النهج طريقة عملية لضمان قدرة الحواسيب على العث طالما وجدت الإبرة في كومة القش دون أن يتشتت انتباهها ببقية القش. وتُشير النتائج إلى أنه لكي تفهم الآلات البيانات المهيكلة حقًا، فإنها تحتاج إلى دليل يعرف كيفية تقديم المعلومات بطريقة تتماشى مع المنطق البشري والمتطلبات المحددة للسؤال.
ملخص تقني: PARTAB
بيان المشكلة
أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في مهام الاستدلال على الجداول مثل الإجابة على الأسئلة والتحقق من الحقائق عند العمل على مدخلات جدولية متسلسلة. ومع ذلك، تتدهور فعاليتها بشكل كبير مع زيادة حجم الجداول وتعقيدها. وتتمثل التحديات الرئيسية المحددة فيما يلي:
السياق غير ذي الصلة: مع نمو حجم الجدول، تسبب المحتويات غير ذات الصلة ضجيجاً، مما يؤدي إلى تشتت الانتباه وتأثيرات "الضياع في المنتصف" (lost-in-the-middle).
تحديد موقع الأدلة: تتطلب النهج الحالية غالباً الاستدلال عبر الجدول بأكم، أو عبر عرض واحد مختزل. وهذا يجعل من الصعب على النماذج تحديد تركيبات الصفوف والأعمدة المحددة المطلوبة للاستعلام بدقة، مما يؤدي إلى تحديد قيم الخلايا بشكل خاطئ وخطوات استدلال غير متسقة.
قيود النماذج الحالية:
Text-to-SQL: رغم فعاليتها في التجميع الهيكلي، إلا أنها تعاني مع الأوصاف النصية المشوشة والسمات ذات الصيغ الحرة الشائعة في البيانات الواقعية.
التلقين المباشر (Direct Prompting): مرن ولكنه يفشل في التقاط العلاقات بين الصفوف والأعمدة في الجداول الكبيرة.
الاسترجاع/التقليم (Retrieval/Pruning): يقلل من حجم السياق ولكنه يعمل غالباً ضمن رؤية أحادية ضخمة، مما يخاطر بإزالة الأدلة الضرورية أو الاختيار غير المكتمل.
تكمن المشكلة الجوهرية ليس فقط في ما هي المعلومات التي يتم استرجاعها، بل في كيفية هيكلة الاستدلال. تجادل الورقة بأن الاستدلال على الجداول يجب إعادة صياغته كمسألة مجزأة، حيث يحدث الاستدلال عبر مجموعات فرعية متماسكة دلالياً بدلاً من رؤية عالمية واحدة.
المنهجية: PARTAB
يقدم المؤلفون إطار عمل PARTAB (الاستدلال المدرك للتقسيم عبر الجداول)، والذي يبني واجهة أدلة مهيكلة بين النموذج اللغوي الكبير والجدول. بدلاً من دمج الأدلة في جدول واحد مختزل، ينشئ PARTAB حالة أدلة مشروطة بالاستعلام تتكون من مناطق جدولية مرتبطة بالصفوف ويمكن معالجتها بشكل مستقل. يعمل النظام من خلال مسار معياري مكون من أربع مراحل:
محلل الأسئلة (Question Analyzer): يقوم وحدة تعتمد على LLM بتحليل السؤال المدخل q لإنتاج تمثيل مهيكل zq. يقوم هذا بترميز نوع السؤال (مثل البحث، التجميع، المقارنة)، وعمليات معالجة البيانات المطلوبة (التصفية، الفرز)، ونوع الإجابة المتوقع. وهذا يوجه عمليات التقسيم والاختيار اللاحقة.
بناء التقسيم (Partition Builder): تقوم هذه المرحلة بتفكيك الجدول T إلى أجزاء متماسكة دلالياً:
تجميع الأعمدة الدلالي: يتم تجميع الأعمدة في مجموعات متماسكة دلالياً (مثل "الإحصائيات"، "البيانات الوصفية") بناءً على المخطط وسياق السؤال. تعمل معرفات الصفوف (Row IDs) كمفاتيح عالمية.
بناء أجزاء المجموعات (Chunked Part Construction): يتم تقسيم كل مجموعة دلالية لاحقاً على طول بُعد الصف إلى أجزاء ذات حجم ثابت (الافتراضي c=5). هذا ينشئ عروضاً متعددة وموضعية للجدول.
محدد المجموعات والأجزاء (Group and Part Selector): تحدد هذه المرحلة الحد الأدنى من مناطق الجدول المطلوبة للإجابة:
تحديد المجموعات: تختار وحدة LLM مجموعات الأعمدة ذات الصلة بناءً على تحليل السؤال، حيث تعمل كآلية توجيه على مستوى المخطط لتقليل مساحة البحث.
تحديد الأجزاء: يختار النظام أجزاء صفوف محددة ضمن المجموعات المختارة. تقيم الورقة ثلاث استراتيجيات: التحديد الأساسي (جميع المرشحين)، التحديد القائم على التشابه (TF-IDF)، والتحديد القائم على LLM (التنبؤ المباشر بالأجزاء ذات الصلة). وقد ثبت أن النهج القائم على LLM هو الأكثر فعالية.
منفذ الإجابة (Answer Executor): يتم تسلسل الأجزاء المختارة إلى سياق مدمج Cq. يتم توجيه الـ LLM للاستدلال عبر هذه الحالة المهيكلة، باستخدام row_id كمفتاح ربط عبر الأجزاء المختلفة لتكوين الأدلة. يتم تقييد النموذج صراحةً لاستخدام الأجزاء المقدمة فقط وتقديم إجابة نهائية قصيرة.
المساهمات الرئيسية
واجهة أدلة مهيكلة: تقديم PARTAB، الذي يبني حالة مشروطة بالاستعلام من مناطق جدولية منظمة دلالياً، ومرتبطة بالصفوف، ويمكن معالجتها بشكل مستقل، بدلاً من الاستدلال عبر رؤية واحدة.
مسار معياري: مسار مبتكر يجمع بين التجميع الدلالي، وتحديد المجموعات، وتحديد الأجزاء المرتبطة بالصفوف لتحسين المواءمة وتقليل الضجيج أثناء الاستدلال.
رؤى حول القابلية للتوسع: إثبات أن فوائد الاستدلال المدرك للتقسيم تزدل مع حجم الجدول والتعقيد الهيكلي، مما يؤكد فائدته كواجهة قابلة للتوسع للجداول الكبيرة والمشوشة.
النتائج التجريبية
تم تقييم PARTAB على ثلاثة معايير: WikiTableQuestions (الإجابة على الأسئلة)، و TabFact (التحقق من الحقائق)، و TableBench (الاستدلال الرقمي والتحقق من الحقائق).
الأداء: حقق PARTAB نتائج رائدة أو تنافسية عبر جميع المعايك:
WikiTableQuestions: حقق 79.31 في المطابقة التامة (EM)، متفوقاً على الأساليب الحديثة مثل TableMaster (78.13) و Chain-of-Table (68.53).
TabFact: حقق 90.48 في الدقة، متجاوزاً النماذج المرجعية مثل PoTable (88.93) و H-Star (89.42).
TableBench: حقق 70.33 EM في الاستدلال الرقمي و 82.71 في التحقق من الحقائق، وظل منافساً للأنظمة المتخصصة.
المجموعات الفرعية الصعبة: في المجموعات "الصعبة" (جداول تحتوي على أكثر من 45 صفاً أو أكثر من 10 أعمدة)، أظهر PARTAB تحسينات جوهرية مقارنة بالتلقين الكامل للجدول. على سبيل المثال، في TabFact-Hard، حسن الدقة بمقدار 25.53 نقطة (GPT-4o-mini) وما يصل إلى 34.04 نقطة (DeepSeek-v4-Pro) مقارنة بالنماذج المرجعية للجدول الكامل.
دراسات الاستئصال (Ablation Studies):
إزالة محلل الأسئلة أدى إلى انخفاض الأداء بمقدار 7.10 EM.
استبدال التجميع الدلالي بالتجميع العشوائي أدى إلى انخفاض الأداء بمقدار 10.47 EM.
استخدام تقسيم الصفوف فقط دون التجميع الدلالي تسبب في انخفاض هائل (22.12 EM)، مما يبرز ضرورة التحديد المشترك للصفوف والأعمدة.
الكفاءة: على الرغم من استخدام استدعاءات متعددة لـ LLM، عالج PARTAB عدداً أقل من الرموز (tokens) لكل استعلام مقارنة بالنماذج المرجعية متعددة المراحل مثل Chain-of-Table (2.3 ألف رمز مقابل 13.2 ألف رمز) مع تحقيق دقة أعلى.
تقليص السياق: قلل الإطار من السياق المعرض لمنفذ الإجابة بنسبة تقارب 75-78% مقارنة بالأجزاء المرشحة، مما ركز الاستدلال على الأدلة الأكثر صلة.
الأهمية والادعاءات
تدعي الورقة أن بناء الأدلة المهيكلة والمدركة للتقسيم يوفر واجهة استدلال فعالة لفهم الجداول القابل للتوسع. تكمن أهمية PARTAB في قدرته على:
إعادة صياغة الاستدلال: تغيير النموذج من "الاستدلال عبر جدول كامل" إلى "الاستدلال عبر تقسيمات مهيكلة ومتماسكة دلالياً".
تحسين التحديد الموضعي: تعزيز قدرة النموذج بشكل كبير على تحديد مكان الأدلة ذات الصلة، وهو العائق الرئيسي في الاستدلال على الجداول الكبيرة.
الموازنة بين المرونة والقابلية للتوسع: على عكس نهج Text-to-SQL الذي يعاني مع الضجيج، يحافظ PARTAB على مرونة الاستدلال المباشر لـ LLM مع التخفيف من مشكلات القابلية للتوسع من خلال التحديد الهرمي.
القدرة على التعميم: الإطار غير مرتبط بنموذج ملكية محدد، حيث أظهر أداءً قوياً عبر مختلف نماذج LLM (مثل GPT-4o-mini، Gemini-2.5-Flash-Lite، DeepSeek-v4-Flash).
يخلص المؤلفون إلى أنه بينما لا يحل الاستدلال المدرك للتقسيم محل الحاجة إلى التنفيذ الرمزي (symbolic execution) في مهام التجميع الشاملة، فإنه يعالج بفعالية عقبة تحديد موقع الأدلة والاستدلال المهيكل في الجداول الكبيرة والمشوشة.