🤖 machine learning

End-to-End Compression for Tabular Foundation Models

تقدم الورقة البحثية نموذج TACO، وهو نموذج ضغط بيانات جدولي شامل (end-to-end) يقلل بشكل كبير من وقت الاستدلال واستهلاك الذاكرة مقارنة بالنماذج التأسيسية الجدوليّة القائمة على المحولات (transformer-based) والأكثر تطوراً، مع الحفاظ على الأداء التنبؤي أو تحسينه على مجموعات البيانات واسعة النطاق.

المؤلفون الأصليون: Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "الضغط من الطرف إلى الطرف لنماذج التأسيس الجدولي" (TACO)، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "مكتبة كل شيء"

تخيل أن لديك أمين مكتبة عبقري (نموذج التأسيس الجدولي) يمكنه التنبؤ بأي شيء تقريبًا عن عميل، أو آلة، أو مريض. للقيام بذلك، لا يكتفي أمين المكتبة بالتخمين؛ بل يقرأ التاريخ الكامل لكل شخص مرّ عبر الباب على الإطلاق (مجموعة بيانات التدريب) قبل إجراء تنبؤ لشخص جديد.

في الماضي، كان أمين المكتبة هذا بطيئًا لأنه كان عليه قراءة كل كتاب في المكتبة واحدًا تلو الآخر. مؤخرًا، وصل نوع جديد من أمناء المكتبة يتميز بالسرعة الفائقة في القراءة، لكن لديهم عيب رئيسي: يصابون بالارتباك بسبب حجم المكتبة.

إذا كانت المكتبة تحتوي على 100 كتاب، فسيكون أمين المكتبة بخير. ولكن إذا كانت المكتبة تحتوي على 100,000 كتاب، فإن عقل أمين المكتبة (ذاكرة الكمبيوتر) ينفجر. لا يمكنهم استيعاب كل الكتب في رؤوسهم في وقت واحد لإجراء تنبؤ. هذه هي مشكلة "التعقيد التربيعي" المذكورة في الورقة: مع نمو البيانات، تنمو الوقت والذاكرة المطلوبة لمعالجتها بشكل انفجاري، مما يجعل من المستح المستحيل استخدام هذه النماذج الذكية على مجموعات البيانات الضخمة في العالم الحقيقي.

الحل: TACO (الملخص الذكي)

ابتكر المؤلفون في هذه الورقة أداة جديدة تسمى TACO. فكر في TACO كـ ملخص عالي الكفاءة يجلس بين المكتبة الضخمة وأمين المكتبة.

إليك كيف يعمل في ثلاث خطوات بسيطة:

الضغط (الملخص): قبل أن يرى أمين المكتبة البيانات، يأخذ TACO المكتبة الضخمة المكونة من 100,000 كتاب ويختصرها في كتيب واحد صغير مكون من 100 صفحة بعنوان "أبرز المحطات". هو لا يرمي القصص المهمة؛ بل يتعلم الأنماط وجوهر البيانات ويكتبها في تنسيق مدمج.
التنبؤ (أمين المكتبة): يقرأ أمين المكتبة بعد ذلك هذا الكتيب الصغير المكون من 100 صفحة بدلاً من المكتبة الضخمة. ولأن الكتيب صغير جدًا، يمكن لأمين المكتبة إجراء التنبؤات فورًا تقريبًا.
النتيجة: لا يزال أمين المكتبة يعرف كل ما يحتاج إلى معرفته تقريبًا، لكنه يفعل ذلك بجهد أقل بكثير.

ما حققه TACO (الأرقام السحرية)

اختبرت الورقة هذا النظام مقابل أفضل النماذج الموجودة (مثل TabPFN) ووجدت نتائج مذهلة:

السرعة: TACO أسرع بما يصل إلى 94 مرة في إجراء التنبؤات. إذا كان النموذج القديم يستغرق 10 ثوانٍ للتفكير، فإن TACO يستغرق جزءًا من الثانية.
الذاكرة: يستخدم TACO ذاكرة أقل بنسبة تصل إلى 97%. تخيل محاولة حمل حقيبة سفر ثقيلة (النموذج القديم) مقابل ظرف صغير (TACO). غالبًا ما يتوقف النموذج القديم عن العمل لأن الحقيبة ثقيلة جدًا على الكمبيوتر لحملها؛ بينما يتسع TACO بسهولة في الجيب.
الدقة: على الرغم من تقليص البيانات إلى 1% فقط من حجمها الأصلي، لم يفقد TACO الكثير من الدقة. لقد قدم أداءً يضاهي النماذج التي حاولت قراءة المكتبة بأكملها.

كيف فعلوا ذلك (الخلطة السرية)

توضح الورقة أن TACO ليس مجرد مرشح بسيط؛ بل هو فريق يتم تدريبه معًا.

تخيل مُضغطًا (الملخص) ومتنبئًا (أمين المكتبة) يتدربان معًا في صالة الألعاب الرياضية.
يتدربان معًا: يتعلم المُضغط كيفية تلخيص البيانات خصيصًا ليفهمها المتنبئ بأفضل شكل ممكن. ويتعلم المتنبئ كيفية قراءة هذه الملخصات بفعالية.
لو تدربا بشكل منفصل، فقد يلخص المُضغط أشياء لا يستطيع المتنبئ فهمها. ولكن نظرًا لأنهما يتدربان معًا (من الطرف إلى الطرف)، فهما يتحدثان نفس اللغة.

خدعة "التقطيع" (التعامل مع ما لا يمكن استيعابه)

حلت الورقة أيضًا مشكلة مجموعات البيانات الضخمة جدًا التي تفوق ذاكرة أي كمبيوتر (مثل 1.5 مليون صف).

التشبيه: تخيل محاولة تلخيص رواية مكونة من 1,000 صفحة، بينما مفكرتك لا تتسع إلا لـ 10 صفحات.
الاستراتيجية: يقوم TACO بتقسيم الرواية إلى فصول صغيرة (قطع). يلخص الفصل الأول، ثم الفصل الثاني، ثم الفصل الثالث. وأخيرًا، يقوم بخياطة هذه الملخصات الصغيرة معًا في "ملخص رئيسي" واحد.
سمح هذا لهم بتشغيل التنبؤات على مجموعة بيانات مكونة من 1.5 مليون صف، وهي مهمة تسببت في تعطل النماذج الأخرى فورًا بسبب حدود الذاكرة.

الخلاصة

تزعم الورقة أن TACO يسمح لنا باستخدام "نماذج التأسيس" فائقة الذكاء على مجموعات البيانات الضخمة في العالم الحقيقي دون الحاجة إلى كمبيوتر خارق. إنه يحول عملية بطيئة وتستهلك الكثير من الذاكرة إلى عملية سريعة وخفيفة الوزن، مع الحفاظ على دقة التنبؤات. إنه يحل فعليًا "مشكلة التوسع" التي كانت تمنع استخدام هذه النماذج الذكية في أكبر مشاكل البيانات.

ملخص تقني: الضغط من الطرف إلى الطرف للنماذج التأسيسية للبيانات الجدولية

بيان المشكلة

واجهت النماذج التأسيسية للبيانات الجدولية (TFMs)، وخاصة تلك التي تستخدم التعلم في السياق (ICL) مع بنيات المحولات (transformer) أحادية المخرج (decoder-only)، تحدياً لسيادة الأشجار المعززة بالتدرج (gradient-boosted decision trees). ومع ذلك، تواجه هذه النماذج عقبة أساسية في التوسع: حيث تتناسب تعقيدات الاستنتاج لديها تربيعياً ( $O(N^2)$ ) أو خطياً ( $O(N)$ مع استخدام ذاكرة التخزين المؤقت للقيم المفتاحية والتحقق KV caching) مع عدد حالات التدريب $N$ . هذا الاعتماد التربيعي على حجم سياق الشرط يخلق أعباءً هائلة على الذاكرة والحوسبة، مما يحد من النماذج التأسيسية للبيانات الجدولية ويحصرها في مجموعات البيانات الصغيرة أو المتوسطة. وبناءً على ذلك، غالباً ما يتدهور الأداء في مجموعات البيانات الكبيرة والغنية بالمعلومات، وتكافح النماذج للتعامل مع السيناريوهات الواقعية التي تتطلب نوافذ سياق ضخمة.

المنهجية: TACO

لمعالجة هذه العقبة، يقترح المؤلفون TACO (الضغط الجدولي)، وهو بنية نمطية متكاملة مصممة لضغط مجموعة بيانات التدريب في مساحة كامنة قبل التنبؤ. يتكون الإطار من مكونين يتم تدريبهما بشكل مشترك:

الضاغط ( $g$ ): وحدة قائمة على المحولات (transformer) تقوم برسم خرائط لمجموعة بيانات التدريب الأصلية $D_{train}$ (التي تحتوي على $N$ من الصفوف) إلى تمثيل مدمج ومنخفض الرتبة $D_{mini-train}$ يحتوي على $K$ من الصفوف، حيث $K \ll N$ . يتم تدريب الضاغط لتعلم تمثيل مكثف يلتقط الأنماط النموذجية للبيانات الجدولية. وهو يستخدم جدولاً "وهمياً" يتم تهيئته من مجموعة فرعية من البيانات، والذي يتم تحسينه بشكل تكراري ليمثل مجموعة البيانات الكاملة.
المتنبئ ( $f$ ): محول جدولي قياسي (يعتمد على بنية TabPFNv2) يقوم بالتنبؤ في السياق. بدلاً من الانتباه إلى مجموعة البيانات الكاملة المكونة من $N$ صف، يعتمد المتنبئ في شرطه على السياق المضغوط $D_{mini-train}$ وميزات دفعة الاختبار.

استراتيجية التدريب:
يتم تعلم كل من الضاغط والمتنبئ بشكل تكراري مشترك (meta-learned) بطريقة متكاملة من الطرف إلى الطرف. الهدف هو تقليل خسارة التنبؤ عبر توزيع سابق لمجموعات البيانات، مما يحفز الضاغط على إنتاج تمثيل يعظم أداء المتنبئ. تتضمن سلسلة التدريب ما يلي:

التدريب المسبق الاصطناعي: استخدام النماذج السببية الهيكلية (SCMs) لتوليد مجموعات بيانات اصطناعية متنوعة.
التعلم المنهجي (Curriculum Learning): زيادة أطوال التسلسل تدريجياً أثناء التدريب (من 1 ألف إلى 60 ألف صف).
التكيف مع البيانات الحقيقية: الضبط الدقيق على مجموعات البيانات الجدولية الحقيقية باستخدام مهام التعلم الذاتي (عبر استنباط الصفوف/الميزات).
التدريب متعدد المعدلات: يتم تدريب النموذج للتعامل مع معدلات ضغط مختلفة ( $r \in \{1, 2, 4, 8, 16\}\%$ ) في آن واحد، مما يسمح لنموذج واحد بالعمل تحت قيود موارد مختلفة.

آلية التوسع:
بالنسبة لمجموعات البيانات التي تتجاوز سعة الذازة لمرور أمامي واحد (على سبيل المثال، > 1 مليون صف)، يستخدم TACO استراتيجية التقطيع والربط (chunking-and-stitching). حيث يتم تقسيم مجموعة البيانات إلى قطع منفصلة، تُضغط كل منها بشكل مستقل، ثم تُدمج الملخصات الناتجة لتشكيل سياق عالمي للمتنبئ.

المساهمات الرئيسية

بنية مبتكرة: تقديم TACO، وهو أول طريقة متكاملة من الطرف إلى الطرف لضغط سياق التدريب للنماذج التأسيسية للبيانات الجدولية، مما يفصل جودة التنبؤ عن الحجم الخام للسياق الشرطي.
مكاسب الكفاءة: إثبات تجريبي أن TACO يحقق تسريعاً يصل إلى 94 ضعفاً في وقت الاستنتاج و9مال توفيراً في الذاكرة مقارنة بالمحولات التي تعتمد على المتنبئ فقط (POT) المتطورة، مع الحفاظ على الأداء عند معدل ضغط 1%.
القابلية للتوسع: استراتيجية مثبتة لاستيعاب مجموعات البيانات التي تزيد عن مليون صف (مثل مجموعة بيانات MetroPT-3 التي تضم ~1.5 مليون صف) عن طريق ضغطها إلى بضعة آلاف من الصفوف الكامنة، وهي مهمة غير قابلة للتنفيذ بالنسبة للنماذج التأسيسية التقليدية بسبب قيود الذاكرة.
التحسين المشترك: دليل على أن التدريب المشترك للضاغط والمتنبئ يتفوق على تجميد المتنب، لأنه يسمح للمتنب بتكييف مساحة تمثيله مع المدخلات المضغوطة.

النتائج التجريبية

قام المؤلفون بتقييم TACO على معيار TabArena ومجموعات بيانات إضافية واسعة النطاق (TabFSBench, TableShift, MetroPT-3):

الأداء مقابل السرعة: عند معدل ضغط 1%، يحقق TACO تسريعاً قدره 94 ضعفاً في التنبؤات اللاحقة ويقلل من استهلاك الذاكرة بنسبة 97.6% مقارنة بالخط المرجعي الأساسي (POT) غير المضغوط. التدهور في الأداء غير مؤثر إحصائياً (الفرق في ROC-AUC قريب من الصفر) مقارنة بخط المرجع ذي السياق الكامل.
كفاءة الذاكرة: في سيناريوهات استخدام ذاكرة التخزين المؤقت للقيم المفتاحية (KV caching)، غالباً ما تواجه نماذج POT أخطاء "نفاد الذاكرة" (OOM) في مجموعات البيانات التي تزيد عن 32,000 صف، بينما يظل TACO ممكناً. يقلل TACO من استخدام ذاكرة الفيديو (VRAM) بنسبة تصل إلى 92% في إعدادات ذاكرة التخزين المؤقت للقيم المفتاحية.
مقارنات الخط المرجعي: يتفوق TACO بشكل كبير على نماذج الضغط البسيطة مثل العينات العشوائية وأخذ العينات باستخدام أقرب جار (k-Nearest Neighbors) عبر جميع معدلات الضغط.
التعامل مع النطاق الواسع: في مجموعة بيانات MetroPT-3 (~1.5 مليون صف)، قام TACO بضغط مجموعة التدريب إلى ~1,200 صف وحقق دقة وAUPRC متفوقة مقارنة بالنماذج المرجعية وXGBoost، بينما فشلت نماذج POT وTabPFv2 في التشغيل.
المتانة: في معيار TableShift، نجح TACO في العمل على 12 من أصل 15 مجموعة بيانات فشلت فيها النماذج التأسيسية القياسية بسبب حدود الذاكرة، مع الحفاظ على دقة تنافسية تحت تأثير تغير التوزيع.

الأهمية والادعاءات

يزعم البحث أن TACO يعيد صياغة مفهوم الاستنتاج في السياق للبيانات الجدولية من خلال تعلم تمثيلات للبيانات تظل تنبؤية تحت قيود صارمة لوقت الاستنتاج. ويؤكد المؤلفون أن طريقتهم تتيح مقايضة مبدئية بين الدقة وزمن الاستج (latency)، مما يسم يسمح للمتنبئات الجدولية في السياق بالتوسع لتشمل مجموعات البيانات الضخمة في العالم الحقيقي التي كانت غير متاحة سابقاً للمقاربات القائمة على المحولات.

يسلط العمل الضوء على أن التعقيد التربيعي لآليات الانتباه ليس عائقاً لا يمكن تجاوزه إذا تم ضغط السياق بذكاء. ومن خلال تقليل حجم السياق الفعلي بمعامل $N/K$ ، يجعل TACO توسع تكاليف الذاكرة والحوسبة خطياً، مما يجعل النماذج التأسية عالية الأداء قابلة للتطبيق في التطبيقات الصناعية التي تتضمن بيانات جدولية ضخمة. ويخلص المؤلفون إلى أنه بينما يعزز TACO القدرة على التوسع، يجب أن تعالج الأعمال المستقبلية التوزيعات المختلفة للقيم المفقودة، وتغيرات التوزيع، والتوسعات في مهام الانحدار (regression) والسلاسل الزمنية.