💬 NLP

Probing How Scalable Table Data Enhances General Long-Context Reasoning

تحدد هذه الورقة أن بيانات الجداول المهيكلة ذات التبعيات الدورية تعد مورداً فعالاً للغاية لتعزيز الاستدلال طويل السياق في النماذج اللغوية الكبيرة، وتقترح مسار توليد قابل للتوسع (TableLong) يعزز الأداء عبر كل من الاختبارات المعيارية داخل النطاق وخارجه.

المؤلفون الأصليون: Huaibing Xie, Guoliang Zhao, Yang Liu, Shihan Dou, Siming Huang, Yanling Xiao, Shaolei Wang, Yiting Liu, Cheng Zhang, Shaofan Liu, Pluto Zhou

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huaibing Xie, Guoliang Zhao, Yang Liu, Shihan Dou, Siming Huang, Yanling Xiao, Shaolei Wang, Yiting Liu, Cheng Zhang, Shaofan Liu, Pluto Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري لكنه مشتت الذهن (نموذج لغوي كبير، أو LLM) كيفية حل لغز ضخم. يتضمن اللغز قراءة مكتبة كاملة من الكتب، والعثور على جملة محددة للغاية مخبأة في الصفحة رقم 40,000، ثم استخدام تلك الجملة لحل مسألة رياضية.

معظم الطلاب (نماذج الذكاء الاصطناعي الحالية) يضيعون في منتصف المكتبة؛ فهم ينسون ما قرأوه في البداية بحلول الوقت الذي يصلون فيه إلى النهاية. هذه هي مشكلة "الاستدلال في السياق الطويل" (Long-Context Reasoning).

هذه الورقة البحثية، بعنوان "كيف يعزز تحليل البيانات الجدولية القابل للتوسع الاستدلال العام طويل السياق"، اكتشفت سلاحاً سرياً لإصلاح ذلك: الجداول (Spreadsheets).

إليك تفصيل لاكتشافهم باستخدام تشبيهات بسيطة:

1. المشكلة: "ذاكرة التلاشي" للنصوص

تخيل قراءة رواية طويلة. كلما ابتعدت عن بداية الرواية، قلّ تذكرك للشخصيات التي تم تقديمها في الفصل الأول. في عالم الذكاء الاصطناعي، يُسمى هذا "تلاشي السياق" (decaying context). إذا سألت الذكاء الاصطناعي عن شيء ذُكر قبل 10,000 كلمة، فإنه غالباً ما يخمن أو يهلوس لأن الرابط قد تلاشى.

2. الاكتشاف: ميزة "الشبكة"

لاحظ الباحثون أن الجداول (مثل جداول إكسل) تختلف عن الروايات.

الروايات: الرابط بين الكلمات يتلاشى كلما ابتعدت عنها.
الجداول: للجدول هيكل شبكي صلب. إذا نظرت إلى عمود "السعر"، فإن كل صف في ذلك العمود مرتبط بكل الصفوف الأخرى في نفس العمود، بغض النظر عن مدى تباعدها.

التشبيه:
فكر في الرواية كنهر طويل ومتعرج؛ إذا ألقيت حجراً في بدايته، فإن التموجات ستتلاشى قبل أن تصل إلى النهاية.
أما الجدول، ففكر فيه كـ رقعة شطرنج عملاقة ولانهائية. إذا كنت في مربع معين (مثل "العمود 3")، يمكنك "رؤية" كل المربعات الأخرى في ذلك العمود فوراً، حتى لو كانت على بُعد 1,000 مربع. الرابط لا يتلاشى أبداً؛ إنه دوري وغير قابل للكسر.

تثبت الورقة البحثية رياضياً أن هيكل "الشبكة" هذا يخلق رابطاً قوياً ودائماً بين قطع المعلومات المتباعدة، وهو بالضبط ما يحتاجه الذكاء الاصطناٍ ليتذكر الأشياء عبر مسافات طويلة.

3. الحل: "TableLong" (صالة التدريب الرياضية)

الباحثون لم يكتشفوا هذا فحسب، بل بنوا صالة رياضية لتدريب الذكاء الاصطناعي باستخدام هذه الرؤية. لقد أنشأوا مساراً يسمى TableLong.

كيف يعمل: بدلاً من تغذية الذكاء الاصطناعي بكتب عشوائية، قاموا بتوليد آلاف المهام المعقدة بلغة "SQL" (أسئلة قواعد البيانات) بناءً على جدايع ضخمة وغير منظمة.
التدريب: طلبوا من الذكاء الاصطناعي العثور على أرقام محددة، أو جمع الصفوف، أو ربط البيانات من جداول مختلفة.
الفلترة: كانوا صارمين للغاية. إذا أجاب الذكاء الاصطناعي على السؤال بسهولة شديدة، كانوا يستبعدون السؤال (لأنه ممل جداً). وإذا كان مستحيلاً، كانوا يستبعدونه أيضاً (لأنه صعب جداً). لقد احتفظوا فقط بالأسئلة التي تقع في منطقة "غولديلوكس" (المثالية) — أي الصعبة بما يكفي لجعل ذهن الذكاء الاصطناعي يتمدد ويتحسن.

4. النتائج: قدرات خارقة

عندما دربوا الذكاء الاصطناعي على جلسات "صالة تدريب الجداول" هذه، حدث شيء سحري:

الإبرة في كومة القش: اختبروا الذكاء الاصطناعي عبر إخفاء حقيقة صغيرة في وثيقة ضخمة. في السابق، كان الذكاء الاصطناعي يجدها بنسبة 69% من المرات. بعد تدريب TableLong، وجدها بنسبة 99% من المرات. كان الأمر أشبه بمنحه جهاز كشف معادن.
التعميم: على الرغم من أنهم دربوا الذكاء الاصطناعي على الجداول، إلا أنه أصبح أفضل في كل شيء آخر. فقد تحسن في الرياضيات، والبرمجة، وفهم المقروء، رغم أنه لم يرَ هذه الأنواع المحددة من المشكلات أثناء التدريب.

لماذا؟ لأن "العضلة" التي بناها الذكاء الاصطناعي كانت الانتباه (Attention). فمن خلال تعلم تتبع عمود محدد في جدول ضخم، تعلم كيفية تركيز انتباهه على قطعة المعلومات الصحيحة، بغض النظر عن مدى بعدها في النص.

5. الخلاصة

تجادل الورقة البحثية بأنه لجعل الذكاء الاصطناعي أكثر ذكاءً في قراءة المستندات الطويلة، لا ينبغي لنا فقط تغذيته بالمزيد من الكتب، بل يجب أن نغذيه بـ الشبكات الهيكلية المنظمة.

الاستعارة:
إذا أردت تعليم شخص ما أن يكون أميناً للمكتبة ببراعة، فلا تكتفِ بجعله يقرأ روايات لا تنتهي. أعطه فهرساً بطاقياً ضخماً ومنظماً (جدولاً) واجعله يبحث عن بطاقات محددة. بمجرد أن يتقن هيكل الفهرس، سيكون قادراً على إيجاد أي إبرة في أي كومة قش، حتى في كومة من الكتب غير المنظمة.

باختختصار: الجداول هي "أدوات الصالة الرياضية" التي تبني عضلات الذاكرة طويلة المدى التي يحتاجها الذكاء الاصطناعي للاستدلال عبر كميات هائلة من البيانات.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استقصاء كيف تعزز بيانات الجداول القدرة على التوسع في الاستدلال طويل السياق".

1. بيان المشكلة

بينما تتعامل النماذج اللغوية الكبيرة (LLMs) مع مهام واقعية تزداد تعقيداً، أصبح الاستدلال طويل السياق (long-context reasoning) قدرة حاسمة. ومع ذلك، يركز البحث الحالي بشكل أساسي على استراتيجيات التدريب (مثل التعلم التعزيزي) والمنهجيات، مع وجود فجوة كبيرة في فهم أي أنواع البيانات هي الأكثر فعالية لتعزيز الاستدلال طويل السياق ولماذا.

التحدي: غالباً ما تفشل النصوص الطبيعية والنصوص الاصطناعية البسيطة في تلبية متطلبات الاعتماد المتبادل بعيد المدى، والقابلية للتوسع، والتحقق في آن واحد. فهي تظهر عادةً تضاؤلاً وفق قانون القوة (power-law decay) في المعلومات المتبادلة (MI)، مما يعني أن الصلة بين الرموز (tokens) تتلاشى بسرعة مع زيادة المسافة.
الفجوة: هناك نقص في التحليل المنهجي حول كيفية تأثير الخصائص الهيكلية الجوهرية لأنواع البيانات المختلفة على قدرة النموذج اللغوي الكبير على الاستدلال عبر السياقات الطويلة.

2. المنهجية

يقترح المؤلفون نهجاً ثلاثي الأبعاد: التحليل النظري، وخط إنتاج بيانات قابل للتوسع، والتحقق التجريبي المكثف.

أ. التحليل النظري: المعلومات المتبادلة في الجداول

تقدم الورقة أول تحليل معلوماتي لهياكل الاعتماد الجدولية باستخدام المعلومات المتبادلة (Mutual Information - MI).

المرجع الأساسي للنص الطبيعي: في اللغة الطبيعية، تتضاءل المعلومات المتبادلة بين الرموز حدودياً مع المسافة ( $I(d) \sim d^{-\alpha}$ )، وتتلاشى في النهاية ( $\lim_{d\to\infty} I(d) = 0$ ).
فرضية بيانات الجداول: يفترض المؤلفون أن بيانات الجداول المهيكلة تظهر اعتمادات دورية غير متلاشية.
الإثبات الرياضي:
- عرّفوا جدولاً $T$ يحتوي على $n$ من الصفوف و $m$ من الأعمدة.
- تحت افتراضات الاتساق الدلالي للأعمدة وتميز التوزيع، أثبتوا أن متوسط المعلومات المتبادلة عند الفجوات التي هي مضاعفات عدد الأعمدة ( $d = k \cdot m$ ) يظل ثابتاً وإيجابياً: $\bar{I}_{table}(km) = I_{same} > 0$ .
- الرؤية الجوهرية: على عكس اللغة الطبيعية، تحافظ بيانات الجداول على اعتماد هيكلي غير متلاشٍ عند فترات دورية محددة، مما يخلق مسافة اعتماد فعالة "لانهائية" ( $D_{eff} = \infty$ ) لأي عتبة أقل من $I_{same}$ . هذا يجبر النموذج على الحفاظ على الانتباه عبر السياق بأكمله لالتقاط هذه الإشارات الدورية.

ب. خط إنتاج البيانات: TableLong

استناداً إلى الرؤى النظرية، يقترح المؤلفون TableLong، وهو خط إنتاج قابل للتوسع لتخليق بيانات جداول مهيكلة عالية الجودة، متنوعة، وقابلة للتحقق لتدريب التعلم التعزيزي (RL).

تهيئة البيئة: تجميع أكثر من 10,000 جدول من بيانات حقيقية (مثل Spider و BIRD) والوثائق، وتحويلها إلى بيئات SQLite قابلة للتنفيذ.
بناء العينات: استخدام النماذج اللغوية الكبيرة لتوليد استعلامات SQL متنوعة وأسئلة باللغة الطبيعية تستهدف ثلاثة أبعاد للاستدلال:
1. الاسترجاع الدقيق (Precise Retrieval): تصفية قيم محددة (ذرية).
2. الاستدلال متعدد الخطوات (Multi-hop Reasoning): تجميع على مستوى الأعمدة (SUM, AVG) يتطلب الانتباه إلى رموز غير متجاورة بسبب تسلسل البيانات (linearization).
3. التأصيل (Grounding): عمليات متعددة الجداول (JOIN) تتطلب من النموذج ربط الاستعلامات بجداول محددة في سياق طويل.
التحقق والترشيح: تنفيذ استعلامات SQL للحصول على الإجابات الصحيحة (ground-truth). تطبيق مرشح قائم على الاتساق للاحتفاظ فقط بالعينات التي تكون فيها نسبة النجاح ( $P$ ) بين 0 و 1 (أي ليست سهلة جداً ولا مستحيلة)، مما يضمن إشارات تدرج مثالية للتعلم التعزيزي.

ج. إعداد التدريب

النماذج: تم التدريب على نماذج أساسية تشمل Qwen2.5-32B، وQwen3-32B، ومتغيرات Deepseek-R1-Distill (14B/32B).
الخوارزمية: التعلم التعزيزي باستخدام GRPO (تحسين السياسة النسبي للمجموعات) على 64 وحدة GPU من نوع H20.
البيانات: تتكون بيانات التدريب من عينات TableLong المُخلّقة، مع أطوال سياق تتراوح من 4 آلاف إلى 16 ألف رمز خلال التدريب.

3. المساهمات الرئيسية

الاكتشاف النظري: أول من أثبت رياضياً أن بيانات الجداول المهيكلة تمتلك اعتمادات دورية غير متلاشية عبر تحليل المعلومات المتبادلة، وهو ما يتناقض بحدة مع الاعتمادات المتلاشية للغة الطبيعية.
خط الإنتاج القابل للتوسع (TableLong): اقتراح خط إنتاج جديد وشامل لتخليق مهام تعتمد على الجداول قابلة للتحقق، متنوعة، وصعبة، وتتوسع بفعالية في الطول والتعقيد.
تفكيك الآلية: تحليل سبب عمل بيانات الجداول بشكل منهجي، وتحديد أربعة محركات رئيسية:
- الهيكل الجوهري: الهيكل الدوري نفسه يوفر الأساس للاعتمادات طويلة المدى.
- المحتوى الدلالي: ضروري لإشارات الاستدلال المعقدة.
- الاستدلال متعدد الخطوات: يجبر تسلسل الجداول (linearization) النماذج على الانتباه إلى رموز غير متجاورة، مما يعزز قدرات الاستدلال متعدد الخطوات.
- التأصيل (Grounding): تجبر سيناريوهات الجداول المتعددة النموذج على تعلم تخصيص الانتباه لعناصر "تأصيل" محددة عبر السياق.

4. النتائج التجريبية

قيم المؤلفون طريقتهم عبر العديد من اختبارات السياق الطويل ومهام خارج نطاق التوزيع (OOD).

اختبارات السياق الطويل:
- على نموذج Deepseek-R1-Distill-Qwen-32B، حقق TableLong تحسناً متوسطاً قدره +8.24% عبر سبعة اختبارات OOD للسياق الطويل (مثل LongBench-v2، Loong، Ruler).
- لوحظت مكاسب مماثلة على نماذج أخرى (Qwen3-32B: +4.94%، Deepseek-R1-14B: +8.93%).
أداء الاسترجاع (الإبرة في كومة القش - Needle-in-a-Haystack):
- تحسن ملحوظ في تحديد موقع المعلومات عند مستويات السياق العميقة.
- نموذج 14B: ارتفعت الدقة من 69.30% إلى 91.20%.
- نموذج 32B: ارتفعت الدقة من 87.95% إلى 99.40% (تقترب من الكمال).
التعميم (OOD):
- عممت الطريقة بشكل جيد على مجالات لم تُشاهد في التدريب.
- LiveCodeBench (البرمجة): تحسن بنسبة +11.97%.
- AIME 2025 (الرياضيات): تحسن بنسبة +10.00%.
- GPQA-Diamond (العلوم): تحسن بنسبة +7.58%.
القابلية للتوسع: نجحت النماذج المدربة على تسلسلات جداول أقصر (4k-16k) في التعميم على سياقات تصل إلى 128k، مما أظهر قدرة قوية على استقراء الطول.

5. الأهمية والأثر

رؤية متمحورة حول البيانات: تنقل الورقة التركيز من التحسينات الهيكلية أو الخوارزمية البحتة إلى تصميم البيانات، مظهرة أن هيكل بيانات التدريب هو المحرك الأساسي لقدرات الاستدلال طويل السياق.
توجيه عملي: توفر وصفة ملموسة وقابلة للتوسع (TableLong) للممارسين لتخليق بيانات تدريب عالية الجودة تعزز قدرة النماذج اللغوية الكبيرة على التعامل مع مهام السياق الطويل المعقدة دون الحاجة إلى زيادة هائلة في معاملات النموذج (parameters).
الأساس النظري: من خلال إنشاء الرابط بين الاعتمادات الهيكلية الدورية والاستدلال طويل السياق، تقدم هذه الدراسة عدسة نظرية جديدة لفهم كيفية معالجة النماذج اللغوية الكبيرة للمعلومات عبر مسافات طويلة، مما يشير إلى أن "الضجيج المهيكل" (مثل فواصل الجداول والدورية) يمكن أن يكون أكثر فعالية من النصوص غير المهيكلة لمهام استدلال معينة.

في الختام، تثبت الورقة أن بيانات الجداول المهيكلة هي وسيط متفوق لتدريب الاستدلال طويل السياق في النماذج اللغبية الكبيرة بسبب اعتماداتها الدورية المتأصلة، وأن خط إنتاج TableLong المقترح يستفيد بفعالية من هذه الخاصية لتعزيز الأداء بشكل كبير عبر مختلف الاختبارات والمجالات.