T2S-Bench & Structure-of-Thought: Benchmarking and Prompting Comprehensive Text-to-Structure Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "T2S-Bench & Structure-of-Thought: Benchmarking and Prompting Comprehensive Text-to-Structure Reasoning."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) الحالية صعوبات في مهام معالجة النصوص المعقدة، لا سيما في سياقات السياق الطويل (مثل سير عمل "البحث-الدمج-التشكيل" Find-Fuse-Form). تكمن المشكلة الجوهرية في أن النماذج تتعامل عادةً مع هذه المهام كعمليات توليد نصوص من البداية إلى النهاية (end-to-end)، مما يفتقر إلى وجود تمثيل وسيط (IR) مستقر. يؤدي هذا إلى:

• عدم استقرار في استرجاع الأدلة.
• توليد غير قابل للتحكم وهلوسة (hallucinations).
• أداء ضعيف في الاستدلال متعدد الخطوات (حيث تحقق نماذج SOTA الحالية حوالي 60% فقط على LongBench).

الأساليب الحالية مثل "سلسلة الأفكار" (Chain-of-Thought - CoT) غالبًا ما تكون مخصصة لمهام معينة أو تُدخل ضجيجًا في مهام النصوص العامة. هناك نقص في وجود تمثيل وسيط (IR) عالمي وموثوق يمكنه تحسين فهم النصوص بشكل منهجي، كما لا يوجد اختبار مرجعي (benchmark) شامل لتقييم أو تدريب النماذج على قدرات "النص-إلى-البنية" (Text-to-Structure).

2. المنهجية

تقدم الورقة نهجًا ثنائي المسار: استراتيجية توجيه (prompting) جديدة (بنية الفكر - Structure of Thought) واختبار مرجعي شامل (T2S-Bench).

أ. بنية الفكر (Structure of Thought - SoT)

تعد SoT تقنية توجيه توجه النماذج صراحةً لبناء هياكل نصية وسيطة (رسوم بيانية من العقد والروابط) قبل توليد الإجابة النهائية.

• الآلية: بدلاً من القفز مباشرة إلى الإجابة، يتم توجيه النموذج للقيام بما يلي:
  1. استخراج الكيانات الرئيسية (العقد - nodes).
  2. تحديد العلاقات (الروابط - links).
  3. إخراج تمثيل مهيكل (مثل JSON).
  4. توليد الإجابة النهائية بناءً على هذا الهيكل.
• المنطق: يحاكي الإدراك البشري حيث يسهل هيكلة المعلومات عمليات الاسترجاع، والدمج، والتواصل الأكثر وضوحًا. بخلاف CoT، التي تهيكل خطوات الاستدلال، تقوم SoT بهيكلة المحتوى النصي نفسه.

ب. بناء T2S-Bench

يعد T2S-Bench أول مجموعة بيانات مصممة لتقييم وتحسين قدرات "النص-إلى-البنية".

• مصدر البيانات: مستمدة من أكثر من 1,800 عينة عالية الجودة مستخرجة من أوراق أكاديمية عبر 6 مجالات علمية (علوم الحاسوب، العلوم الحيوية، العلوم الاجتماعية، العلوم البيئية، الاقتصاد، العلوم الفيزيائية) و 32 نوعًا هيكليًا (مثل المخططات الانسيابية، الرسوم البيانية الموجهة غير الحلقية (DAGs) السببية، حلقات التغذية الراجعة).
• خط أنابيب البناء:
  1. الجمع الآلي: استخدام النماذج اللغوية الكبيرة للبحث عن الأوراق التي تحتوي على مخططات هيكلية، واستخراج النصوص، والتحقق من توافق المخطط مع النص.
  2. التحقق البشري: ثلاث جولات من التصفية من قبل خبراء (بمستوى دكتوراه) لضمان الدقة الهيكلية، وتقليل الضجيج، والاتساق المنطقي.
  3. مكونات مجموعة البيانات:
     • T2S-Train-1.2k: مجموعة تدريب لضبط النموذج (fine-tuning).
     • T2S-Bench-MR (500 عينة): تقييم الاستدلال متعدد الخطوات باستخدام أسئلة متعددة الخيارات (تحديد موقع الخطأ، رسم الخرائط الوظيفية، اختبار الحدود، والاستدلال المضاد للواقع).
     • T2S-Bench-E2E (87 عينة): استخراج الهيكل من البداية إلى النهاية (توقع العقد والروابط) مع قيود هيكلية جزئية لضمان عدالة التقييم.

3. المساهمات الرئيسية

1. بنية الفكر (SoT): استراتيجية توجيه عالمية تعزز الأداء باستمرار عبر مهام متنوعة وعائلات نماذج مختلفة من خلال فرض الهيكلة النصية الصريحة.
2. T2S-Bench: اختبار مرجعي صارم يغطي 1.8 ألف عينة، 6 مجالات، و32 نوعًا من الهياكل. يعالج مشكلة "واحد-إلى-متعدد" في الهيكلة باستخدام أسئلة استدلال متعددة الخطوات وقيود جزئية لاستخراج الهيكل (E2E).
3. التقييم الشامل: تقييم 45 نموذجًا رئيسيًا (بما في ذلك Gemini, GPT, Claude, Qwen, DeepSeek, Llama, Mistral) مما كشف عن فجوات كبيرة في الأداء والأهمية القصوى لاستخراج العقد.
4. رؤى الضبط الدقيق (Fine-Tuning): أثبتت أن الضبط الدقيق على T2S-Train يحسن بشكل كبير أداء معالجة النصوص العامة، مما يثبت أن مهارات الهيكلة قابلة للنقل.

4. النتائج الرئيسية

أ. أداء توجيه SoT

• تحسن عالمي: تتفوق SoT باستمرار على كل من الإجابة المباشرة (Direct Answering) وسلسلة الأفكار (CoT) عبر 8 مهام و3 عائلات من النماذج.
• المكاسب: في نموذج Qwen2.5-7B-Instruct، حققت SoT متوسط تحسن قدره +5.7% مقارنة بـ CoT عبر مهام متنوعة.
• مكاسب محددة: في مهام الاستدلال متعدد الخطوات (مثل 2WikiMultiHopQA)، تجاوزت التحسينات +10%.

ب. أداء الاختبار المرجعي (T2S-Bench)

• القدرة العامة: حتى أفضل النماذج تعاني. متوسط المطابقة التامة (EM) في T2S-Bench-MR هو 52.1% فقط.
• أفضل المؤدين:
  • Gemini-2.5-Pro: حقق 81.40% EM (MR)، و58.09% دقة العقد، و84.32% F1 للروابط.
  • Claude-sonnet-4-5: حقق 76.80% EM.
  • GPT-5.2: حقق 71.80% EM.
• عنق الزجاجة: استخراج العقد (Node Extraction) هو نقطة الفشل الأساسية. حتى النماذج المتفوقة تحقق فقط حوالي 58% في دقة العقد، بينما نسبة F1 للروابط أعلى بكثير (~84%). يشير هذا إلى أن النماذج يمكنها ربط الكيانات بمجرد العثور عليها، لكنها تكافح لتحديد المجموعة الصحيحة من الكيانات.
• حجم النموذج مقابل الأداء: التوسع في الحجم وحده ليس كافيًا. على سبيل المثال، يتفوق Llama-3.1-70B على Llama-3.1-405B، وتتفوق نماذج Qwen الأصغر أحيانًا على النسخ الأكبر "المفكرة"، مما يشير إلى أن جودة البيانات وضبط التعليمات أهم من عدد المعلمات.

ج. الضبط الدقيق والقابلية للنقل

• أدى الضبط الدقيق للنماذج على T2S-Train-1.2k إلى تعزيز الأداء بشكل كبير.
• Qwen2.5-7B: ارتفع EM في T2S-Bench-MR من 28.8% إلى 46.1% (بزيادة قدرها +17.3%).
• التعميم: انتقلت هذه المكاسب إلى اختبارات خارجية مثل HotpotQA (من 60.0% إلى 68.2%) و LongBench، مما يثبت أن تعلم هيكلة النصوص يحسن الاستدلال العام في السياقات الطويلة.

5. الأهمية والأثر

• تحول في النموذج الفكري: تجادل الورقة بأن الهيكلة الصريحة للنص هي كفاءة أساسية لنماذج LLM الموثوقة، حيث تعمل كتمثيل وسيط (IR) عالمي يربط بين النص الخام والاستدلال المعقد.
• أداة تشخيصية: يوفر T2S-Bench رؤية دقيقة لنقاط ضعف النماذج، ويسلط الضوء تحديدًا على أن اكتشاف الكيانات (استخراج العقد) هو عنق الزجاجة الحالي للاستدلال القائم على الرسوم البيانية.
• التطبيق العملي: تشير النتائج إلى أن دمج توجيه SoT أو الضبط الدقيق على البيانات المهيكلة يمكن أن يعزز بشكل كبير التطبيقات الواقعية مثل مراجعة الأدبيات، والأسئلة والأجوبة المستندة إلى الأدلة، وتوليد التقارير الآلية.
• الاتجاه المستقبلي: تدعو الورقة إلى البحث في خوارمايات الهيكلة القابلة للتوسع واستراتيجيات ما قبل التدريب الأفضل لتقسيم الكيانات وحل الإحالة (co-reference resolution) لسد الفجوة بين أداء الروابط وأداء العقد.

باختاً، تؤسس هذه الورقة لمبدأ أن بنية النص ليست مجرد ناتج ثانوي للاستدلال، بل هي متطلب سابق له، وتوفر الأدوات اللازمة (SoT و T2S-Bench) لقياس وتحسين هذه القدرة في النماذج اللغوية الكبيرة الحديثة.