ملخص تقني: FMBench: تنسيق مخرجات النماذج اللغوية الكبيرة التكيفي

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في اتباع التعليمات باللغة الطبيعية وتوليد استجابات متماسكة دلاليًا، إلا أنها تفشل كثيرًا في الالتزام بقيود تنسيق المخرجات الصارمة المطلوبة في بيئات الإنتاج. وتحديدًا، يعد تنسيق Markdown — وهو المعيار الفعلي لمساعدي الدردشة، والوثائق، وخطوط أنابيب الأدوات المعززة — عرضة لأخطاء هيكلية طفيفة ولكنها حرجة. وتشمل هذه الأخطاء القوائم المتداخلة المكسورة، والجداول غير السليمة، والتسلسل الهرمي غير المتسق للعناوين، وكتل الأكواد غير المتوازنة. إن مثل هذه الأخطاء، رغم كونها بسيطة على مستوى الرموز (tokens)، تؤدي بشكل غير متناسب إلى تدهور قابلية الاستخدام اللاحقة، وموثوقية التحليل، وسهولة القراءة البشرية.

تواجه النهج الحالية قيودًا كبيرة:

• هندسة الأوامر (Prompt Engineering): حساسة للغاية تجاه الصياغة والسياق، وغالبًا ما تفتقر إلى المتانة.
• فك التشفير المقيد (Constrained Decoding): يضمن الصلاحية النحوية ولكنه يضيف عبئًا على الاستدلال وقد يتعارض مع ترميز النموذج (tokenization) أو السلاسة الدلالية، خاصة في المخرجات الهجينة.
• الضبط الدقيق الخاضع للإشراف (SFT): غالبًا ما يفرط في ملاءمة الانتظامات السطحية في بيانات التدريب بدلاً من تعلم مبادئ التنسيق القوية الواعية بالسياق.
• التعلم التعزيزي (RL): رغم كونه واعدًا، إلا أن الطرق الحالية تعتمد غالبًا على هندسة مكافآت خاصة بالمهام أو تعريفات قواعد صارمة تفتقر إلى المرونة عبر مخططات التنسيق المتنوعة.

علاوة على ذلك، نادرًا ما تعزل الاختبارات المرجعية الحالية إعداد Markdown، مما يجعل من الصعب تشخيص فشل التنسيق في سيناريوهات اتباع التعليمات الواقعية. هناك نقص في إطار تقييم مركز يوازن بين الصحة الدلالية والامتثال الهيكلي.

المنهجية

1. FMBench: معيار لتنسيق Markdown

يقدم المؤلفون FMBench، وهو معيار مصمم لتقييم تنسيق مخرجات Markdown التكيفي تحت إعدادات واقعية لاتباع التعليمات.

• خط أنابيب بناء البيانات: يقوم خط أنابيب مكون من أربع مراحل شبه مؤتمتة بتوليد بيانات عالية الجودة ومنسقة بدقة:
  1. زحف الوثائق: جمع الوثائق الخام من ثمانية مجالات (أكاديمية، قانونية، تقنية، إل_إل).
  2. تنظيف الوثائق: توحيد المعايير وإزالة الضجيج.
  3. تنسيق LLM: تطبيق ثلاث قواعد تنسيق لتوليد بيانات مهيكلة بمستويات صعوبة متفاوتة.
  4. التحسين البشري: مراجعة الخبراء لتصحيح القواعد، وصقل الأسلوب، وضمان الامتثال الهيكلي.
• تكوين مجموعة البيانات: تحتوي مجموعة البيانات على 1,100 وثيقة Markdown عالية الجودة (800 للتدريب و300 للاختبار). وتتميز بتصميم هيكلي متوازن حيث يتم دفع التعقيد من خلال عمق القوائم المتداخلة وعدد العناصر بدلاً من عدد الأقسام المفرط.
• مقاييس التقييم:
  • الدرجة الدلالية (Semantic Score): تُقاس عبر BERTScore-F1 بين المخرج المولد والنص المرجعي لتقييم الحفاظ على المحتوى.
  • الدرجة الهيكلية (Structure Score): مكافأة هيكلية تقيس الامتثال للتنسيق المستهدف وتنظيم الوثيقة (مثل التسلسل الهرمي، وأنواع الكتل).

2. خط أنابيب التدريب: SFT + التعلم التعزيزي

يقترح البحث خط أنابيب تدريب لاحق خفيف الوزن لتحسين الامتثال لـ Markdown دون الاعتماد على قيود فك التشفير الصارمة أثناء الاستدلال.

• المرحلة 1: الضبط الدقيق الخاضع للإشراف (SFT):
  • يتم ضبط النماذج الأساسية (OpenPangu وQwen) باستخدام تقنية Low-Rank Adaptation (LoRA) على أزواج التعليمات والاستجابة.
  • تركز هذه المرحلة على تكييف النموذج مع مهمة توليد النص المنسق وتحسين المحاذاة الدلالية.
• المرحلة 2: الضبط الدقيق بالتعلم التعزيزي (RLFT):
  • بعد مرحلة SFT، يخضع النموذج لضبط تعزيزي باستخدام GRPO (تحسين السياسة النسبي للمجموعات).
  • تصميم المكافأة: هدف مركب يوازن بين الأمانة الدلالية والصحة الهيكلية:
    $$r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$$
    • $r_{sem}$: تُحسب عبر BERTScore-F1 بين المخرج والمرجع (باستخدام مشفر Longformer للوثائق الطويلة).
    • $r_{struct}$: تستهدف التشابه التنظيمي عالي المستوى من خلال مقارنة الملخصات التجريدية للمخرج المولد والمرجع.
  • يتم تحسين السياسة عبر مقارنات المكافأة النسبية داخل المجموعة، مع أخذ عينات من أربعة توليدات مرشحة متوازية لكل أمر.

المساهمات الرئيسية

1. المعيار (FMBench): أول معيار يركز حصريًا على تنسيق مخرجات Markdown، ويمتد عبر متطلبات هيكلية متنوعة (أقسام هرمية، تركيب مختلط من النثر والقوائم والجداول، كتل الأكواد) ويقيم كلا المحورين الدلالي والهيكلي.
2. المنهج: وصفة عملية للتدريب اللاحق تجمع بين SFT وRL (تحديدًا GRPO) التي تحسن الامتثال لـ Markdown مع الحفاظ على الأمانة الدلالية، مما يلغي الحاجة إلى القيود الصارمة أثناء الاستدلال.
3. التحليل: نتائج تجريبية عبر عائلتين من النماذج (OpenPangu وQwen) تكشف عن المقايضة المتأصلة بين الأهداف الدلالية والهيكلية وتوضح ضرورة تصميم المكافآت بعناية.

النتائج التجريبية

أُجريت التجارب على نماذج OpenPangu (1B, 7B) وQwen3 (1.7B, 8B).

• الأداء العام: تفوق خط الأنابيب الكامل (SFT + GRPO) باستمرار على النماذج الأساسية سابقة التدريب في كل من الأمانة الدلالية والامتثال الهيكلي.
• آثار حجم النموذج:
  • تأثير SFT: دفع SFT باستمرار نحو تحسين المحاذاة الدلالية عبر جميع أحجام النماذج. ظل الأداء الهيكلي دون تغيير كبير أو تحسن طفيف بعد SFT وحده.
  • تأثير GRPO: إضافة GRPO فوق SFT أدى إلى تحسين أو الحفاظ بشكل أفضل على الدرجات الهيكلية. بالنسبة للنماذج الأصغر، قد يضحي GRPO أحيانًا بقليل من الدقة الدلالية مقابل اتساق هيكلي أقوى. ومع ذلك، بالنسبة للنماذج الأكبر (مثل Qwen3-8B)، حققت المجموعة المدمجة أفضل أداء إجمالي في كلا المقياسين، مما يشير إلى أن قدرة النموذج العالية أمر بالغ الأهمية للتحسين المشترك لهذه الأهداف المتنافسة.
• النتيجة الرئيسية: يعد SFT العامل المهيمن للتحسين الدلالي، بينما يعمل GRPO كآلية تكميلية لتعزيز المتانة الهيكلية، خاصة عند البدء من سياسة SFT قوية.

الأهمية والادعاءات

يفترض البحث أن النشر الموثوق للنماذج اللغوية الكبيرة في سير العمل الموجه للمستخدمين والمدمج في الأنظمة يعتمد ليس فقط على الصحة الدلالية ولكن أيضًا على التنسيق المستقر القابل للاستخدام البشري.

• التنسيق كهدف للمحاذاة: يجادل المؤلفون بأن سلوك التنسيق يجب أن يُعامل كهدف محاذاة صريح وليس مجرد نتاج ثانوي لاتباع التعليمات.
• الوعي بالمقايضة: تسلط النتائج الضوء على التوتر المتأصل بين الأهداف الدلالية والهيكلية. إن زيادة أوزان المكافأة الهيكلية بشكل عشوائي يمكن أن تؤدي إلى مخرجات نمطية مفرطة التنظيم تشوه المحتوى. لذلك، يجب أن تكون تصميمات المكافآت قائمة على التحقق ومشروطة بالتعليمات.
• الفائدة العملية: يُقدم FMBench كأداة تشخيصية لتحفيز المزيد من البحث في أساليب المحاذاة التي تعامل التنسيق كمتطلب موثوقية من الدرجة الأولى لتوليد البيانات المهيكلة الموثوقة.

يقر المؤلفون بوجود قيود، بما في ذلك عدم القدرة على تغطية كامل التنوع في أساليب التأليف الواقعية، وذاتية بعض الخيارات الهيكلية، والاعتماد على التقييم المرجعي الذي قد يغفل عدة تجليات صحيحة لنفس القصد. ويقترحون أن العمل المستقبلي يجب أن يستكشف مناهج التعلم الهجين المقيدة، والتوسع ليشمل تنسيقات مهيكلة أخرى (JSON/YAML)، والتقييم المرتكز على الإنسان.