ملخص تقني: TextReg

المشكلة: الإفراط في التخصيص التوزيعي للمطالبات (Prompt Distributional Overfitting)

تعد النماذج اللغوية الكبيرة (LLMs) حساسة للغاية للمطالبات المدخلة، والتي تعمل كواجهة أساسية لتحديد أهداف المهام والقيود. وبينما تقوم طرق تحسين المطالبات الحديثة بإعادة كتابة المطالبات بشكل تكراري باستخدام التغذية الراجعة المولدة من النموذج لتحسين الأداء، إلا أنها غالبًا ما تعاني من الإفراط في التخصيص التوزيعي للمطالبات. ومع تقدم عملية التحسين، تميل المطالبات إلى أن تصبح أطول وتراكم قواعد ضيقة خاصة بعينات محددة (مثل الاستثناءات لكيانات معينة أو حالات حافة) بدلاً من ترميز مبادئ عامة وموجزة.

يتجلى هذا النمط من الفشل عبر بُعدين مترابطين:

1. تكلفة السعة (Capacity Cost): تتوسع المطالبات في الطول، مما يستهلك ميزانية السياق ويجعل من الصعب على النماذج تحديد التعليمات ذات الصلة ضمن نوافذ السياق المحدودة.
2. ضيق النطاق (Scope Narrowness): تراكم المطالبات قواعد تقلل من خسارة التدريب ولكنها لا تنطبق إلا على مجموعة فرعية ضيقة من المدخلات، حيث تعمل كترقيعات مؤقتة (ad hoc patches) بدلاً من كونها مبادئ مهام قابلة لإعادة الاستخدام.

تفتقر أدوات التحسين الحالية إلى آليات للتحكم في أي من البعدين، مما يؤدي إلى إنتاج مطالبات تؤدي أداءً جيدًا على بيانات التدريب ولكنها تتعميم بشكل سيء على المدخلات خارج التوزيع (OOD)، أو متغيرات المهام الأكثر صعوبة، أو بنيات النماذج المختلفة.

المنهجية: TextReg

يقترح المؤلفون TextReg، وهو إطار عمل للتنظيم (regularization) مصمم للتخفيف من الإفراط في التخصيص التوزيعي للمطالبات عن طريق التحكم في عدم كفاءة التمثيل. يصيغ الإطار عدم الكفاءة كقياس ثنائي العوامل:
$$I(p) = C(p) \cdot W(p)$$
حيث أن $C(p)$ هو تكلفة السعة (طول الرموز/tokens) و $W(p)$ هو ضيق النطاق (نسبة القواعد ذات نطاق التعميم المحدود). يهدف TextReg إلى تقليل هدف منظم: $\min LD_{train}(p) + \lambda I(p)$.

بما أن تحسين المطالبة يحدث في فضاء نصي منفصل غير قابل للاشتقاق، يحقق TextReg هذا الهدف من خلال ثلاث مراحل متكاملة تولد وتطبق "تدرجات نصية":

1. تنقية التدرج بالدليل المزدوج (Dual-Evidence Gradient Purification)

تعمل هذه المرحلة عند مصدر إشارة التحسين لتصفية تدرجات المهمة الخام قبل أن تؤثر على المطالبة. وهي تميز بين القواعد القابلة للتطبيق على نطاق واسع وبين الترقيات الضيقة الخاصة بعينة معينة باستخدام مصدرين للأدلة:

• دليل الحالة المحلية (Local Case Evidence): يحلل ما إذا كان تدرج القاعدة المقترح يعود مباشرة إلى سمات مميزة للدفعة الصغيرة الحالية (مثل كيانات محددة أو حالات حافة نادرة).
• دليل التكرار العالمي (Global Recurrence Evidence - RuleBank): يحتفظ بذاكرة للقواعد المعممة المقبولة. لا يتم الاحتفاظ بالتدرج إلا إذا كان لديه دعم تكرار كافٍ عبر خطوات التحسين، مما يشير إلى أنه يلتقط بنية المهمة العامة بدلاً من كونه إصلاحًا لمرة واحدة.
• الإجراء: تُصنف التدرجات كـ قواعد معممة (يتم الاحتفاظ بها وإعادة كتابتها بإيجاز)، أو ترقيات حالات (يتم رفضها)، أو أسلوب فقط (يتم رفضها).

2. تنظيم التعديل الدلالي (Semantic Edit Regularization - SER)

تشخص هذه المرحلة عدم الكفاءة التي تراكمت بالفعل في المطالبة أو التي استُحدثت أثناء عملية إعادة الكتابة. وهي تقدر التغير في عدم كفاءة التمثيل ($\Delta \log I(p)$) بين المطالبة السابقة ($p_{t-1}$) والمطالبة الحالية ($p_t$) باستخدام نهج الفرق المحدود:

• قناة السعة: يتم تفعيلها إذا تجاوز نمو طول الرموز النسبي عتبة معينة.
• قناة النطاق: تستخدم محلل فرق دلالي لتحديد ما إذا كان تكوين القواعد قد ضاق (إضافة ترقيات خاصة بالحالات) أو اتسع.
• الإجراء: إذا تم اكتشاف تدهور، يقوم SER بتخليق تدرج تنظيم نصي ($g_{reg}$) يوجه النموذج لضغط المطالبة، أو دمج القواعد المتكررة، أو استبدال القواعد الضيقة بمبادئ أوسع.

3. تحديث المطالبة الموجه بالتنظيم (Regularization-Guided Prompt Update)

تجري المرحلة النهائية عملية إعادة كتابة المطالبة. حيث تختار مطالبة مرشحة جديدة ($p_{t+1}$) من مجموعة من التعديلات المخلصة للمهمة (تلك التي تنفذ التدرج النقي للمهمة $\tilde{g}_{task}$) والتي تكون الأكثر توافقًا مع تدرج التنظيم ($g_{reg}$).

• تعطي عملية التحديث الأولوية لتحسين المهمة ولكنها توجه الاختيار نحو التعديلات التي تقلل من زيادة تكلفة السعة أو ضيق النطاق.
• إذا لم يستوفِ أي مرشح كلا الإشارتين، فإن النظام يعود إلى التحديث المخلص للمهمة، مما يضمن أن يعمل التنظيم كعقوبة ناعمة وليس كقيد صارم يوقف عملية التحسين.

المساهمات الرئيسية

1. صياغة عدم كفاءة التمثيل: يحدد البحث الإفراط في التخصيص التوزيعي للمطالبات كفشل في كفاءة التمثيل في تحسين الفضاء النصي المنفصل، مقدمًا مقياسًا ثنائي العوامل ($I(p)$) يلتقط التفاعل بين طول المطالبة وتخصيص القواعد.
2. التحسين المنظم للفضاء النصي: يقدم TextReg إطار عمل لتحقيق أهداف العقوبة الناعمة في الفضاء النصي دون معاملات قابلة للاشتقاق، وذلك باستخدام تنقية التدرج بالدليل المزدوج، والتنظيم الدلالي، وتحديث المطالبة الموجه بالتنظيم.
3. تحسين التعميم خارج التوزيع (OOD): أظهرت التجار𝓷ات المكثفة أن التحكم في عدم كفاءة التمثيل يقلل بشكل كبير من الإفراط في التخصيص، مما يؤدي إلى أداء قوي عبر مجموعات البيانات وبنيات النماذج المختلفة.

النتائج التجريبية

قيم المؤلفون TextReg على ستة اختبارات استدلال (Logical Deduction, Tracking Shuffled Objects, GSM8K, SVAMP, MultiArith) باستخدام أربعة نماذج خلفية مختلفة (Qwen2, Phi-3.5, Llama-3, Llama-3.1). تم تحسين المطالبات على مهام "3-objects" أو المهام المصدرية واختبارها على متغيرات أصعب "5/7-objects" ومجموعات بيانات حسابية مختلفة.

• الأداء: تفوق TextReg باستمرار على النماذج المرجعية (Zero-shot CoT, TextGrad, و REVOLVE) في التعميم خارج التوزيع (OOD).
  • حقق مكاسب في الدقة تصل إلى +11.8% مقارنة بـ TextGrad و +16.5% مقارنة بـ REVOLVE في اختبارات محددة.
  • والجدير بالذكر أنه بينما أدت الطرق المرجعية غالبًا إلى تدهور دقة OOD تحت مستوى الأساس لـ CoT غير المحسن (مما أظهر إفراطًا في التخصيص)، حافظ TextReg على فوائد التعميم لـ CoT بل وعززها.
• الدراسة الاستقصائية (Ablation): أدى حذف أي من المكونات الثلاثة الأساسية إلى انخفاض مستمر في الأداء، مما يؤكد ضرورتها المشتركة.
• المرونة: حافظ TextReg على أداء قوي حتى عندما تم خفض قدرة النماذج اللغية التي تدير الأدوار المحددة (تنقية التدرج، تحليل التنظيم، أو إعادة كتابة المطالبة) إلى نماذج أضعف، مما يشير إلى أن إشارة التنظيم هي إشارة هيكلية وليست مرتبطة بالقدرة المجردة.

الأهمية والادعاءات

يزعم البحث أن الإفراط في التخصيص التوزيعي للمطالبات هو في الأساس فشل في كفاءة التمثيل، وليس مجرد نتاج لديناميكيات التحسين. ومن خلال معالجة تحسين المطالبة من خلال منظور التنظيم — وتحديدًا التحكم في نمو تكلفة السعة وضيق النطاق — يوفر TextReg آلية منهجية لإنتاج مطالبات تتعمم لما وراء توزيع التدريب.

يضع المؤلفون هذا العمل كتقدم منهجي يجعل سلوك المطالبة أكثر قابلية للتنبؤ والتدقيق. كما يشيرون صراحة إلى القيود الحالية: الإطار يستهدف الاستدلال أحادي الخطوة ذو القواعد السلوكية المحددة جيدًا، تاركًا المجال للإنشاء مفتوح النهايات، والمطالبات متعددة الخطوات، وتعليمات الوكيل (حيث تتداخل هياكل القواعد) للعمل المستقبلي.