💬 NLP

LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models

تقترح الورقة البحثية إطار عمل LARFT، وهو إطار تدريب يسد الفجوة بين الإدراك والتنفيذ في اتباع تعليمات الطول من خلال دمج التعلم المعزز الموجه للطول مع الوعي الذاتي المتأخر لضبط فهم النموذج الداخلي للطول مع سياسة التوليد الخاصة به، مما يحقق مكاسب أداء كبيرة مع تأثير ضئيل على القدرات العامة.

المؤلفون الأصليون: Wei Zhang, Lintong Du, Yuanhe Zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei Zhang, Lintong Du, Yuanhe Zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف كاتباً موهوباً ومبدعاً للغاية (الذكاء الاصطناعي) لتكتب لك قصة. أنت تعطيه تعليمات محددة جداً: "اكتب قصة بطول 500 كلمة بالضبط."

في الماضي، كانت حتى أكثر نماذج الذكاء الاصطناعي ذكاءً تواجه صعوبة في ذلك؛ فإما أن تكتب ملخصاً صغيراً من 50 كلمة، أو تسترسل في الكتابة لتصل إلى 5000 كلمة. لقد كانوا بارعين في المحتوى (القصة نفسها) لكنهم كانوا سيئين جداً في العد.

تقدم الورقة البحثية التي شاركتها طريقة تدريب جديدة تسمى LARFT (الضبط الدقيق المعزز بالإدراك الطولي). فكر في LARFT كبرنامج تدريبي خاص يعلم الذكاء الاصطناعي ليس فقط ماذا يكتب، بل كيف يعد الكلمات أثناء الكتابة.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "فجوة الإدراك والعمل"

تخيل طباخاً عبقرياً في طهي الطعام اللذيذ، لكنه لا يملك أي مفهوم عن "الوقت". تقول له: "اطه هذه القطعة من اللحم لمدة 10 دقائق بالضبط".

الطريقة القديمة: الطباخ يقوم بالتخمين فقط. أحياناً يطهو الطعام أكثر من اللازم، وأحياناً أقل من اللازم. هو يعتمد على مؤقت (أداة خارجية) أو يأمل فقط أن تسير الأمور على ما يرام.
مشكلة الذكاء الاصطناعي: الذكاء الاصطناعي يشبه ذلك الطباخ. ليس لديه "ساعة" داخلية أو "مسطرة" لعدد الكلمات. هو يعرف فكرة القصة، لكنه لا "يشعر" بطول القصة أثناء كتابتها. هذه الفجوة بين معرفة ما يجب فعله وفعله بشكل صحيح تسمى فجوة الإدراك والعمل (Cognition-Action Gap).

2. الحل: LARFT (التدريب ذو الخطوتين)

يعالج LARFT هذه المشكلة باستخدام تقنيتين محددتين للتدريب معاً.

الخطوة (أ): درس "النظر إلى الوراء" (التعلم من الأخطاء)

تخيل أن الطباخ حاول الطهي لمدة 10 دقائق، لكنه طهى بالخطأ لمدة 15 دقيقة.

الطريقة القديمة: المدرب يقول فقط: "عمل سيء، حاول مجدداً"، ثم يمضي قدماً.
طريقة LARFT: المدرب يقول: "انتظر! انظر إلى ما طبخته للتو. لقد استغرق الأمر 15 دقيقة. الآن، أريدك أن تنظر إلى قطعة اللحم هذه (التي استغرقت 15 دقيقة) وأخبرني بالضبط كم استغرقت من الوقت".

هذا ما يسمى الإدراك الطولي عبر النظر إلى الوراء (Hindsight Length Awareness).

يقوم الذكاء الاصطناعي بتوليد قصة (حتى لو كانت بالطول الخاطئ).
بدلاً من مجرد التخلص منها، يُجبر الذكاء الاصطناعي على التوقف وعدّ الكلمات في مخرجاته.
يتعلم: "آه! عندما كتبت هذا القدر من النص، فإنه يعادل 500 كلمة".
هذا يبني "مسطرة" داخلية داخل عقل الذكاء الاصطناعي. يتوقف عن التخمين ويبدأ في معرفة ما يعنيه طول معين.

الخطوة (ب): لعبة "التعزيز" (الممارسة تؤدي إلى الإتقان)

بمجرد أن يتعلم الذكاء الاصطناعي العد، يلعب لعبة ليصبح أفضل في إصابة الهدف.

يعطي المدرب للذكاء الاصطناعي هدفاً: "اكتب 500 كلمة".
يحاول الذكاء الاصطناعي.
إذا كتب 490 أو 510 كلمة، يحصل على درجة عالية (مكافأة).
إذا كتب 100 أو 1000 كلمة، يحصل على درجة منخفضة.
يتعلم الذكاء الاصطناعي تعديل أسلوب كتابته للبقاء في "المنطقة المثالية".

3. السر: القيام بكليهما في آن واحد

سحر LARFT هو أنه لا يقوم بالخطوة (أ) ثم الخطوة (ب) فحسب، بل يقوم بهما بشكل متزامن وبطريقة ذكية.

في بداية التدريب: يركز بقوة على درس "النظر إلى الوراء" (تعلم العد). إنه يشبه طالباً يتعلم جداول الضرب قبل محاولة حل مسائل رياضية معقدة.
في وقت لاحق من التدريب: ينتقل التركيز إلى لعبة "التعزيز" (إصابة الهدف).
من خلال الموازنة بين هذين الأمرين، يتعلم الذكاء الاصطناعي التخطيط لطوله قبل البدء في الكتابة ومراقبة طوله أثناء الكتابة.

4. النتائج: الطباخ الماهر

اختبرت الورقة البحثية هذا على أربعة نماذج مختلفة من الذكاء الاصطناعي. وكانت النتائج مبهرة:

الدقة: أصبح الذكاء الاصطناعي بارعاً للغاية في إصابة عدد الكلمات بدقة (مثل إصابة مركز الهدف).
لا آثار جانبية: عادةً، عندما تدرب ذكاءً اصطناعياً على القيام بشيء واحد محدد (مثل العد)، فإنه يصبح أسوأ في كل شيء آخر (مثل الإجابة على أسئلة الرياضيات أو كتابة الشعر). لكن LARFT كان فعالاً للغاية لدرجة أن الذكاء الاصطناعي أصبح أفضل في الطول دون أن يفقد ذكاءه العام. إنه يشبه تحسن الطباخ في ضبط الوقت دون أن ينسى كيفية جعل الطعام مذاقه جيداً.

ملخص التشبيه

فكر في الذكاء الاصطناعي كـ سائق مخمور يحاول البقاء في مسار واحد.

قبل: كان السائق ينحرف يميناً ويساراً، آملاً في البقاء في المسار، لكنه لا يستطيع رؤية الخطوط بوضوح.
LARFT: نعطي السائق مرآة رؤية خلفية (الإدراك عبر النظر إلى الوراء) ليرى بالضبط أين هو، ونعطيه نظام مساعدة في الحفاظ على المسار (التعزيز) الذي يوجهه بلطف للعودة إذا انحرف.
النتيجة: يبقى السائق في المسار تماماً، في كل مرة، دون الاصطدام بالسيارات الأخرى (فقدان القدرات العامة).

باختصار: يعلم LARFT الذكاء الاصطناعي كيف "يشعر" بطول كلماته، محولاً إياها من لعبة تخمين إلى مهارة دقيقة.

إليك ملخص تقني مفصل لورقة البحث: "LARFT: سد فجوة الإدراك-الفعل لاتباع تعليمات الطول في النماذج اللغوية الكبيرة."

1. بيان المشكلة

على الرغم من القدرات المتقدمة للنماذج اللغوية الكبيرة (LLMs) في اتباع التعليمات المعقدة، لا يزال التحكم الدقيق في طول المخرجات يمثل عقبة مستمرة.

المشكلة الجوهرية: تواجه النماذج اللغوية الكبيرة صعوبة في الالتزام بقيود الطول المحددة (مثل "اكتب 100 كلمة بالضبط"). ويُعزى ذلك إلى الطبيعة القائمة على الرموز (tokens) لعملية التقطيع (tokenization) والقيود الهيكلية المتأصلة التي تمنع النماذج من تكوين مفهوم داخلي متميز لـ "الطول".
فجوة الإدراك-الفعل: تفشل الطرق الحالية لأنها تعامل الطول كقيد خارجي بدلاً من كونه سمة دلالية داخلية.
- العلامات الخارجية: الطرق التي تستخدم رموزًا خاصة أو مطالبات (prompts) جامدة غالبًا ما تفشل في التعميم على التوليد طويل المدى وتزيد من عبء الاستدلال.
- تحسين السياسة (Policy Optimization): غالبًا ما تدمج نهج التعلم التعزيزي (RL) قيود الطول مع المحتوى الدلالي. ولأن تحديثات السياسة مدفوعة بتبعيات كثيفة على مستوى الرمز، فإن النموذج يكافح لفصل "مقدار ما يجب كتابته" عن "ما يجب كتابته"، مما يؤدي إلى كفاءة منخفضة في أخذ العينات وعدم دقة في التحكم.
الفرضية: يتمثل القصور الأساسي في غياب الإدراك الداخلي للطول. فبدون تمثيل داخلي للطول، يصبح تدريب النماذح على اتباع قيود الطول مشكلة تحسين غير محددة الحل (ill-posed optimization problem).

2. المنهجية: إطار عمل LARFT

يقترح المؤلفون إطار عمل LARFT (الضبط الدقيق المعزز لوعي الطول)، وهو إطار موحد مصمم لمواءمة "إدراك" الطول الداخلي للنموذج مع "فعله" الخارجي المتمثل في التوليد. يتكون الإطار من ثلاثة مكونات أساسية:

أ. التعلم التعزيزي الموجه للطول (RL)

الخوارزمية: يستخدم تحسين السياسة النسبي للمجموعات (GRPO).
صياغة المكافأة: بدلاً من المكافآت المتفرقة، يستخدم LARFT مكافأة طول قابلة للتحقق.
- تُحسب المكافأة بناءً على الانحراف المطلق الموحد ( $\delta$ ) بين عدد الكلمات المولدة والقيد المستهدف $c$ .
- $R_{len} = \max(0, 1 - \delta)$ .
- يوفر هذا إشارة كثيفة ومحدودة ( $[0, 1]$ ) لتوجيه السياسة نحو الطول المستهدف.

ب. الوعي بالطول من منظور استرجاعي (Hindsight Length Awareness)

لمعالجة تداخل الدلالات والطول في التعلم التعزيزي القياسي، يقدم LARFT آلية مستوحاة من إعادة تشغيل الخبرة الاسترجاعية (Hindsight Experience Replay):

المفهوم: تحويل مسارات التوليد "الفاشلة" (التي لم تستوفِ قيد الطول) إلى بيانات إشرافية قيمة لـ إدراك الطول.
العملية:
1. أخذ العينات: جمع المسارات في الوقت الفعلي (on-policy) خلال مرحلة التوليد (rollout) الخاصة بالتعلم التعزيزي.
2. إعادة التسمية: بالنسبة لمخرج مولد $\tau$ ، يتم إنشاء مطالبة جديدة $x_{aware}$ عبر دمج $\tau$ مع تعليمات الوعي (مثل: "احسب الكلمات في النص أعلاه").
3. الإشراف: يتم تدريب النموذج على التنبؤ بعدد الكلمات الفعلي ( $L(\tau)$ ) لتوليده الخاص بناءً على $x_{aware}$ .
الفائدة: يعمل هذا على فصل إشارات الطول عن المحتوى الدلالي، مما يجبر النموذج على تعلم تمثيل داخلي للطول من خلال تحليل مخرجاته الخاصة، مما يحول حالات فشل التوليد فعليًا إلى أمثلة "عدّ" ناجحة.

ج. آلية التحسين الموحدة

يستخدم LARFT دالة خسارة مشتركة توازن ديناميكيًا بين الهدفين:
$\mathcal{L}_{unified} = \mathcal{L}_{GRPO} + \lambda_t \cdot \mathcal{L}_{aware}$

$\mathcal{L}_{GRPO}$ : خسارة تحسين السياسة القياسية لاتباع التعليمات.
$\mathcal{L}_{aware}$ : خسارة الإشراف للتنبؤ بطول النص المولد.
الجدولة الديناميكية: يتم تطبيق جدولة التخميد بالتدريج الجيبي (Cosine Annealing) على الوزن $\lambda_t$ $λ_{t}$ .
- التدريب المبكر: تعطي $\lambda_t$ العالية الأولوية لتأسيس إدراك الطول (تعلم العد/فهم الطول).
- التدريب المتأخر: تتلاشى $\lambda_t$ لتصل إلى 0، مما ينقل التركيز إلى التحكم الدقيق في التوليد (تنفيذ قيد الطول).

3. المساهمات الرئيسية

تحديد نقطة الاختناق: تحدد الورقة غياب الإدراك الداخلي للطول كسبب رئيسي للفشل في اتباع تعليمات الطول، مع التمييز بين "المعرفة" (الإدراك) و"الفعل" (التنفيذ).
إطار عمل LARFT: نموذج تدريبي مبتكر يدمج التعلم التعزيزي الموجه للطول مع الوعي بالطول من منظور استرجاعي لسد فجوة الإدراك-الفعل.
أداء رائد (State-of-the-Art): أظهر تحسينات كبيرة عبر نماذج أساسية ومعايير متعددة دون المساس بالقدرات العامة.
القابلية للتفسير: يقدم أدلة ميكانيكية (عبر الفحص الخطي - linear probing) تثبت أن LARFT يدمج بنجاح التخطيط للطول في الطبقات العميقة والوعي بالطول في الطبقات الضحلة.

4. النتائج التجريبية

قيم المؤلفون LARFT على أربعة نماذج أساسية (Qwen2.5-3B/7B, Llama-3.2-3B, Llama-3.1-8B) عبر ثلاثة معايير للطول وأربعة معايير للقدرات العامة.

اتباع تعليمات الطول:
- LIFEBench: حقق LARFT أدنى انحراف في الطول (LD) وأعلى درجة طول (LS) عبر جميع النماذج.
- التحسن: متوسط تحسن قدره +20.92 نقطة في معايير الطول مقارنة بالنماذج الأساسية.
- المقارنة: تفوق على أقوى خط أساس للتعلم التعزيزي (RL baseline) بمقدار +4.59 نقطة وتجاوز طرق SFT (التي غالبًا ما تفشل في القيود القصيرة) بشكل كبير.
القدرات العامة:
- تدهور ضئيل: أظهر LARFT انخفاضًا متوسطًا قدره -1.45 نقطة فقط في المعايير العامة (MMLU, GSM8K, IFEval, GPQA).
- الجودة: في بعض الحالات، تحسنت جودة التوليد (ROUGE-L) قليلاً (+2.22 نقطة)، مما يشير إلى أن التحكم في الطول لا يضر بالتماسك الدلالي.
دراسات الاستئصال (Ablation Studies):
- فجوة الإدراك-الفعل: أظهرت النماذج المدربة فقط على الوعي بالطول (بدون RL) عدم وجود تحسن ملحوظ في التوليد، مما يؤكد أن الإدراك وحده غير كافٍ.
- التحسين الموحد: تسبب إزالة الجدولة الديناميكية (Cosine Annealing) في انخفاض حاد في الأداء، مما يثبت ضرورة نهج التعلم المنهجي (الإدراك أولاً، ثم الفعل).

5. الأهمية والخاتمة

الرؤية النظرية: تتحدى الورقة فكرة أن التحكم في الطول هو مجرد مشكلة فك ترميز (decoding) أو تشكيل مكافأة. وتجادل بأن النماذج يجب أن تطور أولاً "مفهومًا" داخليًا للطول قبل أن تتمكن من تنفيذه بشكل موثوق.
الأثر العملي: يقدم LARFT حلاً قويًا للتطبيقات التي تتطلب قيودًا صارمة على الطول، مثل الكتابة الإبداعية، وتوليد التقارير، والتلخيص، دون الحاجة إلى إعادة تدريب النموذج باستخدام رموز خارجية أو التضحية بالذكاء العام.
الاتجاهات المستقبلية: يقترح إطار العمل مسارًا لتوسيع إدراك الطول ليشمل مهام توليد مهيكلة أخرى، مثل خطوات الاستدلال المنطقي أو القيود الأسلوبية.

باختصار، نجح LARFT في سد الفجوة بين فهم النموذج للطول وقدرته على توليد نص بهذا الطول، محققًا تحكمًا دقيقًا من خلال الجمع المتآزر بين التعلم التعزيزي والوعي الذاتي بالطول.