🤖 AI

TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment

تقترح الورقة البحثية TRACE، وهي طريقة تقطير ذاتي موجهة بالرموز (token-routed self-distillation) تطبق تباعد كولباك - ليبلر (KL divergence) بشكل انتقائي على الأجزاء الحرجة المحددة من قبل المقيّم أثناء التعلم المعزز بمكافآت قابلة للتحقق، مما يقلل من هدر التدرج وتسرب المعلومات المميزة لتحسين الاستدلال الرياضي طويل المدى والتعميم خارج نطاق التوزيع بشكل كبير مقارنة بنماذج GRPO القياسية ونماذج التقطير الذاتي للاستجابة الكاملة.

المؤلفون الأصليون: Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Zheng Pan, Xin Li, Lan-Zhe Guo

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Zheng Pan, Xin Li, Lan-Zhe Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل المسائل الرياضية المعقدة. لديك "معلم" (ذكاء اصطناعي ذكي) و"طالب" (الذكاء الاصطناعي الذي تحاول تدريبه).

في الماضي، حاول الباحثون استخدام طريقة تسمى التدريس الذاتي على السياسة المتبعة (On-Policy Self-Distillation). كانت الفكرة بسيطة: يكتب الطالب إجابة، ثم ينظر المعلم إلى الإجابة بكامل تفاصيلها ويقول: "لقد فعلت هذا بشكل صحيح، وهذا أيضاً، وهذا..." وهكذا طوال الوقت. ومن ثم يحاول الطالب تقليد كل حركة يقوم بها المعلم.

المشكلة: تأثير "المعلم المفرط" (Over-Teacher Effect)
تجادل الورقة البحثية بأن نهج "نسخ كل شيء" هذا هو في الواقع ضار، خاصة في مهام الاستنتاج الطويلة والمعقدة.

التشبيه: تخيل طالباً يؤدي امتحاناً من 10 صفحات. يقوم المعلم بالمرور على كل كلمة وتحديدها باللون الأحمر، قائلاً: "افعلها تماماً بهذه الطريقة".
النتيجة: يشعر الطالب بالإرهاق. يتوقف عن التفكير بنفسه. تصبح إجاباتهم أقصر (لأنهم يخشون الكتابة كثيراً)، ويبدأون في التخمين العشوائي (يرتفع "الاعتلاج" أو الـ entropy لديهم)، وفي النهاية يفشلون في الاختبار. تطلق الورقة على هذا اسم "عدم تطابق الحبيبية" (Granularity Mismatch). الطالب لا يحتاج إلى تصحيح كل كلمة؛ بل يحتاج فقط إلى المساعدة في الخطوات الحرجة القليلة التي قد يتعثر فيها أو يرتكب فيها خطأً.

الحل: TRACE (محاذاة الرموز الموجهة للخطوات الحرجة)
يقترح المؤلفون طريقة جديدة تسمى TRACE. بدلاً من أن يقوم المعلم بتصحيح المقال بأكمله، يعمل TRACE كمدرب ذكي يشير فقط إلى اللحظات الحاسمة والمحددة.

إليك كيف يعمل TRACE، باستخدام تشبيه بسيط:

1. "تسليط الضوء" (التوجيه عبر الرموز - Token-Routed)

بدلاً من تسليط الضوء على الصفحة بأكملها، يستخدم TRACE بقعة ضوء (Spotlight).

المُقيّم (The Annotator): مساعد (يمكن أن يكون الطالب نفسه!) ينظر إلى إجابة الطالب ويحدد فقط "النطاقات الحرجة" (Critical Spans). هذه هي الجمل القليلة التي يكون فيها المنطق إما عبقرياً (Key Spans) أو خاطئاً بشكل خطير (Error Spans).
القاعدة: تغطي بقعة الضوء حوالي 25% فقط من الإجابة. أما بقية الإجابة فتُترك دون تدخل.

2. "نهج الأداتين" (FKL مقابل RKL)

بمجرد تسليط الضوء على جزء معين، يستخدم TRace أداتين مختلفتين بناءً على ما يراه:

إذا كان الطالب يعاني (نقص التخصيص - Under-allocated): يقول المعلم: "مهلاً، أنت تتجاهل هذه الخطوة المهمة! انظر إليّ وافعلها بهذه الطريقة". وهذا يسمى الاعتلاج الأمامي (Forward KL - FKL). وهو يدفع الطالب للانتباه إلى المسار الصحيح.
إذا كان الطالب مخطئاً بثقة (الإفراط في الثقة - Over-confident): يقول الطالب: "أنا متأكد أن هذا صحيح!" لكنه في الواقع خطأ. هنا يقول المعلم: "لا، توقف! أنت واثق من نفسك أكثر من اللازم. تراجع". وهذا يسمى الاعتلاج العكسي (Reverse KL - RKL). وهو يعمل على كبح ثقة الطالب في الاتجاه الخاطئ.

3. "التلميح المتلاشي" (الاضمحلال - Decay)

الجزء الأهم في TRACE هو أن مساعدة المعلم مؤقتة.

التشبيه: تخيل أن المعلم يعطي تلميحاً للطالب أثناء اختبار تجريبي. في البداية، يكون التلميح عالياً وواضحاً. ولكن مع تحسن الطالب، يصبح التلميح أخفت فأخفت حتى يختفي تماماً.
النتيجة: بعد فترة "إحماء" قصيرة (حوالي 40 خطوة في التدريب)، يتوقف المعلم عن الكلام تماماً. يُترك الطالب لحل المشكلات باستخدام منطقه الخاص (التعلم التعزيزي)، لكنه يكون قد تعلم بالفعل العادات الحرجة خلال فترة التوجيه القصيرة. هذا يمنع الطالب من أن يصبح معتمداً على المعلم.

لماذا ينجح الأمر؟ (النتائج)

اختبرت الورقة البحثية ذلك على مسائل رياضية (مثل حل المعادلات) وأسئلة المعرفة العامة (GPQA).

فشلت أساليب "كل الرموز" (All-Token): عندما حاولت الطرق الأخرى تصحيح الإجابة بأكملها، انهارت أداء الذكاء الاصطناعي، وبدأ في تقديم إجابات أقصر وأقل إبداعاً.
نجح TRACE: من خلال تصحيح الأجزاء الحرجة فقط ثم التلاشي، نجح TRACE في تحسين درجات الرياضيات للذكاء الاصطناعي بفارق كبير (حوالي 2.76% في المتوسط) مقارنة بالطريقة القياسية.
مكافأة "التعلم الذاتي": حتى عندما يعمل الذكاء الاصطناعي كمدرب لنفسه (دون وجود إنسان أو ذكاء اصطناعي أقوى يساعده)، لا يزال TRACE يعمل بشكل جيد. وهذا يثبت أن الطريقة ليست مجرد "غش" عبر استيراد معرفة معلم خارق الذكاء؛ بل هي فعلياً تعلم الذكاء الاصطناعي كيف يتعلم بشكل أفضل.

باختصار:
TRACE يشبه المدرب الذي لا يصرخ في وجه اللاعب بسبب كل خطأ يرتكبه في المباراة. بدلاً من ذلك، ينتظر المدرب اللحظات الحاسمة، ويعطي تصحيحاً حاداً ومحدداً، ثم يتراجع ليترك اللاعب يلعب اللعبة بمفرده. هذا يبقي اللاعب مركزاً، واثقاً، وقادراً على التعامل مع التحديات الطويلة والصعبة دون احتراق نفسي.

ملخص تقني: TRACE - تقطير ما يهم عبر محاذاة ذاتية موجهة بالرموز (Token-Routed Self On-Policy Alignment)

1. بيان المشكلة

تتناول الورقة البحثية أوجه القصور في التقطير الذاتي القائم على السياسة (Self-OPD) عند تطبيقه على التعلم المعزز طويل الأمد ذي المكافآت القابلة للتحقق (RLVR)، لا سيما في مهام الاستدلال الرياضي. بينما تعمل طرق Self-OPD (مثل SDPO وSRPO) على تكثيف إشارة المكافأة المتفرقة باستخدام لقطة من السياسة كمعلم لتوجيه الطالب، حدد المؤلفون نمط فشل حرج في التدريب طويل الأمد:

عدم تطابق الحبيبية (Granularity Mismatch): تطبق الطرق الحالية خسارة تقطير المعرفة (KL) عبر جميع الرموز (tokens) في الاستجابة. ومع ذلك، يظهر التحليل أن حوالي 97% من الكتلة الاحتمالية في المخرجات الصحيحة مشتركة بالفعل بين الطالب والمعلم، مما يعني أن معظم تدرجات KL هي تدرجات زائدة عن الحاجة.
"ضريبة التقطير الموحد" (The Uniform Distillation Tax): فرض تطبيق KL على جميع الرموز يجبر النموذج على استهلاك التدرجات في مواضع لا تحتاج إلى تصحيح. يؤدي هذا إلى:
- تسرب المعلومات المميزة (Privileged Information Leakage): يمتص الطالب الارتباطات الموجودة في السياق المميز (مثل الآثار المتحقق منها/verified traces) التي تغيب عند الاستدلال، مما يسبب تدهوراً في الأداء خارج التوزيع (OOD).
- ارتفاع الإنتروبيا وانهيار الاستدلال: لاحظ المؤلفون "انهيار الأعراض الثلاثة" في التدريب طويل الأمد: تتقلص أطوال الاستجابات بشكل حاد، وترتفع إنتروبيا الفاعل لكل رمز (غالباً > 4 أضعاف خط الأساس)، وتنخفض دقة التحقق بشكل كبير.
السؤال الجوهري: الوحدة الصحيحة للتقطير ليست الاستجابة بأكملها، بل المجموعة الفرعية الصغيرة من رموز الاستدلال الحاسمة حيث يحتاج توزيع الطالب إلى تصحيح فعلي.

2. المنهجية: TRACE

يقترح المؤلفون TRACE (المحاذاة الموجهة بالرموز للاستدلال الحرج - Token-Routed Alignment for Critical rEasoning)، وهي طريقة توجه إشارات التقطير فقط إلى نطاقات محددة من الرموز بدلاً من تطبيقها بشكل موحد.

المكونات الأساسية

التقطير الذاتي الموجه بالرموز (Token-Routed Self-OPD): بدلاً من خسارة KL عالمية، يستخدم TRACE مُعلماً مميزًا ( $\pi_A$ ) لتحديد نطاقات محددة في المخرجات:
- النطاقات المفتاحية ( $K_y$ ): خطوات الاستدلال الحاسمة في المخرات الصحيحة (المكافأة = 1).
- نطاقات الخطأ ( $E_y$ ): أخطاء الاستدلال المسببة للخطأ في المخرات غير الصحيحة (المكافأة = 0).
- النطاقات غير المفتاحية ( $N_y$ ): جميع الرموز المتبقية.
- القيد: يتم تحديد تغطية النطاق بحد أقصى $\alpha = 0.25$ (25% من الرموز) للحد من التعرض للمعلومات المميزة.
التوجيه التشخيصي الخشن (Coarse Diagnostic Routing):
- يصدر المُعلّم تسمية نوع خشنة (مثل case_split أو missed_case) ولكن ليس نص النطاق أو محتوى المخرات الكامل.
- يتلقى المعلم ( $\pi_T$ ) المسألة وهذا الملصق الخشن كبادئة تشخيصية خاصة. يقوم بحساب اللوغاريتمات (logits) بشكل سببي على بادئة الطالب المولدة، لكنه لا يرى مواقع أو محتوى النطاق المحدد.
- يتم تدريب الطالب ( $\pi_S$ ) باستخدام خسارة موجهة حيث تُطبق حد KL فقط على النطاقات المقنعة (masked spans).
توجيه التباعد غير المتماثل (Asymmetric Divergence Routing):
- الـ KL الأمامي (FKL) على النطاقات المفتاحية: يُطبق على المخرات الصحيحة. يوفر FKL ( $\text{KL}(\pi_T \parallel \pi_S)$ ) "رفعاً" للرموز التي يقل تخصيص الطالب لها، بغض النظر عن كتلة احتمال الطالب الحالية.
- الـ KL العكسي (RKL) على نطاقات الخطأ (اختياري): يُطبق على المخرات غير الصحيحة. يوفر RKL ( $\text{KL}(\pi_S \parallel \pi_T)$ ) كبحاً للرموز التي يبالغ الطالب في الثقة بها بينما لا يفضلها المعلم.
- لا يوجد KL على النطاقات غير المفتاحية: تعتمد هذه الرموز فقط على خسارة GRPO القياسية.
جدول التعرض المحدود (Finite Exposure Schedule):
- يتم تقليل وزن KL ( $\lambda_k$ ) تدريجياً حتى يصل إلى الصفر بعد فترة إحماء قصيرة (مثلاً 40 خطوة).
- يضمن ذلك بقاء التعرض التراكمي للتدرج المميز محدوداً عبر أفق التدريب، مما يمنع التراكم طويل الأمد للارتباطات التي تسبب التدهور خارج التوزيع (OOD).

3. التحليل النظري

تقدم الورقة تبريراً نظرياً لاستراتيجية التوجيه:

الضغط النقطي غير المتماثل (النتيجة 2):
- FKL فعال للرموز قليلة التخصيص (حيث احتمال الطالب $p \ll$ احتمال المعلم $q$ ) لأن ضغط التدرج يتناسب مع الفجوة $(q-p)$ ولا يتلاشى عندما تقترب $p$ من الصفر.
- RKL فعال للرموز المفرطة في الثقة والخطأ (حيث $p \gg q$ ) لأن التدرج يتناسب مع ثقة الطالب الزائدة ( $p$ ).
حد التعرض التراكمي (الخاصية 3): من خلال الجمع بين قناع النطاق (الذي يحد من عرض النطاق الترددي إلى $\alpha$ ) وتقليل KL (الذي يحد من المدة)، يضع TRACE حداً للتعرض التراكمي للتدرج المميز عند $O(\alpha \Lambda^2)$ ، مما يمنع النمو غير المحدود الذي لوحظ في خطوط أساس KL لجميع الرموز المستمرة.
الإشارة مقابل التسرب: تعظم الطريقة إشارة المحاذاة في النطاقات المفتاحية مع تقليل خطر تسرب المعلومات المميزة التي تسبب ارتباطات زائفة.

4. المساهمات الرئيسية

التشخيص: تحديد "ضريبة التقطير الموحد" في جميع الرموز لـ Self-OPD، وربط ارتفاع الإنتروبيا، وكبت المعرفة، وتسرب التدرج المميز بعدم تطابق الحبيبية.
المنهج والنظرية: تقديم TRACE، الذي يوجه $\{FKL, RKL, \emptyset\}$ بناءً على فئة الرمز (مفتاحي، خطأ، غير نطاق) ويخمد القناة المميزة. يشرح النظرية لماذا يهيمن FKL على النطاقات المفتاحية في الأنظمة ذات القاعدة القوية ولماذا ينتقل الركن الأمثل إلى RKL لنطاقات الخطأ في الأنظمة ذات القاعدة الأضعف.
الدليل التجريبي:
- الأداء: على Qwen3-8B، يحسن TRACE متوسط الـ 5 معايير بمقدار 2.76 نقطة مئوية فوق GRPO.
- الاستقرار: على عكس SDPO/SRPO، يحافظ TRACE على أداء النموذج الأساسي في المهام خارج التوزيع (OOD) على GPQA-Diamond، حيث تتدهور الخطوط المرجعية.
- التوسيم الذاتي: تعمل الطريقة مع مُعلّم ذاتي عبر الإنترنت (سياسة الطالب نفسها)، حيث تستعيد حوالي 69% من مكاسب استخدام API خارجي قوي، مما يثبت أن المكاسب تأتي من آلية التوجيه وليس فقط من القدرة الخارجية.
- التكيف مع اختلاف النطاق: على قاعدة أضعف (Qwen3-1.7B)، ينقلب ركن التوجيه الأمثل طبيعياً من FKL-على-المفتاح إلى RKL-على-الخطأ، مما يطابق التوقعات النظرية.

5. النتائج

Qwen3-8B (قاعدة قوية): يحقق TRACE (FKL على النطاقات المفتاحية) دقة متوسطة بنسبة 81.51% عبر 5 معايير (MATH-500, AIME 24/25, AMC 23, GPQA-Diamond)، متفوقاً على GRPO (78.75%) وأقوى خط أساس سابق لـ Self-OPD وهو RLSD (78.99%). والأهم من ذلك، أنه يحافظ على درجة النموذج الأساسي في GPQA-Diamond (58.33% مقابل 58.27% للأساس)، بينما تنخفض درجات GRPO وجميع خطوط أساس KL لجميع الرموز بشكل كبير.
Qwen3-1.7B (قاعدة أضعف): يحقق TRACE (RKL على نطاقات الخطأ) متوسط 60.16%، وهو الطريقة الوحيدة المدربة التي تجاوزت النموذج الأساسي (58.77%). أما خطوط أساس جميع الرموز (SDPO/SRPO) فتنهار، حيث تنخفض بمقدار 11-19 نقطة عن GRPO.
دراسات الاستبعاد (Ablation Studies):
- تحديد موقع القناع: استبدال أقنعة النطاق المحددة في TRACE بأقنعة عشوائية بنسبة 25% أو KL لجميع الرموز أدى إلى انخفاض الأداء، مما يؤكد أن أي الرموز يتم اختيارها أهم من كميتها.
- جودة المُعلّم: استخدام الطالب الذي يتدرب بنشاط كمُعلّم له حقق زيادة قدرها +1.90 نقطة، مما يثبت أن الطريقة لا تعتمد على استيراد قدرات استدلال "فائقة للبشر" خارجية.

6. الأهمية والادعاءات

تدعي الورقة أن TRACE تقدم حلاً هندسياً للخسارة (loss-geometric) لعدم استقرار Self-OPD طويل الأمد، بدلاً من كونها مجرد إصلاح خاص بنطاق معين. تكمن أهميتها في:

فك الارتباط بين التقطير وعدم الاستقرار: من خلال تقييد الإشارة "المميزة" بالنطاقات الحرجة وإخمادها، يتجنب TRACE ارتفاع الإنتروبيا وانهيار الاستدلال الملاحظ في SDPO وSRPO.
التوجيه التكيفي: يوضح أن اتجاه التقطير الأمثل (FKL مقابل RKL) ليس معلمة ثابتة بل يعتمد على ملف خطأ النموذج الأساسي (نقص التخصيص مقابل الثقة الزائدة).
القابلية للتطبيق العملي: يثبت إمكانية تحقيق تقطير عالي الجودة دون معلمين خارجيين أو قواعد تقييم مكلفة لكل استعلام، بالاعتماد بدلاً من ذلك على توسيم تشخيصي خشن وخفيف يمكن توليده ذاتياً.

يؤكد المؤلفون أن TRACE هو "إطار عمل موجه للزوايا" (corner-routed framework) وليس وصفة ثابتة، حيث يجب اختيار إجراء التوجيه المحدد (FKL أو RKL) بناءً على نمط الخطأ المتبقي للنموذج الأساسي.