💬 NLP

R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning

يُعد R-Stitch إطار عمل فك تشفير هجينًا لا يتطلب تدريبًا، يعمل على تسريع استدلال "سلسلة الأفكار" (Chain-of-Thought) عبر استخدام الإنتروبيا على مستوى الرمز لتفويض الرموز ذات عدم اليقين المنخفض ديناميكيًا إلى نموذج لغوي صغير، مع حجز النموذج اللغوي الكبير للرموز المعقدة ذات الإنتروبيا العالية، مما يقلل من تعقيد كل رمز ومن طول المسار الإجمالي مع حد أدنى من فقدان الدقة.

المؤلفون الأصليون: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية معقدة. لديك مساعدان: البروفيسور برين (النموذج اللغوي الكبير، أو LLM)، وهو ذكي للغاية ولكنه بطيء جداً ومكلف في التحدث إليه، والطفل سريع التفكير (النموذج اللغوي الصغير، أو SLM)، وهو أسرع بكثير وأقل تكلفة ولكنه قد يرتكب بعض الأخطاء السخيفة أو يعلق في الأجزاء الصعبة.

حالياً، يستخدم معظم الناس إحدى طريقتين لإنجاز العمل:

الطريقة البطيئة: أنت تتحدث فقط مع البروفيسور. إنها دقيقة، لكنها تستغرق وقتاً طويلاً جداً.
طريقة "التخمين والتحقق" (التشفير التخميني - Speculative Decoding): يكتب الطفل فقرة كاملة، ثم يقرأ البروفيسور الفقرة بأكملها ليرى ما إذا كانت صحيحة. إذا ارتكب الطفل ولو خطأً صغيراً واحداً، يقول البروفيسور: "لا، ابدأ من جديد!" وعليك حينها رمي الفقرة بأكملها. هذا يهدر الكثير من الوقت.

إليكم R-Stitch: "سباق التتابع الذكي"

يغير R-Stitch قواعد اللعبة. فبدلاً من نظام "التخمين والتحقق"، يحول العملية إلى سباق تتابع ديناميكي.

1. "مقياس الثقة" (التوجيه الموجه بالإنتروبيا - Entropy-Guided Routing)

بدلاً من أن يكتب الطفل كل شيء ويأمل أن يكون صحيحاً، يمنح R-Stitch الطفل "مقياس ثقة" (يسمى علمياً الإنتروبيا).

إنتروبيا منخفضة (ثقة عالية): إذا كان الطفل يشعر بثقة كبيرة بشأن خطوة ما (مثل "2 + 2 = 4")، فإنه يستمر في الركض فحسب. هو لا يكلف نفسه عناء استدعاء البروفيسور.
إنتروبيا مرتفة (ثقة منخفضة): إذا واجه الطفل جزءاً صعباً وبدأ يشعر بـ "الارتباك" أو عدم اليقين، فإنه ينقر فوراً على كتف البروفيسور ويقول: "مهلاً، أنا لست متأكداً بشأن هذا الجزء. تولَّ أنت الأمر".

2. "الخياطة" (خياطة المسار الديناميكي - Dynamic Trajectory Stitching)

هذا هو الجزء السحري. في طريقة "التخمين والتحقق" القديمة، كان الخطأ يعني تراجعاً كاملاً. في R-Stitch، نحن نقوم بـ خياطة المسارات معاً.
تخيل الأمر مثل السحاب (الزمام). ينطلق الطفل بسرعة قصوى قدر الإمكان. وعندما يصطدم بعقبة، يتدخل البروفيسور، ويصلح ذلك "السن" المحدد في السحاب، ثم — بمجرد أن يعود البروفيسور إلى أرض صلبة — يعيد السحاب إلى الطفل ليكمل الباقي. لا يوجد "بدء من جديد"؛ أنت فقط ترمم الفجوة وتواصل المضي قدماً.

3. R-Stitch+: "المدرب الذكي" (التوجيه القائم على التعلم التعزيزي - RL-based Routing)

قام الباحثون أيضاً بإنشاء نسخة مطورة تسمى R-Stitch+. تخيل أن لدى الطفل مدرباً يراقب السباق. المدرب لا ينظر فقط إلى "مقياس الثقة"، بل ينظر أيضاً إلى الساعة والدقة.
يتعلم المدرب بالضبط متى يستحق الأمر "تكلفة" استدعاء البروفيسور. إذا كان البروفيسور سيستغرق 10 دقائق لإصلاح خطأ مدته ثانية واحدة، فقد يخبر المدرب الطفل أن يحاول بذل جهد أكبر قليلاً فقط. هذا "المدرب" يتم تدريبه باستخدام التعلم التعزيزي لإيجاد التوازن المثالي بين كون العمل فائق السرعة ودقيقاً تماماً.

لماذا يهم هذا؟

في العالم الحقيقي، أصبح "سلسلة الأفكار" (Chain-of-Thought) — حيث يشرح الذكاء الاصطناعي خطواته — أطول وأطول. إنه يشبه مقالاً لا ينتهي أبداً. يجعل R-Stitch هذه المقالات الطويلة أقصر وأسرع بكثير في الكتابة من خلال:

قطع الحشو: يكون الطفل بطبيعته أكثر إيجازاً.
توفير الطاقة: أنت تستخدم قوة "الدماغ الكبير" فقط عندما يكون ذلك ضرورياً تماماً.

النتيجة: وجد الباحثون أن بإمكانهم تسريع الذكاء الاصطناعي بمقدار يصل إلى 4 أضعاف (4.10x) دون جعله أقل ذكاءً. إنه مثل الحصول على مساعد فائق السرعة يعرف تماماً متى يطلب المساعدة من المدير!

ملخص تقني: R-Stitch: ربط المسارات الديناميكي لتعزيز كفاءة الاستنتاج

R-Stitch هو إطار عمل هجين للفك التشفيري (decoding) لا يتطلب تدريباً، صُمم لتسريع عملية الاستنتاج (inference) للنماذج اللغوية الكبيرة (LLMs) أثناء مهام الاستنتاج المعقدة، وتحديداً تلك التي تستخدم أسلوب "سلسلة الأفكام" (Chain-of-Thought - CoT).

1. المشكلة: عنق الزجاجة في زمن استجابة CoT

بينما يعزز أسلوب CoT قدرات الاستنتاج للنماذج اللغوية الكبيرة بشكل كبير، فإنه يفرض عبئاً حسابياً هائلاً. نظرًا لأن CoT يتطلب توليد مسارات استنتاج وسيطة طويلة (غالباً ما تمتد لآلاف الرموز/الكلمات)، فإن عملية الفك التشفيري التكراري (autoregressive decoding) تصبح بطيئة للغاية.

حدد المؤلفون قصورين رئيسيين في طرق التسريع الحالية:

قيود الفك التشفيري التخميني (Speculative Decoding): يعتمد الفك التشفيري التخميني التقليدي على "الاتساق على مستوى الرمز" بين نموذج لغوي صغير (SLM) ونموذج لغوي كبير (LLM). إذا اختلف النموذجان حتى في رمز واحد، يجب على النظام إجراء عملية تراجع (rollback) مكلفة. في مهام الاستنتاج، غالباً ما يكون الاتساق منخفضاً، مما يؤدي إلى عمليات تراجع متكررة، وفي بعض الأحيان يؤدي إلى أداء أبطأ من عملية الفك التشفيري العادية للنموذج الكبير.
الاستخدام غير الفعال للنماذج الصغيرة (SLMs): تفشل الطرق الحالية في استغلال حقيقة أن النموذج الصغير، عندما يكون صحيحاً، غالباً ما ينتج مسارات استنتاج أقصر وأكثر إيجازاً من النموذج الكبير. إن المتطلبات الصارمة للفك التشفيري التخميني المتعلقة بالاتساق التام في الرموز تمنع استغلال هذه المسارات القصيرة والفعالة.

2. المنهجية: الفك التشفيري الهجين الموجه بالإنتروبيا

تتمثل الرؤية الجوهرية لـ R-Stitch في أن إنتروبيا الرمز (token entropy) تعمل كبديل فعال لعدم اليقين. فالرموز ذات الإنتروبيا العالية تكون عرضة للخطأ، بينما الرموز ذات الإنتروبيا المنخفضة تكون موثوقة للغاية.

أ. R-Stitch (النهج الاستدلالي):
يطبق R-Stitch استراتيجية توجيه ثنائية الاتجاه على مستوى الرمز:

منطق التوجيه: تبدأ العملية بالنموذج الصغير (SLM). عند كل خطوة، يحسب النظام الإنتروبيا المعيارية ( $H_t$ $H_{t}$ ) للرمز المتوقع.
- إذا كانت $H_t \leq \tau$ (عدم يقين منخفض): يتم قبول رمز النموذج الصغير، ويستمر النموذج الصغير في العمل.
- إذا كانت $H_t > \tau$ (عدم يقين مرتفع): يتم استبعاد الرمز، ويتم استدعاء النموذج الكبير (LLM) لتصحيح المسار واستئناف عملية الفك التشفيري.
التدفق ثنائي الاتجاه: وعلى العكس من ذلك، إذا كان النموذج الكبير يقوم بالفك التشفيري وأنتج رمزاً ذا إنتروبيا منخفضة، يتم إعادة التحكم إلى النموذج الصغير لتوفير الحوسبة.
إدارة ذاكرة التخزين المؤقت (KV Cache): لتقليل تكلفة التبديل، يستخدم R-Stitch ذاكرات تخزين مؤقت (KV caches) منفصلة لكلا النموذجين، ويستخدم التحميل المسبق الجزئي (partial prefilling) لإعادة استخدام بيانات التخزين المؤقت الموجودة عند التبديل للعودة إلى النموذج النشط سابقاً.

ب. +R-Stitch (النهج المتعلم):
للانتقال لما هو أبعد من عتبة الإنتروبيا الثابتة، يقترح المؤلفون +R-Stitch، الذي يستخدم موجهًا خفيف الوزن (FFN صغير) لتقرير ما إذا كان سيتم التبديل بين النماذج.

التعلم التعزيزي (RL): يتم تدريب الموجه باستخدام محسن DAPO مع دالة مكافأة تراعي زمن الاستجابة (latency-aware reward function).
تصميم المكافأة: توازن المكافأة $R = r_{acc} + r_{eff}$ بين الدقة ( $r_{acc}$ ) والكفاءة ( $r_{eff}$ ). ومن الأهمية بمكان أن مكافأة الكفاءة مرتبطة بزمن استجابة المسار المتوقع فعلياً وليس فقط بعدد الرموز، مما يسمح للنموذج بتعلم التكلفة الحقيقية لتبديل النماذج.

3. المساهمات الرئيسية

منظور جديد لعدم الاتساق: على عكس الأعمال السابقة التي تحاول جعل النماذج الصغيرة والكبيرة أكثر اتساقاً، يعامل R-Stitch عدم الاتساق بين النماذج كميزة، مستخدماً إياه لتفعيل تدخل النموذج الكبير عالي الجودة فقط عند الضرورة.
كفاءة دون الحاجة لتدريب: لا يتطلب R-Stitch الأساسي أي إعادة تدريب للنماذج الأساسية.
التوجيه التكيفي: يوفر +R-Stitch طريقة قائمة على البيانات لتحسين المقايضة بين الدقة وزمن الاستجابة عبر التعلم التعزيزي.
استغلال الإيجاز: من خلال السماح للنموذج الصغير بفرض المسار، ينتج الأسلوب بشكل طبيعي مسارات استنتاج أقصر، مما يقلل من إجمالي عدد الرموز المولدة.

4. النتائج والأداء

تم التحقق من صحة إطار العمل على خمسة اختبارات قياسية للاستنتاج الرياضي (AIME, AMC, Minerva, MATH, و OlympiadBench) باستخدام نماذج DeepSeek-R1-Distill و QWQ.

تسريع جوهري: يحقق R-Stitch ذروة تسريع تصل إلى 3.00× (لنموذج 7B)، و3.85× (لنموذج 14B)، و4.10× (لنموذج 32B).
الحفاظ على الدقة: يحافظ الأسلوب على مستويات دقة مقاربة للفك التشفيري الكامل للنموذج الكبير. وفي بعض الحالات، تتحسن الدقة بالفعل لأن المسارات الموجزة للنموذج الصغير تمنع النموذج الكبير من أن يصبح مفرط الإطناب ويصل إلى حدود عدد الرموز.
التفوق على الفك التشفيري التخميني: يتفوق R-Stitch باستمرار على الفك التشفيري التخميني، الذي غالباً ما يعاني من معدلات تسريع أقل من 1× بسبب عمليات التراجع المتكررة في بيئات الاستنتاج ذات الاتساق المنخفض.
تكلفة إضافية منخفضة: تكلفة الذاكرة الإضافية للحفاظ على ذاكرة تخزين مؤقت مزدوجة (dual KV cache) ضئيلة (على سبيل المثال، إضافة حوالي 5% فقط من الذاكرة لنموذج 32B)، كما أن التكلفة الحسابية لحساب الإنتروبيا مهملة.

5. الأهمية

يمثل R-Stitch خطوة هامة نحو جعل نماذج الاستنتاج عالية الأداء عملية للتطبيقات الواقعية التي تتطلب استجابة سريعة. ومن خلال تحويل "مشكلة" عدم الاتساق بين النماذج إلى "ميزة" للحوسبة الديناميكية، فإنه يوفر طريقة منهجية للموازنة بين الذكاء الفائق للنماذج الكبيرة والكفاءة القصوى للنماذج الصغيرة.