💬 NLP

CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

تقدم الورقة البحثية إطار عمل CRISP، الذي يستفيد من أنماط الانتباه الجوهرية لنماذج الاستدلال — وتحديداً باستخدام رمز الإنهاء كمرتكز للمعلومات — لتقليص خطوات سلسلة الأفكـات (Chain-of-Thought) الزائدة، محققاً خفضاً بنسبة 50-60% في عدد الرموز (tokens) مع الحفاظ على التماسك المنطقي والدقة.

المؤلفون الأصليون: Yangsong Lan, Hongliang Dai, Piji Li

نُشر 2026-04-21

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yangsong Lan, Hongliang Dai, Piji Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

(رمز التوكن)
عندما ينتهي "روب" من التفكير ويوشك على إعطاء الإجابة النهائية، فإنه يستخدم رمز "مرساة" ذهنية خاصة (إشارة محددة في الكود تسمى </think>).

الاكتشاف: لاحظ الباحثون شيئًا مذهلاً. فبينما يقترب "روب" من النهاية، يتحول انتباهه. يتوقف عن النظر إلى منتصف مقالته الطويل والمطول ويركز بكثافة على هذه "المرساة".
الاستعارة: تخيل منارة في نهاية رصيف طويل يغطيه الضباب. الضوء (رمز </think>) يسطع إلى الخلف. الأجزاء التي يسلط الضوء عليها بوضوح في الرصيف هي الخطوات الحاسمة التي احتاج إليها "روب" فعليًا. أما الأجزاء التي تقع في الظل فهي مجرد ثرثرة زائدة لم يكن بحاجة إليها حقًا.

2. "تقليم البروز" (المقص الذكي)

باستخدام إشارة "المنارة" هذه، لا يقوم CRISP بمجرد التخمين فيما يجب حذفه، بل يعرف بالضبط ما هو المهم.

العملية: إنه ينظر إلى كل جملة كتبها "روب". إذا كان الضوء المنبعث من "المنارة" ساطعًا على جملة ما، فإنه يحتفظ بها. وإذا كان الضوء خافتًا، فهو يعلم أن تلك الجملة كانت مجرد حشو.
الإجراء: يستخدم أربع أدوات ذكية لتحرير المقال:
1. الإبقاء (KEEP): "هذا حيوي! احتفظ به."
2. التقليم (PRUNE): "هذا مجرد حشو. احذفه."
3. إعادة الكتابة (REWRITE): "هذا مهم، لكنك قلته بإسهاب شديد. دعنا نقوله في 5 كلمات بدلاً من 50."
4. الدمج (FUSE): "لقد قلت هذا في الخطوة 1 والخطوة 2. لندمجهما في خطوة واحدة خارقة."

3. "التلميع" (اللمسة النهائية)

أحيانًا، عندما تحذف الجزء الأوسط من قصة ما، لا يتوافق البداية والنهاية معًا بشكل جيد. قد يبدو الأمر آليًا أو مكسورًا.

الحل: يستخدم CRISP "مُحسِّنًا" (ذكاء اصطناعي ثانٍ) لتنعيم الحواف. يأخذ النسخة المقتطعة وعالية الكثافة ويعيد كتابتها لتدفق بشكل طبيعي، مثل البشر عند التحدث، ولكن دون التوقفات الطويلة والتكرارات.

النتيجة: "التفكير عالي الأداء"

بعد استخدام CRISP، يصبح النموذج مثل سيارة فورمولا 1 بدلاً من شاحنة ثقيلة.

قبل: كان يستغرق 3,000 كلمة لحل مسألة رياضية.
بعد: يستغرق 1,200 كلمة فقط (اختزال بنسبة 60%!) ولكنه يحقق نفس الدقة.

لما مل يهم هذا
فكر في الأمر كأنك تقوم بضغط ملف فيديو. الطرق القديمة كانت ستخفض الجودة فحسب، مما يجعل الصورة ضبابية. أما CRISP فهو يشبه خوارزمية ضغط ذكية تزيل التشويش والوقفات، مع الحفاظ على مشاهد الحركة عالية الدقة واضحة تمامًا.

وهذا يعني:

إجابات أسرع: تحصل على الحل بسرعة أكبر بكثير.
ذكاء اصطناعي أرخص: تكلفة تشغيل هذه النماذج أقل لأنها تستهلك طاقة حوسبة أقل.
ذكاء اصطناعي أذكى: من خلال إزالة "الإفراط في التفكير" والضجيج، يصبح الذكاء الاصطناعي في الواقع أكثر تركيزًا وموثوقية.

باختصار، CRISP يعلم الذكاء الاصطناعي التوقف عن التحدث إلى نفسه كثيرًا، مما يساعده على إيجاد "الإشارة" وسط "الضجيج" وتقديم الإجابة لك بشكل أسرع، دون فقدان مهارات التفكير البراعة لديه.

أ. الرمز كمرساة للمعلومات

من خلال تحليل خرائط الانتباه عبر الطبقات في نماذج مثل DeepSeek-R1-Distill-Qwen، اكتشف المؤلفون ظاهرة متميزة:

تعمل الرمز </think> (الذي يمثل الانتقال من التفكير إلى الإجابة النهائية) كـ مرساة معلومات حاسمة.
في الطبقات العميقة، يتركز انتباه النموذج بشدة على رمز </think> بينما يقل اهتمامه بسلسلة التفكير الخام.
ارتباط البروز (Saliency Correlation): تشير أوزان الانتباه من رمز </think> إلى خطوات التفكير السابقة بشكل موثوق إلى بروز تلك الخطوات. فالخطوات ذات درجات الانتباه العالية تشفر منطقاً حاسماً، بينما تمثل الخطوات ذات الدرجات المنخفضة حشواً زائداً.

ب. الضغط كمسألة بحث مهيكلة

يصيغ CRISP ضغط "سلسلة التفكير" (CoT) كعملية بحث جشع (greedy search) عبر سلسلة من خطوات التفكير، مسترشداً بدرجات الانتباه الجوهرية. تتضمن العملية أربعة عوامل ذرية:

الإبقاء (KEEP): يحافظ على الخطوات عالية البروز.
الاستبعاد (PRUNE): يزيل الخطوات منخفضة البروز (الزائدة).
إعادة الكتابة (REWRITE): يكثف الخطوات المطولة مع الحفاظ على المنطق.
الدمج (FUSE): يدمج الخطوات المتتالية المتشابهة دلالياً في وحدة واحدة كثيفة.

الخوارزمية:

التسجيل (Scoring): حساب المساهمة الجوهرية ( $S_i$ ) لكل خطوة $r_i$ عن طريق تجميع أوزان الانتباه من رمز </think> إلى الرموز داخل تلك الخطوة.
بوابة الاستدلال (Heuristic Gating): بناءً على $S_i$ والتشابه الدلالي، يتم تحديد فضاء إجراءات ديناميكي (على سبيل المثال: إذا كانت $S_i$ منخفضة، يُسمح بـ PRUNE أو REWRITE؛ وإذا كانت عالية، يُسمح بـ KEEP أو REWRITE).
الاختيار الموجه بالمكافأة: يتم اختيار العامل الأمثل من خلال تعظيم دالة مكافأة توازن بين دقة التنبؤ (احتمالية الإجابة الصحيحة) مقابل طول السلسلة:
$R(a) = \log P_\theta(y | x, C \oplus a(r_i)) - \log P_\theta(y | x, C) - \beta \cdot \text{Len}(a(r_i))$
التهذيب (Refinement): بما أن عمليات البحث المنفصلة قد تسبب تفتتاً تركيبياً، يقوم مُهذب (refiner) مساعد يعتمد على نموذج لغوي كبير بإعادة بناء الهيكل المضغوط ( $R'$ ) إلى سلسلة سلسة ومتماسكة ( $R_{CRIPS}$ )، مما يضمن الاستمرارية المنطقية دون العودة إلى الإطناب.

ج. استراتيجية التدريب

يتم ضبط النموذج المستهدف بدقة باستخدام مسارات عالية الكثافة ومُهذبة عبر هدف تعلم متعدد المهام. يتم إلحاق رمز تحكم خاص (<|compressed|>) بالمدخلات للإشارة إلى النموذج بضرية توليد مسارات تفكير مضغوطة أثناء الاستنتاج.

3. المساهمات الرئيسية

مؤشر بروز جوهري: يحدد البحث أن أوزان الانتباه عند رمز </think> تعمل كمؤشر موثوق وجوهري للنموذج لتحديد أهمية خطوة التفكير، مما يلغي الحاجة إلى ضواغط خارجية.
إطار عمل CRISP: إطار عمل ضغط مبتكر يستخدم البحث الجشع عبر أربعة عوامل ذرية (FUSE, PRUNE, REWRITE, KEEP) مسترشداً بإشارات جوهرية.
مقايضة فائقة: يثبت أن CRISP يحقق توازناً أفضل بكثير بين كفاءة الاستنتاج ودقة التفكير مقارنة بالنماذج المرجعية المتطورة.

4. النتائج التجريبية

أُجريت التجارب على نماذج DeepSeek-R1-Distill-Qwen-1.5B و 7B عبر ثلاثة اختبارات معيارية: GSM8K (رياضيات المرحلة الابتدائية)، MATH-500 (رياضيات تنافسية)، و AMC23.

تقليل الرموز: حقق CRISP تقليلاً بنسبة 50-60% في عدد الرموز مقارنة بالنماذج الأصلية.
- مثال (نموذج 7B): قلل متوسط الرموز من 2,971 إلى 1,235.
الحفاظ على الدقة: على عكس الطرق الأخرى التي تضحي بالدقة من أجل الاختصار، حافظ CRISP على الدقة أو حتى حسّنها قليلاً.
- مثال (نموذج 7B): ارتفعت الدقة من 83.6% (الأصلي) إلى 83.9% (CRISP).
كفاءة الرموز (TE): تفوق CRISP بشكل كبير على النماذج المرجعية في كفاءة الرموز (الدقة لكل رمز).
- مثال (نموذج 7B): تحسنت TE من 2.81 (الأصلي) إلى 6.80 (CRISP).
دراسة الاستئصال (Ablation Study): أدى حذف وحدة التهذيب (Refinement) إلى انخفاض كبير في الدقة (على سبيل المثال، من 84.2% $\to$ 70.6% لنموذج 7B)، مما يثبت أن إعادة البناء الدلالي أمر بالغ الأهمية للحفاظ على التماسك المنطقي بعد الضغط.
المتانة: تفوق CRISP باستمرار على النماذج المرجعية (Truncation, CoD, TALE, TokenSkip, A*-Thought) حتى في ظل ميزانيات رموز صارمة (1024 و 2048 رمزاً).

5. الأهمية

الكفاءة دون مساومة: يوفر CRISP حلاً قابلاً للتوسع لنشر نماذج التفكير في البيئات الحساسة لزمن الاستجابة أو المحدودة الموارد دون التضحية بـ "قدرة التفكير" التي تميز النماذج اللغوية الكبيرة الحديثة.
تحول في النموذج الفكري: ينتقل من منطق الضغط الخارجي غير المتوافق نحو الاختيار الذاتي الجوهري، مستفيداً من ديناميكيات الانتباه الخاصة بالنموذج لتحديد ما هو ضروري.
القدرة على التعميم: يعمل الأسلوب بفعالية على تصفية "الإفراط في التفكير" والحسابات المعرفية الزائدة، مما يشير إلى أن نماذج التفكير تولد طبيعياً مسارات أكثر إيجازاً عندما يتم توجيهها بواسطة إشارات البروز الداخلية الخاصة بها.

باختاً، يثبت CRISP أنه من خلال فهم واستخدام "مرساة المعلومات" الداخلية لنموذج التفكير، يمكن استخلاص مسارات تفكير عالية الكثافة وفعالة للغاية، تكون أقصر وأكثر دقة من المخرجات المطولة الأصلية.