💬 NLP

Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning

تقدم الورقة البحثية إطار عمل Adaptive GoGI-Skip، الذي يربط بين أهمية تدرج الهدف (Goal-Gradient Importance) والتخطي الديناميكي القائم على عدم اليقين لتقليل حجم الرموز (tokens) بأكثر من 45% وتسريع الاستدلال بمعدل يصل إلى 2.0 $\times$ في استدلال تسلسل الأفكار (Chain-of-Thought) دون المساس بالدقة.

المؤلفون الأصليون: Ren Zhuang

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ren Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب من صديق ذكي جداً، ولكنه ثرثار قليلاً، أن يحل مسألة رياضية صعبة. هو يعرف الإجابة، ولكن قبل أن يخبرك بها، يكتب شرحاً طويلاً خطوة بخطوة. أحياناً، يكون هذا الشرح عبقرياً وضرورياً. وأحياناً أخرى، يكون مليئاً بالعبارات المتكررة، والتوقفات غير الضرورية، وكلمات مثل "اممم" التي تبطئ سرعته دون إضافة أي قيمة.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم هؤلاء "الأصدقاء" من الذكاء الاصطعي كيفية التفكير بشكل أسرع دون فقدان ذكائهم. وقد أطلق المؤلفون على طريقتهم اسم Adaptive GoGI-Skip.

إليك تفصيل لكيفية عملها، باستخدام تشبيهات بسيطة:

المشكلة: "المُفرط في التفكير"

تستخدم نماذج الذكاء الاصطناعي الحالية تقنية تسمى "سلسلة الأفكار" (Chain-of-Thought - CoT). وهي تشبه حديث الذكاء الاصطناعي مع نفسه لحل لغز ما. وبينما يجعل هذا النموذج أكثر ذكاءً، فإنه أيضاً بطيء ومكلف للغاية لأن النموذج يولد آلاف الكلمات (الرموز/Tokens) للوصول إلى الإجابة.

الأساليب الحالية لتسريع العملية تشبه استخدام سكين ثلمة:

القواطع الثابتة (Static Cutters): تقوم ببساطة بحذف كل كلمة خامسة، بغض النظر عما إذا كانت تلك الكلمة رمزاً رياضياً حاسماً أو مجرد كلمة حشو مملة. وهذا يؤدي إلى كسر المنطق.
كاشفات الارتباك (Confusion Detectors): تحتفظ فقط بالكلمات التي يبدو فيها الذكاء الاصطناعي "غير متأكد". ولكن أحياناً، قد يكون الذكاء الاصطناعي غير متأكد من تفصيل صغير لا يهم، أو قد يتخطى خطوة حيوية لأنه شعر بالثقة.

الحل: "محرر ذكي ومتكيف"

ابتكر المؤلفون نظاماً يعمل كـ محرر فائق الذكاء يفهم شيئين في آن واحد: الهدف وعدم اليقين.

1. "تدرج الهدف" (GoGI): مقياس الـ "لماذا"

تخيل أنك تشاهد فيلماً. بعض المشاهد هي مجرد أشخاص يسيرون حول (أهمية منخفضة)، بينما المشاهد الأخرى هي منعطفات الحبكة حيث ينقذ البطل الموقف (أهمية عالية).

كيف يعمل: ينظر النظام إلى كل كلمة يولدها الذكاء الاصطناعي ويسأل: "إذا حذفنا هذه الكلمة، هل ستتغير الإجابة النهائية؟"
التشبيه: الأمر يشبه فحص جسر. إذا أزلت طوبة معينة وانهار الجسر، فهذه الطوبة ذات "تدرج عالٍ" (أساسية). أما إذا أزلت طوبة وظل الجسر قائماً، فقد كانت مجرد زينة.
النتيجة: يحدد النظام "الطوب" الذي يدعم المنطق فعلياً ويحتفظ به، بينما يحذف الطوب الزخرفي.

2. "عدم اليقين الديناميكي" (ADS): مقياس الـ "توتر"

أحياناً، حتى لو بدت الكلمة غير مهمة، قد يكون الذكاء الاصطناعي في جزء صعب من عملية الاستنتاج حيث يسهل ارتكاب خطأ ما.

كيف يعمل: يتحقق النظام من مدى "توتر" الذكاء الاصطناعي في أي لحظة معينة. إذا كان الذكاء الاصطناعي غير متأكد (عدم يقين عالٍ)، يقول النظام: "توقف! لا تحذف أي شيء هنا. نحتاج أن نكون آمنين".
التشبيه: فكر في قيادة سيارة. على طريق سريع مستقيم وخالٍ (عدم يقين منخفض)، يمكنك زيادة السرعة وربما تخطي بعض المنعطفات في الطريق. ولكن عندما تصادف منعطفاً حاداً وضبابياً (عدم يقين عالٍ)، فإنك تبطئ وتأخذ كل منعطف بعناية.
النتيجة: يقوم النظام تلقائياً بإبطاء عملية "القص" عندما يكون الذكاء الاصطناعي مرتبكاً، مما يضمن عدم تخطي خطوة حاسمة لمجرد أنها بدت بسيطة.

الجمع بينهما: "Adaptive GoGI-Skip"

تحدث المعجزة عند دمج هذين المقياسين.

السيناريو أ (الطريق السريع): الذكاء الاصطناعي واثق، ومقياس "الهدف" يقول إن الكلمة مجرد حشو. الإجراء: اقطعها! (توفير الوقت).
السيناريو ب (المنعطف الضبابي): الذكاء الاصطناعي مرتبك. حتى لو قال مقياس "الهدف" إن الكلمة تبدو غير مهمة، فإن مقياس "التوتر" يقول: "احتفظ بها، للاحتياط". الإجراء: احتفظ بها! (منع الأخطاء).
السيناريو ج (الجسر الحرج): الذكاء الاصطناعي واثق، لكن مقياس "الهدف" يقول إن هذه الكلمة هي الشيء الوحيد الذي يمسك المنطق معاً. الإجراء: احتفظ بها! (الحفاظ على الدقة).

النتائج: أسرع، وليس أغبى

اختبر الباحثون هذا النظام على مسائل رياضية ومنطقية صعبة (مثل مسابقة AIME الرياضية وأسئلة علوم GPQA).

الادعاء: تمكنوا من تقليل كمية النص الذي يكتبه الذكاء الاصطناعي بأكثر من 45%.
السرعة: جعل هذا الذكاء الاصطناعي يفكر بسرعة تصل إلى ضعفين.
الدقة: والأهم من ذلك، حصل الذكاء الاصطناعي على الإجابات الصحيحة تماماً كما في السابق. بل في بعض الاختبارات، أصبح أفضل قليلاً لأنه لم يتشتت بانثرابه الخاص.

لماذا هذا مهم (وفقاً للورقة البحثية)

تجادل الورقة بأننا لسنا بحاجة لإجبار الذكاء الاصطناعي على أن يكون بطيئاً ليكون ذكياً. من خلال تعليم الذكاء الاصطناعي التمييز بين "التفكير العميق" و"مجرد الكلام الكثير"، يمكننا جعله فعالاً دون فقدان قدرته على الاستنتاج.

لقد دربوا هذا "المحرر" على حوالي 7,500 مسألة رياضية، وقد تعلم قاعدة عامة تعمل على أي مسألة جديدة، حتى تلك التي لم يرها من قبل. إنه يشبه تعليم طالب كيفية الدراسة بكفاءة، بدلاً من مجرد حفظ الإجابات.

باخت-اختصار: تعطي هذه الورقة البحثية للذكاء الاصطناعي مقصاً يعرف بالضبط ما الذي يجب قصه لجعل عملية التفكير أسرع، دون قطع "الدماغ" عن طريق الخطأ.

ملخص تقني: Adaptive GoGI-Skip

بيان المشكلة

تعزز تقنية "سلسلة الأفكد" (Chain-of-Thought - CoT) قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs) بشكل كبير، ولكنها تفرض تكاليف باهظة في زمن الاستجابة (Inference Latency) وتكلفة الذاكرة بسبب توليد مسارات استنتاج مطولة وفائضة عن الحاجة. تواجه استراتيجيات الضغط الحالية مقايضة جوهرية:

طرق التدرج/الأهمية الثابتة: الطرق مثل TokenSkip أو تلك التي تعتمد على التشابه الدلالي تعامل الرموز (Tokens) بشكل مستقل. وغالبًا ما تؤدي إلى قطع المنطق التسلسلي عبر إزالة الرموز ذات الأهمية الهيكلية ولكن البسيطة دلاليًا (مثل الروابط المنطقية)، أو تفشل في التمييز بين الفائض الوظيفي والتوسع الضروري.
التقليم القائم على عدم اليقين: الطرق التي تعتمد فقط على الإنتروبيا التنبؤية أو الحيرة (Perplexity) تلتقط الغموض المحلي ولكنها تتجاهل الهدف النهائي المتمثل في صحة الإجابة. قد تحتفظ هذه الطرق برموز تكون "مفاجئة" ولكنها غير ذات صلة وظيفيًا بالحل النهائي.
معدلات الضغط الثابتة: لا يمكن لمعدلات الضغط الثابتة استيعاب التباين في صعوبة خطوات الاستنتاج، مما يؤدي إما إلى فقدان مفرط في الدقة في المهام المعقدة أو مكاسب غير كافية في الكفاءة في المهام الأبسط.

التحدي الجوهري هو تحقيق توازن "استنتاجي أمثل" (Thinking-optimal) حيث يستنتج النموذج فقط القدر الضروري، مما يتطلب نموذج ضغط يكون واعيًا بالهدف (متوافقًا مع صحة الإجابة) ومتكيفًا ديناميكيًا (مستجيبًا لتعقيد الاستنتاج المحلي).

المنهجية: Adaptive GoGI-Skip

يقترح المؤلفون إطار عمل Adaptive GoGI-Skip، الذي يربط بين أهمية تدرج الهدف (GoGI) والتخطي الديناميكي المتكيف (ADS) لتقليم مسارات CoT دون التضحية بدقة الاستنتاج. يتم تنفيذ الطريقة عبر الضبط الدقيق تحت الإشراف (SFT) على المسارات المضغوطة.

1. أهمية تدرج الهدف (GoGI)

على عكس مقاييس الأهمية العامة، تقيس GoGI المساهمة الوظيفية للرمز في صحة الإجابة النهائية عبر حساسية التدرج.

التعريف: بالنسبة لرمز $x_t$ عند طبقة مستهدفة $l^*$ ، فإن درجة GoGI هي معيار $L_1$ لتدرج خسارة تنبؤ الإجابة ( $L_{ans}$ ) بالنسبة للحالة المخفية $h_t^{l^*}$ :
$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$
اختيار الطبقة: يظهر التحليل التجريبي أن ذروة الحساسية تحدث في الطبقات المتوسطة إلى المتأخرة (مثل الطبقة 23 في Gemma3-4B). تختار الطريقة طبقة تمثيلية حيث تكون الأداءات اللاحقة غير حساسة للاختيار الدقيق، مما يوازن بين الإشارات المحلية والعالمية.
الرؤية: تحدد GoGI الرموز الضرورية وظيفيًا للإجابة النهائية، حتى لو كانت بسيطة دلاليًا، مما يميزها عن الرموز التي تكون "مفاجئة" (عالية الإنتروبيا) ولكنها غير ذات صلة.

2. التخطي الديناميكي المتكيف (ADS)

يعمل ADS على تعديل استراتيجية التقليم ديناميكيًا بناءً على سياق وقت التشغيل، من خلال الجمع بين GoGI وآليتين تنظيميتين:

تنظيم معدل الإنتروبيا المدفوع (EDR):
- يستخدم الإنتروبيا التنبؤية $H_t$ كإشارة لكثافة المعلومات ونقاط التفرع.
- يربط $H_t$ بمعدل احتفاظ محلي $\gamma_t$ . تؤدي الإنتروبيا العالية (عدم اليقين) إلى تقليم محافظ (احتفاظ أعلى)، بينما تسمح الإنتروبيا المنخفضة بتقليم هجومي.
- يقوم هذا بتعديل عتبة GoGI الديناميكية $\tau_t$ (المئوية لدرجات GoGI المطلوبة للاحتفاظ) بناءً على عدم اليقين المحلي.
قيد N المتكيف (ANC):
- للحفاظ على التماسك الهيكلي، يحدد ANC عدد الرموز المتتالية التي يتم تقليمها ( $N_t$ ).
- يتم تعديل $N_t$ بواسطة الإنتروبيا النافذة المحلية. في المناطق عالية الإنتروبيا (الانتقالات)، يتم تقليل $N_t$ لفرض تماسك أكثر صرامة، مما يمنع النموذج من تخطي الروابط المنطقية الحيوية (مثل "لذلك") حتى لو كانت درجات GoGI الفردية لها منخفضة.
- يعمل هذا كـ "شبكة أمان" لمنع سلاسل الاستنتاج المجزأة.

3. خوارزمية التقليم

تمر الخوارزمية عبر تسلسل CoT. يتم الاحتفاظ بالرمز إذا:

تجاوزت درجة Go_الموزونة الخاصة به العتبة الديناميكية ( $G'_t \geq \tau_t$ )، أو
كان تقليمه سيؤدي إلى انتهاك قيد التخطي المتتالي ( $C_{t-1} + 1 \geq N_t$ ).

تشكل التسلسلات المضغوطة الناتجة مجموعة بيانات لعملية SFT، مما يؤدي إلى استخلاص سياسة الضغط مباشرة في أوزان النموذج. يسمح هذا بـ صفر من عبء التشغيل الزمني أثناء الاستنتاج، حيث يقوم النموذج ببساة بتوليد تسلسل أقصر وأكثر كثافة.

المساهمات الرئيسية

تصميم إطار العمل: تقديم Adaptive GoGI-Skip، وهو أول إطار عمل يربط بشكل غير خطي بين التوافق مع الهدف الغائي (GoGI) وعدم اليقين الإبستيمي (ADS) لضغط CoT.
الشمولية في مرحلة الصفر (Zero-Shot Universality): إثبات أن سياسة ضغط واحدة، مدربة على 7,472 مسار MATH فقط، تنتقل بفعالية عبر اختبارات متنوعة (AIME, GPQA, GSM8K) وعائلات نماذج مختلفة (Gemma, Qwen) دون ضبط خاص بالمهمة.
حد الكفاءة والدقة: تحقيق مكاسب كبيرة في الكفاءة (>45% تقليل في الرموز، تسريع يصل إلى 2.0×) مع الحفاظ على الدقة الأصلية أو تحسينها في الاختبارات الصارمة، مما يكسر المقايضة الجامدة التي تظهر في النماذج الثابتة.

النتائج التجريبية

تم التقييم على نماذج Gemma3 وQwen2.5 عبر AIME 2024/2025، وGPQA Diamond، وGSM8K:

الأداء: تفوقت Adaptive GoGI-Skip باستمرار على النماذج الثابتة (TokenSkip, Spiritft) والمستخلصات الخارجية (C3oT).
- في GSM8K، حققت دقة 89.9% (زيادة قدرها 0.3% عن الأصل) مع تسريع 1.9× وتقليل الرموز بنسبة 45%.
- في AIME 2024، حافظت على دقة 14.1% (مقابل 14.5% للأصل) مع تسريع 1.7×.
- في GPQA Diamond، حققت دقة 29.3% (مقابل 29.6% للأصل) مع تسريع 1.8×.
التعميم: تتوسع الطريقة إيجابيًا مع حجم النموذج (من 1B إلى 12B)، مما يشير إلى أن النماذج الأكبر تظهر فصلًا أكثر وضوحًا بين إشارات الاستنتاج والضجيج.
دراسات الاستئصال (Ablation Studies): أدى إزالة التنظيم الديناميكي (ADS) أو قيد N (ANC) إلى انخفاض كبير في الدقة، مما أكد أن الضغط الثابت لا يمكنه التعامل مع تعقيد الاستنتاج المتغير. كما أن استبدال GoGI بمقاييس تعتمد على الحيرة (LLMLingua) أدى إلى تدهور الأداء، مما يؤكد تفوق التوافق مع التدرج الموجه نحو الهدف.

الأهمية والادعاءات

يدعي البحث أن الحشو الهيكلي في الاستنتاج هو خاصية قابلة للتعلم وغير مرتبطة بمهمة محددة ومتميزة عن الدلالات. من خلال ربط الأهمية بتدرج خسارة الإجابة بدلاً من الحيرة السطحية أو الاستدلالات الثابتة، تعزل الطريقة إشارات الاستنتاج الجوهرية عن المحتوى الزائد.

يجادل المؤلفون بأن الضغط الأمثل للتفكير يتطلب تآزرًا بين الأهداف الغائية وعدم اليقين الإبستيمي. تقدم الطريقة المقترحة مسار تحسين مباشر ومستقر (عبر SFT) يتجنب عدم استقرار التدريب و"التحايل على المكافأة" (Reward Hacking) المرتبط بنهج التعلم التعزيزي (RL). علاوة على ذلك، تعمل كمعالج لاحق مكمل للمستنتجات المحسنة بالتعلم التعزيزي (مثل DeepSeek-R1) التي تنتج مسارات لفظية متزايدة، مما يتيح النشر الفعال للنماذج عالية القدرة تحت قيود البنية التحتية الثابتة مع دعم مبادرات الذكاء الاصطناعي الأخضر من خلال تقليل استهلاك الطاقة.