تقترح الورقة البحثية "حالات التفكير" (Thinking States)، وهي طريقة تعمل على تحسين كفاءة وأداء الاستنتاج من خلال توليد وتضمين رموز تفكير كامنة أثناء مرحلة معالجة المدخلات، مما يسمح بتدريب قابل للتوازي وتقليل زمن استجابة الاستدلال مقارنة بأسلوب "سلسلة الأفكار" التقليدي.
المؤلفون الأصليون:Ido Amos, Avi Caciularu, Mor Geva, Amir Globerson, Jonathan Herzig, Lior Shani, Idan Szpektor
تخيل أنك طاهٍ في مطعم مزدحم. لديك طريقتان للتعامل مع وصفة معقدة متعددة الخطوات:
الطريقة الأولى: طريقة "سلسلة الأفكار" (CoT) في كل مرة تنتهي فيها من خطوة صغيرة — مثل تقطيع بصلة — تتوقف، وتمسك بسبورة ضخمة، وتكتب بالضبط ما فعلته للتو: "لقد قطعت الآن بصلة واحدة. إنها مقطعة مكعبات صغيرة. أنا مستعد للخطوة التالية." تفعل هذا لكل مكون على حدة. وبحلول الوقت الذي تصل فيه إلى الطبق الرئيسي، تكون مطبخك قد امتلأ بسبورات ضخمة، وأنت بدأت تفقد المساحة، وتتحرك ببطء شديد لأنك تكتب باستمرار. هكذا يعمل الذكاء الاصطناعي الحالي: إنه ذكي، لكنه "ثرثار" وبطيء لأنه يضطر لكتابة مونولوجه الداخلي بالكامل.
الطريقة الثانية: طريقة "حالات التفكير" (طريقة الورقة البحثية) بدلاً من كتابة كل شيء على سبورة، تستخدم مفكرة ذهنية. بينما تقطع البصل، تلخص "حالة" عملك بسرعة في عقلك: "البصل: مقطع." أنت لا تكتب ذلك للجميع ليروه؛ بل تحتفظ بتلك "الحالة" في عقلك وتستخدمها لتوجيه خطوتك التالية. تتحرك بشكل أسرع، ويبقى مطبخك نظيفاً، لكنك لا تزال تقوم بنفس مستوى التفكير العالي.
عن ماذا يتحدث هذا البحث في الواقع؟
لقد ابتكر الباحثون طريقة تجعل الذكاء الاصطناعي "يفكر" دون أن يضطر إلى "التحدث" بكل فكرة من أفكاره.
حالياً، إذا أردت من الذكاء الاصطناعي حل مسألة رياضية صعبة، عليك أن تطلب منه "إظهار خطوات الحل". هذا يجعل الذكاء الاصطناعي أكثر ذكاءً، ولكنه أيضاً يجعله بطيئاً للغاية ومكلفاً لأنه يولد مئات الكلمات الإضافية لمجرد معالجة المنطق.
يقترح المؤلفون "حالات التفكير" (Thinking States). وإليك كيف تعمل في ثلاث خطوات بسيطة:
التقطيع (Chunking): بدلاً من قراءة جملة كاملة ثم التفكير، يقرأ الذكاء الاصطناعي النص في "قطع" صغيرة (مثل لقمات الطعام).
الملخص الذهني: بعد كل قطعة، يقوم جزء صغير ومتخصص من الذكاء الاصطناعي بتوليد "فكرة" سريعة بلغة طبيعية. ولكن — وهنا تكمن المعجزة — هو لا يطبع تلك الكلمات فعلياً في الدردشة. بدلاً من ذلك، يقوم بضغط تلك الأفكار في "ملخص" رياضي (وهو ما يسمى الحالة - State) ويحقن ذلك الملخص مباشرة في "دماغه" قبل أن يقرأ القطعة التالية.
دفعة السرعة: نظرًا لأن الذكاء الاصطناعي لا يهدر وقته في طباعة فقرات طويلة من التفكير، يمكنه معالجة المعلومات بشكل أسرع بكثير. إنه يشبه الفرق بين شخص يشرح عملية تفكيره بالكامل بصوت عالٍ، وشخص يكتفي بالإيماء برأسه وينتقل إلى الخطوة التالية.
لماذا يعد هذا أمراً هاماً؟
إنه "اختصار ذكي": في اختباراتهم، كان الذكاء الاصطناعي ذكياً تقريباً مثل النسخة "الثرثارة" (CoT)، ولكنه كان أسرع بكثير. وفي مهام معينة، مثل تتبع عدد العملات المعدنية التي تم قلبها في تسلسل ما، كان في الواقع أفضل في الذاكرة طويلة المدى من النسخة الثرثارة.
إنه سهل التعلم: عادةً، يكون تعليم الذكاء الاصطناعي كيفية "التفكير في سر" أمراً صعباً للغاية لأنك لا تستطيع رؤية ما يفكر فيه لتصحيحه. وجد الباحثون طريقة ذكية لاستخدام بيانات "إظهار خطوات الحل" الموجودة بالفعل لتدريب "الأفكار السرية" للذكاء الاصطناعي، مما يجعل عملية التدريب أسرع وأكثر كفاءة.
إنه فعال: إنه يحل مشكلة "الازدحام". يحصل الذكاء الاصطناعي على فوائد التفكير العميق دون "الحمل الزائد" المتمثل في النصوص الطويلة وغير الضرائية.
الخلاصة
يعلم هذا البحث الذكاء الاصطناعي كيفية امتلاك مونولوج داخلي فعال. فهو يسمح للنموذج بالاحتفاظ بـ "حصيلة جارية" لمنطقه في رأسه، مما يجعله أسرع، وأكثر رشاقة، وأكثر قدرة على التعامل مع المشكلات الطويلة والمعقدة دون أن يضيع في كلماته الخاصة.
ملخص تقني: الاستدلال الكامن عبر حالات التفكير الخاضعة للإشراف
1. بيان المشكلة
تحقق النماذج اللغوية الكبيرة (LLMs) دقة عالية في المهام المعقدة من خلال استدلال "سلسلة الأفكار" (Chain-of-Thought - CoT)، حيث تولد مبررات لغوية طبيعية صريحة قبل تقديم الإجابة. ومع ذلك، تترتب على عملية (CoT) تكلفة كبيرة أثناء "الاستنتاج" (Inference-time cost) لأن النموذج يجب أن يولد عدداً كبيراً من الرموز (Tokens) الإضافية، مما يزيد من زمن التأخير والأعباء الحسابية.
وتشمل المحاولات الحالية للتخفيف من ذلك ما يلي:
الاستدلال الكامن المستمر (Continuous Latent Reasoning): تمثيل الأفكار كتمثيلات متجهة (Embeddings) مستمرة. ورغم كفاءتها، إلا أنها صعبة الإشراف وتتطلب غالباً عملية "الانتشار العكسي عبر الزمن" (BPTT) المكلفة حسابياً.
التقطير/الضغط (Distillation/Compression): تقطير الاستدلال في تمثيلات الاستعلام. تفتقر هذه الطرق غالباً إلى "العمق" أو التكييف المتسلسل الذي توفره (CoT)، لأنها تعالج الاستعلامات بشكل متوازٍ بدلاً من عملية استدلال تكرارية.
2. المنهجية: بنية "حالات التفكير" (Thinking States)
يقترح المؤلفون "حالات التفكير" (Thinking States)، وهي آلية استدلال تكرارية تقوم بالاستدلال أثناء معالجة رموز المدخلات، دون زيادة طول السياق.
المكونات الأساسية:
العملية التكرارية للكتل (Chunk-Recurrent Process): يتم تقسيم تسلسل المدخلات إلى K من الكتل غير المتداخلة، ويقوم النموذج بمعالجة هذه الكتل بشكل تكراري.
كتلة التفكير (T): هي عبارة عن مُفكك (Decoder) "ترانسفورمر" خفيف الوزن يأخذ تمثيلات عالية المستوى من النموذج اللغوي الأساسي (Backbone LLM) ويولد بشكل تلقائي تسلسلاً من رموز أفكار اللغة الطبيعية (Z).
كتلة الضغط (C): هي مُشفر (Encoder) "ترانسفورمر" مع طبقة تجميع (Pooling layer) تقوم بضغط تسلسل الأفك_ار متغير الطول إلى حالة ثابتة الحجم (S).
حقن الحالة (State Injection): تُضاف هذه الحالة المضغوطة S إلى تمثيلات المدخلات (Embedings) للكتلة التالية عند طبقة ضحلة (مثل الطبقة الأولى) من النموذج اللغوي الأساسي. وهذا يسمح لـ "الأفكار" بتكييف جميع الحسابات اللاحقة من خلال عمق النموذج.
استراتيجية التدريب (التوازي القائم على التوجيه للمعلم - Teacher-Forced Parallelism): لتجنب عملية (BPTT) البطيئة والمستهلكة للذاكرة، استخدم المؤلفون "حالات التفكير الخاضعة للإشراف". يقومون بمواءمة مبررات (CoT) الموجودة مع مواضع محددة في نص المدخلات. أثناء التدريب، يستخدمون "التوجيه للمعلم" (Teacher-forcing):
يستخدمون خطوات الاستدلال الحقيقية (Ground-truth) لحساب حالة مستهدفة "ذهبية".
يقومون بحقن هذه الحالة الذهبية في النموذج اللغوي الأساسي.
يسمح هذا بمعالجة التسلسل بأكمله في تمريرة أمامية متوازية واحدة، حيث تكون جميع الحالات المستهدفة معروفة مسبقاً.
تحسين الاستنتاج (التفكير الاستنباطي - Speculative Thinking): لمنع الاختناقات التسلسلية أثناء مرحلة التعبئة المسبقة (Prefill)، يستخدم المؤلفون خوارزمية "استنباطية". يفترضون أن معظم الكتل لا تتطلب أي تفكير (حالات بديهية). يقومون بتمريرة متوازية، لتحديد الكتل التي تولد بالفعل أفكاراً غير بديهية، ثم يعيدون تشغيل تلك الأجزاء المحددة فقط. وهذا يقلل زمن التأخير بشكل كبير.
3. المساهمات الرئيسية
بنية جديدة: آلية تكرارية تجسر الفجوة بين (CoT) الصريح والاستدلال الكامن المستمر.
إشراف فعال: طريقة لتدريب الاستدال الكامن باستخدام إشراف اللغة الطبيعية والتوجيه للمعلم، مما يتيح تدريباً متوازياً بالكامل.
القابلية للتفسير: على عكس النماذج الكامنة المستمرة تماماً، تولد "حالات التفكير" رموز لغة طبيعية، مما يسمح للبشر بفحص استدلال النموذج الداخلي.
تعميم الطول: يثبت أن تحديثات الحالة التكرارية تسمح للنماذج بالتعامل مع تسلسلات أطول مما تمت رؤيته أثناء التدريب.
4. النتائج التجريبية
تم تقييم النموذج مقابل (CoT) و(iCoT) و(Coconut) في عدة اختبارات مرجعية:
تتبع الحالة (التكافؤ وتعيين المتغيرات): أظهرت "حالات التفكير" تعميماً فائقاً للطول. بينما انخفضت دقة (CoT) بشكل كبير في التسلسلات الطويلة، حافظت "حالات التفكير" على دقة تقارب الكمال، مما يثبت أنها تعلمت آلية استدلال تكرارية حقيقية.
الاستدلال العام (GSM8K و 2-Hop QA):
الدقة: في اختبار GSM8K، تفوقت "حالات التفكير" على النماذج الكامنة الأساسية (Coconut, iCoT) بنسبة تقارب 8%. وفي 2-Hop QA، طابقت أو تجاوزت أداء (CoT).
الكفاءة: حققت تسريعاً كبيراً (على سبيل المثال، أسرع بـ 2.66 مرة من CoT في GSM8K) لأنها تتجنب توليد سلاسل طويلة من النصوص أثناء الاستنتاج.
تحليل الخطأ: وجد المؤلفون أن "حالات التفكير" يمكن أن تكون في الواقع أكثر متانة من (CoT) في حالات معينة، حيث تتجنب الخطوات "المهلوسة" أو الحسابات المعقدة للغاية التي قد تضلل (CoT).
5. الأهمية
تمثل هذه الورقة خطوة رئيسية نحو الاستدلال الفعال. فهي تثبت أننا لسنا مضطرين للاختيار بين دقة (CoT) الصريح وسرعة التمثيلات الكامنة. من خلال ضغط الاستدلال في حالة تكرارية يتم الإشراف عليها عبر اللغة الطبيعية، يقدم المؤلفون إطاراً قابلاً للتوسع، وقابلاً للتفسير، وفعالاً حسابياً للجيل القادم من النماذج اللغوية الكبيرة القادرة على الاستدلال.