💬 NLP

InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models

تقدم InftyThink نموذج استدلال تكراري مع تلخيص وسيط يحول الاستدلال أحادي السياق الطويل إلى عملية ذات تكلفة محدودة، مما يتيح عمق استدلال غير محدود ويحسن الأداء بشكل كبير عبر الاختبارات الرياضية المرجعية دون الحاجة إلى تعديلات هيكلية.

المؤلفون الأصليون: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Mengdi Zhang, Jian Shao, Yueting Zhuang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Mengdi Zhang, Jian Shao, Yueting Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ضخم ومعقد، مثل أحجية "بازل" مكونة من 10,000 قطعة تمثل مجرة.

المشكلة: صراع "المحاولة الواحدة"

حالياً، تحاول معظم نماذج الذكاء الاصطناعي المتقدمة (التي تقوم بعمليات الاستنتاج) حل هذا اللغز في جلسة واحدة مستمرة. فهي تحدق في الصورة بأكملها، وتفكر بصوت عالٍ: "حسناً، القطعة (أ) توضع هنا، والقطعة (ب) توضع هناك..." وتستمر في ذلك حتى تنتهي.

هذا النهج يعاني من ثلاث عيوب رئيسية:

حد الذاكرة: تخيل أن عقلك لا يمكنه استيعاب أكثر من 8,000 فكرة في وقت واحد. إذا كانت الأحجية ضخمة، ستنفد مساحتك الذهنية قبل أن تنتهي، فتنسى كيف بدأت، وتستسلم.
تكلفة الطاقة: كلما نظرت إلى قطع أكثر في وقت واحد، زاد الجهد الذي يبذله عقلك. إذا حاولت استيعاب 10,000 قطعة في ذهنك، فإن الجهد لن يتضاعف فحسب، بل سينفجر بشكل "تربيعي". سيصبح الأمر مكلفاً للغاية وبطيئاً جداً.
فخ "القطع" (Truncation): إذا كانت الأحجية كبيرة جداً، سيتوقف الذكاء الاصطناعي حرفياً عن الكلام في منتصف الجملة لأنه وصل إلى حد الذاكرة الخاص به، مما يترك المشكلة دون حل.

الحل: InftyThink (استراتيجية "تدوين الملاحظات")

يقدم بحث InftyThink طريقة جديدة لتفكير الذكاء الاصطناعي. فبدلاً من محاولة استيعاب المجرة بأكملها في رأسه دفعة واحدة، يقوم بتقسيم عملية التفكير إلى أجزاء صغيرة يمكن إدارتها، تماماً كما يفعل البشر عند تدوين الملاحظات.

إليك كيف يعمل ذلك، باستخدام تشبيه بسيط:

1. طريقة "أسنان المنشار" (Sawtooth Method)

تخيل أنك تتسلق جبلاً شاهق الارتفاع (مشكلة معقدة).

الطريقة القديمة (Vanilla): تحاول تسلق الجبل بأكست في قفزة واحدة عملاقة. تتعب، وتخذلك قدماك، وتسقط من فوق المنحدر لأن الجبل عالٍ جداً.
طريقة InftyThink: تتسلق مسافة قصيرة (مقطع)، ثم تتوقف وتكتب ملخصاً في دفتر ملاحظاتك: "أنا عند القاعدة، المسار صخري، ويجب أن أتجه شمالاً". ثم تضع حقيبة ظهرك الثقيلة أرضاً، وترتاح، وتبدأ في التسلق التالي مستخدماً دفتر ملاحظاتك كدليل لك.

في كل مرة تتوقف فيها، تكتب ملخصاً لما وصلت إليه وما تعلمته. ثم تستخدم هذا الملخص كنقطة انطلاق للرحلة التالية.

2. سحر "دفتر الملاحظات" (التلخيص)

هذا هو السر وراء نجاح العملية.

في الطريقة القديمة، كان على الذكاء الاصطناعي تذكر كل خطوة اتخذها من البداية وحتى النهاية.
مع InftyThink، يحتاج الذكاء الاصطناعي فقط لتذكر الخطوة الحالية وملخص الماضي.
الأمر يشبه قراءة كتاب؛ فأنت لا تحتاج لحفظ كل كلمة في الفصل الأول لتفهم الفصل الخامس، بل تحتاج فقط إلى ملخص سريع: "في الفصل الأول، التقى البطل بالتنين".

من خلال استبدال الذاكرة الطويلة والثقيلة للماضي بملخص قصير وموجز، لن ينفد "المساحة الذهنية" للذكاء الاصطناعي أبداً. يمكنه الاستمرار في تسلق الجبل مهما كان ارتفاعه.

لماذا يعد هذا تغييراً جذرياً؟

إنه أرخص: لأن الذكاء الاصطناعي لا يحاول استيعاب 10,000 فكرة في وقت واحد، فإنه يستخدم قوة حوسبة أقل بكثير. الأمر يشبه قيادة سيارة في دفعات قصيرة مع إطفاء المحرك بين الحين والآخر، بدلاً من تشغيل المحرك بأقصى طاقته في سباق مستمر.
إنه أذكى: لا يتشتت الذكاء الاصطناعي بتاريخه الطويل؛ بل يظل مركزاً على المشكلة الحالية، مستخدماً الملخص للبقاء على المسار الصحيح.
يعمل على النماذج الصغيرة: يمكن للنماذج الأصغر والأرخص الآن حل مشكلات صعبة كانت تتطلب عادةً حواسيب فائقة ضخمة ومكلفة؛ هي فقط تحتاج لتعلم عادة "تدوين الملاحظات" هذه.

النتيجة

اختبر الباحثون هذا الأسلوب على مسائل رياضية وأسئلة علمية. ووجدوا أنه من خلال تعليم الذكاء الاصطناعي "التفكير في أجزاء وتلخيص النتائج"، تمكنت النماذج من:

حل مشكلات أكثر بشكل صحيح (بنسبة تصل إلى 11% أفضل في الاختبارات الرياضية الصعبة).
القيام بذلك بسرعة أكبر (وقت انتظار أقل).
القدرة على حل مشكلات كانت في السابق أكبر من قدرتها على الاستيعاب.

باختصار

InftyThink يشبه تعليم الذكاء الاصطناعي التوقف عن محاولة امتلاك "ذاكرة تصويرية" والبدء في كون "مدون ملاحظات جيد". من خلال تقسيم المشكلات الكبيرة إلى خطوات صغيرة وتلخيص التقدم المحرز، فإنه يزيل "السقف" الذي يحد من ذكاء الذكاء الاصطناعي، مما يسمح له بالتفكير بعمق شديد دون استنزاف الذاكرة أو المال.

<summary>S_1</summary>

التكرار $i$ ( $i > 1$ ): <|U|>Q<|A|><history>S_{i-1}</history><think>RP_i</think><summary>S_i</summary>
التكرار النهائي: <|U|>Q<|A|><history>S_{n-1}</history><think>RP_n</think>C

يخلق هذا نمط ذاكرة "مسنن" (sawtooth) حيث يتم إعادة ضبط نافذة السياق (أو تظل محدودة) بعد كل ملخص، مما يمنع الانفجار التربيعي للتكلفة الحسابية المرتبط بالتسلسلات الطويلة.

خط معالجة إعادة بناء البيانات

للتدريب على هذا النموذج، طور المؤلفون خط معالجة لإعادة بناء مجموعات بيانات السياق الطويل الموجودة (تحديداً OpenR1-Math، المستخلصة من DeepSeek-R1) إلى تنسيق InftyThink:

التقسيم: يتم تقسيم آثار الاستدلال الأصلية إلى أجزاء متماسكة دلالياً بناءً على معلم فائق (hyperparameter) $\eta$ (على سبيل المثال، 4 آلاف توكن).
توليد الملخص: يقوم نموذج تأسيسي قوي (Meta-Llama-3.3-70B-Instruct) بتوليد ملخصات موجزة لكل جزء، مع الحفاظ على استمرارية الاستدلال العالمية.
بناء المثيل (Instance Construction): يتم تحويل الأمثلة الأصلية إلى مثيلات تدريب متعددة، لتعليم النموذج كيفية توليد جزء، ثم تلخيصه، ثم استخدام ذلك الملخص لمواصلة الاستدلال. أدى ذلك إلى توسيع الـ 220 ألف مثال أصلي إلى 333 ألف مثيل تدريبي.

3. المساهمات الرئيسية

تحول في النموذج (Paradigm Shift): قدم InftyThink، الذي يفصل عمق الاستدلال عن التعقيد الحسابي عبر استبدال التوليد أحادي المرحلة بالتلخيص التكراري.
استدلال غير محدود: يتيح عمق استدلال لانهائي نظرياً دون تعديل بنية النموذج الأساسية أو الحاجة إلى نوافذ سياق ضخمة.
إعادة بناء مجموعة البيانات: طور طريقة منهجية لتحويل مجموعات بيانات الاستدلال ذات السياق الطويل القياسية إلى تنسيقات تكرارية، مما أثبت جدوى توسيع هذا النهج ليشمل البيانات الموجودة.
المفاضلة بين الكفاءة والأداء: تحدى الافتراض بأن الاستدلال الأعمق يتطلب تكاليف أعلى بشكل أسي، مبيناً أن InftyThink يحسن الدقة مع تقليل زمن الاستجابة (latency) وبصمة الذاكرة.

4. النتائج التجريبية

قيم المؤلفون InftyThink عبر بنيات نماذج متعددة (سلسلة Qwen2.5-Math، Llama-3.1) ومعايير اختبار (MATH500، AIME24، GPQA_diamond).

مكاسب الأداء:
- Qwen2.5-Math-7B: حقق تحسينات تتراوح بين 3-11% عبر المعايير مقارنة بالاستدلال التقليدي طويل السياق.
  - MATH500: +1.78%
  - AIME24: +11.04%
  - GPQA_diamond: +9.03%
- النماذج الأصغر: كانت المكاسب النسبية أكثر وضوحاً في النماذج الأصغر (مثل 1.5B)، مما يشير إلى أن InftyThink يعمل كتعزيز خوارزمي يعوض القدرة المحدودة للنموذج.
الكفاءة الحسابية:
- زمن الاستجابة (Latency): قلل InftyThink من وقت الاستجابة الفعلي بشكل كبير (على سبيل المثال، من 1.69 ثانية إلى 1.43 ثانية لـ Qwen2.5-7B في المتوسط) رغم توليد عدد أكبر من التوكنات، وذلك بسبب تجنب التوسع التربيعي للانتباه (attention scaling).
- عدد التوكنات: بينما زاد إجمالي التوكنات المولدة قليلاً بسبب الملخصات، إلا أن التكلفة الحسابية (المقاسة بمجموع مربعات التوكنات) كانت أقل بكثير من النهج الأحادي الضخم.
المتانة:
- تعمل الطريقة بفعالية عبر أحجام أجزاء مختلفة ( $\eta$ )، حيث أظهر $\eta=4k$ التوازن الأمثل.
- تفوق على تقنيات تمديد السياق التقليدية مثل RoPE interpolation.
- أكدت دراسات الاستئصال (Ablation studies) أن الضبط الدقيق (fine-tuning) أمر ضروري؛ حيث أدى الاستدلال التكراري القائم على التلقين فقط (prompt-based) دون تدريب إلى انخفاض في الأداء.

5. الأهمية

يمثل InftyThink خطوة مهمة نحو الاستدلال الذكي القابل للتوسع والفعال.

تجاوز حدود الأجهزة: يسمح للنماذذ ذات نوافذ السياق الصغيرة (مثل 4k) بحل مشكلات تتطلب سلاسل استدلال تزيد عن 10 آلاف توكن، مما يتجاوز قيود الأجهزة بفعالية دون تغييرات هيكلية.
المواءمة المعرفية: يتوافق نهج التلخيص التكراري بشكل وثيق مع الاستراتيجيات المعرفية البشرية (التقطيع والتلخيص)، مما يشير إلى مسار نحو ذكاء اصطناعي أكثر محاكاة للعمليات الإدراكية.
النشر العملي: من خلال تقليل التكلفة الحسابية للاستدلال المعقد، يجعل InftyThink قدرات الاستدلال المتقدمة أكثر سهولة في الوصول إليها للبيئات محدودة الموارد والنماذج الأصغر، مما يساهم في دمقرطة الوصول إلى حل المشكلات رفيع المستوى.

في الختام، يثبت InftyThink أن إعادة هيكلة عملية الاستدادة نفسها — بدلاً من مجرد تحسين النموذج أو البيانات — يمكن أن تكسر المقايضة الأساسية بين عمق الاستدلال والكفاءة الحسابية.