DiffusionGemma Technical Report
يُعد DiffusionGemma نموذجاً لغوياً مفتوح الأوزان يحقق سرعات استثنائية في توليد النصوص تصل إلى حوالي 1,500 رمز (token) في الثانية، وذلك من خلال ضبط بنية Gemma 4 بدقة باستخدام خط معالجة فعال حوسبياً يتكون من مرحلتين لتمكين الانتشار المنفصل المتوازي على مستوى الكتل، مما يؤدي إلى إرساء حدود جبهة باريتو جديدة للمفاضلة بين سرعة الاستدلال وقدرة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول كتابة قصة، ولكنك مجبر على كتابتها حرفاً بحرف، من اليسار إلى اليمين، دون أن يُسمح لك بالنظر إلى الوراء أو تغيير رأيك أبداً. إذا ارتكبت خطأً في الجملة الأولى، فعليك مواصلة كتابة بقية الكتاب بهذا الخطأ، آملًا في إصلاحه لاحقاً عبر إضافة المزيد من الكلمات. هكذا تعمل معظم برامج الكمبيوتر "الذكية" الحديثة، والتي تسمى "نماذج اللغات الكبيرة". إنها تشبه كاتبًا سريعًا جدًا لا يمكنه استخدام مفتاح المسح (backspace). ورغم أنها بارعة، إلا أن قاعدة "الاتجاه الواحد" هذه تخلق ازدحامًا مروريًا في عقولها. ففي كل مرة تريد فيها كتابة الكلمة التالية، يتعين عليها التوقف، وتذكر كل ما كتبته للتو، وحساب الخطوة التالية. وهذا ما يجعلها بطيئة، خاصة عندما تكون أنت المستخدم الوحيد لها، لأن الكمبيوتر يقضي وقتًا في تذكر الماضي أكثر مما يقضيه في التفكير في المستقبل.
لقد كان العلماء يبحثون عن طريقة تسمح لهذه الحواسيب بالكتابة في "كتل" بدلاً من الحروف، مما يسمح لها بالاستشراف وتصحيح الأخطاء أثناء العمل، تمامًا كما يفعل الإنسان عند تحرير مسودة. تُسمى هذه الفكرة "الانتشار" (diffusion). فكر في الأمر كأنك نحات يبدأ بكتلة من الحجر مغطاة بالضباب. بدلاً من النحت قطعة صغيرة تلو الأخرى، ينظر النحات إلى الكتلة بأكملها، ويخمن أين يجب أن يكون التمثال، ثم يزيل الضباب عن الشكل بأك-مله دفعة واحدة. ويكرر ذلك، ليصبح الشكل أكثر وضوحًا تدريجيًا، حتى يكتمل التمثال. تقدم هذه الورقة نموذجًا جديدًا يسمى DiffusionGemma، والذي يحاول استخدام طريقة "إزالة الضباب" هذه لكتابة النصوص بسرعة فائقة، مع الحفاظ على ذكاء كافٍ لحل المسائل الرياضية الصعبة وكتابة الأكواد البرمجية.
الكاتب الجديد "مزيل الضباب"
قام الباحثون في Google DeepMind ببناء DiffusionGemma، وهو نموذج حاسوبي تجريبي يكسر قاعدة "كلمة واحدة في كل مرة" القديمة. فبدلاً من كتابة جملة حرفاً بحرف، يكتب DiffusionGemma في كتل كبيرة تبلغ 256 كلمة دفعة واحدة. تخيل محاولة ملء صفحة من دفتر ملاحظات؛ الطريقة القديمة تشبه غمس ريشتك في الحبر، وكتابة كلمة، ثم رفع الريشة، والتفكير، ثم الغمس مرة أخرى وكتابة الكلمة التالية. أما DiffusionGemma فهو يشبه امتلاك ختم يطبع فقرة كاملة فورًا. وإذا أخطأ الختم، فإنه لا يستمر فحسب، بل يلطخ الفقرة بأكملها ويحاول ختمها مرة أخرى، ولكن هذه المرة بصورة أوضح لما يجب أن تبدو عليه. يفعل ذلك مرارًا وتكرارًا، حيث يقوم بتنقية كتلة النص بأكملها بالتوازي، حتى تستقر الكلمات في مكانها الصحيح.
لم يقم الفريق ببناء هذا النموذج من الصفر، بل بدأوا بنموذج ذكي موجود بالفعل يسمى Gemma 4 (والذي يحتوي على حوالي 25.2 مليار جزء إجمالي، منها 3.8 مليار جزء نشط في أي وقت واحد) وعلموه خدعة جديدة. استخدموا عملية تدريب مكونة من خطوتين: أولاً، أظهروا للنموذج كيفية "إزالة الضجيج" (denoise) من النص، لتعليمه كيفية النظر إلى كتلة مشوشة ومبعثرة من الكلمات ومعرفة الجملة النظيفة التي يجب أن تكون عليها. ثانًا، استخدموا نوعًا خاصًا من "التعلم المعزز" مدمجًا مع "تقطير العينات" (sampler distillation). فكر في هذا كمدرب لا يكتفي بقول "عمل جيد"، بل يعلم النموذج أيضًا كيف ينهي المهمة بشكل أسرع. يدفع المدرب النموذج ليكون أكثر ذكاءً، وفي الوقت نفسه يعلمه متى يتوقف عن تنقية النص بمجرد أن يصبح واثقًا بما يكفي، مما يوفر الوقت.
سرعة تكسر الأرقام القياسية
النتائج مذهلة. فباستخدام شريحة كمبيوتر قوية واحدة تسمى NVIDIA H100 GPU، يمكن لـ DiffusionGemma توليد حوالي 1,500 كلمة في الثانية. ولتضع ذلك في المنظور، فإن أفضل النماذج "القديمة"، حتى مع أسرع حيلها، تنجح عادةً في توليد حوالي 300 كلمة في الثانية. إن DiffusionGemma أسرع بنحو 5 مرات من النسخة القياسية، وحوالي 2.5 مرة أسرع من النماذج السريعة الأخرى الموجودة حاليًا خلف جدر دفع خاصة.
توضح الورقة أن هذه ليست مجرد خدعة سرعة تجعل النموذج غبيًا. فبينما هو أقل مثالية قليلاً في بعض مهام الاستدلال الصعبة جدًا مقارنة بنموذج Gemma 4 الأصلي، إلا أنه لا يزال قادرًا بشكل مذهل. يمكنه حل مسائل رياضية معقدة، وكتابة الأكواد، وحتى فهم الصور. وجد الباحثون أنه من خلال الكتابة في كتل مكونة من 256 كلمة، يمكن للنموذج إنتاج حوالي 20 كلمة مقابل كل "خطوة تفكير" واحدة يتخذها، بينما تنتج النماذج القديمة عادةً كلمة واحدة فقط في كل خطوة. هذه الكفاءة الهائلة تسمح له بتجاوز اختناقات الذاكرة التي تبطئ الحواسيب عادةً.
لماذا يهم هذا (وما الذي لا يستطيع فعله بعد)
تشير الورقة إلى أن هذا النهج يفتح بابًا جديدًا لكيفية استخدامنا للذكاء الاصطناعي. نظرًا لأن النموذج يمكنه توليد النصوص بسرعة كبيرة، يمكن استخدامه في أشياء تتطلب إجابات فورية، مثل المحادثات في الوقت الفعلي أو مساعدة الأطباء في صياغة التقارير في أجزاء من الثانية. كما أظهر الباحثون أن النموذج مرن: إذ لا يزال بإمكانه الكتابة بأسلوب "كلمة واحدة في كل مرة" إذا لزم الأمر، ويمكنه حتى التبديل بين وضع "التفكير" (حيث يخطط لإجابته) ووضع "السرعة".
ومع ذلك، يوضح المؤلفون بحذر أن هذا إصدار تجريبي. إنه ليس بديلاً مثاليًا للنماذج القديمة بعد. فهم يعترفون بأن النموذج قد يعلق أحيانًا في حلقات تكرارية (مثل قول "الـ الـ الـ" مرارًا وتكرارًا) أو ينتج إجابات أقصر وأكثر إيجازًا من النموذج الأصلي. كما يشيرون إلى أنه بينما هو فائق السرعة لشخص واحد يستخدمه، فإذا حاولت خدمة مئات الأشخاص في وقت واحد، فقد تلحق به النماذج القديمة (ذات الكلمة الواحدة) في السرعة. ولكن في الوقت الحالي، وضع DiffusionGemma "حدًا جديدًا"، مثبتًا أنه يمكنك الحصول على كل من السرعة القصوى والذكاء العالي، كاسرًا القاعدة القديمة التي تقول إن عليك الاختيار بين أحدهما.
باختصار، يشير DiffusionGemma إلى أن مستقبل الكتابة باستخدام الحواسيب قد لا يكون مسيرة بطيئة وحذرة، بل تنقية سريعة ومتزامنة للأفكار، عبر إزالة الضباب عن الصورة الكاملة دفعة واحدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.