dVoting: Fast Voting for dLLMs
تقدم هذه الورقة dVoting، وهي تقنية لا تتطلب تدريباً تستفيد من قدرات التوليد المتوازي لنماذج اللغات الكبيرة الانتشارية (dLLMs) لتنقيح المخرات بشكل تكراري من خلال التصويت القائم على الاتساق، مما يعزز أداء الاستدلال بشكل كبير عبر العديد من المعايير مع حد أدنى من العبء الحسابي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز محير، ولكن بدلاً من التفكير فيه بمفردك، قمت بجمع خمسة من أصدقائك للعصف الذهني.
الطريقة القديمة (النماذج ذات التوليد الذاتي - Autoregressive Models):
عادةً ما تعمل نماذج الذكاء الاصطناعي مثل شخص واحد يكتب قصة كلمة بكلمة. إذا ارتكب خطأً في البداية، فعليه أن يستمر في كتابة القصة بأكملها بناءً على هذا الخطأ، أو يبدأ من الصفر. إنها عملية بطيئة وجامدة.
الطريقة الجديدة (نماذج الانتشار / dLLMs):
يقدم البحث نوعاً جديداً من الذكاء الاصطناعي يسمى نموذج اللغة الضخم بالانتشار (dLLM). فكر في هذا الذكاء الاصطناعي ليس ككاتب، بل كـ نحات.
- يبدأ بكتلة من الحجر حيث تكون الكلمات مخفية (مقنعة).
- يمكنه النظر إلى الكتلة بأكملها دفعة واحدة وتخمين الكلمات التي قد تكون موجودة.
- والأهم من ذلك، يمكنه مسح وإعادة كتابة أي جزء من المنحوتة في أي وقت. لا يتعين عليه الكتابة من اليسار إلى اليمين؛ بل يمكنه إصلاح النهاية حتى قبل أن ينهي البداية.
المشكلة: نهج "القوة الغاشمة" (Brute Force)
للحصول على أفضل إجابة، جرب الباحثون حيلة بسيطة وهي: التصويت.
لقد طلبوا من الذكاء الاصطناعي توليد الإجابة خمس مرات، ثم اختاروا الإجابة التي ظهرت أكثر من غيرها (تصويت الأغلبية).
- الجيد: هذه الطريقة تعمل بشكل رائع! فهي تجعل الذكاء الاصطناعي أكثر ذكاءً.
- السيئ: إنها مكلفة للغاية. إن طلب كتابة القصة بأكملها خمس مرات يشبه استئجار خمسة مهندسين معماريين مختلفين لبناء خمسة منازل كاملة فقط لاختيار أفضل مخطط أرضي. هذا يهدر الكثير من الوقت والمال (قدرة الحوسبة).
الحل: DVOTING (المحرر الذكي)
أدرك المؤلفون، "سيتشنغ فينغ" وفريقه، شيئاً مثيراً للاهتمام أثناء مراقبة هؤلاء الأصدقة الخمسة من الذكاء الاصطناعي وهم يعملون: إنهم يتفقون على معظم القصة.
إذا طلبت من خمسة أشخاص كتابة قصة عن "بطات جانيت"، فسوف يتفقون جميعاً على كلمات مثل "جانيت"، و"بطات"، و"تضع"، و"بيض". هم يختلفون فقط في الأجزاء الرياضية الصعبة أو الاستنتاج النهائي.
DVOTING هي طريقة تمنع الذكاء الاصطناعي من إضاعة الوقت في إعادة كتابة الأجزاء التي يتفق عليها الجميع بالفعل. إليك كيف تعمل، باستخدام تشبيه إبداعي:
تشبيه "المشروع الجماعي"
تخيل مجموعة من الطلاب يعملون على مقال جماعي.
- الجولة الأولى: يكتب الجميع مسودة.
- الفحص: ينظر المعلم (DVOTING) إلى المسودات الخمس.
- ملاحظة: "مهلاً، لقد كتب الجميع 'بطات جانيت تضع 16 بيضة' بنفس الطريقة تماماً. هذا الجزء متين".
- ملاحظة: "لكن في الجزء الرياضي، قال ثلاثة طلاب '18 دولاراً'، وقال واحد '20'، وآخر '15'. هذا الجزء غير مستقر".
- الإصلاح (إعادة القناع - Remasking): بدلاً من جعل الطلاب يعيدون كتابة المقال بالكامل، يقول المعلم: "احتفظوا بالجملة الأولى كما هي تماماً. امسحوا الجزء الرياضي فقط وأعيدوا كتابته بمفرده."
- التكرار: يعيد الطلاب كتابة الجزء الرياضي فقط. يتحقق المعلم مرة أخرى. إذا ظلوا مختلفين، يعيدون كتابة ذلك الجزء فقط. إذا اتفقوا، ينتهي المشروع.
لماذا يعد هذا أمراً هاماً؟
- السرعة: من خلال إعادة كتابة الأجزاء "غير المؤكدة" فقط، ينهي الذكاء الاصطناعي المهمة بشكل أسرع بكثير. إنه يشبه تحرير مستند عن طريق تغيير الأخطاء المطبعية فقط بدلاً من إعادة طباعة الكتاب بأكمله.
- الذكاء: إنه يصبح أفضل فعلياً في التفكير والاستنتاج لأنه يركز طاقته على الأجزاء الصعبة حيث تحدث الأخطاء.
- لا حاجة لإعادة التدريب: الجزء الأفضل؟ لا تحتاج إلى إعادة تدريب الذكاء الاصطناعي أو تعليمه مهارات جديدة. أنت فقط تعطيه مجموعة جديدة من التعليمات حول كيفية العمل (استراتيجية تصويت). إنه يشبه إعطاء موظف ذكي سير عمل أفضل، وليس شهادة جامعية جديدة.
النتائج
اختبرت الورقة البحثية هذا النهج على مسائل رياضية وعلمية صعبة (مثل تلك التي تراها في امتحانات الثانوية أو الكلية).
- أدى DVOTING إلى تحسين دقة الذكاء الاصطناعي بشكل ملحوظ (بنسبة تتراوح بين 5% إلى 15% في الاختبارات الصعبة).
- حقق ذلك باستخدام قدر أقل بكثير من قدرة الحوسبة مقارنة بمنهج "القوة الغاشمة" القديم. في الواقع، كان أسرع بما يصل إلى 22 مرة من الطرق السابقة التي حاولت القيام بنفس الشيء.
باخت-اختصار
DVOTING هو بمثابة محرر ذكي للذكاء الاصطناعي. بدلاً من طلب كتابة القصة نفسها خمس مرات من البداية، فإنه يطلب من الذكاء الاصطناعي كتابتها مرة واحدة، ثم يقوم فقط بإصلاح الأجزاء التي يشعر فيها بالارتباك. إنه يوفر الوقت، ويوفر المال، ويصل إلى الإجابة الصحيحة في كثير من الأحيان. إنها حيلة بسيطة وذكية تجعل هذه الأنواع الجديدة من "النماذج النحاتة" أكثر عملية للاستخدام في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.