تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث مثل البشر. لديك مكتبة ضخمة من الكتب، والمواقع الإلكترونية، والبرمجيات، ورسائل البريد الإلكتروني لتغذي بها هذا الروبوت. لكن الجزء الصعب هنا هو أن ليست كل الكتب متساوية في القيمة. إذا أطعمت الروبوت بنسبة 99% من وصفات الطبخ و1% فقط من كتب الرياضيات، فسيتحول إلى طباخ لا يستطيع حل المعادلات الجبرية. وإذا أطعمته معظم رسائل البريد الإلكتروني القديمة، فقد يتعلم كيف يبدو كآلة برمجية مؤسسية جامدة. هذا هو عالم نماذج اللغات الكبيرة (LLMs)، وهي العقول الاصطناعية التي تقف وراء أدوات مثل روبوتات الدردشة ومساعدي الكتابة. السر وراء جعل هذه النماذج عبقرية ليس فقط في كمية البيانات التي تلتهمها، بل في مزيج البيانات التي تستهلكها.

لفترة طويلة، حاول البشر تخمين الوصفة المثالية يدوياً، عبر خلط القليل من الأكواد، مع رشة من الأخبار، وقليل من ويكيبيديا. ولكن مع نمو مكتبات البيانات لتصل إلى المليارات، توقف التخمين البشري عن الجدوى. أصبحت العلاقات بين أنواع البيانات المختلفة معقدة للغاية. حاول بعض الباحثين حل هذه المشكلة ببناء "كرة بلورية" تتنبأ بمقدار كل نوع من البيانات بناءً على مدى أداء الروبوت في اختبارات صغيرة. وحاول آخرون ترك الروبوت يتذوق كل شيء ويعدل المزيج أثناء العملية. لسوء الحظ، كانت الكرات البلورية تنكسر عندما تصبح البيانات ضخمة جداً، وكانت طريقة "التذوق والتعديل" فوضوية وبطيئة لدرجة تجعل إتمام المهمة مستحيلاً عملياً.

تقدم هذه الورقة البحثية طريقة جديدة لإيجاد وصفة البيانات المثالية، تسمى ByDoRe. بدلاً من التخمين أو محاولة التنبؤ بالمستقبل بقواعد جامدة، يعامل المؤلفون مزيج البيانات كأنها لعبة احتمالات. إنهم يستخدمون خدعة رياضية ذكية تسمى الاستدلال البايزي (Bayesian inference)، وهي تشبه امتلاك مساعد ذكي لا يكتفي باختيار إجابة واحدة، بل يحتفظ بنطاق كامل من إجابات "ربما"، ويقوم بتحديث ثقته كلما تعلم أكثر. ومن خلال استخدام هذه الطالة، وجد الفريق طريقة لتثبيت عملية التعلم، مما جعلها أسرع وأكثر موثوقية من المحاولات السابقة. وتشير تجاربهم إلى أن هذا النهج يمكنه إيجاد مزيج بيانات أفضل باستخدام جزء ضئيل جداً من قدرة الكمبيوتر المطلوبة من قبل الطرق الأخرى، حتى عندما تسلك البيانات سلوكاً غير متوقع.

المشكلة: الأكيل الانتقائي للروبوت

تخيل أنك طباخ يحاول ابتكار "سموذي" مثالي. لديك خلاط، وجبل من الفاكهة، وكتاب وصفات. إذا رميت كل شيء عشوائياً، فقد يكون طعم السموذي سيئاً. وإذا اتبعت وصفة كتبها طباخ بشري منذ 10 سنوات، فقد تكون جيدة، لكنها لن تكون مثالية لذوق اليوم.

في عالم الذكاء الاصطناعي، الـ "سموذي" هو بيانات التدريب، والـ "طباخ" هو الخوارزمية التي تقرر مقدار كل مكون (مثل الأكواد، أو الأخبار، أو القصص) الذي ستضعه. اعتمدت نماذج الذكاء الاصطناعي المبكرة على طباخين بشريين يخمنون النسب. ولكن مع انفجار كمية البيانات، أصبحت تخميناتهم بلا فائدة. كان الذكاء الاصطناعي بحاجة إلى طريقة أذكى لمعرفة المزيج.

حاول بعض العلماء بناء "متنبئ" ينظر إلى عينة صغيرة من السموذي ويخمن الوصفة المثالية للكمية الكاملة. افترضوا أنه إذا كان نوع معين من الفاكهة (مثل ويكيبيديا) مذاقه جيد في كوب صغير، فإنه سيكون المكون الأهم في الإناء الضخم. لكن الورقة البحثية تظهر أن هذا غالباً ما يكون خاطئاً. مجرد كون الشيء مذاقه جيد في عينة صغيرة لا يعني أنه الخيار الأفضل للكمية الكبيرة. في الواقع، وجدت الورقة أن "أهمية" المكونات المختلفة يمكن أن تتقلب مع زيادة حجم البيانات. ما كان أفضل مكون عند مقياس صغير قد يصبح أسوأ مكون عند مقياس كبير. هذا يشبه الاعتقاد بأن القليل من الملح يجعل الحساء مثالياً، لتكتشف لاحقاً أنه في قدر ضخم، يجعل الحساء غير قابل للأكل.

وحاول علماء آخرون نهجاً مختلفاً: تركوا الذكاء الاصطناعي يتذوق البيانات ويعدل المزيج في الوقت الفعلي. هذا يشبه الطباخ الذي يتذوق السموذي في كل ثانية ويضيف المزيد من السكر أو الفاكهة. المشكلة؟ الطباخ يصاب بالدوار. التعديلات تكون جامحة ومتذبذبة لدرجة أن السموذي لا يستقر أبداً على نكهة جيدة. يستغرق الأمر وقتاً طويلاً جداً للوصول للنتيجة الصحيحة، وتتعب أجهزة الكمبيوتر (وهو أمر مكلف) لدرجة تجعل الأمر غير مجدٍ.

الحل: "التخمين الذكي" البايزي

قرر المؤلفون، شيانغ يوان وفريقه، التوقف عن التخمين والتوقف عن محاولة حشر البيانات في صندوق جامد. بدلاً من ذلك، بنوا نظاماً يسمى ByDoRe (إعادة وزن النطاق البايزي).

لا تفكر في ByDoRe كطباخ يختار وصفة محددة، بل كطباخ يحتفظ بـ خريطة ذهنية لجميع الوصفات الجيدة الممكنة. بدلاً من قول: "أنا متأكد بنسبة 100% أننا نحتاج 30% من ويكيبيديا"، يقول النظام: "أعتقد أننا نحتاج حوالي 30% من ويكيبيديا، ولكن يمكن أن تكون النسبة في أي مكان بين 25% و35% اعتماداً على حالة الروبوت".

هذه "الخريطة الذهنية" تعتمد على مفهوم رياضي يسمى توزيع ديريكليه (Dirichlet distribution). تخيل حقيبة من الكرات الملونة حيث تمثل الألوان أنواعاً مختلفة من البيانات. بدلاً من سحب كرة واحدة والقول: "هذا هو اللون الذي نحتاجه"، ينظر النظام إلى الحقيبة بأكملها ويفهم احتمالية أن يكون كل لون هو الصحيح. يساعد هذا في تنعيم التقلبات الحادة والتعديلات المتذبذبة التي جعلت الطرق السابقة تفشل.

ولجعل هذا أسرع، أضافوا "متنبئاً ذكياً" (شبكة عصبية) يتعلم من أداء الروبوت الحالي ليخمن كيف يجب أن تبدو "الخريطة الذهنية" التالية. إنه يشبه وجود مساعد طباخ يراقب الروبوت وهو يتذوق السموذي ويقترح فوراً: "مهلاً، لقد أعجب الروبوت بجزء الأكواد، فلنرفع احتمال وجود الأكواد قلي بالقدر المطلوب".

ماذا وجدوا: رحلة أكثر سلاسة وسرعة

اختبر الفريق طريقتهم الجديدة على مجموعة بيانات ضخمة تسمى The Pile، والتي تحتوي على 17 نوعاً مختلفاً من البيانات، من الأوراق العلمية إلى سجلات الدردشة. وقارنوا ByDoRe بأفضل الطرق الموجودة، بما في ذلك طريقة "التذوق والتعديل" المتذبذبة (DoReMi) وطرق "المتنبئ" (RegMix، AutoScale).

إليكم ما اكتشفوه:

1. إنها مستقرة: بينما كانت طريقة "التذوق والتعديل" القديمة تشبه الأفعوانية (Rollercoaster)، حيث تقفز نسب البيانات صعوداً وهبوطاً بجنون، كانت ByDoRe مثل رحلة قطار سلسة. استقرت الأوزان (نسب الوصفة) بسرعة وبقيت ثابتة.
2. إنها أرخص: هذا هو الجزء الأهم. لتحديد المزيج الأفضل، تطلبت الطرق القديمة قدرة حوسبية هائلة. نجحت ByDoRe في إيجاد مزيج أفضل باستخدام 0.8% فقط من قدرة الكمبيوتر (مقاسة بـ FLOPs) التي احتاج إليها منافسها الأقوى RegMix. وفي الحالة الثانية، حيث كانت البيانات صعبة، استخدمت ByDoRe فقط 1.2% من تكلفة أفضل منافس لها.
3. تعمل عندما تفشل الطرق الأخرى: اختبرت الورقة سيناريو كانت فيه البيانات تسلك سلوكاً سيئاً (تخالف "القواعد" التي تعتمد عليها الطرق الأخرى). انهارت الطرق القديمة وأعطت نتائج سيئة. أما ByDoremos، فقد تكيفت ووجدت مزيجاً رائعاً، بل وتفوقت على الخبراء البشريين في بعض الاختبارات.

في اختبار محدد، حققت ByDoRe متوسط درجة 48.50% في مهام لغوية متنوعة، متفوقة على أفضل طريقة مؤتمتة سابقة (RegMix) التي سجلت 48.22%. والأكثر إثارة للإعجاب، هو أنه في اختبار متخصص حيث كانت البيانات مختلفة تماماً عن المعتاد، سجلت ByDoRe 38.35%، بينما كافحت الطرق المؤتمتة الأخرى للوصول إلى 35% أو أقل.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أننا لسنا بحاجة للاعتماد على قواعد جامدة أو تخمينات مكلفة وفوضوية لتعليم الذكاء الاصطناعي كيفية تناول البيانات الصحيحة. من خلال استخدام نهج احتمالي يحتضن عدم اليقين بدلاً من محاربته، يمكننا إيجاد مزيج بيانات أفضل بشكل أسرع وبقدر أقل من قوة الحوسبة.

يخلص المؤلفون إلى أن هذه الطريقة تقدم "إطاراً مستقراً ورشيقاً" للمستقبل. فهي لا تعمل فقط مع نوع واحد من البيانات؛ بل تبدو قوية بما يكفي للتعامل مع واقع المعلومات الفوضوي وغير المتوقع في العالم الحقيقي. وبينما لا تدعي الورقة أنها حلت كل مشكلات الذكاء الاصطناعي، إلا أنها تقترح اتجاهاً جديداً واعداً: معاملة اختيار البيانات ليس كمشكلة رياضية لها إجابة واحدة صحيحة، بل كرحلة ديناميكية واحتمالية حيث يتعلم الذكاء الاصطناعي أن يثق بحدسه المتطور.