في المشهد الواسع للذكاء الاصطناعي، تُعد النماذج اللغوية الكبيرة، التي تُسمى غالبًا "المحولات" (transformers)، هي الأدوات الأكثر قوة. تتعلم هذه الأنظمة من خلال قراءة كميات هائلة من النصوص وتعديل مليارات الأرقام الداخلية، المعروفة باسم "الأوزان"، لجعل تنبؤاتها بما سيأتي لاحقًا أفضل. لسنوات طويلة، تعامل الباحثون مع هذه الأرقام الداخلية كصندوق أسود: هم يعلمون أن الأرقام تتغير أثناء التدريب، لكنهم واجهوا صعوبة في فهم كيفية تشكيل طبيعة النص المقروء لتلك التغييرات بدقة. ظل هناك سؤال رئيسي دون إجابة: هل تحدد قابلية التنبؤ بالنص نفسه مدى نمو أو تحول الأرقام الداخلية للنموذج؟ إذا قرأ النموذج قصة منظمة للغاية وقابلة للتنبؤ مقابل مجموعة كلمات عشوائية وفوضوية، فهل يظهر الفرق في حجم الأرقام داخل الآلة؟

أجابت دراسة جديدة أجراها الباحث المستقل تيكسين دينغ على هذا السؤال بدرجة مذهلة من الدقة. اكتشف الباحث أن نمو هذه الأرقام الداخلية يتبع نمطًا صارمًا وقابلًا للتنبؤ بناءً على خاصية واحدة للنص: مدى سهولة تخمين الكلمة التالية بناءً على الكلمة التي سبقتها. ومن خلال تحليل نوع معين من فساد النصوص، وجدت الدراسة أنه كلما كان النص أكثر قابلية للتنبؤ، زاد توسع الأرقام الداخلية للنموذج بطريقة محددة وقابلة للقياس. وتظل هذه العلاقة قائمة بغض النظر عن سرعة التعلم المستخدمة أثناء التدريب، مما يشير إلى وجود قانون أساسي يربط البيانات الخام بالبنية الداخلية للآلة.

بدأ البحث بملاحظة بسيطة حول شكل الأرقام داخل نموذج مدرب. فعندما نظر الباحثون إلى حجم هذه الأرقام عبر طبقات النموذج المختلفة، وجدوا أنها تتبع نمطًا ثابتًا يُعرف بتوزيع "ويبُل" (Weibull distribution). يتميز هذا النمط بقيمتين: عامل شكل يظل مستقرًا بشكل ملحوظ، وعامل مقياس يتغير مع تعلم النموذج. ويعني الثبات في شكل التوزيع أن البنية الداخلية للنموذج تظل متسقة، بينما يعمل عامل المقياس المتغير كقرص تحكم يرفع أو يخفض القيمة اعتمادًا على التدريب. ركزت الدراسة على عامل المقياس هذا، متسائلة عما يدفع هذا العامل للنمو.

ولإيجاد الإجابة، صمم الباحث تجربة محكومة باستخدام مجموعة بيانات نصية قياسية. وبدلاً من التدريب على كتب أو مواضيع مختلفة، أبقى الباحث النص كما هو وقام ببعثرته بشكل منهجي. فقد أخذ جزءًا من النص وعمد إلى خلط ترتيب الكلمات، مما خلق طيفًا من مجموعات البيانات يتراوح بين النظام المثالي والفوضى التامة. وقبل تدريب أي نموذج، قام بقياس إحصائية محددة لكل نسخة من النص: متوسط صعوبة تخمين الكلمة التالية بناءً على الكلمة السابقة. في النص النظيف، كانت الكلمة التالية سهلة التنبؤ؛ أما في النص المبعثر، فقد كان التنبؤ بها شبه مستحيل.

وكشفت النتائج عن علاقة رياضية واضحة بين هذه القابلية للتنبؤ ونمو الأرقام الداخلية للنموذج. وجدت الدراسة أن نمو عامل المقياس لم يكن عشوائيًا، بل اتبع منحنى محددًا بناءً على الفرق بين قابلية التنبؤ بالنص وبين خط أساس العشوائية التامة. ومن الأهمية بمكان أن هذه العلاقة لم تكن مجرد تخمين؛ بل استُخلصت من حقيقتين منفصلتين تم قياسهما بشكل مستقل. أولاً، وُجد أن نمو الأرقام يتناسب طرديًا مع مقدار الهيكل المتبقي في النص. ثانيًا، اتبع مستوى صعوبة التنبؤ بالكلمة التالية في النص المبعثر نمط تشبع منحنيًا محددًا مع زيادة بعثرة النص. وعند دمج هاتين الحقيقتين، أدى ذلك إلى جعل نمو الأرقام يتبع منحنى محدبًا دقيقًا. وهذا يعني أن شكل المنحنى لم يتم ضبطه لتناسب البيانات بالصدفة، بل كان نتيجة حتمية لكيفية تفاعل هيكل النص مع عملية التعلم.

اختبرت الدراسة هذا القانون عبر سرعات تعلم مختلفة، والتي تتحكم في مدى سرعة تحديث النموذج لأرقامه. وعندما عدّل الباحث هذه السرعات، انطبقت جميع عمليات التدريب المختلفة على خط واحد موحد. أثبت هذا الانطباق أن العلاقة هي خاصية أساسية للنظام، وليست نتاج إعداد محدد. ثم أجرى الباحث اختبارًا صارمًا لمعرفة ما إذا كان القانون يمكنه التنبؤ بالمستقبل. وباستاستخدام قياس قابلية التنبؤ بالنص قبل التدريب فقط، تنبأ بكيفية نمو الأرقام الداخلية في نسخة جديدة غير مرئية من النص المبعثر. وكان التنبؤ دقيقًا ضمن هامش خطأ صغير جدًا، مما أكد أن خصائص النص وحدها كافية للتنبؤ بنمو الأرقام الداخلية للنموذج.

ومع ذلك، رسمت الدراسة حدودًا واضحة للمجال الذي ينطبق عليه هذا القانون. فعندما اختبر الباحث النموذج على لغة البرمجة (الكود)، فشل التنبؤ. فالكود يتميز بقابلية تنبؤ منخفضة، وهو ما ينبغي نظريًا أن يؤدي إلى نمو عالٍ وفقًا للقانون، لكن أرقام النموذج نمت بشكل أقل بكستير مما كان متوقعًا. حدد الباحث أن الكود يعتمد بشكل كبير على التكرار والقوالب بدلاً من الخرائط السياقية الغنية الموجودة في اللغة الطبيعية. وهذا يشير إلى أنه بينما تعد قابلية التنبؤ محركًا رئيسيًا، فإن هناك عاملًا ثانيًا — وهو التكرار (redundancy) — يلعب أيضًا دورًا. فالقانون يعمل بشكل مثالي للنصوص التي تعتمد فيها الكلمة التالية على السياق، لكنه ينهار أمام النصوص التي تكون فيها الكلمة التالية قابلة للتنبؤ ببساطة لأنها تكرر نمطًا ما.

كما صمدت النتائج عندما نظر الباحث داخل النموذج عند الطبقات الفردية. فقد ظهرت نفس العلاقة بين قابلية التنبؤ بالنص ونمو الأرقام في كل جزء من أجزاء النموذج، وإن تباينت قوة التأثير. أظهرت الطبقات المسؤولة عن معالجة تدفق المعلومات أقوى استجابة، بينما كانت الأجزاء الأخرى أقل حساسية. سمح هذا للباحث برسم خريطة توضح بالضبط أين يتم كتابة هيكل النص داخل الشبكة في الأرقام. علاوة على على ذلك، اختبرت الدراسة بنيتين مختلفتين للنماذج، وبينما تغيرت الأرقام المحددة، ظل الشكل الأساسي للعلاقة كما هو. يشير هذا إلى أن القانون هو سمة قوية لكيفية تعلم هذه النماذج، بغض النظر عن التصميم المحدد للآلة.

في الختام، توفر هذه العمل أداة استشرافية واضحة لفهم الذكاء الاصطناعي. فهي تثبت أنه يمكن للمرء النظر إلى مجموعة بيانات قبل حتى أن يتم تدريب النموذج والتنبؤ بدقة بكيفية تطور الأرقام الداخلية للنموذج. هذا يغلق حلقة طويلة الأمد بين البيانات والآلة، موضحًا أن هيكل النص ليس مجرد مدخل سلبي، بل هو محرك نشط للديناميكيات الداخلية للنموذج. ورغم أن للقانون حدودًا، خاصة مع البيانات شديدة التكرار مثل الكود، إلا أنه يقدم طريقة جديدة قوية لقياس جودة وهيكل بيانات التدريب، محولًا عملية معقدة وغير مرئية إلى شيء يمكن قياسه والتنبؤ به وفهمه باستخدام أدوات ملموسة وبسيطة.