Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale
وجدت هذه الدراسة المسجلة مسبقاً، والتي وظفت وكلاء بحث ذاتيين وبوابة قرار صارمة بمقدار 3-سيجما، أن خرائط الضغط المستوحاة من فيزياء الحالة الصلبة، بما في ذلك تلك القائمة على مبدأ "قرب كوهن" (Kohn-nearsightedness) وتضمينات "المتتبع الموتر" (tensor-train embeddings)، قد فشلت في ضغط نماذج اللغة صغيرة النطاق، بل كشفت بدلاً من ذلك أن آليات الانتباه لديها تظهر سلوكيات حرجة أو زجاجية بدلاً من الخصائص المتوقعة الشبيهة بالعوازل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء الذكاء الاصطناعي الحديث، وهي قادرة على الكتابة والاستنتاج والترجمة بطلاقة مذهلة. ومع ذلك، فإن هذه الأنظمة ضخمة، إذ تحتوي على مليارات الأرقام، أو ما يُعرف بالمعلمات (parameters)، التي تُملي سلوكها. وهذا الحجم الهائل يجعل تشغيلها مكلفاً وتخزينها صعباً، مما دفع العلماء إلى طرح سؤال جوهري: ما هو مقدار هذا التعقيد الضروري حقاً؟ تشير نظرية شائعة إلى أن هذه النماذج قد تحتوي على فوائض خفية، تماماً مثل الشبكة البلورية في مادة صلبة حيث تترتب الذرات في نمط منتظم ومتوقع. في الفيزياء، يسمح هذا النظام للعلماء بتبسيط الحسابات من خلال افتراض أن التفاعلات تتلاشى بسرعة مع المسافة، وهو مفهوم يُعرف باسم "قانون المساحة" (area law). وإذا كانت النماذج اللغوية تسلك سلوكاً مشابهاً، فقد أمل الباحثون أن يتمكنوا من ضغطها بشكل جذري عبر قطع الاتصالات البعيدة أو تبسيط هياكلها الداخلية دون فقدان قدرتها على فهم اللغة.
شرع باحث في اختبار هذه الفكرة تحديداً بدقة صارمة. فقد تعامل مع النموذج اللغوي ليس كصندوق أسود، بل كنظام فيزيائي قد يخضع لنفس القواعد التي تخضع لها المواد العازلة في فيزياء الحالة الصلبة. كانت فرضيتُه هي أن الروابط بين الكلمات في النموذج ستتلاشى بشكل أسي، مما يعني أن الكلمة ستؤثر بقوة فقط على جيرانها المباشرين، وأن الأوزان الداخلية للنموذج يمكن تدويرها إلى شكل أبسط وأكثر تشتتاً (sparse). ولضمان موثوقية نتائجه وخلوها من الانحياز نحو نتيجة محددة، قام بتسجيل خطته بالكامل مسبقاً. وهذا يعني أنه دوّن توقعاته، والنماذج التي سيختبرها، والمعايير الدقيقة للنجاح أو الفشل قبل أن يطلع على البيانات. ثم استخدم وكيل حاسوبي مستقلاً لإجراء خمس تجارب مختلفة بناءً على هذه الأفكار المستوحاة من الفيزياء، للتحقق مما إذا كانت النماذج تتصرف حقاً مثل العوازل المنتظمة كما كان متوقعاً منها.
كانت النتائج انقلاباً واضحاً وغير متوقع للفرضية الأولية. فقد وجد الباحث أن النماذج اللغوية لا تتصرف مثل العوازل المنتظمة التي توقعها. فبدلاً من أن تتلاشى الروابط بين الكلمات بسرعة وبشكل متوقع، اتبع "الانتباه" (attention) بين الكلمات نمطاً أكثر تعقيداً. وعندما قاس مدى انخفاض تأثير كلمة ما مع زيادة المسافة عن كلمة أخرى، لم تتوافق البيانات مع المنحنى الأسي البسيط المتوقع من عازل. بدلاً من ذلك، تلاشى التأثير بطريقة تشبه "قانون القوة" (power law)، وهو نمط غالباً ما يرتبط بالأنظمة الحرجة أو المواد الزجاجية حيث يكون النظام فوضوياً وتستمر فيه الروابط بعيدة المدى. وفي الواقع، عندما حاول قطع الاتصالات البعيدة لتوف توفير المساحة، انهار أداء النموذج، ليصبح أسوأ بكثير مما لو كان قد احتفظ بجميع الاتصالات ببساطة. لم يكن النموذج يتجاهل الكلمات البعيدة؛ بل كان يعتمد عليها بطريقة لا يمكن لخدعة فيزيائية بسيطة أن تحاكيها.
كما بحث التحقيق فيما إذا كان يمكن تبسيط الأرقام الداخلية للنموذج عن طريق إعادة ترتيبها في شكل أكثر كفاءة، تماماً كما قد يبسط عالم فيزياء شبكة معقدة من الذرات. اختبر الباحث ما إذا كان يمكن ضغط مفردات النموذج ومصفوفات الأوزان باستخدام هياكل رياضية متقدمة مصممة للسلاسل أحادية البعد. ووجد أن هذه النماذج لا تملك مثل هذا الهيكل أحادي البعد لاستغلاله. لم تكن الأرقام الداخلية مرتبة بطريقة تسمح بالضغط السهل؛ بل كانت في الأساس عشوائية ومليئة بالمعلومات التي لا يمكن التخلص منها دون تدمير وظيفة النموذج. وعندما حاول فرض هذه الأشكال المبسطة على النموذج، لم تكن النتيجة ملفاً أصغر، بل ملفاً أكبر، لأن التنسيق الرياضي تطلب مساحة أكبر لتخزين نفس القدر من المعلومات. وقد ظل هذا صحيحاً حتى عندما اختبر نماذج أكبر، مما يشير إلى أن التعقيد هو سمة أساسية لكيفية عمل هذه الأنظمة، وليس مجرد عيب في النماذج الصغيرة.
ولعل الاكتشاف الأكثر أهمية هو أن منهجية الباحث نجحت في استبعاد فكرة أن هذه النماذج هي أنظمة بسيطة تشبه العوازل. فمن خلال التزامه بقواعده المسجلة مسبقاً، تجنب إغراء إعادة تفسير البيانات لتناسب النظرية. وعندما أظهرت البيانات أن النماذج لا تتصرف كما كان متوقعاً، سجل الفشل بأمانة. لقد اكتشف أن النماذج تعمل في نظام أكثر تعقيداً بكثير من مجرد بلورة بسيطة، فهي تشبه بدلاً من ذلك حالة حرجة معقدة حيث يكون كل جزء مرتبطاً بعمق بكل جزء آخر بطريقة غير خطية. وهذا يعني أن الأمل في ضغط هذه النماذج عبر مجرد قطع الاتصالات البعيدة أو إعادة ترتيب هيكلها الداخلي هو أمر غير صحيح على الأرج likely. إن تعقيد النموذج ليس ناتجاً عن حجمه، بل هو سمة ضرورية لذكائه.
يخلص البحث إلى أنه بينما يبدو حلم ضغط النماذج اللغوية باستخدام مبادئ فيزياء الحالة الصلبة أمراً جذاباً، إلا أن الواقع هو أن هذه النماذج لا تتبع تلك القوانين الفيزيائية المحددة. لم يجد الباحث طريقة لتقليص حجم النماذج دون فقدان قوتها. بدلاً من ذلك، قدم خريطة واضحة لما ليست عليه هذه النماذج: فهي ليست عوازل بسيطة، ولا تمتلك هياكل خفية ومشتتة تنتظر الاكتشاف. إن عمله بمثابة تصحيح منضبط للمجال، يوضح أن الطريق لفهم هذه الأنظمة يتطلب نظريات فيزيائية جديدة يمكنها استيعاب طبيعتها الفوضوية، الحرجة، وشديدة الترابط. والدرس المستفاد هو أن ذكاء هذه النماذج منسوج في صميم تعقيدها، وأن محاولة تجريدها من هذا التعقيد لجعلها أصغر قد يكون أمراً مستحيلاً دون كسر ما يجعلها تعمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.