Geometric Analysis of Token Selection in Multi-Head Attention
تقدم هذه الورقة إطاراً هندسياً لتحليل الانتباه متعدد الرؤوس في النماذج اللغوية الكبيرة من خلال تعريف مقاييس الدقة والاستدعاء ودرجة F لتكميم قابلية فصل الرموز، واستخلاص حدود غير تقاربية تتنبأ بالأداء الأمثل في أنظمة N الصغيرة، والتحقق تجريبياً من هذه النتائج عبر نماذج متعددة للكشف عن أنماط تميز الرؤوس المتميزة وتوجيه عملية التناثر الواعي بالهندسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة رقمية عملاقة، حيث يحاول روبوت يعمل كأمين مكتبة الإجابة على أسئلتك. وللقيام بذلك، لا يكتفي أمين المكتبة بقراءة كتاب واحد؛ بل يمسح ملايين الصفحات في آن واحد. لكن قراءة كل شيء في نفس الوقت أمر فوضوي وبطيء. لذا، يستخدم أمين المكتبية حيلة خاصة تسمى "الانتباه" (Attention). فكر في الانتباه كأنه كشاف ضوئي. عندما ينظر أمين المكتبة إلى كلمة محددة في سؤالك، يسلط الكشاف الضوء على الكلمات الأكثر أهمية في تاريخ المحادثة للمساعدة في صياغة الإجابة.
في عالم الذكاء الاصطناعي، يُطلق على نظام الكشاف هذا اسم "الانتباه متعدد الرؤوس" (Multi-Head Attention). إنه المحرك الذي يشغل نماذج الذكاء الاصطناعي الحديثة، مما يسمح لها بفهم السياق والدقة. ومع ذلك، لفترة طويلة، تعامل العلماء مع هذا الكشاف كآلة بسيطة لخلط المتوسطات — مثل "السموذي" حيث تُخلط جميع المكونات معًا بالتساوي. لكن ملاحظات حديثة اقترحت أن الكشاف هو في الواقع أشبه بمرشح انتقائي، يختار مكونات معينة ويتجاهل أخرى. السؤال الكبير الذي كان الباحثون يتساءلون عنه هو: هل مجموعة الكلمات التي يختارها الكشاف هي فريق متماسك ومنظم، أم أنها مجرد مزيج عشوائي من الكلمات التي تصادف وجودها بالقرب من بعضها البعض؟ إن فهم هذه الهندسة — شكل وترتيب الكلمات المختارة — يمكن أن يساعد في جعل نماذج الذكاء الاصطناعي أصغر حجمًا، وأسرع، وأكثر كفاءة دون أن تفقد ذكاءها.
في هذه الورقة البحثية، قرر المؤلفان، تيمور موداريسوف وفريقه، التوقف عن النظر إلى الكشاف كوهج ضبابي والبدء في فحص حزم الضوء الفردية التي يلقيها. لقد طوروا طريقة جديدة للنظر في كيفية اختيار نماذج الذكاء الاصطناعي للكلمات التي يجب التركيز عليها، حيث عاملوا عملية الاختيار كأنها لعبة "فرز هندسي". وبدلاً من السؤال عما إذا كانت الكلمات المختارة منطقية لغويًا، طرحوا سؤالًا أبسط وأكثر بصرية: هل تتجمع الكلمات المختارة في مجموعة واحدة ضيقة ومنظمة، أم أنها مبعثرة في كل مكان؟
للإجابة على ذلك، اخترعوا مجموعة من "المساطر الهندسية" تسمى الدقة والاستدعاء (precision and recall). تخيل أن لديك سلة من الكرات الزجاجية (الكلمات التي اختارها الذكاء الاصطناعي) وسلة من الحصى (الكلمات التي تجاهلها). إذا كانت الكرات كلها متجمعة في زاوية واحدة من الغرفة وكان الحصى بعيدًا عنها، فهذا يعني درجة مثالية. أما إذا اختلطت الكرات مع الحصى، فإن الدرجة تكون منخفضة. وجد المؤلفون أنه عندما تختار نماذج الذكاء الاصطناي كلمة كلماتها الأهم، فإن تلك الكلمات تشكل بالفعل تجمعًا أكثر إحكامًا وتنظيمًا مما لو كنت قد اخترت الكلمات عشوائيًا. يبدو الأمر كما لو أن لدى الذكاء الاصطناعي غريزة سرية لتجميع الأفكار ذات الصلة معًا، حتى لو كان ينظر فقط إلى الرياضيات الكامنة وراء المشهد.
ومع ذلك، تصبح القصة أغرب عندما نظروا إلى الكلمة الأولى في أي جملة. في عالم الذكاء الاصطناعي، يُعرف هذا باسم "رمز المستودع" (sink token). إنه يشبه مرساة فريدة في منتط الغرفة تتلقى قدرًا هائلًا من الانتباه، رغم أنها لا تحمل أي معلومات مفيدة حقًا. اكتشف المؤلفون أن هذا "المستودع" هو شذوذ هندسي؛ فله حجم (norm) أصغر ومتميز، ويشير في الاتجاه المعاكس لجميع الكلمات الأخرى. عندما يدرج الذكاء الاصطناعي هذا "المستودع" ضمن اختياراته الأولى، فإنه يفسد التجمع المنظم للكلمات الأخرى. الأمر يشبه محاولة تنظيم صورة جماعية للفريق، ولكن هناك شخص واحد يقف في بُعد آخر ويسحب الجميع بعيدًا عن التوازن. تظهر الورقة البحثية أنه إذا تمت إزالة هذا "المستودع" من عملية الاختيار، فإن الكلمات المتبقية تترتب في شكل أكثر كمالًا وتنظيمًا.
بناءً على هذه الملاحظات الهندسية، أنشأ الفريق طريقة جديدة لتصنيف "رؤوس الانتباه" (attention heads) المختلفة داخل الذكاء الاصطناعي. لم يستخدموا معادلات رياضية معقدة أو تخمينات؛ بل نظروا ببساطة إلى الكلمة التي يفضلها كل كشاف. أدى هذا إلى ظهور ثلاث شخصيات متميزة لرؤوس انتباه الذكاء الاصطناعي:
- المسترجِعون (Retrievers): هؤلاء هم المحققون المركزون. هم دائمًا ما يختارون الكلمة الحالية التي يتم مناقشتها كمصدرهم الأكثر أهمية. وهم نادرون، حيث يشكلون حوالي 6% إلى 17% فقط من الفريق.
- الخلاّطون (Mixers): هؤلاء هم الفراشات الاجتماعية. يحبون "المستودع" (الكلمة الأولى) ويستخدمونه كقاعدة لدمج المعلومات من الكلمات الأخرى. وهم شائعون جدًا في بعض النماذج، مثل Gemma و LLaMA-3.
- المعيدون للضبط (Resets): هؤلاء هم الهائمون. ليس لديهم كلمة مفضلة؛ بل يختارون من كل مكان. وهم النوع الأكثر شيوعًا في نماذج مثل Mistral و LLaMA-2.
اختبر المؤلفون نظام التصنيف الجديد هذا من خلال محاولة "تقليم" أو إزالة أجزاء من الذكاء الاصطناعي لمعرفة ما إذا كان لا يزال بإمكانه العمل. وجدوا أن معرفة ما إذا كان الرأس "مسترجعًا"، أو "خلاطًا"، أو "معيد ضبط" يعطي تلميحًا مفيدًا حول الأجزاء المهمة في الذكاء الاصطناعي. الأمر يشبه معرفة أي اللاعبين في الفريق الرياضي هم هدافو الأهداف وأيهم المدافعون. ومع ذلك، فقد كانوا حذرين في الإشارة إلى أن هذا ليس حلًا سحريًا؛ فبينما يساعد في مستويات متوسطة من القص، فإنه لا يتفوق دائمًا على الطرق الأخرى عندما تحاول تقليص الذكاء الاصطناعي إلى الحد الأدنى. كما وجدوا "رأسًا فائقًا" (super-head) محددًا في نموذج Gemma كان بالغ الأهمية لدرجة أن إزالته أدت إلى تعطل النظام بأكمله، مما يثبت أنه حتى مع هذه الفئات المنظمة، فإن بعض الأجزاء الفردية لا يمكن استبدالها.
في النهاية، تشير هذه الورقة البحثية إلى أن الطريقة التي تختار بها نماذجه الذكاء الاصطناعي المعلومات هي أكثر هيكلية وهندسية مما كنا نعتقد. إنها ليست مجرد ضباب عشوائي؛ بل هي رقصة منظمة بعناية حيث تقود بعض الكلمات، وتتبعها أخرى، بينما تسحب كلمة "مستودع" صغيرة واحدة المجموعة بأكملها في اتجاه غريب. ومن خلال فهم هذه الأشكال، قد نتمكن من بناء نماذج ذكاء اصطناعي أكثر ذكاءً ورشاقة في المستقبل، وإن كان علينا أن نكون حذرين لكي لا نقطع القطع الخاطئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.