← أحدث الأبحاث
💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

تُثبت هذه الورقة أن الاختيار الجشع لمجموعة فرعية صغيرة ومستنيرة معمارياً من مكونات النموذج هو أكثر فعالية وكفاءة من الناحية الحسابية من استخدام التدرجات الكاملة أو الإسقاطات العشوائية لتوليد تفسيرات قائمة على الحالات لنماذج اللغات الكبيرة.

المؤلفون الأصليون: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

نُشر 2026-07-31
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم سبب اتخاذ روبوت ضخم وذكي للغاية قراراً معيناً. أنت تعلم أن الروبوت قد تدرّب على مكتبة هائلة من الكتب، ولكن أي كتاب تحديداً علمه تلك الحقيقة المعينة؟ هذا هو عالم "التفسيرات القائمة على الأمثلة" (instance-based explanations) في الذكاء الاصطعي. يسعى العلماء لتتبع إجابة الروبوت وصولاً إلى المثال التدريبي الدقيق الذي أثر عليه، تماماً مثل محقق يبحث عن بصمة إصبع. وللقيام بذلك، عادة ما ينظرون إلى "تدرجات" (gradients) الروبوت. فكر في التدرج كخريطة ضخمة متعددة الأبعاد توضح بالضبط كيف سيتغير عقل الروبوت إذا رأى جملة معينة. المشكلة هي أن هذه الخرائط بالنسبة للروبوتات الحديثة (التي تُسمى النماذج اللغوية الكبيرة) ضخمة جداً لدرجة أنه يستحيل حملها. خريطة واحدة لنموذج قياسي تشغل أكثر من 4 جيجابايت من الذاكرة، وهو ما يتجاوز حجم ملف فيلم كامل! لهذا السبب، يضطر الباحثون إلى تقليص هذه الخرائط لجعلها قابلة للإدارة. لقد حاولوا استخدام حيلتين رئيسيتتين: إما رمي معظم الخريطة والاحتفاظ بقطع عشوائية قليلة فقط، أو ضغط الخريطة بأكملها وتحويلها إلى ملخص صغير وضبابي. لكن لم يكن أحد يعرف حقاً أي الحيلتين كانت أفضل في مساعدة المحقق للعثور على الكتاب الصحيح.

هذه الورقة البحثية، بعنوان "?Select or Project" (الاختيار أم الإسقاط؟)، تسعى لحل هذا الغموض. قام المؤلف لوكاس هينترليتنر وفريقه من جامعة فيينا ببناء ساحة اختبار جديدة لمعرفة ما إذا كان من الأفضل اختيار أجزاء مهمة معينة من عقل الروبوت بعناية (الاختيار - Selection) أو ضغط العقل بأكمله رياضياً في مساحة أصغر (الإسقاط - Projection). لقد استخدموا لعبة ذكية للاختبار: أخذوا جملة، وأعادوا صياغتها بطريقة مختلفة، ثم طلبوا من "تدرجات" الروبوت العثور على الجملة الأصلية من بين حشد من الشبيهات بها. إذا كانت التدرجات جيدة، فيجب أن تشير مباشرة إلى الجملة الأصلية.

كانت النتائج مفاجئة. وجد الفريق أن طريقة "الضغط" (Random Projection)، التي تحاول الحفاظ على شكل الخريطة بأكملها، لم تكن المحقق الأفضل. بدلاً من ذلك، فازت طريقة أطلقوا عليها اسم "الاختيار الجشع" (Greedy Selection). هذا النهج يشبه أمين مكتبة ذكياً لا يقرأ المكتبة بأكملها، ولكنه يعرف بالضبط أي ثلاثة رفوف تحمل أهم القرائن. من خلال اختيار مجموعة صغيرة ومحددة من الأجزاء الداخلية للروبوت بعناية (تحديداً طبقات معينة تتعامل مع المنطق والروابط بين الكلمات)، استطاعوا إنشاء خريطة صغيرة وحادة للغاية. وفي اختباراتهم، كان هذا الاختيار المستهدف ليس فقط أكثر دقة في العثور على المثال التدريبي الصحيح، بل كان أيضاً أسرع وأرخص في الحساب.

وهنا تكمن المفاجأة: الخريطة الكاملة والضخمة لعقل الروبوت أدت في الواقع أداءً أسوأ من هذا الجزء الصغير والمختار بعناية. في أحد الاختبارات الصعبة حيث كان على الروبوت توليد قصة جديدة بناءً على نص مُعاد صياغته، نجحت الخريطة الكاملة في تقديم الإجابة الصحيحة بنسبة 22% فقط من الوقت تقريباً—وهو ما يكاد لا يتجاوز مستوى التخمين. ومع ذلك، نجحت المجموعة الصغيرة المختارة في الوصول للنتيجة بنسبة 36% تقريباً. يشير المؤلفون إلى أن الخريطة الكاملة هي في الواقع "ضوضائية"، مليئة بالكثير من المعلومات الإضافية التي تغرق القرائن الحقيقية. ومن خلال اختيار القطع الأكثر إفادة فقط، قاموا بقطع الضوضاء وحصلوا على إشارة أكثر وضوحاً.

كما بحثت الورقة في أي أجزاء من عقل الروبوت كانت أفضل المحققين. ووجدوا أن الأمر لم يكن يتعلق بحجم الجزء؛ إذ يمكن لقطعة صغيرة من الدماغ أن تكون أكثر فائدة من قطعة ضخمة. بدلاً من ذلك، كان الأمر يتعلق بما يفعله ذلك الجزء. فالأجزاء المسؤولة عن المنطق الداخلي للروبوت (طبقات MLP) كانت أفضل بكثير في العثور على البيانات التدريبية الصحيحة من الأجزاء المسؤولة عن الانتباه لكلمات محددة (مثل أجزاء "المفتاح" و"القيمة" في آلية الانتباه). ومن المثير للاهتمام أن الأجزاء الموجودة في بداية ونهاية سلسلة المعالجة لدى الروبوت كانت الأكثر فائدة، بينما بدت الأجزاء الوسطى مشوشة وأقل نفعاً.

في النهاية، يخلص المؤلفون إلى أننا، من أجل شرح كيفية عمل هذه النماذج الضخمة من الذكاء الاصطناعي، لا نحتاج إلى الصورة الكاملة. نحن نحتاج فقط إلى القطع الصحيحة القليلة. إن استراتيجية "الاختيار الجشع" الخاصة بهم هي وسيلة عملية وفعالة لجعل هذه التفسيرات ممكنة دون الحاجة إلى حواسيب فائقة تعمل لمئات الساعات. وبينما اختبروا ذلك على نموذج محدد يحتوي على حوالي 1.2 مليار معلمة، فإن نتائجهم تشير إلى أنه بالنسبة لمستقبل شفافية الذكاء الاصطناعي، فإن كونك انتقائياً ودقيقاً أفضل بكثير من محاولة الاحتفاظ بكل شيء.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →