Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models
تُثبت هذه الورقة أنه بينما لا يمكن استرداد مؤشرات طبقات "ترانسفورمر" (transformer) محددة بشكل فريد من ملفات أخطاء تسمية الصور لدى المصابين بالحبسة الكلامية بسبب الفائض الوظيفي، إلا أنه يمكن عكس معاملات شدة الاضطراب والضجيج بنجاح لإنشاء نماذج مضادة للواقع تعيد إنتاج السلوكيات المستهدفة وتميز بين المتلازمات السريرية، مما يقدم إطاراً قوياً لقابلية التفسير السببي للنماذج اللغوية الكبيرة (LLM).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اكتشاف كيف تعمل مكتبة سحرية عملاقة. لا يمكنك رؤية الكتب أو المكتبيين بداخلها، لكن يمكنك مراقبة ما يحدث عندما تهمس بسر للمبنى. أحياناً تهمس المكتبة لك بإجابة مثالية؛ وأحياناً أخرى تتلعثم، أو تخلط الكلمات، أو تقول شيئاً غير مفهوم تماماً. يسمي العلماء هذه الأشياء "نماذج اللغات الكبيرة" (LLMs)، وهي العقول الرقمية التي تقف وراء العديد من الأدوات الذكية التي نستخدمها اليوم. لكن الجزء الصعب هنا هو أننا لا نعرف حقاً أي جزء من هذا العقل هو الذي يتحدث. الأمر يشبه محاولة تخمين أي ترس محدد في ساعة جعل العقارب تتحرك بمجرد مراقبة وجه الساعة.
لفهم هذا، غالباً ما يستخدم العلماء طريقة تسمى "الآفات" (lesioning). تخيل أنك تأخذ مطرقة صغيرة ودقيقة وتطرق ترساً معيناً في تلك الساعة لترى ما إذا كان ذلك سيعطل ضبط الوقت. إذا بدأت الساعة تعمل ببطء، فستعرف أن هذا الترس كان مهماً. في عالم الذكاء الاصطناعي، يمكن للباحثين "كسر" أجزاء من العقل الرقمي عن طريق إضافة القليل من الضجيج الرقمي إليه، تماماً كما يمكن للسكتة الدماغية أن تضر أجزاء من دماغ الإنسان وتسبب مشاكل في الكلام. تسأل هذه الورقة البحثية سؤالاً "عكسياً" رائعاً: إذا رأينا الساعة تعمل ببطء، فهل يمكننا النظر إلى الوقت ومعرفة أي ترس بالضبط طرقناه؟ وإذا خمنّا الترس، فهل يمكننا طرق نفس الترس في ساعة جديدة تماماً لجعلها تعمل ببطء بنفس الطريقة؟ هذا ليس مجرد محاولة لإصلاح الساعات؛ بل هو إثبات لفهمنا العميق لكيفية تفكير هذه العقول الرقمية، بدلاً من مجرد التخمين لما تفعله.
لعبة المحقق العظيم للذكاء الاصطناعي
في هذه الدراسة، قرر فريق من الباحثين لعب لعبة محقق عالية المخاطر مع عقل رقمي يسمى LLaVA-Vicuna 13B. فكر في هذا الذكاء الاصطناعي كأنه روبوت فائق الذكاء يمكنه النظر إلى صورة وإخبارك بما هي. أراد الباحثون معرفة ما إذا كان بإمكانهم اكتشاف كيف "كسروا" الروبوت بمجرد النظر إلى الأخطاء التي ارتكبها.
أولاً، أعدوا تجربة ضخمة. أخذوا الروبوت وطبقوا عليه "آفات" (أضرار رقمية) بـ 4,840 طريقة مختلفة. لقد غيروا ثلاثة أشياء في كل محاولة:
- أين ضربوه (أي طبقة من طبقات "تفكيره" الـ 40 التي لمسوها).
- كم مقدار ما أتلفوه من تلك الطبقة (من 0% إلى 100%).
- مدى شدة الضجيج (مدى فوضوية الضرر).
بعد كسر الروبوت بـ 4,840 طريقة، عرضوا عليه 175 صورة لأشياء يومية وطلبوا منه تسميتها. وسجلوا كل خطأ ارتكبه الروبوت—سواء سمى "كلباً" "قطة" (خطأ دلالي)، أو اخترع كلمة لا معنى لها (كلمة مستحدثة)، أو ظل صامتاً فقط. تُسمى هذه المجموعة من الأخطاء "ملف تعريف الخطأ" (error profile).
تحدي الهندسة العكسية
الآن جاء الجزء الصعب. بنى الباحثون برنامج كمبيوتر جديداً وخاصاً (نموذج عكسي) ليعمل كمحقق. قاموا بتغذية هذا المحقق بـ ملفات تعريف الخطأ (قائمة الأخطاء) وسألوه: "بناءً على هذه الأخطاء، ما الذي كسرناه بالضبط؟"
كان على المحقق تخمين ثلاثة أشياء:
- أي طبقة تم ضربها؟
- ما مقدار ما تم ضربه؟
- مدى شدة الضجيج في الضرر؟
الاكتشاف الكبير: الشدة مقابل الموقع
كانت النتائج مفاجئة وكشفت سراً حول كيفية بناء هذه العقول الاصطناعية.
- "كم المقدار" كان سهلاً للعثور عليه: كان المحقق بارعاً جداً في تخمين مقدار الضرر الناتج. سواء كان الروبوت مرتبكاً قليلاً أو مشوشاً تماماً، استطاع المحقق التمييز بينهما بدقة عالية. الأمر يشبه القدرة على معرفة ما إذا كان محرك السيارة "يعمل بصعوبة" أو "متوقف تماماً" بمجرد سماع صوت تعثره.
- "المكان" كان غامضاً: لم يكن المحقق جيداً في تخمين الطبقة الدقيقة. فقد استطاع تخمين الطبقة الصحيحة بنسبة 14.8% فقط من الوقت (وهي نسبة أفضل بكثير من التخمين العشوائي، لكنها بعيدة عن المثالية). ومع ذلك، كان بإمكانه عادةً تخمين "الحي" الصحيح من الطبقات (ضمن نطاق 5 طبقات) بنسبة 77.6% من الوقت.
اختبار "الخدعة السحرية" (التحقق المقابل للواقع)
هنا تصبح الورقة البحثية رائعة حقاً. لكي يثبتوا أن تخمين المحقق عن "المقدار" و"المكان" ليس مجرد تخمين، قام الباحثون بـ "خدعة سحرية". أخذوا تخمين المحقق، وذهبوا إلى روبوت جديد وسليم تماماً، وطبقوا عليه ذلك التخمين بدقة.
- النتيجة: في 81.4% من الحالات، بدأ الروبوت الجديد في ارتكاب نفس الأخطاء تماماً التي ارتكبها الروبوت الأصلي المكسور!
- المفاجأة: حتى عندما خمن المحقق الطبقة الخاطئة، إذا خمن المقدار الصحيح للضرر، فإن الروبوت الجديد كان لا يزال يرتكب نفس الأخطاء!
يثبت هذا أن، بالنسبة لهذه العقول الاصطناعية، فإن مقدار ما تكسره يهم أكثر بكثير من مكان الكسر. وهذا يشير إلى أن الأجزاء الوسطى من عقل الروبوت "فائضة عن الحاجة" (redundant)—فهي جميعها تؤدي وظائف متشابهة. إذا تضررت طبقة وسطى واحدة، يمكن لطبقة وسطى أخرى أن تتولى المهمة نوعاً ما، لذا يتغير سلوك الروبوت بناءً على شدة الضربة، وليس بناءً على موقعها المحدد.
الربط بالبشر الحقيقيين
للتأكد من أن الأمر لم يكن مجرد لعبة مع الروبوتات، اختبر الباحثون محققهم على 278 شخصاً حقيقياً عانوا من سكتات دماغية وواجهوا صعوبة في تسمية الصور (حالة تُعرف باسم "الحبسة الكلامية" أو aphasia). لم يعلم الباحثون المحقق أي شيء عن الأدمغة البشرية؛ كان يعرف فقط عن الروبوتات المكسورة.
عندما غدوا المحقق بملفات تعريف الخطأ الخاصة بالمرضى البشر، حدث أمر مذهل:
- كانت تخمينات المحقق حول "شدة الضرر" (مقدار ما كُسر) تتطابق تماماً مع شدة حالات المرضى. فالمرضى الذين يعانون من مشاكل كلامية شديدة تم التنبؤ بأن لديهم "ضرراً عالياً"، بينما أولئك الذين يعانون من مشاكل طفيفة كان لديهم "ضرر منخفض".
- كما قام المحقق أيضاً بتصنيف المرضى حسب نوع "الحبسة" الخاص بهم (مثل حبسة بروكا أو حبسة فيرنيكي) بناءً على "الموقع" الذي خمنه، رغم أنه لم يرَ بشراً من قبل.
ماذا يعني هذا؟
لا تدعي هذه الورقة أنها حلت لغز الدماغ البشري أو أصلحت جميع مشاكل الذكاء الاصطناعي. بدلاً من ذلك، فهي تقدم طريقة جديدة لاختبار ما إذا كنا نفهم الذكاء الاصطناعي حقاً.
- ما تنفيه الدراسة: توضح أن مجرد النظر إلى الطبقة التي يستخدمها الذكاء الاصطناعي ليس كافياً لفهمه. لا يمكنك ببساطة القول: "الطبقة 10 مخصصة للأسماء"، لأن إتلاف الطبقة 10 قد يبدو تماماً مثل إتلاف الطبقة 15 إذا كان الضرر بنفس الحجم.
- ما تقترحه: أن "منتصف" هذه العقول الاصطناعية مليء بأنظمة النسخ الاحتياطي. إنها مرنة وفائضة عن الحاجة.
- الثقة: الباحثون واثقون جداً من نتيجة "الشدة" لأنهم اختبروها على روبوت جديد ونجحت بنسبة 81.4% من الوقت. وهم واثقون من أن "الموقع" يصعب تحديده لأن الروبوت يتصرف بنفس الطريقة حتى عندما تخمن الطبقة الخاطئة.
باخت-الكلمة، تعلمنا هذه الدراسة أننا لكي نفهم هذه العقول الرقمية العملاقة، يجب أن نتوقف عن البحث عن "ترس مكسور" واحد ونبدأ في مراقبة مدى قوة اهتزاز الآلة بأكملها. والأفضل من ذلك؟ أن الطريقة التي ابتكروها—تخمين الضرر، ثم اختباره على آلة جديدة—يمكن استخدامها للتحقق مما إذا كنا نفهم حقاً أي جزء من طريقة تفكير الذكاء الاصطناعي في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.