LLMs Can Annotate Attribution Graphs
تقدم هذه الورقة مسار عمل يستفيد من النماذج اللغوية الكبيرة لتجميع الميزات تلقائياً في عقد فائقة لأغراض تتبع الدوائر، مما يثبت أن هذا الأتمتة تحقق مستوى من القابلية للتفسير يضاهي المستوى البشري وتستعيد بفعالية خطوات الاستدلال الوسيطة في المهام متعددة الخطوات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الحياة السرية لأدمغة الذكاء الاصطناعي
تخيل أن لديك روبوتًا فائق الذكاء يمكنه كتابة القصص، وحل المسائل الرياضية، والإجابة على الأسئلة تمامًا مثل البشر. لكن هناك عقبة: الروبوت عبارة عن "صندوق أسود". يمكنك كتابة سؤال، فيقوم هو بكتابة الإجابة، لكن ليس لديك أدنى فكرة عما يحدث داخل دماغه للوصول من النقطة (أ) إلى النقطة (ب). الأمر يشبه مشاهدة ساحر يُخرج أرنبًا من قبعة، لكن لا يمكنك رؤية المقصورات السرية أو الخيوط المخفية.
يحاول العلماء الذين يدرسون "التفسير الآلي" (mechanistic interpretability) كشف الستار. إنهم يريدون رؤية التروس وهي تدور داخل الذكاء الاصطناعي. وللقيام بذلك، يستخدمون تقنية تسمى "تتبع الدوائر" (circuit tracing). فكر في الذكاء الاصطناعي كمدينة ضخمة بها ملايين العمال الصغار (يُطلق عليهم الخلايا العصبية أو الميزات) يتبادلون الملاحظات فيما بينهم. عندما يجيب الذكاء الاصطناعي على سؤال، فإن عددًا قليلًا فقط من هؤلاء العمال يقومون بالعمل الشاق فعليًا. وتتبع الدوائر يشبه رسم خريطة تسلط الضوء بدقة على أي من هؤلاء العمال كان نشطًا وكيف قاموا بتمرير الملاحظات لإنشاء الإجابة النهائية.
ومع ذلك، فإن هذه الخرائط فوضوية. فهي تُظهر آلاف العمال الأفراد، ومن الصعب للغاية على البشر النظر إلى قائمة تضم 500 ملاحظة صغيرة وفهم الصورة الكبيرة. عادةً، يضطر الباحث البشري لقضاء ساعات في تجميع هؤلاء العمال الصغار في "فرق" (تسمى العُقد الفائقة - supernodes) تشترك في وظيفة واحدة، مثل "فريق عواصم الدول" أو "فريق عمليات الجمع الرياضي". هذا العمل اليدوي بطيء، وممل، ومكلف. والسؤال الكبير هو: هل يمكننا تعليم الكمبيوتر القيام بعملية التجميع هذه نيابة عنا؟
الفكرة الكبرى للورقة البحثية: دع الذكاء الاصطناعي ينظم نفسه
تقترح هذه الورقة البحثية، التي تحمل عنوان "نماذج اللغات الكبيرة يمكنها وسم رسوم التوضيح السببية"، حلاً ذكيًا وبسيطًا بشكل مدهش: اطلب من الذكاء الاصطناعي تنظيم دماغه بنفسه.
لقد بنى الباحثون مسار عمل يعمل كفريق أدلة جنائية رقمي. فبدلاً من أن يحدق باحث بشري في خريطة فوضوية من الخلايا العصبية النشطة، تركوا نموذج لغة قويًا (ذكاء اصطناعي) يقوم بعملية الفرز. إليكم كيف يعمل هذا "المكتباني الآلي":
- الوصف: أولاً، يبحث النظام في خلية عصبية معينة ويسأل: "ماذا تفعل هذه الأشياء؟". ينظر إلى النص الذي جعل هذه الخلية تضيء ويولد وصفًا قصيرًا يمكن للبشر قراءته، مثل: "هذه الخلية تعمل عندما ترى كلمة 'عاصمة'".
- التجميع: بعد ذلك، يقوم النظام بتغذية قائمة من هذه الأوصاف إلى ذكاء اصطناعي ثانٍ (الـ "قاضي"). يُطلب من القاضي قراءة القائمة وتجميعها في فرق منطقية. قد يقول: "حسنًا، هذه الأوصاف الخمسة تتعلق جميعها بالولايات الأمريكية، لذا دعونا نضعها في فريق 'أسماء الولايات'"، أو "هذه الثلاثة تتعلق بكلمات مثل 'من' أو 'الـ'، لذا ستذهب إلى فريق 'مساعد القواعد'".
- التنظيف: أخيرًا، يقوم الذكاء الاصطناعي بمراجعة سريعة لدمج الفرق المكررة واستبعاد تلك التي لا تبدو منطقية.
النتيجة؟ خريطة نظيفة ومنظمة لأفكار الذكاء الاصطناعي الداخلية، تم إنشاؤها بالكامل بواسطة الآلات، في غضون ثوانٍ معدودة.
ما وجدوه: المكتباني الآلي بارع في عمله
اختبر الفريق هذه الطريقة لمعرفة ما إذا كان بإمكانها استبدال الخبراء البشر بالفعل. استخدموا مهمة محددة تسمى تحدي "عواصم القفزتين" (Two-Hop Capitals). تخيل أنك تسأل الذكاء الاصطناعي: "ما هي عاصمة الولاية التي تضم مدينة دالاس؟"
للإجابة على هذا، يجب على الذكاء الاصطناعي القيام بخطوتين في ذهنه:
- القفزة الأولى: معرفة أن دالاس تقع في تكساس.
- القفزة الثانية: معرفة أن عاصمة تكساس هي أوستن.
قام الباحثون بإجراء هذا الاختبار 100 مرة. نجح مسار العمل الآلي الخاص بهم في العثور على فريق "تكساس" (القفزة المتوسطة) في 97 حالة من أصل 100. أي بنسبة نجاح بلغت 97%! وعندما فحصوا الحالات الثلاث الأخرى، وجدوا أنه في حالتين، كان فريق "تكساس" موجودًا بالفعل، لكن الذكاء الاصطناعي لم يقم بتجميعه بشكل مثالي، وفي حالة واحدة، لم يكن الفريق موجودًا على الإطلاق.
كما قارنوا بين مجموعاتهم التي أنشأها الذكاء الاصطناعي والمجموعات التي صنعها الباحثون البشريون. وباستخدام اختبارات آلية لقياس مدى "قابلية الفهم" (interpretability) للمجموعات، وجدوا أن مجموعات الذكاء الاصطناعي كانت بجودة المجموعات التي صنعها البشر، بل وأحيانًا أفضل قليلاً منها.
التكلفة والتحذيرات
أحد أروع أجزاء هذا الاكتشاف هو مدى رخص ثمنه. حسب الباحثون أن تجميع الميزات لخريطة واحدة متوسطة التعقيد يكلف حوالي 3 إلى 6 سنتات (للخرائط الأصغر)، أو ما يصل إلى 61 سنتًا (للخرائط الأكبر والأكثر كثافة). وهذا ثمن زهيد جدًا مقارنة بالساعات التي سيقضيها إنسان للقيام بنفس المهمة.
ومع ذلك، فإن الورقة البحثية حريصة على عدم الادعاء بأن هذا الحل هو حل سحري ومثالي. فقد أقر الباحثون بأن طريقتهم لها بعض الحدود:
- إنها تركز على مدخلات محددة: لا ينظر الذكاء الاصطناعي إلى أين توجد الخلايا العصبية في الدماغ (مثل الطبقة أو الموقع)، وهو أمر يستخدمه البشر أحيانًا كدليل.
- يمكن أن تكون غامضة للغاية: عندما اختبروا النظام على المسائل الرياضية (مثل جمع الأرقام)، قام الذكاء الاصطناعي بتجميع الخلايا العصبية في فئات واسعة جدًا مثل "الأرقام" أو "الخانات". لقد فاتته الحيل الذكية المحددة التي يستخدمها الذكاء الاصطناعي للقيام بالرياضيات، مثل "ترحيل الواحد" أو "تقدير الحجم". وهذا يشير إلى أنه بينما يتفوق الذكاء الاصطناعي في تجميع المفاهيم الواضحة، إلا أنه قد يفتقر إلى القدرة على رصد الآليات المعقدة والدقيقة في الداخل.
- إنها مجرد إثبات مفهوم: استخدم الفريق هذه الطريقة لمسح 1,000 مطالبة عشوائية من ويكيبيديا ووجدوا بضعة رسوم بيانية "مثيرة للاهتمام" قد يرغب البشر في دراستها بشكل أكبر. وهذا يوضح أن الطريقة جاهزة لـ "الاستكشاف مفتوح النهايات"، مما يساعد العلماء في العثور على أشياء غريبة ورائعة داخل أدمغة الذكاء الاصطناعي لم يكونوا يعرفون حتى ضرورة البحث عنها.
لماذا هذا مهم
لا تدعي هذه الورقة البحثية أنها حلت لغز وعي الذكاء الاصطناعي أو أنها رسمت كل خلية عصبية موجودة. بدلاً من ذلك، فهي تقدم أداة عملية ومنخفضة التكلفة تزيل عقبة رئيسية في أبحاث الذكاء الاصطناعي. فمن خلال أتمتة المهمة المملة والمستهلكة للوقت المتمثلة في تجميع الخلايا العصبية، فإنها تحرر العلماء البشر للتركيز على الأسئلة الأكثر إثارة للاهتمام: لماذا يفكر الذكاء الاصطناعي بهذه الطريقة؟ هل يخطط مسبقًا؟ هل يختلق الحقائق؟
يشير المؤلفون إلى أن حتى الأتمتة "البسيطة" مثل هذه يمكن أن تحقق نتائج ذات مغزى، مما يفتح الباب لاستكشاف أسرع وأوسع لكيفية عمل هذه الأدمغة الرقمية فعليًا. إنها خطوة صغيرة نحو تحويل الصندوق الأسود إلى نافذة زجاجية شفافة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.