What Does Development Add? Multiple-State Evidence Improves Causal Recovery in Constructed Transformer-Circuit Dossiers

معضلة المحقق: لماذا يساعد مشاهدة الفيلم في حل الجريمة

تخيل أنك محقق يحاول اكتشاف كيفية عمل آلة معقدة. عادةً، لا تتاح لك الفرصة لرؤية الآلة إلا في نهاية عمرها، وهي مكتملة البناء وتعمل بالفعل. تقوم بنقرها، وسحب روافعها، ومراقبة ما يحدث. هكذا يدرس العلماء حالياً الذكاء الاصطناعي (AI). إنهم ينظرون إلى نموذج ذكاء اصطناعي مكتمل، ويجرون اختبارات، ويحاولون تخمين أي أجزاء من "دماغه" هي المسؤولة عن سلوكه الذكي. هذا ما يسمى بـ التفسير الآلي (mechanistic interpretability). الأمر يشبه محاولة فهم خدعة سحرية من خلال مشاهدة العرض النهائي فقط، دون رؤية كيف قام الساحر بتجهيز المسرح.

لكن هنا تكمن المشكلة: أحياناً، يمكن لإعدادين مختلفين أن يبدوا متطابقين تماماً في النهاية. ربما تم بناء جزء من الآلة للقيال بمهمة محددة، أو ربما وُجد هناك بالصدفة وهو يتظاهر الآن بالمساعدة. إذا نظرت فقط إلى اللحظة النهائية، فلن تستطيع التمييز بينهما. وهنا تأتي فكرة التطور (development). تماماً كما أن مراقبة طفل وهو يكبر يخبرك عن شخصيته أكثر من مقابلته كبالغ، فإن مراقبة ذكاء اصطناعي وهو "يتعلم" خطوة بخطوة قد يكشف القصة الحقيقية لكيفية تفكيره. السؤال الكبير هو: هل امتلاك "مذكرات التدريب" (تاريخ كيفية تغير الذكاء الاصطناعي بمرور الوقت) يساعد المحقق فعلاً في حل اللغز بشكل أفضل من مجرد النظر إلى النتيجة النهائية؟

التجربة: محقق يسافر عبر الزمن

في هذه الدراسة، وضع الباحث "زو يوتشن" لغزاً ضخماً ومحكماً لاختبار هذه الفكرة. بدلاً من استخدام ذكاء اصطناعي حقيقي وفوضوي يتعلم من الإنترنت، قام ببناء 24 "ملفاً مُنشأً". فكر في هذه الملفات على أنها 24 آلة وهمية مختلفة مبنية من قطع الليغو. كان الباحث يعرف بالضبط كيف يُفترض أن تتصل كل قطعة وما الذي يُفترض أن تفعله. لقد أنشأ "حقيقة مطلقة" مثالية بحيث يمكنه تقييم عمل المحقق بدقة 100%.

كان "المحقق" في هذه القصة نموذج لغة فائق الذكاء (يُسمى GPT-5.6-Terra). أعطى الباحث لهذا المحقق مهمة: اكتشاف كيفية عمل الآلة الوهمية والتنبؤ بما سيحدث إذا تعطل جزء معين.

انقسم المحقق إلى فريقين، لكنهما حصلا على أدلة مختلفة:

1. فريق "النهاية فقط": حصل هذا الفريق على خمس صور مختلفة للآلة، كلها التُقطت في نهاية عمرها. كانت جميعها من زوايا مختلفة قليلاً، لكن الآلة كانت في نفس الحالة النهائية تماماً في كل مرة.
2. فريق "الحالات المتعددة": حصل هذا الفريق على خمس صور أيضاً، لكنها التُقطت في أوقات مختلفة أثناء بناء الآلة. لقد رأوا الآلة وهي طفلة، ومراهقة، وبالغة، وهم يشاهدون القطع وهي تترابط واحدة تلو الأخرى.

الأمر الجوهري هو أن الصورة الأخيرة (الحالة النهائية) كانت متطابقة لكلا الفريقين. الفرق الوحيد هو أن أحد الفريقين تمكن من رؤية تاريخ كيفية بناء الآلة، بينما اكتفى الفريق الآخر بالتحديق في المنتج النهائي مراراً وتكراراً.

ما وجدوه: التاريخ يهم

كانت النتائج واضحة ومحددة بشكل مدهش. الفريق الذي تمكن من رؤية الحالات المتعددة (التاريخ) كان أفضل بكثير في حل اللغز.

• رسم الخرائط والروابط: عندما طُلب منهم رسم خريطة لكيفية اتصال أجزاء الآلة ببعضها البعض، أصاب فريق "التاريخ" بنسبة 97.1% من المرات. أما فريق "النهاية فقط" فقد أصاب بنسبة 88.8%. قد لا يبدو هذا الفارق كبيراً، ولكن في عالم الألغاز المعقدة، يعد هذا تحسناً هائلاً. كان فريق التاريخ أفضل في رصد الروابط الحقيقية وتجاهل الروابط المزيفة التي بدت متشابهة بشكل مريب في النهاية.
• التنبؤ بالمستقبل: كان على المحقق أيضاً تخمين ما سيحدث إذا انقطع سلك معين أو تم تثبيت جزء ما. تنبأ فريق "التاريخ" بالنتيجة بشكل صحيح بنسبة 95.4% من المرات، بينما نجح فريق "النهاية فقط" بنسبة 89.1%.
• تأثير السقف: ومن المثير للاهتمام أنه عندما كانت المهمة مجرد تسمية كل جزء (مثل "المُحدد" أو "الرّسام")، حقق كلا الفريقين درجة كاملة بنسبة 100%. وهذا يشير إلى أن تسمية الأجزاء أمر سهل، لكن تحديد شبكة الاتصالات المعقدة هو المكان الذي يتألق فيه "التاريخ" حقاً.

ماذا يعني هذا (وما لا يعنيه)

تشير الدراسة إلى أنه بالنسبة لهذا النوع المحدد من الألغاز، فإن رؤية التطور يساعد. الأمر يشبه مراقبة تجميع لغز؛ يمكنك رؤية أي القطع وُضعت أولاً وأيها أُضيف لاحقاً لتصحيح خطأ ما. كان فريق "النهاية فقط" مرتبكاً لأن بعض الاتصالات المزيفة بدت قوية جداً في النهاية، لكن فريق "التاريخ" استطاع رؤية أن تلك الاتصالات ظهرت فقط في مراحل متأخرة، مما يعني أنها لم تكن ضمن الخطة الأصلية.

ومع ذلك، فإن الورقة البحثية حذرة جداً في عدم المبالغة في الترويج للنتائج.

• إنها محاكاة، وليست واقعاً: "الآلات" في هذه الدراسة تم بناؤها بعناية بواسطة برنامج كمبيوتر، وليس تعلمت بشكل طبيعي من قبل ذكاء اصطناعي عبر شهور من التدريب. يعترف الباحث بأن هذا هو "إثبات للمفهوم". إنه يثبت أن الفكرة تعمل في مختبر محكوم، لكنه لا يضمن أنها ستعمل على كل نماذج الذكاء الاصطناعي الحقيقية في العالم.
• سؤال "الزمن" مقابل "التنوع": تساءل الباحث أيضاً: هل أدى المحقق بشكل أفضل لأنه رأى ترتيب الأحداث (الزمن)، أم لمجرد أنه رأى نسخاً مختلفة من الآلة (التنوع)؟ لاختبار ذلك، أجروا فحصاً إضافياً صغيراً حيث قاموا بخلط ترتيب الصور مع الحفاظ على المحتوى نفسه. ظل المحقق يؤدي بشكل جيد. يشير هذا إلى أن رؤية الحالات المختلفة هو المفتاح، وليس بالضرورة الجدول الزمني نفسه، رغم أن الدراسة لم تكن كبيرة بما يكفي للجزم بذلك.
• ليس حلاً سحرياً: لم تجد الدراسة أن فريق "النهاية فقط" كان عاجزاً؛ فقد كانوا جيدين جداً في الواقع. التاريخ منحهم فقط دفعة كبيرة.

الخلاصة

هذه الورقة البحثية هي تجربة مرحة ولكنها جادة تقول: "مهلاً، إذا كنت تريد فهم كيفية عمل نظام معقد، فلا تكتفِ بالنظر إلى المنتج النهائي. إذا استطعت، انظر إلى كيفية نموه".

بالنسبة لباحثي الذكاء الاصطناعي الذين يقرأون هذا، فهذا بمثابة ضوء أخضر للبدء في البحث في تاريخ التدريب. أما بالنسبة لبقية الناس، فهو تذكير بأن السياق هو كل شيء. تماماً كما أن معرفة طفولة الشخص تساعدك على فهم خياراته كبالغ، فإن معرفة "طفولة" الذكاء الاصطناعي (خطوات تدريبه) قد تكون السر وراء فك شفرة عقله الحقيقي. لكن تذكروا، كان هذا اختباراً بآلات لعبة؛ العالم الحقيقي أكثر فوضوية بكثير، والخطوة التالية هي معرفة ما إذا كانت هذه الحيلة ستنجح مع أنظمة الذكاء الاصطناعي الحقيقية والناضجة التي نستخدمها كل يوم.