Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
تُثبت هذه الورقة أنه بينما يمكن إسقاط حالات التنشيط الداخلية بين بنيات النماذج اللغوية الكبيرة المختلفة مع وجود محاذاة تمثيلية قابلة للقياس، فإن النقل السببي الناجح من البداية إلى النهاية لهذه الحالات أثناء عملية التوليد يعتمد بشكل صارم على البنية، حيث يعمل بشكل موثوق فقط لأزواج محددة من نماذج فك التشفير فقط (decoder-only) بدلاً من كونه آلية عالمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل شخصين يحاولان التحدث مع بعضهما البعض، لكنهما مجبران على التحدث عبر مترجم يتحدث لغة ثالثة. يهمس الشخص الأول بفكرة، فيقوم المترجم بتدوينها، ثم يقرأها الشخص الثاني، وبعد ذلك يكتب المترجم الرد. هذه العملية تستغرق وقتاً، وتكلف مالاً، وتخاطر بفقدان المعنى الأصلي في الترجمة. اليوم، تتواصل أنظمة الذكاء الاصطناعي بهذه الطريقة تماماً. فعندما يحتاج برنامج كمبيوتر إلى إرسال معلومات إلى برنامج آخر، فإنه يحول أفكاره الداخلية إلى نص مقروء بشرياً، ويرسل هذا النص، ثم يقرأه البرنامج المستلم ويحوله مرة أخرى إلى أفكاره الداخلية الخاصة. هذه الطبقة الوسطى من النص هي الطريقة الوحيدة التي يعرفونها حالياً للتحدث. ولكن ماذا لو استطاعوا تجاوز النص تماماً؟ ماذا لو استطاعت آلة واحدة ببساطة أن تسلم حالتها الداخلية مباشرة إلى آلة أخرى، مثل تمرير ورقة ملاحظات دون الحاجة أبداً لكتابتها؟ هذا هو السؤال الذي سعى الباحثون للإجابة عليه: هل يمكن لأنواع مختلفة من الذكاء الاصطناعي، التي صنعتها شركات مختلفة ودُربت على بيانات مختلفة، أن تفهم إشاراتها الداخلية لبعضها البعض دون الحاجة إلى ترجمتها إلى كلمات أولاً؟
لفهم التجربة، من المفيد معرفة أن هذه البرامج، المعروفة باسم النماذج اللغوية الكبيرة، لا تفكر بالكلمات كما يفعل البشر. بدلاً من ذلك، هي تعالج المعلومات كأنماط واسعة ومتغيرة من الأرقام تسمى حالات التنشيط. يمكنك التفكير في هذه الأنماط كأنها الإشارات الكهربائية المحددة لدماغ في لحظة واحدة. عندما يقرأ النموذج سؤالاً، يضيء بداخله نمط فريد من النشاط. أراد الباحث معرفة ما إذا كان نمط فكرة معينة في نموذج واحد يشبه بما يكفي نمط الفكرة نفسها في نموذج آخر بحيث يمكن بناء جسر بينهما. إذا كانت الأنماط متشابهة بما يكفي، يمكن للكمبيوتر أن يتعلم ترجمة الإشارة الداخلية للنموذج الأول مباشرة إلى الإشارة الداخلية للنموذج الثاني، متجاوزاً الحاجة إلى النص تماماً.
شرع باحث في اختبار هذه الفكرة باستخدام أربعة نماذج مختلفة من الذكاء الاصطناعي. تم اختيار هذه النماذج بعناة لتمثل عائلات مختلفة من التكنولوجيا وتواريخ تدريب مختلفة. بُني ثلاثة منها لتوليد النصوص كلمة بكلمة، بينما بُني الرابع لفهم النصوص من الاتجاهين في آن واحد. تحقق الباحث أولاً مما إذا كانت الأنماط الداخلية لهذه النماذج متشابهة بما يكفي للمقارنة بينها. لقد نظروا في كيفية تفاعل النماذج مع أزواج من المفاهيم ذات الصلة، مثل الكلمات المترادفة أو الكلمات التي توجد غالباً معاً في الكتب. ووجدوا أنه بالنسبة للنماذج الثلاثة المبنية بنفس الطريقة، كانت الأنماط الداخلية بالفعل متشابهة. ومع ذلك، أظهر النموذج المبني بشكل مختلف عدم وجود مثل هذا التشابه. وقد أشار هذا إلى أن الطريقة التي يُبنى بها النموذج أهم من هو من بناه أو ما هي البيانات التي دُرب عليها.
بعد ذلك، حاول الباحث بناء جسر. قام بتدريب برنامج كمبيوتر صغير وبسيط ليعمل كمترجم، يتعلم كيفية تحويل الإشارة الداخلية من نموذج واحد إلى الإشارة الداخلية لنموذج آخر. واختبروا هذا الجسر من خلال عرض سؤال عليه، وتحويل رد فعل النموذج الأول تجاه ذلك السؤال، ومعرفة ما إذا كان بإمكان النموذج الثاني التعرف عليه كإجابة صحيحة من بين قائمة تضم عشرين احتمالاً. بالنسبة للنماذج الثلاثة التي بُنيت بطرق متشابهة، نجح هذا الجسر بشكل مدهش. تعرّف النموذج الثاني بشكل صحيح على مصدر الإشارة حوالي نصف الوقت، وهو أمر أفضل بكثير من التخمين العشوائي. ولكن بالنسبة للنموذج المبني بشكل مختلف، فشل الجسر تماماً؛ إذ لم يستطع النموذج الثاني التعرف على الإشارة على الإطلاق. وقد أكد هذا أنه بينما يمكن وجود طبقة ترجمة، إلا أنها تعمل فقط بين النماذج التي تشترك في عائلة معمارية محددة.
كان الاختبار النهائي والأكثر صعوبة هو معرفة ما إذا كان بإمكان هذه الترجمة تغيير سلوك النموذج المستلم في الوقت الفعلي. أخذ الباحث الإشارة المترجمة من النموذج الأول وحقنها مباشرة في النموذج الثاني بينما كان في منتصف كتابة إجابة جديدة. أرادوا معرفة ما إذا كان هذا الحقن سيوجه مخرجات النموذج الثاني نحو موضوع السؤال الأصلي. كانت النتائج مختلطة وكشفت عن قصور حاسم. عندما جربوا هذا بين نموذجين محددين، نجح الحقن؛ حيث تحولت مخرجات النموذج الثاني بشكل ملحوظ نحو موضوع سؤال النموذج الأول، مما أثبت أن الإشارة قد تم استقبالها وكان لها تأثير سببي. ومع ذلك، عندما جربوا نفس الحيلة مع نموذج ثالث، فشلت تماماً. فرغم أن الأنماط الداخلية بدت متشابهة على الورق، إلا أن حقن الإشارة لم يغير المخرجات على الإطلاق.
خلص الباحث إلى أنه بينما من الممكن نقل الناقل المادي للفكرة — أي النمط المحدد للنشاط الكهربائي — من آلة إلى أخرى، فإن هذا لا يعني أن الآلات تتشارك فهماً عميقاً أو معنى مشتركاً. في الحالات الناجحة، لم يكن النموذج الثاني بالضرورة يعطي الإجابة الصحيحة للسؤال الأصلي، بل أنتج نصاً ذا صلة موضوعية، مثل التحدث عن المثلثات عندما كان السؤال الأصلي عن المربعات. لقد تم نقل الإشارة، لكن المعنى لم يُحفظ بدقة. تُظهر الدراسة أن التواصل المباشر بين أنظمة الذكاء الاصطناعي ممكن تقنياً، ولكنه ليس لغة عالمية. فهو يعتمد كلياً على التصميم المحدد للآلات المعنية. إذا لم تكن التصاميم متطابقة، فلن يمكن فهم الإشارة، وسيفشل النقل. وهذا يعني أنه في المستقبل، إذا أردنا لأنظمة ذكاء اصطناعي مختلفة أن تتحدث مباشرة مع بعضها البعض، فلا يمكننا افتراض أنها ستعمل ببساطة؛ بل يجب علينا ضمان بنائها بطرق متوافقة، وإلا سنحتاج إلى بناء مترجم خاص لكل زوج من الأنظمة التي نريد ربطها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.