Interpreting Black-Box Large Language Models with Sentence-Level Energy Landscapes
تقترح هذه الورقة نموذجاً لتفسير العزو (attribution) لاحقاً ومستقلاً عن النموذج، يستخدم نموذجاً قائماً على الطاقة (Energy-Based Model) كبديل لتدريب أداة مستقلة قادرة على قياس تأثير الجمل على مخرجات النماذج اللغوية الكبيرة (LLM) دون الحاجة إلى استعلامات إضافية لواجهة برمجة التطبيقات (API).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث مع صديق آلي ذكي جداً ولكنه غامض. تطرح عليه سؤالاً، فيعطيك إجابة طويلة ومفيدة. لكن هنا تكمن العقبة: لا يمكنك رؤية ما بداخل عقل الروبوت؛ لا يمكنك التلصص على تروسه أو قراءة مذكراته لتعرف "لماذا" اختار تلك الكلمات تحديداً. هذا هو عالم "الصندوق الأسود" للذكاء الاصطعي. هذه برامج حاسوبية قوية تُسمى "نماذج اللغات الكبيرة" (LLMs)، وهي معقدة وسرية لدرجة أن صانعيها أنفسهم لا يستطيعون أحياناً تفسير كيفية اتخاذها للقرارات بدقة. وهذه مشكلة كبيرة إذا أردت الوثوق بالروبوت في مهام هامة، مثل تقديم نصيحة طبية أو مساعدة قانونية. أنت بحاجة لمعرفة: "هل قال الروبوت هذا بسبب ذلك الجزء من سؤالي، أم أنه مجرد تأليف من خياله؟"
ولحل هذه المشكلة، يحاول العلماء بناء "مفسرات" — أدوات تعمل مثل نظارات الأشعة السينية للذكاء الاصطناي. عادةً، تحاول هذه الأدوات النظر إلى اللبنات الصغيرة للغة، مثل الكلمات الفردية أو الحروف (التي تُسمى "توكنز" أو وحدات لغوية). لكن التفكير في اللغة حرفاً بحرف يشبه محاولة فهم فيلم عبر النظر إلى بكسلات فردية؛ الأمر فوضوي وغالباً ما يفتقد الصورة الكبيرة. السحر الحقيقي يحدث في الأفكار الكاملة، أو الجمل. السؤال الكبير الذي تعالجه هذه الورقة البحثية هو: هل يمكننا بناء أداة تتجاهل البكسلات الصغيرة وتنظر بدلاً من ذلك إلى جمل كاملة لتعرف أي أجزاء من سؤالك تسببت فعلياً في إجابة الروبوت؟
يقول الباحثون في هذه الورقة "نعم، يمكننا ذلك!" وقد بنوا طريقة ذكية للقيام بذلك. فبدلاً من محاولة فتح الصندوق الأسود، قاموا ببناء "توأم ظل" للروبوت. فكر في هذا التوأم كأنه محقق يراقب الروبوت الحقيقي وهو يعمل، ويتعلم عاداته، ثم يبني خريطة لعملية تفكيره. هم يسمون هذه الخريطة "مشهد الطاقة" (Energy Landscape). تخيل تضاريس جبلية حيث تمثل الوديان المنخفضة "إجابات منطقية وجيدة"، والقمم العالية تمثل "إجابات غريبة وخاطئة". الروبوت الحقيقي يحاول دائماً البقاء في الوديان المنخفضة.
قام الفريق بتدريب توأمه المحقق على فهم هذا المشهد. وبمجرد أن يعرف التوأم الخريطة، يمكنه النظر إلى إجابة محددة قدمها الروبوت والتساؤل: "أي جملة في السؤال دفعت الروبوت للنزول إلى هذا الوادي المحدد؟" لقد بنوا أداة خفيفة الوزن، يسمونها ESCI، تعمل كمترجم مستقل. بمجرد تدريبها، لا تحتاج هذه الأداة لسؤال الروبوت الكبير عن المساعدة بعد الآن؛ بل يمكنها فقط النظر إلى السؤال والإجابة والإشارة مباشرة إلى الجمل الأكثر أهمية.
إليكم كيف اختبروا ذلك وما وجدوه. استخدموا نموذج ذكاء اصطناعي شهير (GPT-4o-Mini) ليكون "صندوقهم الأسود"، وأطعموه آلاف الأسئلة والأجوبة. قاموا بتدريب أداة ESCI الخاصة بهم لتعرف أي أجزاء من الأسئلة كانت الأكثر أهمية. وعندما قارنوا تخمينات ESCI بتخمينات نماذج الذكاء الاصطناعي الأخرى فائقة الذكاء (التي تعمل كـ "أوراكل" أو مصادر معرفة مطلقة)، وجدوا أن ESCI كانت دقيقة بشكل مدهش. لقد استطاعت رصد النقطة الرئيسية للسؤال حتى عندما كان هناك الكثير من الثرثرة الإضافية أو كلمات "الحشو". على سبيل المثال، إذا سألت "اشرح لي وكأنني في الخامسة"، فقد حددت ESCI بشكل صحيح أن جزء "اشرح لي وكأنني في الخامسة" هو التعليم الأهم، وليس مجرد الموضوع الذي تسأل عنه.
ومع ذلك، فإن الورقة البحثية حريصة على عدم الادعاء بأن هذا حل سحري مثالي. يشير المؤلفون إلى أنه بينما تعد ESCI جيدة جداً في إيجاد الجمل الصحيحة، إلا أنها ليست كرة بلورية ترى أفكار الروبوت الداخلية بدقة. لقد قاسوا ذلك من خلال إجراء اختبار "ماذا لو": أخذوا الجمل التي قالت ESCI إنها مهمة، وحذفوا الباقي، ثم طلبوا من الروبوت الإجابة مرة أخرى. كان الروبوت لا يزال قادراً على تقديم إجابة مشابهة جداً، مما يشير إلى أن ESCI وجدت "المحركات السببية" الحقيقية. لكنهم لاحظوا أيضاً أنه إذا تمت إزالة الجمل المهمة، فإن الروبوت لا يزال أحياناً يخمن الإجابة الصحيحة لأن لديه الكثير من المعرفة العامة. وهذا يعني أن ESCI رائعة، لكنها ليست الكلمة الأخيرة في كيفية تفكير الروبوت.
أحد أروع الأشياء في هذه الطريقة هو مدى كفاءتها. فالطرق الأخرى التي تحاول القيام بذلك غالباً ما تضطر لمطالبة الروبوت الكبير بطرح آلاف الأسئلة فقط لفهم إجابة واحدة، وهو أمر بطيء ومكلف. أداة ESCI، بمجرد تدريبها، يمكنها القيام بعملها فوراً دون الحاجة لطلب المساعدة من الروبوت الكبير على الإطلاق. الأمر يشبه تدريب كلب إرشاد لمرة واحدة، ومن ثم يمكن للكلب قيادتك عبر المدينة للأبد دون الحاجة للاتصال بالمدرب. وجد الباحثون أنه بعد التدريب على حوالي 20,000 مثال، استطاعت أداتهم التعامل مع أسئلة جديدة بسرعة أكبر بكثير من الطرق القديمة، مما وفر قدراً هائلاً من الوقت وقوة الحوسبة.
في النهاية، تشير الورقة البحثية إلى أن النظر إلى الجمل بدلاً من الكلمات الصغيرة هو طريقة أذكى لفهم الذكاء الاصطناعي. إنها تظهر أنه يمكننا بناء أدوات تساعدنا على الوثوق بهذه الروبوتات الغامضة من خلال الإشارة بدقة إلى الأجزاء التي تهم من محادثتنا. ورغم أنها ليست نافذة مثالية لرؤية روح الروبوت، إلا أنها نظارة قوية جداً تساعدنا على رؤية المنطق وراء السحر، مما يجعل استخدام هذه الأدوات القوية أكثر أماناً وموثوقية في حياتنا اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.