Reversing Arrows in Large Language Models
تقدم هذه الورقة أول دراسة منهجية حول كيفية تعامل النماذج اللغوية الكبيرة مع اتجاهية العلاقة العكسية، مما يكشف عن عدم تماثل منهجي في أداء التصنيف لديها، ويوضح أن دقة النموذج حساسة لتمثيلات الكيانات بينما لا تعمل أوصاف العلاقات على تحسين النتائج بشكل ثابت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يفهم العالم، ليس فقط من خلال قراءة الكلمات، بل عبر ربطها في شبكة ضخمة وغير مرئية من الحقائق. هذا هو عالم رسوم المعرفة البيانية (Knowledge Graphs)، حيث لكل اتصال اتجاه محدد، مثل شارع ذي اتجاه واحد. إذا كنت تعرف أن "أليس هي أم بوب"، فيجب على الروبوت أيضًا أن يفهم أن "بوب هو ابن أليس". لكن الجزء الصعب هنا هو أنك إذا قلبت الترتيب وسألت عن "بوب إلى أليس"، فإن المعنى يتغير تمامًا. الأمر يشبه معرفة أن المفتاح يفتح القفل، لكن هذا لا يعني تلقائيًا أن القفل يفتح المفتاح. يطلق العلماء على هذه العلاقات اسم العلاقات العكسية (inverse relations)، وهي الفرق بين الحصول على حقيقة صحيحة وبين قلبها رأساً على عقب.
مؤخرًا، بنينا حواسيب فائقة الذكاء تسمى نماذج اللغات الكبيرة (LLMs). هذه النماذج تشبه الأدمغة الرقمية التي قرأت كل شيء تقريبًا على الإنترنت؛ فهي بارعة في كتابة القصص والإجابة على الأسئلة. ولكن هناك قلق ملحّ: هل تفهم هذه الأدمغة الرقمية حقًا اتجاه هذه العلاقات، أم أنها مجرد تخمين بناءً على كيفية ظهور الكلمات معًا عادةً؟ إذا اعتقد الروبوت أن "الأم" و"الطفل" مجرد تسميات متبادلة، فقد يبني خريطة مشوهة للعالم. هذا البحث يتعمق في هذا السؤال تحديدًا، حيث يختبر ما إذا كانت هذه الأدمغة الاصطناعية تستطيع حقًا التمييز بين الوالد والطفل عندما يتم تبديل ترتيب الأسماء.
اختبار عكس السهم العظيم
في هذه الدراسة، قرر الباحثان، سيفكا إيفيوجلو وأدريان باشكي، وضع خمسة نماذج ذكاء اصطناعي شهيرة تحت الاختبار النهائي. لم يكتفوا بطلب كتابة جملة من الذكاء الاصطناعي، بل أعدوا مسابقة ضخمة من نوع الاختيار من متعدد تضم 5,457 سيناريو مختلفًا. تخيل برنامج مسابقات يقرأ فيه المذيع جملة مثل: "نيلز بور وابنه آغي وصلا..." ثم يسأل الذكاء الاصطناعي: "هل العلاقة من نيلز إلى آغي هي 'أب' أم 'ابن'؟" ثم في الجولة التالية، يقلب السيناريو: "ما هي العلاقة من آغي إلى نيلز؟"
أراد الباحثون معرفة ما إذا كان الذكاء الاصطناعي سيصاب بالارتباك عندما تشير الأسهم في الاتجاه الآخر. وللتأكد من أن الذكاء الاصطناعي لا يعتمد فقط على الأنماط المحفوظة (مثل معرفة أن نيلز بور عالم حقيقي)، استخدموا بعض الحيل. أحيانًا، استبدلوا الأشخاص الحقيقيين بأسماء وهمية مثل "ديفين رودريغيز" أو "أنجيلا برادلي". وفي أحيان أخرى، غطوا الأسماء تمامًا برموز "XXX" و"YYY"، مما أجبر الذكاء الاصطناعي على الاعتماد فقط على منطق الجملة، وليس على شهرة الأشخاص المعنيين. كما جربوا تزويد الذكاء الاصطناعي بورقة مرجعية تحتوي على تعريفات للكلمات، فقط ليروا ما إذا كان ذلك سيساعده.
ما فعله الذكاء الاصطناعي (وما لم يفعله)
كانت النتائج مختلطة، مما كشف أن هذه الأدمغة الاصطناعية لا تزال متعثرة بعض الشيء في فهم الاتجاه.
أولاً، وجدت الدراسة أن الاتجاه مهم جدًا. لم تكن نماذج الذكاء الاصطناعي متسقة؛ فأحيانًا كانت بارعة في تحديد "من الرأس إلى الذيل" (مثل من الوالد إلى الطفل)، ولكن عندما قلبها الباحثون إلى "من الذيل إلى الرأس" (من الطفل إلى الوالد)، انخفضت الدرجات أو قفزت بجنون اعتمادًا على النموذج. الأمر يشبه أن يكون الذكاء الاصطناعي جيدًا في قراءة خريطة تتجه شمالاً، لكنه يضيع عندما يُطلب منه القيادة جنوبًا. على سبيل المثال، في إحدى مجموعات البيانات، حصل أحد النماذج على 67.28% صحيحة عند الذهما في اتجاه واحد، بينما حصل نموذج آخر على 2.03% فقط في الاتجاه المعاكس لنفس المهمة. هذا يشير إلى أن الذكاء الاصطناعي لا "يفهم" العلاقة حقًا؛ بل غالبًا ما يتفاعل مع الأنماط التي رآها من قبل.
ثانيًا، اختبر الباحثون ما إذا كان إعطاء الذكاء الاصطناعي تعريفًا من قاموس ("وصف العلاقة") سيساعده. كانوا يأملون أنه إذا أخبروا الذكاء الاصطناعي أن "'الأم' هي والدة أنثى"، فسيؤدي بشكل أفضل. أشارت النتائج إلى أن هذا لم يساعد بشكل ثابت. في بعض الحالات، جعلت الكلمات الإضافية الذكاء الاصطناعي أفضل قليلاً، ولكن في حالات أخرى كثيرة، لم يغير ذلك شيئًا أو حتى جعل الأمور أسوأ. اتضح أن مجرد قراءة التعريف لا يصلح سحرًا مشكلة الارتباك حول اتجاه السهم.
أخيرًا، كانت تجربة "الأسماء الوهمية" هي الأكثر كشفًا. عندما تعامل الذكاء الاصطناعي مع أشخاص حقيقيين، كان أداؤه جيدًا إلى حد ما، ويرجع ذلك على الأرجح إلى أنه قد رأى تلك الأسماء والعلاقات في بيانات تدريبه. ولكن عندما استبدل الباحثون الأسماء بأسماء اصطناعية أو أخفوها تمامًا، أصبح الأداء حساسًا للغاية. بعض النماذج انهارت وفشلت، بينما تمكنت نماذج أخرى بشكل مفاجئ من الصمود. هذا يشير إلى أن نجاح الذكاء الاصطناعي يعتمد غالبًا على معرفة الكيانات بدلاً من المنطق الصرف. إذا تعرّف الذكاء الاصطناعي على "نيلز بور"، فقد يخمن الإجابة الصحيحة لمجرد أنه يعرف قصته، وليس لأنه يفهم مفهوم "الأبوة".
الخلاصة
يخلص البحث إلى أنه على الرغم من قوة نماذج اللغات الكبيرة، إلا أنها لم تتقن بعد فن اتجاه العلاقة العكسية. فهي تظهر عدم تماثل منهجي، مما يعني أنها غالبًا ما تكون أفضل في اتجاه واحد من الآخر، ويبدو أنها تعتمد بشدة على معرفة الأشخاص المعنيين بدلاً من منطق العلاقة نفسها.
يلاحظ المؤلفون بحذر أنهم لم "يحلوا" المشكلة أو يثبتوا أن الذكاء الاصطناعي معطل للأبد. بدلاً من ذلك، تشير أعمالهم إلى أننا بحاجة إلى أن نكون أكثر حذرًا عند استخدام هذه النماذج في المهام التي تتطلب معرفة دقيقة واتجاهية. إذا أردنا للذكاء الاصطناعي أن يبني خرائط دقيقة للعالم، فلا يمكننا افتراض أنه يفهم أن "الأم" و"الطفل" هما وجهان لعملة واحدة. يجب أن نستمر في الاختبار، ونستمر في قلب الأسهم، ونتأكد من أن الروبوت لا يقوم بمجرد التخمين بناءً على من يعتقد أنه مشهور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.