The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
تُثبت هذه الورقة أن الالتفاف العميق السببي قصير المدى في نماذج الانتباه الخطي ونماذج فضاء الحالة يفرض حداً صلباً وغير قابل للتدهور على الأجزاء التي يمكن للاستعلام أن يشترط عليها الاسترجاع، مما يتسبب في جعل النموذج يولد إجابات خاطئة بثقة عندما تقع المعلومات الحرجة خارج هذه النافذة الضيقة، وهو فشل يستمر في الطبقات الضحلة ولكن يمكن التخفيف من حدته من خلال البنى الأكثر عمقاً أو النوى الأكبر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعمل أنظمة الذكاء الاصطناዊ الحديثة التي تتذكر المعلومات غالباً مثل أمين مكتبة يحتفظ بأرشيف ضخم ومستمر من الحقائق. فعندما يُطرح سؤال، يجب على النظام أولاً تحديد الصفحة الصحيحة في ذلك الأرشيف ثم قراءة الإجابة. ولكن هناك مهمة ثانية أكثر صعوبة: يجب على النظام أيضاً أن يعرف متى تكون الإجابة غير موجودة ببساطة. فإذا لم يتمكن من العثور على المعلومة، يجب على النظام الذكي أن يعترف بأنه لا يعرف، بدلاً من اختلاق إجابة خاطئة لكنها واثقة. إن هذه القدرة على التمييز بين "أنا لا أعرف" و"أنا أعرف هذا" هي ما يفصل بين الذاكرة الموثوقة وبين نظام يهلوس بالمعلومات. لسنوات، افترض الباحثون أنه إذا فشل النموذج في استرجاع حقيقة صحيحة، فذلك لأن المعلومة كانت معقدة للغاية أو لأن النموذج لم يتم تدريبه بشكل جيد بما يكفي. ومع ذلك، تشير دراسة جديدة إلى أن المشكلة غالباً ما تكون أبسط بكثير وميكانيكية: الجزء الذي يهم من السؤال هو غير مرئي مادياً للجزء الذي يقوم بعملية البحث في النظام.
تتقصى هذه الأبحاث، التي أجراها الباحث المستقل ماكسيميليانو سبيرانزا، نوعاً معيناً من بنية الذكاء الاصطناዊ التي تستخدم نافذة محلية قصيرة لتكوين أسئلتها. في هذه الأنظمة، يتم بناء "الاستعلام" المستخدم للبحث في الذاكرة من خلال النظر فقط إلى الكلمة الحالية والكلمات القليلة التي تسبقها مباشرة. الإعداد القياسي لهذه النافذة صغير جداً بحيث لا يمكنه رؤية أكثر من ثلاث كلمات للوراء. وتكشف الدراسة أن هذه الرؤية المحدودة ليست مجرد تفصيل بسيط لكيفية تنعيم اللغة؛ بل هي حاجز صلب. فإذا وقع جزء حيوي من السؤال خارج هذه النافذة الصغيرة، فإن النظام لا يتجاهله فحسب أو يعامله كمعلومة ضعيفة، بل إنه يعتبره غير موجود فعلياً بالنسبة لآلية البحث. بعد ذلك، يمضي النظام في الإجابة على السؤال بثقة تامة، مستخدماً فقط جزء السؤال الذي يمكنه رؤيته بالفعل، مما يؤدي غالباً إلى إجابة خاطئة تبدو مؤكدة تماماً.
ولإثبات ذلك، قام الباحث ببناء نموذج لغوي صغير تم تدريبه على لغة اصطناعية حيث تُخزن الحقائق في أرشيف مستمر. تم اختبار النموذج بأسئلة مثل "ما هي [العلاقة] لـ [الكيان]؟" حيث كان الكيان على بُعد كلمة واحدة من نقطة البحث، بينما كانت العلاقة على بُعد ثلاث كلمات. في الإعداد القياسي، كانت النافذة تستطيع الوصول إلى كلمتين فقط للوراء. وهذا يعني أن العلاقة كانت دائماً خارج النافذة. كانت النتائج صارخة: انخفضت حساسية النظام تجاه العلاقة إلى الصفر المطلق بمجرد تجاوزها حافة النافذة. وعندما تم تغيير العلاقة، لم تتزحزح نتائج البحث. لم يكن النموذج يتجاهل الكلمة المفقودة؛ بل كان أعمى عنها حرفياً. وبناءً على ذلك، عندما سُئل عن علاقة لم تُذكر قط لكيان معين، لم يقل النموذج "أنا لا أعرف"، بل استرجع بثقة حقيقة مختلفة وغير ذات صلة كانت موجودة في مكان قريب، مما خلق هلوسة بدت وكأنها خطأ واثق.
ثم اختبرت الدراسة ما إذا كان مجرد توسيع النافذة يمكن أن يعالج هذا العمى. ومن خلال زيادة حجم النافذة بمقدار كلمة واحدة فقط من كل جانب — وهو تغيير لم يضف سوى جزء ضئيل من المعلمات (parameters) إلى النموذج — ارتفعت قدرة النظام على الاعتراف بالجهل بشكل هائل. في الحالات الصعبة التي هلوس فيها النموذج سابقاً، سمحت النافذة الأوسع للنظام بالامتناع عن الإجابة بشكل صحيح في كل مرة تقريباً، حيث قفزت معدلات الدقة من حوالي 60 بالمائة إلى ما يقرب من 100 بالمائة. وقد أثبت هذا أن الفشل لم يكن ناتجاً عن نقص في الذكاء أو التدريب، بل كان نتيجة لمحدودية هندسية بسيطة: أداة البحث كانت أقصر من أن تصل إلى المعلومة الضرورية.
ولم يتوقف الباحثون عند نموذجهم الصغير؛ بل تحققوا مما إذا كانت هذه الظاهرة موجودة في الأنظمة الأكبر والأكثر واقعية. فحصوا نموذجاً عاماً مدرباً مسبقاً يحتوي على 130 مليون معلمة ووجدوا نفس الانفصال الميكانيكي. في هذا النموذج الأكبر، يمكن للحالة الداخلية للنظام أن "ترى" تسلسل الكلمات بأكمله، لكن آلية الاستعلام المحددة المستخدمة لقراءة تلك الحالة كانت لا تزال محدودة بنافذتها القصيرة. وعندما تم تغيير كلمة بعيداً خارج النافذة، ظل مخرج الاستعلام صفراً بالضبط، رغم أن بقية النظام سجل التغيير. وقد أكد هذا أن "العمى" كان سمة هيكلية في البنية، وليس مجرد خلل في عملية تدريب معينة.
ومع ذلك، فإن القصة لها طبقة ثانية تعقد النتيجة الأولية. فبينما تعمل النافذة القصيرة كحاجز صلب في الطبقة الأولى من المعالجة، تمتلك النماذج الأعمق العديد من الطبقات اللاحقة حيث يمكن تمرير المعلومات. وجدت الدراسة أنه في هذه النماذج الأعمق، لا يتم حظر الإشارة من الكلمة "غير المرئية" للأبد؛ بل تضعف فقط أثناء انتقالها عبر الطبقات. فهي تصل بقوة أقل بكثير، لكنها لا تزال موجودة. وعندما قام الباحثون بضبط النموذج العميق (fine-tuning) على نفس المهمة، وجدوا أن النموذج يمكنه في النهاية تعلم استخدام المعلومات التي كانت في الأصل خارج النافذة، لكن الأمر استغرق وقتاً أطول بك serem التعلم. لم تجعل النافذة القصيرة المعلومة غير قابلة للاستخدام؛ بل جعلت تعلمها مكلفاً. في النموذج الضحل الذي لا يحتوي على طبقات إضافية للمساعدة، تضع النافذة سقفاً صلباً للأداء. أما في النموذج العمق، فهي تضع ضريبة يجب دفعها بمرور الوقت.
أخيراً، بحثت الدراسة فيما إذا كان هذا التكوين حالة نادرة أم ظاهرة شائعة في الواقع. حلل الباحثون عشرات الآلاف من الأسئلة الواقعية من مصادر مختلفة، بما في ذلك استعلامات محركات البحث وقواعد بيانات المعلومات العامة. ووجدوا أنه في ما بين 90 و100 بالمائة من الأسئلة الحقيقية، كانت الأجزاء الحرجة من السؤال مفصولة بمسافة تزيد عن مدى النافذة القصيرة القياسية. لم تكن المشكلة حالة استثنائية؛ بل كانت الحالة العادية. إن هندسة اللغة البشرية تضع الأجزاء الأكثر أهمية في السؤال طبيعياً بعيداً عن بعضها البعض لدرجة أن آلية البحث ذات النافذة القصيرة القياسية لا يمكنها رؤيتها جميعاً في وقت واحد.
تخلص الورقة البحثية إلى طريقة بسيطة ومجانية لتشخيص هذه المشكلة في أي نظام يستخدم نافذة محلية للبحث في الذاكرة. لا يحتاج المرء إلى تدريب نموذج جديد أو إجراء اختبارات معقدة. كل ما عليك فعله هو أخذ سؤال، واستبدال كلمة بعيدة في الجملة بكلمة أخرى من نفس النوع، ورؤية ما إذا كان بحث النظام سيتغير. إذا لم يتغير البحث، فهذا يعني أن تلك الكلمة كانت غير مرئية للنظام، وأن أي ثقة يعبر عنها النظام بشأنها هي ثقة غير مستحقة. تكشف الدراسة أنه بينما يمكن لهذه الأنظمة أن تتعلم في النهاية التغلب على عمائها الهيكلي إذا مُنحت العمق والوقت الكافيين، فإن الفشل الأولي هو حتمية ميكانيكية. فالنظام يجيب بثقة كاملة بناءً على رؤية جزئية، وإلى أن تتغير البنية أو يُمنح النموذج طبقات كافية لدفع الضريبة، فإن تلك الثقة غالباً ما تكون في غير محلها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.