CulTrace: Tracing Internal Cultural Reasoning in Large Language Models
تقدم الورقة البحثية CulTrace، وهي طريقة للتفسير الآلي تكشف أن النماذج اللغوية الكبيرة تعالج الاستدلال الثقافي من خلال مسار متسق ثلاثي المراحل يتكون من الانخراط في المجال، وحل المعضلات الثقافية، واختيار الإجابة، بينما تكشف أيضاً عن اختلالات حيث تواجه النماذج صعوبة مع الثقافات الأقل تمثيلاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء العديد من أدوات الذكاء الاصطناዊ التي نستخدمها اليوم، وهي قادرة على توليد نصوص تشبه النصوص البشرية حول أي موضوع تقريبًا. يتم تدريب هذه الأنظمة على كميات هائلة من البيانات من الإنترنت، حيث تتعلم التنبؤ بالكلمة التالية في الجملة بناءً على الأنماط التي رأتها من قبل. ولأن بيانات التدريب هذه تأتي من جميع أنحاء العالم، يُتوقع من هذه النماذج بشكل متزايد أن تفهم وتحترم الفروق الدقيقة بين الثقافات المختلفة، من العادات المحلية إلى الأطعត الإقليمية. ومع ذلك، عندما تخطئ هذه النماذج في التفاصيل الثقافية، غالبًا ما يكون من الصعب فهم السبب. إن طرق الاختبار التقليدية تنظر فقط إلى الإجابة النهائية التي يقدمها النموذج، مثل تقييم طالب في اختبار دون رؤية عمله. هذا النهج يخبرنا ما إذا كانت الإجابة صحيحة، لكنه يخفي عملية التفكير التي أدت إليها، مما يترك الباحثين في حيرة من أمرهم حول مكان حدوث الارتباك الفعلي داخل الآلة.
ولحل هذه المشكلة، طور فريق من الباحثين من جامعة كوبنهاغن ومعهد KAIST طريقة جديدة للنظر داخل هذه النماذج. لقد ابتكروا طريقة تسمى CulTrace، والتي تعمل كنافذة تطل على التفكير الداخلي للنموذج. فبدلاً من مجرد انتظار المخرج النهائي، تتيح هذه التقنية للباحثين قراءة "أفكار" النموذج أثناء حدوثها، طبقة تلو الأخرى. تخيل النموذج اللغوي الكبير كمصنع ضخم ذي مراحل متعددة من الإنتاج؛ في المراحل الأولى، يتم فرز المواد الخام وتجهيزها؛ وفي المراحل الوسطى، يتم تشكيلها وتكريرها؛ وفي المراحل النهائية، يتم تجميع المنتج وتغليفه. تتيح تقنية CulTrace للباحثين إلقاء نظرة داخل كل مرحلة من مراحل هذا المصنع ليروا بالضبط ما الذي يركز عليه النموذج في كل خطوة. وقد وجدوا أن النموذج لا يقفز ببساطة إلى الإجابة، بل يتبع مسارًا محددًا: أولاً، يحدد الموضوع العام للسؤال، ثم يحاول تحديد الثقافة المعنية، وأخيرًا، يضيق النطاق للوصول إلى الإجابة الصحيحة.
اختبر الباحثون هذه الطريقة على ثلاثة نماذج لغوية شائعة مختلفة باستخدام أسئلة حول عشر ثقافات متميزة، تتراوح من كوريا الجنوبية وإسبانيا إلى إثيوبيا والجزائر. وقد طرحوا على النماذج أسئلة حول المعرفة الثقافية اليومية، مثل أنواع الوجبات الخفيفة الشائعة في مراكز التسوق في كوريا الجنوبية أو المشروبات التقليدية المرتبطة بمناطق معينة. ومن خلال فك تشفير الإشارات الداخلية للنموذج عند كل طبقة، استطاعوا مشاهدة عملية الاستنتاج وهي تتكشف في الوقت الفعلي. وما اكتشفوه هو نمط ثابت لكيفية تعامل هذه النماذج مع المعلومات الثقافية. فالنماذج تبدأ دائمًا بفهم الموضوع العام، مثل "الطعام" أو "العطلات". ثم تنتقل إلى تحديد الثقافة. ومع ذلك، هنا تصبح العملية فوضوية في كثير من الأحيان. فقبل الاستقرار على الثقافة الصحيحة، غالبًا ما تهيم هذه النماذج في منطقة ثقافة مجاورة أو مشابهة. فعلى سبيل المثال، عندما تُسأل عن الجزائر، قد يفكر النموذج أولاً في شمال أفريقيا أو فرنسا. وعندما تُسأل عن إيران، قد يفكر في البداية في منطقة الشرق الأوسط الأوسع.
هذا الميل نحو الانجراف نحو ثقافة "افتراضية" أو مجاورة هو المكان الذي تبدأ فيه الأخطاء غالبًا. أظهرت الدراسة أنه بالنسبة للثقافات الممثلة جيدًا مثل الولايات المتحدة أو الصين أو كوريا الجنوبية، يحدد النموذج الثقافة الصحيحة بسرعة نسبيًا، وغالبًا في الطبقات الوسطى من معالجته. ولكن بالنسبة للثقافات التي تظهر بشكل أقل تكرارًا في بيانات التدريب، مثل الجزائر أو أذربيجان، يستغرق النموذج وقتًا أطول بكثير للعثور على السياق الثقافي الصحيح؛ حيث يقضي وقتًا أطول عالقًا في المراحل الأولى المرتبكة، وغالبًا ما يعود إلى تسمية إقليمية عامة أو ثقافة يبدو أن النموذج يفضلها افتراضيًا، مثل اليابان لأحد النماذج التي تم اختبارها. وهذا يشير إلى أن التحيز ليس مجرد خطأ نهائي في المخرجات، بل هو مشكلة جوهرية في كيفية استرجاع النموذج للمعرفة الثقافية وتكريرها أثناء معالجته الداخلية. فالنموذج لا يقوم بمجرد التخمين، بل هو يقوم بعملية استنتاج نشطة، لكن مسار استنتاجه أطول وأكثر عرضة للارتباك بالنسبة للثقافات الأقل تمثيلًا.
إن التداعيات لهذا الاكتشاف كبيرة جدًا لكيفية بناء ذكاء اصطناعي أفضل. فإذا كانت المشكلة تكمن في أن النموذج يعلق في "حي ثقافي" خاطئ خلال المراحل الوسطى من تفكيره، فإن إصلاح الإجابة النهائية ليس كافيًا. يقترح الباحثون أن التحسينات يجب أن تحدث في مرحلة مبكرة من العملية، وتحديدًا في الطبقات التي يحاول فيها النموذج تحديد السياق الثقافي. ومن خلال فهم أين وكيف يرتبك هذه النماذج بالضبط، يمكن للمطورين توجيه جهود التدريب الخاصة بهم بدقة أكبر. فبدلاً من مجرد تعليم النموذج الإجابة الصحيحة، يمكنهم مساعدته على تعلم تحديد الثقافة الصحيحة في وقت أقرب وتجنب المسارات التي تؤدي إلى الخطأ في النسب. إن هذا العمل ينقل المجال إلى ما وراء مجرد التحقق مما إذا كان النموذج صحيحًا أم خاطئًا، حيث يقدم خريطة واضحة لكيفية بناء المعرفة الثقافية، وتكريرها، وفقدانها أحيانًا داخل الطبقات المعقدة للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.