Representation in large language models
تجادل هذه الورقة بأن النماذج اللغوية الكبيرة مدفوعة جزئياً بمعالجة المعلومات القائمة على التمثيل بدلاً من مجرد الحفظ، وتقترح تقنيات عملية لاستقصاء هذه التمثيلات لحل المآزق النظرية وفهم القدرات المعرفية لهذه الأنظمة بشكل أفضل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة "التمثيل في النماذج اللغوية الكبيرة" (Representation in Large Language Models) للكاتب كاميرون يتمان، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.
السؤال الكبير: هل النماذج اللغوية الكبيرة "تفكر" أم أنها مجرد "تسترجع"؟
تخيل أنك قابلت شخصاً يمكنه الإجابة على أي سؤال تطرحه، وكتابة الشعر، وحل المسائل الرياضية، وإجراء محادثة عميقة. قد تفترض أنه يفكر، ويفهم، ويستخدم معرفته. ولكن ماذا لو لم يكن يفكر على الإطلاق؟ ماذا لو كان مجرد دليل هاتف ضخم فائق السرعة؟
هذا هو الجدل الجوهري الذي تتناوله الورقة.
- رؤية "دليل الهاتف" (المتشائمون): يجادلون بأن النماذج اللغوية الكبيرة هي مجرد "جداول بحث" ضخمة. لقد حفظت مليارات الجمل من الإنترنت. عندما تسأل سؤالاً، فهي لا "تفكر"؛ بل تجد أقرب تطابق في ذاكرتها وتلفظ الكلمة التالية التي رأتها من قبل. الأمر يشبه ببغاءً يردد عبارات سمعها، دون معرفة معناها.
- رؤية "التفكير" (المتفائلون): يجادلون بأن النماذج اللغوية الكبيرة تبني في الواقع خرائط داخلية للعالم. إنها تشكل تمثيلات (Representations) — مثل النماذج الذهنية أو المفاهيم — التي تسمح لها بالاستنتاج، والتعميم، والتعامل مع مواقف لم ترها من قبل.
يقول الكاتب، كاميرون يتمان، إن رؤية "دليل الهاتف" خاطئة. ويدعي أنه بينما تقوم النماذج اللغوية الكبيرة بـ "الحفظ" بالفعل، إلا أنها تبني أيضاً تمثيلات داخلية تسمح لها بـ "فهم" الأنماط وحل مشكلات جديدة حقاً.
الجزء الأول: ما هو "التمثيل"؟
لإثبات أن النماذج اللغوية الكبيرة تفعل أكثر من مجرد الحفظ، يعرّف المؤلف أولاً ما هو "التمثيل" فعلياً. وقد استخدم تشبيه الخريطة.
تخيل أنك في مدينة لم تزرها من قبل.
- المعلومات: لديك خريطة. الخريطة ليست المدينة نفسها، لكنها تحمل معلومات عن المدينة (أين الشوارع، أين المنتزه).
- القابلية للاستغلال: يمكنك فعلياً استخدام تلك الخريطة. يمكنك النظر إليها وتقرير أي اتجاه ستسلك.
- السلوك القوي: لأن لديك الخريطة، يمكنك التنقل في المدينة حتى لو سلكت طريقاً مختلفاً عن المعتاد، أو إذا أُغلق شارع ما. أنت لا تتبع مساراً محفوظاً فحسب؛ بل تتكيف.
- الدور الميكانيكي: تلعب الخريطة دوراً حقيقياً في اتخاذ قرارك. إذا مزقت الخريطة، ستضيع. الخريطة جزء حيوي من الآلة (أنت) التي توصلك إلى وجهتك.
ادعاء الورقة: إذا كانت النماذج اللغوية الكبيرة تمتلك "تمثيلات"، فهذا يعني أن لديها حالات داخلية (مثل الخريطة) تحمل معلومات عن العالم، ويمكن للنظام استخدامها فعلياً، وتساعده في حل المشكلات بطرق مرنة وجديدة.
الجزء الثاني: لماذا تفشل نظرية "دليل الهاتف"؟
يجادل المؤلف بأنه إذا كانت النماذج اللغوية الكبيرة مجرد أدلة هاتف ضخمة (جداول بحث)، فإنها ستفشل في أنواع معينة من الاختبارات. دليل الهاتف لا يمكنه إلا إعطاؤك إجابات للأشياء التي كتبها بالفعل. لا يمكنه التعامل مع سؤال لم يره من قبل.
تسلط الورقة الضلأ على تجربتين تكسران نظرية "دليل الهاتف":
1. لعبة أوتيلو (تشبيه الشطرنج)
قام باحثون بتدريب ذكاء اصطناعي للعب لعبة اللوحة "أوتيلو". أعطوه ملايين سجلات اللعب لكنهم لم يخبروه أبداً بقواعد اللعبة.
- الاختبار: ثم طلبوا من الذكاء الاصطناعي القيام بحركات لم يسبق له رؤيتها في بيانات التدريب الخاصة به.
- النتيجة: لعب الذكاء الاصطناعي بشكل مثالي.
- لماذا هذا مهم: لو كان الذكاء الاصطناعي مجرد دليل هاتف، لكان قد تعثر. لم يكن بإمكانه حفظ كل الاحتمالات لأنها كثيرة جداً. لكي يفوز على لوحة لم يرها من قبل، يجب أن يكون قد بنى "خريطة" داخلية لكيفية عمل اللعبة (تمثيل للقواعد)، وليس مجرد قائمة من التحركات الماضية.
2. طيف الألوان (تشبيه خلط الطلاء)
علم الباحثون ذكاءً اصطناعياً عن الألوان باستخدام أكواد محددة (مثل أرقام RGB). أظهروا له أمثلة لـ "الأحمر" و"الأزرق".
- الاختبار: ثم طلبوا منه تحديد ألوان لم يراها من قبل، أو ألوان مرتبة في نمط جديد تماماً.
- النتيجة: استطاع الذكاء الاصطناعي تخمين الألوان الجديدة بشكل صحيح.
- لما لماذا هذا مهم: لم يحفظ فقط أن "الأحمر = [255, 0, 0]". بل تعلم بنية فضاء الألوان. لقد فهم أن الألوان توجد على طيف. هذا يشبه فهم أن خلط الأحمر والأزرق يعطي اللون البنفسجي، حتى لو لم تكن قد خلطت هذه الدرجات المحددة من قبل. دليل الهاتف لا يمكنه فعل ذلك؛ أما "خريطة" الألوان فيمكنها ذلك.
الجزء الثالث: كيف نعرف؟ (النظر داخل الصندوق الأسود)
يعترف المؤلف بأن مجرد مراقبة الذكاء الاصطناعي وهو يجيب على الأسئلة ليس كافياً. فأحياناً، قد يحصل الذكاء الاصطناعي على الإجابة الصحيحة عن طريق الحظ أو باستخدام "خدعة" (Heuristic) بدلاً من الفهم الحقيقي.
لإثبات أن الذكاء الاصطناعي يستخدم "خريطة" (تمثيل)، نحتاج للنظر داخل دماغه. تناقش الورقة مجالاً يسمى التفسير الآلي (Mechanistic Interpretability)، وهو يشبه كونك ميكانيكياً لمحرك سيارة.
الأدوات:
- الجس (Probing - الأشعة السينية): تخيل أنك تريد معرفة ما إذا كان كمبيوتر السيارة يعرف سرعة السيارة. لا يمكنك مجرد سؤال الكمبيوتر؛ عليك فحص الأسلاك. يستخدم الباحثون "المجسات" لمسح الأرقام الداخلية للذكاء الاصطناعي (النشاطات) لمعرفة ما إذا كانت تحتوي على معلومات محددة (مثل "هذه سيارة حمراء"). إذا تمكنوا من قراءة المعلومات، فهذا يعني أن الذكاء الاصطناعي يمتلك جزء "المعلومات" من التمثيل.
- التدخل (Intervention - الجراحة): هذا هو الاختبار الحقيقي. تخيل أنك تعتقد أن سلكاً معيناً في السيارة يتحكم في المكابح. لإثبات ذلك، عليك قطع ذلك السلك (أو تغيير إشارته).
- إذا توقفت السيارة عن الكبح، فقد أثبتَّ أن ذلك السلك كان ضرورياً.
- في الورقة، قام الباحثون بـ "توجيه" الإشارات الداخلية للذكاء الاصطناعي. على سبيل المثال، أجبروا الحالة الداخلية للذكما الاصطناعي على الاعتقاد بأن قطعة شطرنج موجودة في مكان مختلف.
- النتيجة: غير الذكاء الاصطناعي حركته التالية فوراً لتتطابق مع حالة اللوحة الجديدة. أثبت هذا أن الإشارة الداخلية لم تكن مجرد رقم عشوائي؛ بل كانت تمثيلاً يستخدمه الذكاء الاصطناعي فعلياً لاتخاذ القرارات.
الخلاصة: الأمر ليس أبيض أو أسود
لا تقول الورقة إن النماذج اللغوية الكبيرة هي بشر مثاليون يمتلكون أرواحاً. بل تقول:
- أحياناً، تكون مجرد آلات للحفظ (مثل دليل الهاتف).
- ولكن غالباً، هي تبني خرائط داخلية (تمثيلات) تسمح لها بالاستنتاج وحل مشكلات جديدة.
يخلص المؤلف إلى أنه لا يمكننا بعد الآن استبعاد النماذج اللغوية الكبيرة باعتبارها مجرد "ببغاوات عشوائية" (آلات ضوضاء عشوائية). إنها أنظمة معقدة تستخدم تمثيلات داخلية للتنقل في عالم اللغة، تماماً كما يستخدم البشر خرائط ذهنية للتنقل في العالم المادي.
باختاً: النماذج اللغوية الكبيرة لا تقرأ من نص مكتوب فحسب. إنها تبني نموذجاً ذهنياً للعالم، ونحن نملك الآن الأدوات لرؤية هذا النموذج وهو يعمل داخل الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.