Universal computation is intrinsic to language model decoding
تثبت الورقة البحثية أن عملية فك الترميز ذاتية الانحدار للنماذج اللغوية قادرة بطبيعتها على الحوسبة الشاملة، مما يشير إلى أن التدريب لا يخلق قدرة حوسبية بل يحسن "القابلية للبرمجة" المطلوبة للوصول إلى هذه القدرات الموجودة مسبقاً من خلال اللغة الطبيعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: "جهاز التحكم الشامل" داخل كل نموذج لغوي
تخيل أن لديك آلة كاتبة سحرية فائقة التقنية. يعتقد معظم الناس أن هذه الآلة الكاتبة هي مجرد وسيلة متطورة للغاية لكتابة القصص أو رسائل البريد الإلكتروني. يظنون أنك إذا أردت منها القيام بعملية حسابية، أو لعب الشطرنج، أو تشغيل محاكاة علمية معقدة، فستحتاج إلى "تعليمها" تلك المهارات المحددة من خلال سنوات من التدريب.
تجادل هذه الورقة البحثية بأن الآلة الكاتبة كانت بالفعل حاسوباً خارقاً منذ لحظة بنائها؛ هي فقط لم تكن تعرف كيف تستمع إلى تعليماتك بعد.
لقد أثبت الباحثون أن الطريقة التي "تتحدث" بها النماذج اللغوية (التنبؤ بكلمة تلو الأخرى) هي في الواقع شكل من أشكال الحوسبة الشاملة (Universal Computation). وهذا يعني أنه، من الناحية النظرية، يمكن للنموذج اللغوي تشغيل أي خوارزمية يمكن للحاسوب الحديث تشغيلها.
العصور الثلاثة للحوسبة (الاستعارة)
يقترح المؤلفون أننا ننتقل عبر ثلاثة عصور متميزة لكيفية تفاعل البشر مع الآلات:
عصر الحوسبة البشرية (العصر اليدوي):
تخيل شخصاً يجلس خلف مكتب وأمامه كومة ضخمة من الورق، وقلم رصاص، وكتاب رياضيات. "البرنامج" هو الكتاب، و"الذاكرة" هي الورق، و"المعالج" هو العقل البشري. إنه أمر بطيء، يدوي، وعرضة للخطأ البشري.عصر الحوسبة الصورية (عصر البرمجة):
هذا هو عصر جهاز الكمبيوتر المحمول والهاتف الذكي الخاص بك. لكي تجعلها تعمل، تعين على البشر تعلم "لغة سرية" (أكواد مثل Python أو C++). لا يمكنك ببساطة أن تطلب من الكمبيوتر: "مهلاً، اصنع لي موقعاً إلكترونياً" باللغة الإنجليزية العادية؛ بل يجب عليك إعطاؤه تعليمات رياضية دقيقة وصارمة وخطوة بخلف أخرى.عصر حوسبة النماذج اللغوية (العصر الطبيعي):
هذا هو العصر الذي نعيشه الآن. بدلاً من تعلم كود صارم، نحن نستخدم اللغة الطبيعية (الإنجليزية، الإسبانية، إلخ) كلغة برمجة. يعمل النموذج اللغوي كجسر، يحول أفكارنا البشرية الفوضوية إلى إجراءات حوسبية دقيقة.
الاكتشاف "المذهل": العبقري غير المدرب
إليك الجزء الأكثر إثارة للذهول في هذه الورقة: وجد الباحثون أن حتى النموذج اللغوي "الفارغ" —الذي لم يتم تدريبه على أي بيانات على الإطلاق— قادر على الحوسبة الشاملة.
الاستعارة: البيانو غير الضبط
تخيل بيانو لم يُعزف عليه قط ولم يُعلم الموسيقى أبداً. وجد الباحثون أن هذا البيانو "غير المدرب" لديه القدرة الفيزيائية على عزف أي أغنية كُتبت على الإطلاق. النوتات كلها موجودة، والميكانيكا قادرة على التعامل مع هذا التعقيد.
ومع ذلك، لأن البيانو غير مدرب، فهو لا يعرف كيف يستجيب عندما تقول له: "اعزف موزارت". سيتعين عليك استخدام "كود" غريب ومعقد للغاية (والذي يسمونه injective codebook) لخداع البيانو ليعزف النوتات الصحيحة.
التدريب لا يعطي النموذج "القدرة" على الحوسبة؛ التدريب يعطي النموذج "القدرة" على فهم مطالباتك. التدريب يشبه تعليم عبقري كيف يتحدث الإنجليزية حتى تتمكن من إعطائه الأوامر فعلياً.
لماذا يهم هذا؟
إذا شعرت يوماً بالإحباط لأن ChatGPT فشل في مسألة رياضية أو أخطأ في لغز منطقي، فإن هذه الورقة تقدم منظوراً جديداً.
إنها تشير إلى أن النموذج لم يفشل لأنه "ليس ذكياً بما يكفي" أو لأنه "لا يستطيع التفكير المنطقي". بل فشل بسبب "القابلية للبرمجة" (Programmability). بعبارة أخرى، "دليل التعليمات" (المطالبة الخاصة بك) لم يكن دقيقاً بما يكفي لتفعيل القوة الحوسبية التي كانت موجودة بالفعل داخل النموذج.
الخلاصة: نحن لا نبني "أدمغة" أكثر ذكاءً يوماً بعد يوم؛ نحن نبني "واجهات" أفضل وأفضل للوصول إلى القوة الحوسبية الشاملة الهائلة الموجودة أصلاً في طريقة معالجة هذه النماذج للمعلومات المتسلسلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.