The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach
تقترح هذه الورقة مقياساً يمكن تقديره بكفاءة لقياس القيمة الاقتصادية للمطالبات المقدمة للنماذج اللغوية الكبيرة من خلال تعريفها كمعلومات متبادلة خوارزمية بناءً على تعقيد ليفين-كولموغوروف احتمالي جديد نسبي للنماذج اللغوية الكبيرة ()، والذي يحدد مقدار ما تقلله المطالبة من الجهد الحسابي أو ما تزيد به من احتمالية توليد أثر مستهدف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الاقتصاد الحديث للذكاء الاصطناعي، يبرز نوع جديد من العملات، لا يُقاس بالدولارات أو الرموز البرمجية (tokens)، بل بجودة الأسئلة التي نطرحها. لقد أصبحت النماذج اللغوية الكبيرة محركات قوية قادرة على توليد البراهن، أو كتابة الأكواد، أو تصميم مواد جديدة، ومع ذلك فهي لا تعمل في فراغ؛ بل تتطلب شرارة من إنسان، "تلقينة" (prompt)، لتبدأ عملها. لسنوات طويلة، ركزت الصناعة بشكل حصري تقريبًا على المخرجات: مدى جودة القصة، أو صحة الكود، أو أناقة التصميم. ولكن مع ازدياد قدرة هذه الآلات، يتغير السؤال الاقتصادي المركزي؛ فلم يعد الأمر يتعلق فقط بما يمكن للآلة إنتاجه، بل بالقيمة المتبقية في المدخلات البشرية التي وجهتها. إذا قدم شخص ما تلميحًا، أو نقدًا، أو حلاً جزئيًا، فإلى أي مدى ساعد ذلك المدخل المحدد الآلة فعليًا في الوصول إلى هدفها؟
هذه مشكلة صعبة لأن تلميحًا قصيرًا وذكيًا قد يفوق في قيمته تعليمات طويلة ومسهبة، وتلميحًا خاطئًا قد يكون أسوأ من عدم وجود تلميح على الإطلاق. إن مجرد عد الكلمات أو الحروف في التلقينة يفشل في استيعاب قيمتها الحقيقية. ولحل ذلك، لجأ الباحثون إلى مجال رياضي يسمى نظرية المعلومات الخوارزمية، والتي تقيس تقليديًا تعقيد كائن ما من خلال التساؤل عن مقدار المعلومات اللازمة لوصفه. طرح الباحثون في هذه الدراسة سؤالًا جديدًا: ماذا لو قمنا بقياس التعقيد ليس مقابل كمبيوتر نظري مثالي، بل مقابل نموذج الذكاء الاصطناعي المحدد الذي يقوم بالعمل؟ لقد أدركوا أنه لتقدير مساهمة الإنسان حقًا، يجب علينا مراعاة عملية "التفكير" الخاصة بالآلة نفسها. فالنماذج الحديثة غالبًا ما تتوقف لتوليد سلسلة من الاستدلال قبل إعطاء الإجابة، وقد تعمل التلقينة الجيدة على توفير وقت التفكير على الآلة، أو توجيه تفكيرها نحو مسار أكثر إنتاجية.
طور الباحثون طريقة جديدة لقياس هذه القيمة عبر التعامل مع التلقينة كأداة تقلل من الجهد المطلوب لنجاح الآلة. تخيلوا سيناريو تحاول فيه الآلة إعادة إنشاء نتيجة محددة، مثل برهان رياضي، أولاً بمفردها ثم بمساعدة تلميح من إنسان. وقاموا بقياس الفرق ليس فقط بمدى زيادة احتمالية حصول الآلة على الإجابة الصحيحة، بل بمدى "وقت التفكير" الذي تم توفيره. في إطار عملهم، تُعامل خطوات الاستدلال الداخلي للآلة كمسار عشوائي يجب عليها سلوكه. والتلقينة القيمة هي تلك التي تجعل المسار الصحيح أقصر بكثير أو أكثر وضوحًا، مما يقلل فعليًا من عدد الخطوات التي تحتاج الآلة لاتخاذها للوصول إلى الحل. وقد حددوا هذه القيمة من حيث "تكلفة الرمز" (token cost)، وهي وسيلة لعد الجهد الحسابي الذي تبذله الآلة. فإذا جعلت التلقينة مهمة الآلة أسهل بمرتين، فإنها تستحق قدرًا معينًا من القيمة؛ وإذا جعلتها أسهل بألف مرة، فإن القيمة تكون أعلى بكثير.
لاختبار أفكارهم، أجرى الفريق سلسلة من التجارب باستخدام مجموعة قياسية من مسائل الرياضيات للمرحلة الابتدائية. طلبوا من نموذج لغوي كبير حل هذه المسائل، مع تقديم الخطوة الأولى من الحل له كتلميح في بعض الأحيان، وتركه يبدأ من الصفر في أحيان أخرى. ووجدوا أن مجرد النظر إلى احتمالية حصول النموذج على الإجابة الصحيحة لم يكن كافيًا. ففي عدة حالات، أدى تقديم الخطوة الأولى الصحيحة في البداية إلى جعل الإجابة النهائية تبدو أقل احتمالًا في البداية، لأن النموذج لم يكن قد بدأ بعد في عملية الاستدلال الخاصة به. ومع ذلك، بمجرد السماح للنموذج بـ "التفكير" وتوليد خطوات استدلاله الخاصة، ثبت أن التلميح ذو قيمة هائلة؛ فقد وجه عملية تفكير النموذج بفعالية كبيرة لدرجة أنه وصل إلى الإجابة الصحيحة بشكل أسرع وبجهد أقل بكثير مما لو فعل ذلك بمفرده. أظهر هذا أن القيمة الحقيقية للتلقينة تكمن غالبًا في كيفية تشكيلها للاستدلال الداخلي للآلة، وليس فقط في الكلمات التي تنتجها فورًا.
كشفت الدراسة أيضًا أن قيمة التلقينة ليست رقمًا واحدًا ثابتًا، بل تعتمد على المسار المحدد الذي تسلكه الآلة. فأحيانًا يساعد التلميح الآلة في معظم المواقف، ولكن في حالات نادرة، قد يقودها إلى طريق مسدود. وجد الباحثون أنه من خلال النظر في النتيجة "الوسيطة" — أي النتيجة النموذجية بدلاً من الحالة الأفضل أو الأسوأ — يمكنهم الحصول على مقياس موثوق للقيمة. واكتشفوا أنه بالنسبة لبعض المسائل، كان التلميح الصحيح من إنسان ضارًا أو عديم الفائدة بالنسبة للنموذج المحدد الذي يختبرونه، مما يشير إلى أن ما قد يبدو فكرة جيدة للإنسان قد يكون زائدًا عن الحاجة أو مربكًا للذكاء الاصطناعي. وهذا يسلط الض الضوء على أن قيمة المدخلات البشرية مرتبطة بعمق بالآلة المحددة التي تتحدث إليها وبالطريقة التي تعالج بها تلك الآلة المعلومات.
في نهاية المطاف، يوفر هذا العمل طريقة دقيقة لقياس مساهمة الإنسان في عصر تقوم فيه الآلات بالمهام الشاقة. إنه يتجاوز فكرة أن الآلة هي المبدع الوحيد، ويعترف بأن دور الإنسان هو توفير المسار الأكثر كفاءة عبر الفضاء الشاسع من الاحتمالات. ومن خلال قياس مقدار ما توفره التلقينة من وقت التفكير والجهد الذهني للآلة، يمكننا البدء في فهم القيمة الاقتصادية الحقيقية للتوجيه البشري. لقد أظهر الباحثون أنه يمكن حساب وتقدير هذه القيمة، مما يقدم عدسة جديدة لرؤية الشراكة بين الإنسان والآلة. ومع ازدياد دمج الذكاء الاصطناعي في حياتنا، سيكون فهم قيمة التلقينات التي نقدمها له أمرًا ضروريًا لمعرفة أين يتم العمل الحقيقي ومن يستحق الفضل في النتائج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.