🤖 AI

LLMbench: A Comparative Close Reading Workbench for Large Language Models

تقدم هذه الورقة LLMbench، وهو منضدة عمل قائمة على المتصفح مصممة للعلوم الإنسانية الرقمية تسهل القراءة الفاحصة المقارنة لمخرجات النماذج اللغوية الكبيرة من خلال تصور الاحتمالات اللوغاريتمية على مستوى الرموز (tokens) والبنى الاحتمالية عبر تراكبات وأنماط تحليلية فريدة، مما يعامل النص المُولد ككائن بحثي نقدي للكشف عن إمكاناته الواقعية المضادة.

المؤلفون الأصليون: David M. Berry

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: David M. Berry

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ قصة كتبها روبوتان مختلفان من الذكاء الاصطناعي. تسأل كلاهما: "حدثني عن هذا الكتاب القديم"، فيكتب كلاهما فقرة. بالنسبة للقارئ العادي، أنت ترى فقط الكلمات النهائية على الصفحة. لكن بالنسبة لعالم الحاسوب، هذه الكلمات ليست سوى قمة جبل الجليد.

تقدم هذه الورقة البحثية LLMbench، وهو "منصة عمل" رقمية خاصة (مثل مجهر عالي التقنية) تتيح للباحثين النظر تحت الغطاء لكيفية كتابة الذكاء الاصطناعي. فبدلاً من مجرد قراءة القصة، تتيح لك رؤية أشباح القصص التي كادت أن تحدث.

إليك شرح بسيط لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية:

1. الفكرة الجوهرية: "الطريق الذي لم يُسلك"

عندما يكتب الذكاء الاصطناعي جملة، فهو لا "يعرف" الكلمة التالية فحسب. بل هو في الواقع يقوم برمي نردٍ ذي أوزان احتمالية.

التشبيه: تخيل أنك تسير في طريق. عند كل خطوة، ينظر الذكاء الاصطناعي إلى مفترق طرق. قد يرى 10 مسارات مختلفة. 9 منها موحلة وغير مرجحة، لكن مساراً واحداً واضح جداً. هو يختار المسار الواضح.
المشكلة: معظم الأدوات تظهر لك فقط المسار الذي اختاره الذكاء الاصطناعي. هي لا تظهر لك المسارات التسعة الموحلة التي تجاهلها.
الحل: يظهر لك LLMbench جميع المسارات. إنه يكشف عن "التوزيع الاحتمالي" — خريطة لكل كلمة فكر فيها الذكاء الاصطناعي ومدى احتمالية اختياره لكل منها.

2. الميزة الرئيسية: "الخريطة الحرارية" لعدم اليقين

يقوم الأداة بوضع استجابتين من الذكاء الاصطناعي جنباً إلى جنب (مثل مقارنة مقالين لطالبين). لكنها تضيف طبقة "خريطة حرارية" خاصة.

التشبيه: فكر في النص كطريق.
- المناطق الزرقاء/الخضراء: كان الذكك الاصطناعي متأكداً بنسبة 100%. كان يسير على طريق سريع ممهد. "القط جلس على الـ..." -> عرف أن الكلمة التالية هي "سجادة".
- المناطق الحمراء/البرتقالية: كان الذكاء الاصطناعي مرتبكاً أو يخمن. كان واقفاً عند مفترق طرق مع 50 لافتة مختلفة. "القط جلس على الـ..." -> كان حائراً بين "سجادة"، "أرضية"، "كرسي"، "بساط"، و"أريكة".
لماذا يهم هذا: إذا رأيت بقعة حمراء، فهذا يعني أن الذكنا الاصطناعي كان "يرمي النرد" هناك. إذا رأيت بقعة زرقاء، فقد كان يكرر حقيقة فقط. هذا يساعد الباحثين في معرفة أين يكون الذكاء الاصطناعي مبدعاً (أو يهلوِس) مقابل أين يقوم فقط بتكرار الأنماط.

3. مشاهد "آلة الزمن"

تمتلك الأداة طرقاً مختلفة لتصور هذه البيانات، مثل النظر إلى منظر طبيعي من زوايا مختلفة:

الخط البياني (Sparkline): خط متعرج يوضح مدى "ارتباك" الذكاء الاصطناسي أثناء كتابة القصة. القمم العالية تعني أن الذكاء الاصطناعي كان يعاني لاتخاذ القرار؛ والخطوط المستوية تعني أنه كان يسير بسلاسة.
خريطة البكسل (Pixel Map): شبكة من النقاط الملونة. إنها تشبه النظر إلى مدينة من مروحية. يمكنك فوراً رؤية الأجزاء التي كانت "ضبابية" (غير مؤكدة) والأجزاء التي كانت "واضحة" في المقال.
التضاريس ثلاثية الأبعاد (3D Terrain): تخيل أن النص عبارة عن سلسلة جبال. السهول المسطحة هي الأماكن التي كان فيها الذكاء الاصطناعي واثقاً. القمم العالية والوعرة هي الأماكن التي كان فيها الذكاء الاصطناعي غير متأكد. يمكنك تدوير هذه الخريطة ثلاثية الأبعاد لرؤية "شكل" تفكير الذكاء الاصطناعي.

4. مقارنة اثنين من الروبوتات

تسمح لك الأداة بمقارنة اثنين من نماذج الذكاء الاصطناعي (مثل Gemini مقابل GPT-4) وهما يجيبان على نفس السؤال.

التشبيه: تخيل طباخين يصنعان نفس الحساء.
- الطباخ (أ) واثق جداً من الملح لكنه يخمن بشكل عشوائي فيما يخص الأعشياء.
- الطباخ (ب) غير متأكد من الملح لكنه واثق جداً من الأعشاب.
- يوضح لك LLMbench بالضبط أين تختلف ثقتهما. رب Al ربما يكون أحد الطباخين "يرمي النرد" على كلمة حاسمة، بينما الآخر يتبع وصفة فقط.

5. لماذا نحتاج إلى هذا؟

حالياً، نحن نحكم على الذكاء الاصطناعي غالباً من خلال الدرجات (مثل درجة الاختبار) أو بسؤال البشر "أي إجابة أفضل؟"

حجة الورقة البحثية: هذا يشبه الحكم على رسام من خلال اللوحة النهائية فقط. LLMbench يتيح لنا دراسة ضربات الفرشاة.
إنه يساعدنا في فهم:
- أين يكذب الذكاء الاصطناعي أو يخمن.
- أين يكون الذكاء الاصطناعي مبدعاً.
- كيف تغير "شخصية" الذكاء الاصطناعي (تدريبه) طريقة اتخاذه للخيارات.

الملخص

LLMbench هي أداة تحول كتابة الذكاء الاصطناعي من "صندوق أسود" (حيث نرى النتيجة فقط) إلى "صندوق زجاجي" (حيث يمكننا رؤية التروس وهي تدور). إنها تتعامل مع مخرجات الذكاء الاصطناعي ليس فقط كنص نهائي، بل كـ لقطة لمليون حالة "ماذا لو" حدثت في جزء من الثانية قبل اختيار الكلمة.

إنها تسمح للباحثين بالقول: "آه، لم يكتفِ الذكاء الاصطناعي باختيار هذه الكلمة لأنها الأفضل؛ بل اختارها لأنها كانت الوحيدة المتبقية على الطاولة بعد رمي النرد". وهذا يساعدنا في فهم الذكاء الاصطناعي ليس فقط كأداة، بل كنظام احتمالي معقد يمكننا قراءته ونقده بالفعل.

بناءً على ورقة "LLMbench: A Comparative Close Reading Workbench for Large Language Models" للباحث ديفيد م. بيري، إليك ملخص تقني مفصل:

1. بيان المشكلة

أدى انتشار النماذج اللغوية الكبيرة (LLMs) إلى وفرة في أدوات التقييم، إلا أن هذه الأدوات هي في الغالب كمية ومركزة على الجوانب الهندسية. تعتمد الأدوات الحالية (مثل LLM Comparator من Google PAIR، وLMSYS Chatbot Arena، وHELM) على تقييمات المستخدمين، ومعدلات الفوز، ومقاييس لوحات الصدارة لتقييم أداء النماذج.

الفجوة: تتعامل هذه الأدوات مع مخرجات النموذج اللغوي ككائن ثابت للتقييم بدلاً من كونه كائناً احتمالياً ناتجاً عن توزيع احتمالي. فهي تفتقر إلى القدرة على "القراءة المتأنية" (وهي ممارسة تأويلية من العلوم الإنسانية الرقمية) التي تستقصي البنية الاحتمالية للنص—وتحديداً "الطرق التي لم تُسلك" (الرموز البديلة/alternative tokens) وعدم اليقين المتأصل في عملية التوليد.
الحاجة: هناك حاة إلى منصة عمل تتعامل مع النص المولد ككائن بحثي في حد ذاته، مما يسمح للباحثين بفحص بيانات الاحتمالية اللوغاريتمية (logprobs) لفهم التاريخ الافتراضي (counterfactual history) للنص (أي ما كان يمكن أن يكون عليه النص).

2. المنهجية وبنية النظام

LLMbench هي منصة عمل قائمة على المتصفح مصممة للقراءة المتأنية المقارنة لمخرجات نموذجين لغويين جنباً إلى جنب. وهي تجسر الفجوة بين التقييم الهندسي والتحليل النصي في العلوم الإنسانية الرقمية (DH).

التقنيات المستخدمة: بُنيت باستخدام Next.js 16 وReact 19، وهي منشورة على Vercel. وتستخدم Vercel AI SDK لتوفير واجهة موحدة عبر مختلف المزودين (Anthropic، OpenAI، Google، Hugging Face، OpenRouter).
الواجهة: تستخدم CodeMirror 6 (ركيزة محررات الأكواد) بدلاً من معالج النصوص. يوفر هذا رؤية "تغريبية" (defamiliarized) للنص، حيث تتعامل معه ككائن للتحليل، كما يدعم التدوين في الهامش (gutter-based annotation).
مصدر البيانات: تعتمد المنهجية الأساسية على بيانات الاحتمالية اللوغاريتمية (logprobs) التي تعيدها واجهات برمجة تطبيقات النماذج (APIs). تكشف هذه البيانات عن أفضل $k$ من الرموز المرشحة واحتمالاتها عند كل خطوة توليد.
إطار التدوين: تتبنى منهجية دراسات الكود النقدي (CCS) (الملاحظة، السؤال، الاستعارة، النمط، السياق، النقد) لتدوين الملاحظات على مخرجات النماذج اللغوية.

3. الميزات والأنماط الرئيسية

تعمل الأداة من خلال قسمين رئيسيين: وضع المقارنة (القراءة المتأنية النوعية) وأنماط التحليل (الفحص التجريبي الكمي).

أ. وضع المقارنة (التحليل جنباً إلى جنب)

يتم عرض استجابتين من نموذجين مختلفين لنفس المطالبة (prompt) في لوحتين متزامنتين مع أربع طبقات تحليلية فوقية:

الاحتمالات (Probs): الطبقة التحليلية الجوهرية. تقوم بوضع خريطة حرارية مستمرة فوق النص بناءً على ثقة الرموز (tokens).
- المرئيات: تتراوح من غير ملون (ثقة عالية) إلى أحمر داكن (اعتلاج/entropy عالٍ أو عدم يقين).
- التنقل: أزرار للانتقال إلى "غير مؤكد" (اعتلاج عالٍ)، و"التفرعات" (خيارات ذات احتمالية منخفضة)، و"التباعد" (حيث اختارت النماذج رموزاً مختلفة).
- المُتفحص (Inspector): عند النقر على رمز ما، يظهر التوزيع الاحتمالي الكامل للبدائل، مما يسمح للمستخدم برؤية "السيناريوهات الافتراضية" (على سبيل المثال، إذا اختار النموذج كلمة "concerning" باحتمالية 11%، فما هي الخيارات الأخرى المتبقية من الـ 89%؟).
- التصورات: تشمل الرسم البياني (خط نبضي للاعتلاج)، والبكسلات (خريطة حرارية ثنائية الأبعاد للنص بالكامل)، والشبكة (تضاريس ثلاثية الأبعاد للاعتلاج).
الاختلافات (Diff): تسلط الضوء على الاختلافات على مستوى الكلمة بين اللوحتين، مما يظهر التباينات في المفردات وصياغة الجمل.
البنية (Struct): تقسم النص إلى جمل مرقمة وتسلط الضابط على روابط الخطاب (مثل "ومع ذلك"، "لذلك") للكشف عن المسار الحجاجي والبنية النحوية.
النبرة (Tone): تطبق نموذج "كين هايلاند" للميتا-خطاب (metadiscourse) لتصنيف الموقف البلاغي (التحوط/Hedges، التأكيد/Boosters، علامات المواقف/Attitude markers، الإشارة للذات/Self-mentions، إلخ)، مما يصور ثقة النموذج وأسلوب تفاعله.

ب. أنماط التحليل (الفحص التجريبي)

تشغل خمسة أنماط تجارب مؤتمتة لقياس سلوك النموذج:

التباين العشوائي (Stochastic Variation): تشغيل نفس المطالبة عدة مرات (من 3 إلى 20 مرة) لقياس تباين المخرجات (تداخل الكلمات، تنوع المفردات).
تدرج درجة الحرارة (Temperature Gradient): تشغيل المطالبة عبر درجات حرارة مختلفة (من 0.0 إلى 2.0) لمراقبة كيف تؤثر العشوائية على طول المخرجات، وتنوعها، وتماسكها.
حساسية المطالبة (Prompt Sensitivity): توليد تغييرات طفيفة تلقائياً على المطالبة (مثل إضافة "من فضلك"، أو تغيير علامات الترقيم) لاختبار مدى هشاشة استجابة النموذج للتغيرات الطفيفة في المدخلات.
احتمالات الرموز (Token Probabilities): نمط مستقل للفحص العميق لتوزيع الاعتلاج (entropy) في استجابة واحدة وثقة الرموز على مستوى التوكن.
التباعد بين النماذج (Cross-Model Divergence): يقيس الفرق بين نموذجين باستخدام تشابه "جاكارد" (Jaccard similarity)، وتداخل الكلمات، والمقاييس الهيكلية (طول الجملة، تنوع المفردات).

4. النتائج ودراسة الحالة

تستعرض الورقة الأداة من خلال مقارنة بين Gemini 2.0 Flash و GPT-4o أثناء استجابتهما لمطالبة حول كتاب إيتالو كالفينو Cybernetics and Ghosts.

النتائج:
- الاعتلاج المتباين: عند نفس موضع الرمز (مثلاً الموضع 26)، أظهر Gemini اعتلاجاً عالياً (2.315 بت، ثقة 11.76%) مع وجود بدائل متعددة متقاربة، بينما أظهر GPT-4o اعتلاجاً أقل (1.567 بت، ثقة 49.27%) مع توزيع أكثر إحكاماً.
- الاختلافات الهيكلية: كشف التنقل عبر "التباعد" (Diverge) عن 281 نقطة اختارت فيها النماذج رموزاً مختلفة، وهو ما ارتبط غالباً باستراتيجيات حجاجية مختلفة (على سبيل المثال، أحد النماذج يستمر في الجملة بينما الآخر ينهيها).
- التباعد المعجمي: أظهرت مقاييس التباعد بين النماذج أن تشابه "جاكارد" كان 22.8% فقط، مما يشير إلى أن النماذج استمدت محتواها من مناطق معجمية مختلفة تماماً رغم وحدة المطالبة.
- الرؤية التأويلية: كشفت الأداة أن "الموضع 26" يعني أشياء خطابية مختلفة لكل نموذج لأن كل منهما صاغ فقراته الافتتاحية بطريقة مختلفة، وهو فارق دقيق لا يمكن رصده عبر مقارنة النصوص التقليدية.

5. المحددات

قيود واجهة برمجة التطبيقات (API): بيانات الاحتمالية اللوغاريتمية ليست متاحة بشكل موحد. نماذج Claude من Anthropic (في وقت كتابة الورقة) وبعض النماذج مفتوحة الأوزان عبر OpenRouter لا توفر هذه البيانات، مما يحد من قدرة طبقة "الاحتمالات" (Probs) على العمل مع بعض النماذج.
مشكلات التقطيع (Tokenization): تستخدم النماذج المختلفة "مقطعات" (tokenizers) مختلفة. وبالتالي، فإن "الموضع 26" في نموذج ما لا يتوافق بالضرورة دلالياً مع "الموضع 26" في نموذج آخر، مما يعقد المقارنة المباشرة على مستوى الرمز.
تقلب النماذج: النماذج التجارية هي "أهداف متحركة" (تتحدث الأوزونات والفلاتر دون إشعار)، مما يجعل المقارنات بمثابة لقطات تاريخية وليست حقائق دائمة.
الملاءمة المنهجية: تم تصميم إطار "هايلاند" للميتا-خطاب للكتابة الأكاديمية؛ لذا فإن تطبيقه على النصوص المولدة بالذكاء الاصطติعي هو أمر تجريبي وقد لا يلتقط بالضراب التعبيرات البلاغية الخاصة بالذكاء الاصطناعي (مثل: "بصفتي نموذج لغة ذكاء اصطناعي...").

6. الأهمية والمساهمة

ممارسة تأويلية جديدة: تقدم LLMbench ما يسمى بـ "التأويلية المقارنة للذكاء الاصطناعي" (Comparative AI Hermeneutics)، وهي ممارسة قراءة تحلل في آن واحد النص المتحقق منه والتوزيع الاحتمالي الذي نشأ منه.
مورد نقدي: تجادل الأداة بأن بيانات الاحتمالية اللوغاريتمية هي مورد غير مستغل في الدراسات النقدية للذكاء الاصطناعي، حيث توفر وسيلة لرؤية "ما كان يمكن أن يكون" وتميز بين العناصر الحتمية والعرضية في التوليد الآلي.
الربط بين التقاليد: نجحت الأداة في دمج تقاليد العلوم الإنسية الرقمية (القراءة المتأنية والتدوين) مع تقاليد الهندسة (الفحص الاحتمالي للنماذج).
الأثر النظري: من خلال تصور "التاريخ الافتراضي" للنص، تتحدى الأداة فكرة مخرجات النماذج اللغوية كأشياء ثابتة، وتؤطرها بدلاً من ذلك كعملية اختيار من سحابة من البدائل شبه المتكافئة، مما يعمق الفهم النقدي للذكاء الاصطناائي التوليدي.