QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models
تقدم هذه الورقة QSTN، وهو إطار عمل مفتوح المصدر بلغة بايثون ذو واجهة بدون كود مصمم لتوليد استجابات الاستبيانات القائمة على النماذج اللغوية الكبيرة بشكل منهجي وتقييمها بمتانة، مما يثبت أن بنية المطالبة وطرق التوليد تؤثر بشكل كبير على التوافق مع الإجابات البشرية مع تقليل تكاليف الحوسبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك باحث يحاول فهم مشاعر الناس تجاه السياسة، أو ربما تحتاج إلى تصنيف آلاف الصور لمشروع رؤية حاسوبية. تقليديًا، سيتعين عليك توظيف بشر حقيقيين لملء الاستبيانات أو القيام بعملية التصنيف. هذا الأمر مكلف، بطيء، وصعب الإدارة.
هنا يأتي دور النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية للغاية. بدأ الباحثون في استخدام الذكاء الاصطوي كـ "بشر مزيفين" لملء هذه الاستبيانات بشكل فوري. ولكن هناك عقبة: الذكاء الاصطناعي هش للغاية.
إذا سألت الذكاء الاصطناعي نفس السؤال ولكن قمت بتغيير ترتيب الإجابات من "أ، ب، ج" إلى "ج، ب، أ"، فقد يعطي إجابة مختلفة تمامًا. إذا سألته دفعة واحدة مقابل سؤاله واحدًا تلو الآخر، فسوف يتصرف بشكل مختلف. الأمر يشبه محاولة قياس درجة حرارة غرفة باستخدام ميزان حرارة يغير رأيه في كل مرة تحركه فيها ثلاث بوصات إلى اليسار.
هنا يأتي دور QSTN (يُنطق "كويستن") للإنقاذ. فكر في QSTN على أنه "سكين سويسري لاستبيانات الذكاء الاصطناعي".
ما هو QSTN؟
QSTN هو مجموعة أدوات مجانية ومفتوحة المصدر (مجموعة من الأدوات الحاسوبية) تساعد الباحثين على استخدام الذكاء الاصطناعي للإجابة على الاستبيانات بطريقة قوية، وموثوقة، ورخيصة.
إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:
1. "لعبة الفراغات" لتصميم الاستبيان (اضطراب المحفزات - Prompt Perturbation)
تخيل أنك تختبر وصفة جديدة. إذا تذوقتها مرة واحدة فقط، فقد تكون محظوظًا. ولكن إذا تذوقتها مع إضافة الملح أولًا، ثم مع إضافة الملح في النهاية، ثم مع مضاعفة الملح، فستحصل على صورة حقيقية لكيفية عمل الوصفة.
يقوم QSTN بهذا الأمر للذكاء الاصطناعي. فهو يقوم تلقائيًا بإنشاء آلاف "النسخ" من سؤال الاستبيان نفسه:
- خلط الأوراق: يقوم بتغيير ترتيب الأسئلة عشوائيًا حتى لا يقوم الذكاء الاصطناعي بمجرد التخمين بناءً على ما جاء في النهاية.
- تغيير الملصقات: يستبدل "أ، ب، ج" بـ "1، 2، 3" أو حتى "أحمر، أخضر، أزرق" ليرى ما إذا كان الذكاء الاصطناعي منحازًا للحرف "أ".
- إضافة أخطاء مطبعية: يتعمد وضع أخطاء إملائية صغيرة ليرى ما إذا كان الذكاء الاصطناعي سيصاب بالارتباك أم سيظل ذكيًا.
من خلال تشغيل الاستبيان عبر كل هذه "الالتواءات والمنعطفات"، يخبرك QSTN: "هل هذا الذكاء الاصطناعي ذكي حقًا، أم أنه يكتفي بالتخمين فقط بناءً على كيفية طرحك للسؤال؟"
2. "الدردشة الجماعية" مقابل "واحد لواحد" (عرض الاستبيان)
كيف تسأل الذكاء الاصطناعي الأسئلة؟
- "واحد لواحد" (العنصر المنفرد): تسأل السؤال الأول، تحصل على الإجابة، ثم تبدأ محادثة جديدة تمامًا، وتسأل السؤال الثاني. هنا لا يملك الذكاء الاصطناعي ذاكرة للسؤال الأول.
- "الدردشة الجماعية" (المجموعة): تطرح جميع الأسئلة العشرة في رسالة واحدة كبيرة، ويجيب الذكاء الاصطناعي عليها جميعًا في وقت واحد، متذكرًا سياق الأسئلة السابقة.
اختبر QSTN هذا على أكثر من 40 مليون استجابة استبيان مزيفة. ووجدوا نتيجة مفاجئة: طرح جميع الأسئلة دفعة واحدة (الدردشة الجماعية) يجعل الذكاء الاصطناعي يتصرف بشكل يشبه البشر الحقيقيين في كثير من الأحيان ويوفر قدرًا هائلًا من المال ووقت الكمبيوتر. الأمر يشبه أن تطلب من صديق كتابة قائمة بـ 10 عناصر للبقالة دفعة واحدة، بدلًا من الاتصال به 10 مرات منفصلة لتسأله عن عنصر واحد في كل مرة.
3. "حلقة فك الرموز السحرية" (توليد الاستجابة)
أحيانًا تريد فقط من الذكاء الاصطناعي أن يقول "نعم" أو "لا". لكن الذكاء الاصطناعي يحب الثرثرة. يمنحك QSTN "أنماطًا" مختلفة لإجبار الذكاء الاصطناعي على أن يكون دقيقًا:
- نمط "المدير الصارم": يجبر الذكاء الاصطناعي على الاختيار فقط من الخيارات المتاحة (مثل ورقة الإجابات متعددة الخيارات).
- نمط "مقياس الثقة": بدلاً من مجرد اختيار إجابة، يخبرك الذكاء الاصطناعي بـ احتمالية كل إجابة (على سبيل المثال: "أنا متأكد بنسبة 80% أنها أ، و10% ب، و10% ج"). وقد تبين أن هذا النمط دقيق للغاية ويتماشى بشكل أفضل مع بيانات البشر الحقيقيين.
لماذا يجب أن تهتم؟
قبل QSTN، كان استخدام الذكاء الاصطناعي للاستبيانات يشبه قيادة سيارة بدون عجلة قيادة — يمكنك الانطلاق بسرعة، لكنك لا تستطيع التحكم في وجهتك.
- للباحثين: يجعل عملهم قابلًا للتكرار. إذا قالوا: "ذكاؤنا الاصطناعي يعتقد أن الناس يحبون س"، فإن QSTN يثبت أنهم تحققوا مما إذا كان الذكاء الاصطناعي منحازًا فقط بسبب صيغة السؤال.
- للجميع: يعني هذا أن البيانات التي نحصل عليها من محاكاة الذكاء الاصطناعي أكثر موثوقية. سواء كان ذلك للتنبؤ بنتائج الانتخابات أو لفهم علم النفس البشري، يساعد QSTN في ضمان أن الذكاء الاصطناعي لا يقوم فقط بـ "هلوسة" الإجابات.
الجزء الأفضل؟
لست بحاجة لأن تكون عبقريًا في البرمجة لتستخدمه. لقد بنى المبتكرون واجهة مرئية (مثل نموذج موقع إلكتروني) حيث يمكنك رفع الاستبيان الخاص بك، والنقر على بضعة أزرار لـ "خلط الأمور" (إضافة الاضطرابات)، ثم الضغط على "تشغيل". إنه يشبه امتلاك مختبر استبيانات احترافي في متصفحك، دون الحاجة إلى كتابة سطر برمجي واحد.
باخت اختصار: QSTN هو الأداة التي تمنع الذكاء الاصطناعي من أن يكون "متقلب المزاج" (Diva) الذي يغير رأيه بناءً على كيفية طرحك للسؤال، وتحوله إلى مساعد بحث موثوق ومتسق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.