Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
تقيّم هذه الدراسة استخدام نماذج اللغات الكبيرة مفتوحة المصدر لترميز المقابلات مع الناجين من عنف الأسلحة النارية، وتجد أنه على الرغم من إظهارها لإمكانات في تحديد رموز محددة، إلا أن صلتها الإجمالية منخفضة، وحساسيتها العالية لمعالجة البيانات، كما أنها تعوق بشكل كبير بسبب الضوابط التي تمحو السرديات الحرجة، مما يسلط الضوء على قيود أخلاقية وعملية جوهرية في تطبيق الذكاء الاصطناعي في الأبحاث المتعلقة بالمجتمعات المهمشة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة مليئة بـ 21 كتاباً قصصياً ثقيلاً جداً ومؤثراً عاطفياً. هذه ليست قصصاً خيالية؛ بل هي مقابلات حقيقية مع شباب سود نجوا من التعرض لإطلاق النار. يتحدثون فيها عن آلامهم، ومخاوفهم، وعلاقاتهم، وكيف يرون العالم.
يريد الباحثون قراءة هذه الكتب لفهم كيفية وقف عنف الأسلحة. لكن قراءة وتنظيم هذه القصص يدوياً يشبه محاولة تحريك جبل بملعقة. الأمر يستغرق وقتاً طويلاً، وهو مرهق، ولا يوجد سوى عدد محدود من الباحثين الذين يمتلكون ملاعق.
لذا، سأل الباحثون: "هل يمكننا استخدام روبوت فائق الذكاء (ذكاء اصطناعي) لقراءة هذه الكتب، وتلخيصها، وإيجاد المواضيع المهمة لنا؟"
هذه الورقة البحثية هي "تقرير الدرجات" لهذه التجربة. إليك ما وجدوه، مشروحاً ببساطة:
1. الروبوت مقابل الإنسان
أقام الباحثون سباقاً بين المُرمّزين البشريين (بشر حقيقيون) والمُرمّزين الآليين (نماذج الذكاء الاصطناعي).
- البشر: قرأوا القصص بعناية. فهموا العامية، والألم، والسياق. استغرقوا حوالي 35 ساعة للقيام بالمهمة. ووجدوا 11 موضوعاً رئيسياً (مثل "الذكورة"، و"عنف المجتمع"، و"الصدمة").
- الروبوتات: كان الذكاء الاصطناعي أسرع بكثير، حيث استغرق بضع ساعات فقط. لكن هنا تكمن المشكلة: كان الذكاء الاصطناعي مثل روبوت لم يقابل بشراً من قبل. لقد ارتبك بسبب العامية، وشعر بالخوف من الأجزاء الحزينة، وغالباً ما كان يختلق أشياء من عنده.
2. مشكلة "حارس الروبوت" (المشكلة الأكبر)
تخيل أن لدى الذكاء الاصطناعي "حارساً أمنياً" صارماً يقف بجانبه. مهمة هذا الحارس هي منع الذكاء الاصطناعي من قول أي شيء سيء أو عنيف.
المشكلة هي أن الحارس كان حساساً أكثر من اللازم.
- عندما تحدث أحد الناجين عن تعرضه لإطلاق النار، قال الحارس: "توقف! هذا عنيف للغاية!" وحجب القصة.
- عندما تحدثوا عن مشاعرهم أو استخدموا اللغة الإنجليزية الأفريقية الأمريكية (العامية)، قال الحارس: "توقف! هذا غير لائق!" وحجب القصة أيضاً.
النتيجة: قام الذكاء الاصطناعي بـ "محو" حوالي 44% من القصص. لقد رفض التحدث عن الأشياء التي كان الباحثون بحاجة لفهمها حقاً: الصدمة، والعرق، والعنف. كان الأمر كأنك تحاول دراسة العاصفة عبر النظر إلى السحب فقط، بينما يرفض الحارس السماح لك بالنظر إلى المطر.
3. فخ "الهلوسة"
عندما حاول الذكاء الاصطناعي كتابة المواضيع، كان أحياناً يختلق أشياء من عنده.
- الإنسان: سمع قصة عن شجار وكتب: "صراع يؤدي إلى إصابة".
- الذكاء الاصطناعي: سمع القصة نفسها وكتب: "انتماء لعصابة" (رغم أن الشخص لم يذكر عصابة أبداً) أو "استخدام الإنترنت" (لأنهم ذكروا أغنية في الراديو).
الأمر يشبه طالباً لم يذاكر للاختبار ولكنه خمن الإجابات. أحياناً كان يحالفه الحظ، لكنه في كثير من الأحيان كان مجرد تخمين بناءً على الأنماط، وليس بناءً على الواقع.
4. تجربة "التجميع"
حاول الباحثون إصلاح قائمة التخمينات الفوضوية للذكاء الاصطناعي باستخدام أداة لـ "تجميع" الأفكار المتشابهة معاً (مثل فرز كومة فوضوية من قطع الليغو في صناديق).
- هل ساعد ذلك؟ نعم، جعل القائمة أقصر.
- هل أصلح الأخطاء؟ لا. لقد قام فقط بتجميع التخمينات الخاطئة معاً. كان الأمر كأنك تضع كل قطع الليغو المكسورة في صندوق مكتوب عليه "سيارات". بدا الأمر منظماً، لكنه كان لا يزال خاطئاً.
5. الحكم النهائي: سريع ولكن معيب
خلصت الدراسة إلى أنه بينما يعد الذكاء الاصطناعي سريعاً، فإنه حالياً ليس موثوقاً بما يكفي لهذه المهمة المحددة.
- التكلفة: وفر استخدام الذكاء الاصطناعي الوقت، لكن الباحثين اضطروا لقضاء وقت أطول لاحقاً في مراجعة عمل الذكاء الاصطناعي لإصلاح أخطائه وملء الفجوات حيث رفض الذكاء الاصطناعي التحدث.
- التحيز: كان الذكاء الاصطناعي متحيزاً ضد اللهجة المحددة (الإنجليزية الأفريقية الأمريكية) والصدمة المحددة (عنف الأسلحة) لهؤلاء الرجال. لقد عامل آلامهم كـ "محتوى غير آمن" بدلاً من كونها بيانات مهمة.
تشبيه الصورة الكبيرة
فكر في الذكاء الاصطناعي كـ مترجم سريع جداً وحرفي جداً يخاف من الظلام.
- إذا طلبت منه ترجمة قصة مخيفة، فقد يتخطى الأجزاء المخيفة لأنه خائف.
- إذا تحدثت بلهجة محلية، فقد يفهمك بشكل خاطئ ويترجم "أنا جائع" على أنها "أنا طائر".
- يمكنه القيام بالمهمة في 5 دقائق، لكن القصة التي يرويها لك تفتقد لأهم الأجزاء.
الخلاصة:
لا يمكننا تسليم مفاتيح الأبحاث الحساسة والمؤلمة لروبوت بعد. فالروبوت يخاف بسهولة شديدة، ويرتبك بسهولة شدة بسبب العامية، ويميل بشدة إلى اختلاق الأشياء. نحن لا نزال بحاجة إلى قلوب وعقول بشرية لفهم الألم البشري، حتى لو استغرق الأمر وقتاً أطول. الذكاء الاصطناعي أداة مفيدة، لكنه حالياً أداة تحتاج إلى الكثير من الإشراف، خاصة عند التعامل مع المجتمعات المهمشة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.