Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?
تقدم هذه الورقة CreditCardQA، وهو معيار للثقافة المالية يعتمد على اتفاقيات بطاقات الائتمان الحقيقية، وتوضح أنه بينما يحسن أسلوب "البرمجة عبر التفكير" (Program-of-Thought) الأداء عبر النماذج اللغوية، فإن إخفاقاتها الأساسية تنبع من سوء تفسير القواعد التعاقدية والحالات الاستثنائية بدلاً من الأخطاء الحسابية، وهو ما يؤثر غالباً بشكل غير متناسب على الأفراد المستضعفين مالياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يكتفي فيه هاتفك بالدردشة معك، بل يساعدك فعلياً في إدارة أموالك. هذا هو الوعد الذي يقدمه الذكاء الاصطناعي (AI)، وتحديداً نوع يسمى النماذج اللغوية الكبيرة (LLMs). فكر في هذه النماذج كـ "قراء خارقين" التهموا كل شيء تقريباً مما كُتب على الإنترنت؛ فهم بارعون في كتابة القصص، والبرمجة، والإجابة على الأسئلة العامة. ولكن عندما يتعلق الأمر بالرياضيات والمنطق، يمكنهم أحياناً التصرف مثل طالب حفظ الإجابات لاختبار تجريبي، لكنه يرتبك عندما تتغير الأرقام قليلاً. تدخل هذه الورقة البحثية إلى ساحة الرهانات العالية في التمويل الشخصي، لتطرح سؤالاً حاسماً: هل تستطيع هذه "النماذج الخارقة للقراءة" حقاً فهم عالم بطاقات الائتمان المربك والممتلئ بالقواعد، أم أنها ستكتفي بالتخمين لتصل إلى خطأ مكلف؟
قدم الباحثون تحدياً جديداً يسمى CREDITCARDQA، وهو بنك اختبار ضخم يضم 1,800 سؤالاً مستخلصاً من اتفاقيات بطاقات ائتمان حقيقية. هذه الاتفاقيات هي العقود ذات الخط الصغير التي توقعها عند الحصول على بطاقة، وهي مليئة بالقواعد المتعلقة بأسعار الفائدة، ورسوم التأخير، والحد الأدنى للدفع. اختبر الفريق نماذج ذكاء اصطناعي متنوعة لمعرفة ما إذا كان بإمكانها العمل كمستشار مالي موثوق. ووجدوا أنه بينما يتحسن الذكاء الاصطناعي، فإنه لا يزال يعاني مع منطق "إذا-إذن" المعقد الخاص بالعقود. الخبر الجيد؟ عندما يُجبر الذكاء الاصطناعي على كتابة برنامج حاسوبي لحل المسألة الرياضية (وهي طريقة تسمى "التفكير عبر البرمجة" - Program-of-Thought) بدلاً من مجرد الدردشة حول الإجابة، فإنه يصبح أكثر ذكاءً بشكل ملحوظ. ومع ذلك، تحذر الدراسة أيضاً من أن نماذج الذكاء الاصطناعي هذه غالباً ما تغفل عن التفاصيل الصغيرة والخطيرة — مثل رسوم الجزاء عن الدفع المتأخر — التي قد تضر الأشخاص الأقل امتلاكاً للمال أكثر من غيرهم.
قصة الورقة البحثية: بطاقات الائتمان، الارتباك، والبرمجة
الإعداد: اختبار للذكاء المالي
قام المؤلفون، وهم فريق من جامعة جورجيا تيك، ببناء معيار جديد لمعرفة مدى قدرة الذكاء الاصطناعي على التعامل مع الثقافة المالية في العالم الحقيقي. لم يكتفوا بوضع مسائل رياضية وهمية؛ بل بحثوا في 27 اتفاقية حقيقية لبطاقات الائتمان من بنوك كبرى مثل أمريكان إكسبريس، وديسكفر، وباركليز. هذه الوثائق صعبة القراءة بشكل معروف بالنسبة للبشر، وغالباً ما تُكتب بمستوى جامعي بلغة قانونية كثيفة. استخرج الفريق 280 مصطلحاً مالياً محدداً وحولوها إلى 1,800 سؤال فريد. بعض الأسئلة سألت عن الرياضيات مباشرة (مثل: "إذا كنت أدين بـ 4,000 دولار، فما هو الحد الأدنى للدفع؟")، بينما كُتبت أسئلة أخرى بصيغة المتكلم، لمحاكاة كيفية سؤال شخص حقيقي، مثل: "كم سأدفع إضافياً إذا ارتفع رصيدي؟"
التجربة: الدردشة مقابل البرمجة
لاختبار الذكاء الاصطناعي، وضع الباحثون أسلوبين مختلفين من التفكير في مواجهة بعضهما البعض:
- سلسلة الأفكار (Chain-of-Thought - CoT): يشبه هذا طلب "التفكير بصوت عالٍ" من الذكاء الاصطناعي؛ حيث يكتب فقرة تشرح خطواته قبل إعطاء الإجابة.
- التفكير عبر البرمجة (Program-of-Thought - PoT): يشبه هذا طلب كتابة نص برمجي بلغة بايثون من الذكاء الاصطناعي. فبدلاً من تخمين الإجابة، يكتب كوداً برمجياً للقيام بالعمليات الحسابية والمنطقية نيابة عنه.
لقد اختبروا 11 نموذجاً مختلفاً للذكاء الاصطناعي، تتراوح بين النماذج مفتوحة المصدر (مثل DeepSeek-R1، وQwen-QwQ، وLlama 3.3) والأنظمة مغلقة المصدر (بما في ذلك GPT-5، وGPT-5-mini، وGemini 3.0 Pro).
النتائج الكبرى
كانت النتائج مزيجاً من الأمل والحذر.
- البرمجة تفوز: تفوقت طريقة التفكير عبر البرمجة (PoT) باستمرار على طريقة "الدردشة". وعبر جميع النماذج، أدى إجبار الذكاء الاصطناعي على كتابة كود برمجي إلى تحسين دقتها. وبالنسبة لبعض النماذج، كان هذا التحسن هائلاً، حيث زادت نسبة الإجابات الصحيحة بمقدار يصل إلى 6.2%. يبدو أنه عندما يتعين على الذكاء الاصطناعي ترجمة قاعدة مالية إلى مجموعة صارمة من التعليمات، فإنه يرتكب أخطاء أقل.
- المفتوح مقابل المغلق: كانت أفضل الأداء مزيجاً من الأنظمة المفتوحة والمغلقة. لقد كان أداء النموذج مفتوح الأوزان GPT-OSS 120B قوياً لدرجة أنه نافس وتفوق قليلاً على النماذج الرائدة مغلقة المصدر مثل GPT-5 وGemini 3.0 Pro تحديداً عند استخدام طريقة "التفكير عبر البرمجة". وهذا يشير إلى أن الأنظمة القوية مفتوحة الأوزان يمكنها تحقيق أداء يضاهي أحدث الأنظمة، مما يقلص الفجوة بين الأنظمة المفتوحة والمغلقة.
- دفعة "صيغة المتكلم": من المثير للاهتمام أن الذكاء الاصطناعي كان يؤدي بشكل أفضل عندما صيغت الأسئلة بصيغة المتكلم ("كم سأدين أنا؟") بدلاً من صيغة الغائب ("كم سيدين العميل؟"). ويرى المؤلفون أن هذا يعود لكون نماذج الذكاء الاصطناعي قد تدربت في الغالب على محادثات يطلب فيها الناس المساعدة مباشرة، لذا فهي تتعرف على هذا الأسلوب بشكل أفضل.
أين يتعثر الذكاء الاصطناعي؟
تعمق الباحثون في الإجابات الخاطئة لمعرفة لماذا فشل الذكاء الاصطناي. لم يكن السبب عادةً هو عدم قدرة الذكاء الاصطناعي على إجراء العمليات الحسابية الأساسية.
- المسبب الحقيقي: جاءت أكبر الأخطاء من سوء تطبيق القواعد. كان الذكاء الاصطناعي يجد الأرقام الصحيحة ولكنه يستخدم الصيغة الخاطئة. على سبيل المثال، قد يحسب الفائدة باستخدام معدل بسيط بينما يتطلب العقد معدلاً مركباً، أو قد ينسى قاعدة "الحد الأدنى للرسوم" التي لا تُطبق إلا في ظروف معينة.
- منطقة الخطر: عانى الذكاء الاصطناعي أكثر مع "الحالات الاستثنائية" (edge cases)—وهي السيناريوهات التي تتضمن مدفوعات متأخرة، أو أرصدة صغيرة، أو رسوم جزائية. وهذه هي بالضبط المواقف التي تضر الأشخاص المستضعفين مالياً أكثر من غيرهم. فإذا أخبر الذكاء الاصطناعي مستخدماً بأنه لن يُفرض عليه رسوم تأخير بينما سيُفرض عليه فعلياً، فإن العواقب ستكون حقيقية ومؤلمة.
- فخ "المقارنة": كانت الأسئلة التي تتطلب المقارنة بين خيارين مختلفين (مثل "هل رسوم الـ 5 دولارات أم رسوم الـ 5% هي الأعلى؟") هي الأصعب على النماذج. غالباً ما كان الذكاء الاصطناعي يضيع في منطق الاختيار بين القواعد المتنافسة.
ماذا يعني هذا؟
تخلص الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي أداة قوية، إلا أنه ليس جاهزاً ليكون مستشاراً مالياً مستقلاً بعد. إن "هشاشة" تفكيره تعني أنه يمكنه بسهولة إغفال التفاصيل الدقيقة التي تحمي المستهلكين. يقترح المؤلفون أن ينبغي للمطورين التركيز على أساليب مثل "التفكير عبر البرمجة" لجعل الذكاء الاصطناعي أكثر موثوقية. كما يجادلون بأن شركات بطاقات الائتمان قد تحتاج إلى إعادة كتابة اتفاقياتها لتكون أكثر "قابلة للقراءة من قبل الذكاء الاصطناعي"، لضمان ألا تتعثر الأدوات التي يستخدمها الناس لفهم شؤونهم المالية بسبب اللغة القانونية المعقدة.
باختصار، يمكن للذكاء الاصطناعي القيام بالحسابات، لكنه لا يزال بحاجة إلى إنسان لتدقيق القواعد. وإلى أن يتحسن في فهم منطق "إذا-إذن" الخاص بالعقود، يجب أن نكون حذرين بشأن تركه يتولى قراراتنا المالية الأكثر أهمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.