The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
تقدم هذه الورقة إطار عمل للتدقيق السببي لإثبات أن نموذج "التفكير بالصور" في النماذج اللغوية الكبيرة متعددة الوسائط غالبًا ما يخلق وهمًا بالفعالية، حيث يفشل استخدام الأدوات البصرية في تحسين الإجابات سببيًا بسبب سوء معايرة السياسة، على الرغم من مكاسب الدقة الإجمالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مجرد النظر إلى صورة مسرح الجريمة مرة واحدة، لديك عدسة مكبرة سحرية. هذه العدسة تسمح لك بالتكبير على تفاصيل دقيقة، وقص قطع معينة من الأدلة، وفحصها عن قرب قبل تقديم تخمينك النهائي. في عالم الذكاء الاصطناعي، يسمى هذا "التفكير بالصور". لقد كان العلماء يعلمون عقولاً حاسوبية فائقة الذكاء (تُعرف بالنماذج اللغوية الكبيرة متعددة الوسائط) كيفية استخدام هذه الأدوات البصرية، آملين أن يؤدي "التكبير والتدقيق" إلى جعل الحواسيب أفضل في الإجابة على الأسئلة الصعبة. الفكرة الكبرى هي أنه إذا كان يحتاج إنسان إلى تضييق عينيه لقراءة لوحة أرقام سيارة ضبابية، فيجب أن يتمكن الكمبيوتر من فعل الشيء نفسه تلقائياً.
لكن هنا تكمن المشكلة: مجرد امتلاكك لعدسة مكبرة لا يعني أنك تعرف كيف تستخدمها. أحياناً، قد تكبّر على المكان الخطأ، أو تكبّر لدرجة تفقد فيها الصورة بأكملها، أو حتى تكبّر عندما تكون قد عرفت الإجابة بالفعل. يسأل هذا البحث سؤالاً مهماً للغاية: عندما يستخدم هؤلاء المحققون الآليون أدوات التكبير الخاصة بهم، هل يستخدمون حقاً المعلومات الجديدة التي يجدونها لتغيير آرائهم، أم أنهم يتظاهرون بالنظر بينما يتمسكون سراً بتخمينهم الأصلي؟ أراد الباحثون معرفة ما إذا كان "التكبر" يساعد الكمبيوتر فعلياً في التفكير، أم أنه مجرد رقصة استعراضية تهدر الوقت والطاقة.
خدعة التكبير الكبرى
قرر الباحثون وضع هؤلاء المحققين الآليين تحت المجهر، ولكن ليس النوع الذي ينظر إلى الخلايا - بل استخدموا "تدقيقاً سببياً". فكر في الأمر كاختبار خاص حيث يمكنهم استبدال الأدلة التي يراها الذكاء الاصطناعي سراً ليروا ما إذا كان الذكاء الاصطناعي يهتم بها حقاً. لقد عاملوا عملية تفكير الذكاء الاصطناعي كقصة ذات ثلاثة مستويات: الصورة الكبيرة (الخطة الكاملة)، ومنتصف القصة (رحلة البحث بأكملها)، والخطوات الفردية (كل مرة يقوم فيها الذكاء الاصطناعي بالتكبير).
أجروا هذا الاختبار على ستة نماذج مختلفة من الذكاء الاصطناعي باستخدام خمسة أنواع مختلفة من الألغاز البصرية المخادعة. وما وجدوه كان صدمة. على الرغم من أن نماذج الذكاء الاصطناعي التي استخدمت أدوات التكبير نجحت أحياناً في الإجابة على المزيد من الأسئلة بشكل عام، إلا أن التحسن كان ضئيلاً جداً مقارنة بكمية "قوة الدماغ" (الرموز الحاسوبية/tokens) التي استهلكتها للقيام بذلك. في الواقع، بالنسبة لبعض النماذج، جعل استخدام الأدوات يجعلهم في الواقع أسوأ في حل المشكلات مما لو نظروا إلى الصورة مرة واحدة وخمنوا الإجابة فوراً.
كشفت الدراسة عن طريقتين رئيسيتين يخطئ فيهما الذكاء الاصطناعي، والتي سماها المؤلفون "سوء معايرة السياسة" (Policy Miscalibration).
1. النداء دون النظر (المحقق المزيف)
تخيل محققاً يقول: "أحتاج للتكبير على تلك النافذة!"، ولكنه يغلق عينيه فوراً ويخمن الإجابة على أي حال. وجد الباحثون أنه بالنسبة للعديد من نماذج الذكاء الاصطناعي، فإن المعلومات البصرية التي "وجدها" بعد التكبير لم تغير إجابته على الإطلاق. كان الذكاء الاصطناعي يقوم بالمراسم فقط. كان الأمر يشبه طالباً يرفع يده ليسأل سؤالاً، لكنه يتجاهل إجابة المعلم ويكتب ما كان يفكر فيه بالفعل. كان "التكبير" مجرد طقس، وليس بحثاً حقيقياً عن الحقيقة.
2. النظر دون تخطيط (المفرط في التفكير)
هذا هو العكس تماماً. تخيل محققاً يجد الدليل الذي يحتاجه، ويحل اللغز، ثم يستمر في التكبير على الأرض، والسقف، والقطة دون سبب. كان الذكاء الاصطناعي يجد الإجابة الصحيحة مبكراً، ولكنه يستمر في التكبير غير الضروري، وغالباً ما يكبر على أماكن عديمة الفائدة أو ينفد منه "الوقت" (أو "الميزانية") قبل أن يتمكن من الإنهاء. كان ينظر، لكن لم يكن لديه خطة للتوقف.
الأقلية "المعايرة"
الجزء الأكثر إثارة للاهتمام في الاكتشاف هو أن الذكاء الاصطناعي لا يفشل دائماً. وجد الباحثون أن الجزء الضئيل من النجاح الذي وفرته الأدوات جاء بالكامل تقريباً من مجموعة صغيرة من المحاولات "المعايرة". كانت هذه هي المرات النادرة التي عرف فيها الذكاء الاصطناعي بالضبط متى يكبر، وما الذي يبحث عنه، ومتى يتوقف.
فكر في الأمر كفصل دراسي يضم 100 طالب. إذا قال المعلم: "استخدموا الآلة الحاسبة"، وارتفع متوسط الفصل بمقدار نقطة واحدة فقط، فقد يبدو أن الآلات الحاسبة رائعة. ولكن إذا نظرت عن كثب، فقد تجد أن 90 طالباً ضغطوا أزراراً عشوائية وأصابهم الارتباك، بينما عرف 10 طلاب فقط كيفية استخدام الآلة الحاسبة لحل المسألة. التحسن "المتوسط" كان حقيقياً، لكنه كان خدعة خلقتها تلك الأقلية الصغيرة والمحظوظة. أما بقية الفصل، فقد كانوا يضيعون الوقت فحسب.
لماذا يحدث هذا؟
يقترح المؤلفون سبباً محتملاً لهذا الارتباك: الطريقة التي يتم بها تدريب هذه النماذج. غالباً ما يتم مكافأتهم فقط على الحصول على الإجابة النهائية الصحيحة، وليس على كيفية وصولهم إليها. إنه يشبه لعبة فيديو حيث تحصل فقط على نقاط عند هزيمة الزعيم، وتحصل على نفس النقاط سواء قاتلت الزعيم بذكاء أو ركضت في دوائر لمدة ساعة. ولأن الذكاء الاصطناعي لا يُعاقب على "النداء دون النظر" أو "النظر دون تخطيط"، فإنه يتعلم أنه طالما حصل على الإجابة الصحيحة في النهاية، فلا يهم إذا أضاع الوقت أو تجاهل الأدلة التي وجدها.
الخلاصة
لا يقول هذا البحث إن الأدوات البصرية عديمة الفائدة. بل يقول إن معظم نماذج الذكاء الاصطناعي تستخدمها حالياً بطريقة هي في الغالب مجرد عرض استعراضي. إنهم "يفكرون بالصور" بالاسم فقط. إن الاختراق الحقيقي لن يأتي من مجرد إعطاء الذكاء الاصطناعي المزيد من الأدوات أو جعلهم يكبرون بشكل أسرع؛ بل سيأتي من تعليم الذكاء الاصطناعي أن يستمع فعلياً لما يراه وأن يعرف متى يتوقف عن النظر. وحتى ذلك الحين، قد يكون "التفكير" مجرد وهم، والذكاء الاصطناعي في الغالب يخمن بينما يتظاهر بأنه مشغول جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.