Can Vision-Language Models Reason about AI Edits in Images?
تقترح هذه الورقة إطار عمل للتعلم التعزيزي يعتمد على تحسين السياسة النسبية للمجموعة (GRPO)، والذي يُمكّن نماذج الرؤية واللغة من التفكير في تعديلات الصور المُنشأة بواسطة الذكاء الاصطناعي وتحديد مواقع التلاعب باستخدام مكافآت بسيطة للدقة والتنسيق، محققةً أداءً تنافسياً في الكشف دون الحاجة إلى إشراف صريح على التفكير.
المؤلفون الأصليون:Darsha Udayanga, Pin-Yu Chen, Payel Das, Qiang Ji
تخيل أنك تنظر إلى صورة فوتوغرافية لقطة تجلس على سياج. تبدو حقيقية تماماً، ولكن ماذا لو قام برنامج كمبيوتر فائق الذكاء باستبدال القطة بكلب سراً، أو مسح السياج تماماً؟ هذا هو عالم "الصور المعدلة بالذكاء الاصطناعي"، حيث يمكن للأدوات إنشاء أو تغيير الصور بواقعية شديدة تجعل أعيننا تعجز عن تمييز الفرق. لفترة طويلة، حاولت أجهزة الكمبيوتر رصد هذه التزييفات من خلال العمل كحراس أمن صارمين، يتحققون من وجود خلل صغير وغير مرئي في بيانات الصورة. ولكن مع تحسن مهارة "الفنانين المزيّفين"، يحتاج حراس الأمن أيضاً إلى أن يصبحوا أكثر ذكاءً. وهنا يبرز نوع جديد من عقول الكمبيوتر يسمى "نموذج الرؤية واللغة" (VLM). فكر في نموذج (VLM) كأنه محقق لا يكتفي فقط بالنظر إلى الصورة، بل يمكنه أيضاً القراءة والكتابة، وفهم القصة الكامنة وراء الصورة. عادةً، لتعليم هؤلاء المحققين كيفية رصد التزييف، يتعين على البشر كتابة تفسيرات طويلة ومفصلة لكل صورة مزيفة، وهو أمر بطيء ومكلف. ولكن ماذا لو استطعنا تعليم المحقق كيف يكتشف الأمر بنفسه، بمجرد معرفة ما إذا كان قد أصاب الإجابة أم أخطأ؟
تسأل هذه الورقة البحثية سؤالاً كبيراً: هل يمكننا تعليم هؤلاء المحققين الآليين كيف "يفكرون" بطريقتهم الخاصة لرصد صورة مزيفة دون أن يكتب البشر لهم التفسيرات الخطوة بخطوة؟ يقترح المؤلفون، وهم باحثون من معهد رينسيلار المتعدد التخصصات للعلوم التطبيقية (RPI) وشركة IBM، أن الإجابة هي نعم، وذلك باستخدام خدعة تدريبية ذكية تسمى "تحسين السياسة النسبية للمجموعات" (GRPO). فبدلاً من تسليم الذكاء الاصطناعي كتاباً مدرسياً يشرح له "كيفية رصد التزييف"، فإنهم يتركون الذكما الاصطناعي يحاول حل اللغز عدة مرات. إذا أدت عملية التفكير التي قام بها الذكاء الاصطناعي إلى الإجابة الصحيحة، فإنه يحصل على "ضربة عالية" رقمية (مكافأة)؛ وإذا فشل، يتلقى عبارة "حاول مرة أخرى" بلطف. تشير الورقة إلى أن هذه الطريقة تسمح للذكاء الاصطناعي بتعلم كيفية التفكير في التعديلات — مثل ملاحظة أن الظل لا يتناسب مع الضوء أو أن الملمس يبدو ناعماً للغاية — باستخدام المكافآت البسيطة فقط لكونه صحيحاً واتباعه للتنسيق المطلوب.
وجد الباحثون أن طريقتهم تعمل بشكل جيد بشكل مفاجئ. فقد دربوا محققهم الآلي على كتابة "عملية تفكيره" أولاً (مسار الاستنتاج) قبل اتخاذ قرار نهائي بشأن ما إذا كانت الصورة حقيقية أم مزيفة. وإذا كانت الصورة مزيفة، يقوم الذكاء الاصطناعي أيضاً برسم مربع تقريبي حول المنطقة المشبوهة. بعد ذلك، تستخدم أداة ثانية متخصصة هذا المربع وأفكار الذكاء الاصطناعي لرسم مخطط دقيق لمكان حدوث التعديل بالضبط، بكسل ببكسل. وعندما اختبروا ذلك على مجموعات مختلفة من الصور، تمكن النظام من اكتشاف التلاعب بدقة عالية وتحديد مواقع التعديلات بشكل يقارب أفضل الأنظمة المتقدمة والمشرفة بكثافة المتاحة حالياً. ويشير المؤلفون إلى أن هذا النهج يعد مساراً واعداً لأن هذا يعلم الذكاء الاصطناعي التفكير من تلقاء نفسه، مما يتطلب مساعدة بشرية أقل بكثير من الطرق السابقة. كما قدموا طريقة جديدة لقياس النجاح، تسمى "effective-IoU"، والتي تجمع بين القدرة على رصد التزييف والقدرة على تحديد مكانه بالضبط في درجة واحدة.
باختأصر، توضح الورقة أنه باستخدام تقنية التعلم التعزيزي، يمكننا تدريب نماذج الرؤية واللغة لتعمل كخبراء جنائيين يشرحون عملهم بأنفسهم. وتشير النتائج إلى أن هذه النماذج يمكنها تعلم تحديد التعديلات الناتجة عن الذكاء الاصطناعي وتحديد مواقعها بأداء تنافسي، حتى عندما لا تُعطى لها تفسيرات مفصلة لحفظها. ويلاحظ المؤلفون أنه بينما تعتبر طريقتهم فعالة، إلا أنها لا تزال تعتمد على قدرة النموذج على التعميم من البيانات التي يراها، ويقترحون أن العمل المستقبلي قد يتضمن اختبار نماذج أكبر أو بيانات أكثر تنوعاً لجعل النظام أكثر قوة.
ملخص تقني: هل تستطيع نماذج الرؤية واللغة الاستدلال حول تعديلات الذكاء الاصطناعي في الصور؟
بيان المشكلة
جعل التقدم السريع في الذكاء الاصطناوي التوليدي من الصعب للغاية التمييز بين الصور الحقيقية والمحتوى الذي تم التلاعب به بواسطة الذكاء الاصطناعي. وبينما يمكن للمصنفات الثنائية التقليدية اكتشاف التلاعب، إلا أنها غالبًا ما تفتقر إلى القدرة على التفسير والتعميم. تعتمد مناهج نماذج الرؤية واللغة (VLM) الحالية للكشف عن تزوير الصور القابل للتفسير وتحديد موقعه (e-IFDL) عادةً على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام تعليقات استدلالية منسقة. وتحد هذه الاعتمادية على الإشراف القوي من إمكانية التوسع والتعميم خارج نطاق توزيعات التدريب. يبحث المؤلفون فيما إذا كان يمكن تدريب نماذج الرؤية واللغة (VLMs) على الاستدلال حول تعديلات الصور الناتجة عن الذكاء الاصطناعي باستخدام التعلم التعزيزي (RL) مع إشراف ضعيف، بدلاً من الإشراف الاستدلالي الصريح، لتحقيق أداء تنافسي في الكشف وتحديد الموقع.
المنهجية
يقوم الإطار المقترح بفصل الاستدلال الخاص بكشف التلاعب/تحديد الموقع عن تقسيم البكسل، وذلك باستخدام عملية تدريب تتكون من مرحلتين:
1. تدريب VLM القائم على GRPO
يعتمد جوهر هذا النهج على تحسين السياسة النسبية للمجموعة (GRPO)، وهو تقنية تعلم تعزيزي تحفز النموذج على توليد "آثار تفكير" (thinking traces) قبل الإجابة.
المدخلات/المخرجات: بالنظر إلى صورة مدخلة، يقوم نموذج VLM (تحديدًا Qwen2.5-VL) بتوليد مخرج مهيكل يحتوي على أثر استدلالي، وقرار ثنائي بشأن التلاعب، وإذا تم اكتشاف التلاعب، يقوم بتوليد صندوق محيط (bounding box) خشن.
تصميم المكافأة: يتم تدريب النموذج باستخدام وظيفتي مكافأة بسيطتين فقط، مما يغني عن الحاجة إلى نصوص استدلالية منسقة:
مكافأة التنسيق (Format Reward): تمنح مكافأة قدرها 1 إذا اتبع المخرج التنسيق المتوقع بصرامة (على سبيل المثال، <thought>...</thought><answer>...</answer> مع إحداثيات الصندوق المحيط) و0 خلاف ذلك.
مكافأة الدقة (Accuracy Reward):
بالنسبة لـ السوالب الحقيقية (الصور الأصلية التي تم تحديدها بشكل صحيح): مكافأة معامل فرعي ثابت w.
بالنسبة لـ الموجبات الحقيقية (الصور المتلاعب بها التي تم تحديدها بشكل صحيح): تكون المكافأة هي تقاطع الاتحاد فوق الاتحاد (IoU) بين الصندوق المحيط المتوقع ومنطقة التعديل الحقيقية.
التنبؤات غير الصحيحة تتلقى مكافأة صفرية.
التحسين (Optimization): تقارن خسارة GRPO بين عدة عمليات توليد لنفس المدخل ضمن مجموعة واحدة لحساب المزايا النسبية، مما يؤدي لتحديث بارامترات VLM لتحسين جودة الاستدلال وتحديد الموقع الخشن دون إشراف استدلالي صريح.
بما أن نموذج VLM يوفر فقط صندوقًا محيطًا خشنًا، فإن وحدة تقسيم منفصلة تقوم بتنقيحه إلى قناع (mask) على مستوى البكسل.
الآلية: يتم تدريب نموذج تقسيم خفيف الوزن (يعتمد على نموذج Segment Anything Model - SAM المجمد) لتوجيه عملية التقسيم.
المدخلات: تأخذ وحدة التقسيم الصورة الكاملة، وأثر استدلال VLM، والصندوق المحيط المتوقع كمدخلات.
العملية: يتم ترميز مخرجات VLM إلى "موجه تقسيم" (segmentation prompt) عبر إسقاط قابل للتعلم. هذا الموجه، مقترنًا بميزات الصورة والصندوق المحيط، يوجه وحدة فك تشفير SAM لإنتاج القناع الكثيف النهائي.
التدريب: يتم تدريب وحدات ترميز الموجه والإسقاط فقط؛ بينما يظل هيكل SAM مجمدًا. تجمع الخسارة بين التصنيف الثنائي لكل بكسل وخسارة التداخل القائمة على المنطقة.
المساهمات الرئيسية
إطار استدلال ذو إشراف ضعيف: يقترح البحث إطار عمل يعتمد على GRPO يعلم نماذج VLM كيفية الاستدلال حول تعديلات الذكاء الاصطناعي باستخدام مكافآت الدقة والتنسيق البسيطة فقط، مما يلغي الحاجة إلى تعليقات استدلالية منسقة ومكلفة.
فصل الكشف عن تحديد الموقع: قدم المؤلفون بنية نمطية حيث يتولى VLM الاستدلال الدلالي وتحديد الموقع الخشن (الصناديق المحيطة)، بينما تتولى وحدة تقسيم متخصصة عملية التنقية على مستوى البكسل. يسمح هذا لـ VLM بالتركيز على الاستدلال بدلاً من الإشراف المكاني الكثيف.
مقياس effective-IoU: تم تقديم مقياس موحد جديد، effective-IoU (eff-IoU)، لتقييم دقة الكشف وجودة تحديد الموقع معًا (eff-IoU=Acc×mIoU)، لمعالجة قصور تقييم هذه المهام بشكل منفصل.
القابلية للتوسع والتعميم: تم إثبات قدرة الإطار على التعميم عبر بنيات مختلفة من VLM (مثل Qwen2.5-VL-3B/7B، وGemma 3) ومجموعات بيانات التلاعب المتنوعة (AutoSplice، MagicBrush، FFHQ-FM، إلخ).
النتائج التجريبية
أُجريت التجارب على مجموعات متعددة من بيانات التلاعب بالصور، ومقارنة الطريقة المقترحة مع أفضل الطرق الحالية (SOTA) مثل Mesorch، وAdaIFL، وFakeShield، وSIDA.
دقة الكشف: حققت الطريقة المقترحة أعلى دقة كشف عبر جميع مجموعات البيانات المختبرة (على سبيل المثال، 0.842 على AutoSplice، و0.951 على MagicBrush).
أداء تحديد الموقع: ظلت الطريقة تنافسية في متوسط تقاطع الاتحاد فوق الاتحاد (mIoU)، حيث احتلت باستمرار المرتبة الثانية بين الطرق المختبرة.
الأداء الموحد: حققت الطريقة المقترحة أعلى متوسط eff-IoU (0.هـ 0.211)، متفوقة على ثاني أفضل طريقة (SIDA، 0.144) بأكثر من 46%.
التحليل النوعي: تُظهر التصويرات المرئية أن النموذج ينتج أقنعة متماسكة مكانياً مع تنشيطات زائفة أقل مقارنة بالنماذج المرجعية. وتُظهر آثار الاستدلال المولدة قدرة النموذج على تحديد الأدلة الجنائية والتمييز بين الصور الأصلية والمعدلة المتشابهة بصريًا.
الدراسة الاستقصائية (Ablation): أظهر الأداء تحسنات طفيفة مع استخدام بنيات نماذج أكبر، لكن المؤلفين يشيرون إلى أن تصميم المكافأة وبيانات التدريب يبدو أكثر تأثيرًا من حجم النموذج الأساسي في هذا السياق.
الأهمية والادعاءات
يدعي البحث أن التعلم التعزيزي يوفر آلية فعالة وقابلة للتوسع لتعليم نماذج VLM كيفية الاستدلال حول المحتوى الناتج عن الذكاء الاصطناعي. ومن خلال الاستفادة من قدرات الاستدلال المتأصلة في نماذج VLM عبر GRPO، يحقق هذا النهج أداءً يضاهي كواشف SOTA التي يتم تدريبها بإشراف قوي، على الرغم من حاجته إلى إشراف أضعف بكثير.
يضع المؤلفون هذا العمل كأساس للدراسات المستقبلية التي تهدف إلى تحسين اكتشاف وفهم الآثار المخفية الناتجة عن تعديلات الذكاء الاصطناعي. ويقترحون أن زيادة حجم بيانات التدريب وحجم النماذج، إلى جانب تحسين المتانة تجاه تغيرات التوزيع، هي الخطوات المنطقية التالية. يربط هذا العمل بين استدلال VLM واكتشاف التلاعب، ويقدم إطارًا نمطيًا مفصولًا للكشف عن التعديلات المحلية لم يتم استكشافه من قبل في الأعمال السابقة.