💬 NLP

ETCHR: Editing To Clarify and Harness Reasoning

تقدم الورقة البحثية ETCHR، وهو إطار عمل لتحرير الصور يعتمد على الفصل والوعي بالاستدلال، يعمل على سد الفجوة بين الأسئلة المجردة والتحولات البصرية من خلال وصفة تدريب مكونة من مرحلتين، مما يعزز بشكل كبير قدرات الاستدلال البصري لمختلف النماذج اللغوية الكبيرة متعددة الوسائط عبر عائلات مهام متعددة.

المؤلفون الأصليون: Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل متاهة أو مخطط معقد، ولكن لا يمكنك سوى التحدث إلى مساعد ذكي بارع في القراءة ولكنه سيء جداً في "رؤية" التفاصيل. إذا سألت: "أين المخرج؟"، فقد يخمن المساعد بشكل خاطئ لأنه لا يستطيع تصور المسار.

تحاول أنظمة الذكاء الاصطناعي الحالية إصلاح ذلك إما عن طريق:

إعطاء المساعد مسطرة وقلمًا: يخبرون الذكاء الاصطناعي برسم صندوق أو التكبير باستخدام أوامر صارمة ومكتوبة مسبقًا. (هذا يشبه إعطاء طفل كتاب تلوين يحتوي على ثلاثة ألوان فقط؛ لن يتمكن من رسم ما يحتاجه حقًا).
طلب الرسم والتفكير في نفس الوقت من المساعد: يحاولون جعل عقل واحد يقوم بالمهمتين معًا. (هذا يشبه مطالبة طاهٍ بطهي وجبة فاخرة بينما يكتب رواية في الوقت نفسه؛ غالبًا ما ينتهي الأمر بالطعام محترقًا، والقصة فوضوية).

ETCHR (التعديل لتوضيح وتوجيه الاستدلال) هو طريقة ثالثة جديدة. يعمل كـ مساعد "محقق بصري" متخصص يعمل جنبًا إلى جنب مع الذكاء الاصطناعي الرئيسي.

إليك كيف يعمل، مقسمًا إلى خطوات بسيطة:

1. المشكلة: فجوات "اللغة" و"الرسم"

وجد الباحثون أن أدوات تحرير الصور العادية تشبه الرسامين السلبيين. إذا قلت لهم: "ارسم صندوقًا أحمر حول سلة المهملات"، سيفعلون ذلك ببراعة. لكن إذا سألت سؤالًا صعبًا مثل: "هل سلة المهملات على يسار أم يمين الكرسي؟"، فسيصاب الرسام بالارتباك. هم لا يعرفون ماذا يجب أن يرسموا لمساعدتك في الإجابة.

أيضًا، حتى لو عرفوا ما يجب رسمه، فإنهم غالبًا ما يخطئون في التفاصيل إذا كانت المهمة معقدة (مثل تتبع مسار طويل ومتعرج عبر متاهة).

2. الحل: معسكر تدريبي من مرحلتين

لتحويل الرسام السلبي إلى "محقق بصري" نشط، درب الفريق نموذج ETCHR في مرحلتين:

المرحلة 1: درس "التقليد" (SFT)
تخيل عرض آلاف الأمثلة على الرسام حيث يقترن السؤال بالرسم المثالي الذي يحل هذا السؤال.
- مثال: السؤال: "أين المسار؟" $\leftarrow$ الرسم: خط أحمر يتتبع المسار الصحيح.
- يتعلم النموذج النظر إلى السؤال وقول: "آه، للإجابة على هذا، أحتاج إلى رسم خط أحمر هنا". إنه يتعلم ترجمة الأسئلة المجردة إلى إشارات بصرية محددة.
المرحلة 2: لعبة "المكافأة" (RL)
الآن، يحاول النموذج الرسم بمفرده. ولكن كيف نعرف ما إذا كان الرسم مفيدًا حقًا؟
- المكافأة أ (القاضي): ينظر ذكاء اصطناعي منفصل إلى الرسم ويتساءل: "هل تحتوي هذه الصورة بالفعل على الدليل المطلوب للإجابة على السؤال؟"
- المكافأة ب (الحلال): يحاول الذكاء الاصطناعي الرئيسي حل اللغز باستخدام الرسم. هل حصل على الإجابة الصحيحة؟
- يحصل النموذج على نقاط فقط إذا كان الرسم دقيقًا ومفيدًا حقًا في حل المشكلة. هذا يعلمه تجنب الرسومات "الجميلة ولكن عديمة الفائدة".

3. شبكة الأمان: "عدّل، تحقق، استدل"

حتى المحقق المدرب يمكن أن يرتكب خطأً. إذا رسم المحقق البصري مسارًا خاطئًا، فقد يخدع الذكاء الاصطناعي الرئيسي ويقوده إلى إجابة خاطئة.

لذلك، يضيف ETCHR فحص سلامة:

التعديل: يرسم المحقق دليلاً.
التحقق: يتوقف الذكاء الاصطناعي الرئيسي ويتحقق: "هل هذا الرسم مفيد وصحيح حقًا؟"
الاستدلال:
- إذا كانت الإجابة نعم: يستخدم الذكاء الاصطناعي الرسم لحل اللغز.
- إذا كانت الإجابة لا: يتجاهل الذكاء الاصطناعي الرسم ويحاول حل اللغز باستخدام الصورة الأصلية بدلاً من ذلك.

لماذا هذا أفضل؟

قابل للتشغيل المباشر: لا تحتاج إلى إعادة تدريب الذكاء الاصطناعي الرئيسي. يمكنك فقط توصيل هذا "المحقق البصري"، وسيعمل مع عقول ذكاء اصطناعي مختلفة (مثل Qwen أو Gemini أو Kimi).
مرن: على عكس الأدوات التي يمكنها فقط رسم الصناديق أو التكبير، يمكن لـ ETCHR إعادة رسم مشهد ثلاثي الأبعاد بالكامل، أو إعادة ترتيب أحجية الصور المقطوعة، أو تتبع مسار معقد.
دقيق: من خلال فصل مهمة "الرسم" عن مهمة "التفكير"، يظل الرسم عالي الجودة، ويظل التفكير حادًا.

النتائج

اختبرت الورقة البحثية هذا على خمسة أنواع من المهام الصعبة:

العث_ور على تفاصيل صغيرة في صور كبيرة.
قراءة المخططات المعقدة.
حل الألغاز المنطقية (مثل المتاهات).
إعادة تجميع أحجية الصور المقطوعة المبعثرة.
فهم المساحات ثلاثية الأبعاد.

في كل هذه الاختبارات، ساعد إضافة ETCHR الذكاء الاصطناعي على الإجابة على المزيد من الأسئلة بشكل صحيح. على سبيل المثال، مع نموذج ذكاء اصطناعي معين، قفز معدل النجاح من حوالي 56% إلى 61%، ومع نموذج آخر، ارتفع من 76% إلى 81%.

باخت-اختصار: يعلم ETCHR الذكاء الاصطناعي "التفكير بالصور" من خلال منحه شريكًا مخصصًا يعرف بالضبط ما يجب رسمه للمساعدة في حل المشكلة، ويتحقق من عمله، ولا يشارك الرسم إلا إذا كان مفيدًا حقًا.

ملخص تقني: ETCHR (التعديل لتوضيح وتوجيه الاستدلال)

1. بيان المشكلة

لقد حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً في الاستدلال البصري، ومع ذلك لا يزال "سلسلة الأفكور" (CoT) القائم على النص الصرف يمثل عائقاً للمهام التي تتطلب تركيزاً دقيقاً أو تحويلات في زوايا الرؤية. غالباً ما تفشل النماذج في التعبير لفظياً عن الحالات المكانية التي لا تستطيع رسمها، مما يؤدي إلى تراكم الأخطاء الوصفية.

تحاول نماذج "التفكير بالصور" الحالية سد هذه الفجوة عبر توليد صور وسيطة أثناء الاستدلال، لكنها تعاني من قصورين رئيسيين:

الأساليب القائمة على الأدوات: تعتمد على رموز إجراءات محددة مسبقاً ومنخفضة المستوى (مثل مربعات الإحاطة، أو أوامر القص) التي يتم تنفيذها بواسطة مُصيّر (renderer) حتمي. وهي مقيدة بالتلاعبات الموضعية وغالباً ما تتطلب ضبطاً دقيقاً (fine-tuning) خاصاً بالمهمة للنموذج (MLLM)، مما يؤدي إلى تآكل الكفاءة العامة.
النماذج متعددة الوسائط الموحدة: تستخدم عموداً فقرياً واحداً لدمج رموز النصوص والصور. ورغم مرونتها، غالباً ما تمتلك هذه النماذج رؤوساً توليدية أضعف، مما ينتج صوراً وسيطة تضخ الضجيج بدلاً من التوجيه. علاوة على ذلك، فهي تفتقر إلى آليات للتحقق مما إذا كان التعديل الوسيط صحيحاً قبل استخدامه في الاستدلال.

تُظهر محررات الصور الجاهزة الحالية، عند استخدامها كمساعدات للاستدلال، فجوتين محددتين:

الفجوة من جانب اللغة: لا تستطيع المحررات المدربة كمتبعات للتعليمات السلبية ربط الأسئلة المجردة (مثل "هل الجسم على اليسار؟") بالتحويلات البصرية المناسبة دون مطالبات (prompts) صريحة.
الفجوة من جانب التوليد: يتدهور صحة التعديل بشكل كبير مع زيادة عمق الاستدلال (مثل تتبع المسارات الطويلة في المتاهات)، مما يشير إلى فشل في تنفيذ الاستدلال المكاني متعدد الخطوات خلال مرحلة فك تشفير الانتشار (diffusion decoding).

2. المنهجية

يقترح المؤلفون ETCHR (التعديل لتوضيح وتوجيه الاستدلال)، وهو إطار عمل يفصل محرراً للصور متخصصاً ومشروطاً بالسؤال عن نموذج الفهم اللاحق. يعمل النظام عبر وصفة تدريب من مرحلتين وإجراء استدلال تأملي.

2.1. البنية الهيكلية

النموذج الأساسي: يُستخدم محرر متخصص (صورة-إلى-صورة) وهو (FLUX.2-klein-base-9B) كمولد للصور الوسيطة.
الفصل (Decoupling): يتم تدريب المحرر بشكل مستقل عن نموذج الفهم (MLLM)، مما يسمح له بالاندماج مع مختلف النماذج مفتوحة ومغلقة المصدر دون الحاجة لإعادة تدريب النموذج (MLLM) نفسه.
مسار الاستدلال (تعديل-تحقق-استدلال):
1. التعديل (Edit): يقوم المحرر بتوليد صورة وسيطة بناءً على الصورة المدخلة والسؤال.
2. التحقق (Verify): يقوم نموذج الفهم بإجراء فحص ثنائي لتحديد ما إذا كان التعديل يحتوي على المعلومات البصرية اللازمة للإجابة على السؤال.
3. الاستدلال (Reason): إذا اجتاز التحقق، يقوم النموذج بالاستدلال باستخدام الصورة المعدلة؛ وإلا، فإنه يعود إلى الصورة الأصلية لمنع التعديلات المشوشة من تلويث الإجابة النهائية.

2.2. استراتيجية التدريب

يتم تدريب ETCHR في مرحلتين لمعالجة الفجوات المحددة:

المرحلة الأولى: محاكة الاستدلال (الضبط الدقيق الخاضع للإشراف - SFT)

الهدف: تحويل المحرر من مجرد تابع سلبي للتعليمات إلى نظام مشروط بالسؤال.
البيانات: مجموعة بيانات واسعة النطاق من مسارات التعديل عبر خمس عائلات من المهام: الإدراك الدقيق، فهم المخططات البيانية، الاستدلال المنطقي، ترميم أحجية الصور المقطوعة (jigsaw)، والفهم ثلاثي الأبعاد.
التقنية: يتم ضبط المحرر باستخدام (Low-Rank Adaptation - LoRA) على أزواج من (الصورة المدخلة، السؤال، الصورة المعدلة الصحيحة). يتم إدراج "مطالبة ميتا" (meta-prompt) على مستوى المهمة قبل السؤال لتعمل كموجه ناعم (soft router)، مما يقسم المساحة الكامنة ويقلل من التداخل بين المهام.

المرحلة الثانية: تعزيز الاستدلال (التعلم التعزيزي - RL)

الهدف: مواءمة المحرر مع المنفعة الاستدلالية اللاحقة وتحسين صحة التعديل.
تصميم المكافأة: يتم اشتقاق مكافأتين متكاملتين من (VLM-as-Judge):
1. مكافأة توجيه التعديل ( $r_{guide}$ ): تقيس ما إذا كان نموذج (MLLM) اللاحق يجيب بشكل صحيح باستخدام الصورة المعدلة.
2. مكافأة صحة التعديل ( $r_{correct}$ ): تقيس ما إذا كان التعديل نفسه يحتوي على الأدلة البصرية الضرورية (مثل مربع الإحاطة الصحيح) بغض النظر عن الإجابة النهائية.
التحسين: يستخدم المؤلفون (Pref-GRPO) (وهو امتداد تفضيلي زوجي لـ GRPO) لتحسين المحرر. المكافأة المركبة هي مجموع محدب للإشارتين ( $\alpha = \beta = 0.5$ )، مما يوازن بين الطبيعة "المقيدة بسقف" لمكافآت التوجيه والطبيعة "الرافع للسقف" ولكن المشوشة لمكافآت الصحة.

3. المساهمات الرئيسية

اقتراح آلية: آلية "التفكير بالصور" باستخدام محرر متخصص (صورة-إلى-صورة) كمصدر للأدلة البصرية الوسيطة، مقترناً بخطوة تحقق أثناء الاستدلال لرفض التعديلات غير الموثوقة.
تنفيذ ETCHR: محرر واعٍ بالاستدلال مبني على (FLUX.2-klein-base-9B)، تم تدريبه عبر وصفة مرحلتين (محاكة الاستدلال عبر SFT + تعزيز الاستدلال عبر RL) باستخدام مكافآت مستمدة من (VLM).
التكامل الخالي من التدريب: بفضل التصميم المنفصل، يمكن دمج ETCHR مع مختلف نماذج (MLLM) مفتوحة ومغلقة المصدر (مثل Qwen3-VL، Gemini، Kimi K2.5) دون الحاجة لضبط النموذج (MLLM)، مما يظهر قابلية تطبيق واسعة عبر الإدراك الدقيق، الاستدلال المكاني، ترميم الألغاز، والفهم ثلاثي الأبعاد.

4. النتائج التجريبية

قام المؤلفون بتقييم ETCH عبر خمس عائلات مهام وتسعة معايير، مقارنة بالأساليب القائمة على الأدوات (DeepEyes, Thyme) والنماذج الموحدة (Bagel-Zebra-CoT, ThinkMorph).

مكاسب الأداء: حسن ETCHR باستمرار درجات (Pass@1) عبر جميع النماذج المختبرة:
- Qwen3-VL-8B: ارتفع من 55.95 إلى 60.77 (+4.82).
- Gemini-3.1-Flash-Lite: ارتفع من 65.08 إلى 70.55 (+5.47).
- Kimi K2.5 (1T MoE): ارتفع من 76.55 إلى 81.16 (+4.61).
التحسينات الخاصة بالمهام: لوحظت مكاسب كبيرة في الاستدلال المنطقي (مثل حل المتاهات) والفهم ثلاثي الأبعاد، وهي مجالات فشلت فيها الأساليب القائمة على الأدوات بسبب مساحات العمل المحدودة، وعانت فيها النماذج الموحدة مع دقة التوليد.
المقارنة مع المحررات مغلقة المصدر: عند مقارنته بمحرر مغلق المصدر (Nano Banana 2)، أظهر ETCHR أداءً مماثلاً في مهام الإدراك، ولكنه تفوق في المهام الهيكلية (المنطق، الأحجية، 3D)، مما يشير إلى أن التدريب الواعي بالاستدلال أكثر أهمية من حجم النموذج لهذه المهام.
دراسات الاستئصال (Ablation Studies):
- ساهمت كل من مرحلتي SFT و RL في الأداء، حيث قدمت SFT الدفعة الأساسية في قدرة الاستدلال.
- أدى الجمع بين إشارتي المكافأة (الصحة والتوجيه) إلى نتائج أفضل من استخدام كل منهما على حدة.
- وفرت خطوة "التحقق" في مسار الاستدلال مكاسب ثابتة في المهام ذات الدقة المرجعية العالية (الإدراك، المخططات)، بينما تباينت فائدتها في المهام ذات الدقة المرجعية المنخفضة (المنطق، الأحجية).

5. الأهمية والقيود

الأهمية:
يجادل البحث بأن نموذج "التفكير بالصور" يتطلب تحولاً من مجموعات الأدوات الثابتة أو الأعمدة الفقارية الموحدة إلى محرر متخصص ومنفصل قادر على استنتاج التحويلات البصرية من الأسئلة المجردة. من خلال معالجة الفجوات من جانبي اللغة والتوليد عبر وصفة تدريب من مرحلتين وآلية تحقق، يوفر ETCHR حلاً قوياً وقابلاً للتركيب (plug-and-play) يعزز الاستدلال البصري دون المساس بالقدرات العامة للنموذذ (MLLM) الأساسي.

القيود:

دقة أخذ العينات: يُظهر تدريب RL القائم على GRPO تنوعاً دلالياً محدوداً للتعديلات الهيكلية المعقدة (مثل ترميم الأحجية)، مما يحد من استكشاف السياسة في تلك المجالات المحددة.
سقف النموذج اللاحق: يظل الأداء النهائي مرتبطاً بقدرات الاستدلال لنموذج (MLLM) اللاحق؛ فحتى التعديلات المثالية لا يمكنها التغلب على حدود الاستدلال المتأصلة في النموذج الأساسي.
التكلفة الزمنية: يضيف تحرير الصور عبئاً زمنياً أعلى مقارنة بالاستدلال القائم على النصوص، مما قد يكون غير فعال للعينات التي تتطلب فقط سلسلة أفكور (CoT) قصيرة.