💻 computer science

Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

يُعد Lang2Act إطار عمل مبتكر يعزز الاستدلال البصري دقيق التفاصيل لنماذج الرؤية واللغة عبر استبدال الأدوات الخارجية المحددة مسبقاً والجامدة بسلاسل أدوات لغوية ذاتية الظهور، والتي يتم تحسينها من خلال عملية تعلم تعزيزي مكونة من مرحلتين للحفاظ على المعلومات البصرية وتحقيق مكاسب كبيرة في الأداء.

المؤلفون الأصليون: Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة Lang2Act البحثية، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

الفكرة الكبرى: تعليم الذكاء الاصطناعي كيف "ينظر عن كثب" دون تدمير الصورة

تخيل أنك تحاول حل لغز باستخدام خريطة ضخمة ومعقدة (مستند مليء بالنصوص، والرسوم البيانية، والصور). لديك محقق بارع (الذكال الاصطناعي) وهو ذكي جداً، لكنه يعاني أحياناً في قراءة التفاصيل الدقيقة والحاسمة المختبئة في زوايا الخريطة.

المشكلة في الطرق القديمة:
حاولت أنظمة الذكاء الاصطناعي السابقة حل هذه المشكلة عبر إعطاء المحقق مقصاً وعدسة مكبرة.

المقص (القص/Cropping): إذا اعتقد الذكاء الاصطناعي أن جزءاً معيناً من الخريطة مهم، فإنه يقوم بقص ذلك الجزء فعلياً ليتمكن من رؤيته عن قرب.
العيب: هذا أمر محفوف بالمخاطر. إذا قص المحقق القطعة الخطأ، أو قصها بشكل صغير جداً، فقد يتخلص بالخطأ من الإجابة التي كان يبحث عنها. الأمر يشبه محاولة قراءة كتاب عن طريق قص الحروف الفردية؛ ستفقد السياق، وتنهار القصة. كما أن المقصات "جامدة" — فهي لا تستطيع إلا القص في خطوط مستقيمة، مما يفقدها القدرة على استيعاب تفاصيل الصورة الدقيقة.

حل Lang2Act:
بدلاً من إعطاء المحقق مقصات، علم الباحثون (Lang2Act) المحقق قوة خارقة جديدة: مجموعة الأدوات اللغوية السحرية.

بدلاً من قص الصورة فعلياً، يتعلم المحقق كيف "يتحدث" إلى الصورة باستخدام "أدوات لغوية" خاصة.

التشبيه: تخيل أن لدى المحقق مجموعة من الأوامر السحرية مثل "اقرأ الرقم الموجود في الزاوية اليمنى العليا" أو "قارن بين ارتفاع هذين العمودين".
كيف يعمل الأمر: عندما يقول المحقق "اقرأ الرقم"، لا يقوم الذكاء الاصطناعي بقص الصورة فعلياً. بدلاً من ذلك، يقوم داخلياً بنقل تركيزه إلى ذلك الموقع المحدد، و"يقرأ" البيانات، ويدونها في دفتر ملاحظاته. تظل الصورة كاملة، سليمة، ومليئة بالسياق.

كيف علموا الذكاء الاصطناعي (التدريب على مرحلتين)

لم يكتفِ الباحثون بإعطاء الذكاء الاصطناعي قائمة من الأوامر، بل علموه كيفية ابتكار أدواته الخاصة من خلال عملية تدريب مكونة من خطوتين، تشبه لعبة فيديو ذات مستويين:

المستوى 1: مرحلة "الاكتشاف الذاتي" (تعزيز الأفعال - Action RL)

التشبيه: تخيل طفلاً في متجر ألعاب. يُقال له: "جد أفضل طريقة لحل هذه الأحجية". يحاول الطفل أشياء كثيرة — تكويم المكعبات، دحرجتها، أو رميها.
ماذا فعل الذكاء الاصطناعي: تم إعطاء الذكاء الاصطناعي العديد من الأسئلة والسماح له بـ "التفكير بصوت عالٍ". جرب طرقاً مختلفة للنظر إلى الصور. راقب الباحثون أي "الأفكار" أدت إلى الإجابات الصحيحة.
النتيجة: قاموا بجمع أكثر "الأفكال" نجاحاً وحولوها إلى صندوق أدوات. على سبيل المثال، لاحظوا أن الذكاء الاصطناعي كان بارعاً في قول: "حدد الصف الذي يحتوي على أعلى قيمة"، فجعلوها أداة دائمة.

المستوى 2: مرحلة "الدرس المتقدم" (التعزيز القائم على الأدوات - Tool-Based RL)

التشبيه: الآن بعد أن أصبح لدى الطفل صندوق أدوات من الأدوات المثبتة، يتم إعطاؤه أحجية أصعب. يُقال له: "يجب عليك استخدام هذه الأدوات المحددة لحل هذه الأحجية".
ماذا فعل الذكاء الاصطناعي: تم تدريب الذكاء الاصطناعي على استخدام صندوق الأدوات الجديد هذا لحل أسئلة معقدة. تعلم كيفية ربط الأدوات معاً: "أولاً، حدد موقع الرسم البياني. ثانياً، اقرأ الأرقام. ثالثاً، قارن بينها".
المكافأة: إذا استخدم الذكاء الاصطناعي الأدوات بشكل صحيح وحصل على الإجابة الصحيحة، فإنه يحصل على "نجمة ذهبية" (مكافأة). وإذا أخطأ في استخدام الأداة، فإنه لا يحصل على نجمة.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة

لا مزيد من الصور المقطعة: بما أن الذكاء الاصطناعي لا يقوم بقص (قص) الصورة فعلياً، فإنه لا يفقد السياق المحيط أبداً. يمكنه رؤية الصورة كاملة بينما يركز على التفاصيل الصغيرة.
تفكير مرن: على عكس مقصات الطرق القديمة الجامدة، يمكن لهذه "الأدوات اللغوية" أن تتكيف. إذا احتاج الذكاء الاصطناعي لمقارنة شيئين، فإنه يستخدم أداة "المقارنة". إذا كان بحاجة لإيجاد اسم، فإنه يستخدم أداة "قراءة النص". الأمر يشبه امتلاك سكين سويسري بدلاً من مجرد مقص.
تقليل الهلوسة: "الهلوسة" هي عندما يخترع الذكاء الاصطناعي أشياء من عنده لأنه مرتبك. وبما أن Lang2Act يجبر الذكاء الاصطناعي على "النظر" إلى البيانات المحددة باستخدام أدواته قبل الإجابة، فإنه يعتمد على الأدلة الفعلية بدلاً من التخمين.

النتيجة في العالم الحقيقي

في اختباراتهم، كان Lang2Act مثل محقق يمكنه حل الألغاز التي استعصت على الجميع.

الاختبار: أعطوا الذكاء الاصطناعي أسئلة حول مستندات معقدة (مثل التقارير المالية أو الشرائح العلمية).
النتيجة: حقق Lang2Act 4% أكثر من الإجابات الصحيحة مقارنة بأفضل طريقة تالية.
"لماذا": في أحد الأمثلة، حاولت طريقة قديمة "التقريب" (Zoom in) على رسم بياني ولكنها قصت بالخطأ الإجابة "43%"، مما جعلها تخمن "56%" (وهي إجابة خاطئة). أما Lang2Act فقد قام ببساطة بـ "قراءة" الـ "43%" من الصورة الكاملة وأصاب الإجابة.

الملخص

Lang2Act هو طريقة جديدة للذكاء الاصطناعي للنظر إلى الصور. بدلاً من قص الصورة لرؤية التفاصيل (وهو أمر فوضوي وعرضة للخطأ)، فإنه يعلم الذكاء الاصطناعي استخدام كلمات خاصة للإشارة، والقراءة، والمقارنة بين أجزاء الصورة. هذا يحافظ على الصورة كاملة، ويساعد الذكاء الاصطناعي على التفكير بوضوح أكبر، ويؤدي إلى إجابات أكثر ذكاءً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Lang2Act: الاستنتاج البصري دقيق التفاصيل عبر سلاسل الأدوات اللغوية الناشئة ذاتيًا".

1. بيان المشكلة

يهدف نظام التوليد المعزز بالاسترجاع البصري (VRAG) إلى تحسين نماذج الرؤية واللغة (VLMs) من خلال دمج الوثائق البصرية الخارجية للإجابة على الاستفسارات. وبينما تنجح أطر عمل VRAG الحالية في التفوق على أنظمة RAG القائمة على النصوص من خلال الحفاظ على السياق البصري الشامل، إلا أنها تواجه قيودًا كبيرة عند التعامل مع الاستنتاج البصري دقيق التفاصيل:

الاعتماد الصارم على الأدوات: تعتمد أحدث الأساليب الحالية (مثل VRAG-RL وPixel-Reasoner) على أدوات صور خارجية محددة مسبقًا (مثل القص، أو التكبير، أو تحديد المناطق عبر واجهات برمجة التطبيقات - APIs).
فقدان المعلومات: غالبًا ما تؤدي عمليات معالجة الصور الصريحة هذه إلى فصل الإدراك البصري عن الاستنتاج المنططي. فالقص الميكانيكي قد يؤدي إلى فقدان غير قابل للاسترداد للمعلومات البصرية الحرجة (مثل قص رقم أثناء محاولة قراءته) ويقطع سياق التخطيط الشامل.
عدم المرونة: تقيد واجهات الأدوات الثابتة النماذج بعمليات ميكانيكية، مما يمنعها من تكييف استراتيجية الإدراك الخاصة بها ديناميكيًا بناءً على الاحتياجات الاستنتاجية المحددة للاستفسار.

2. المنهجية: Lang2Act

يقترح المؤلفون إطار عمل Lang2Act، الذي يستبدل أدوات الصور الخارجية الجامدة بـ سلاسل أدوات لغوية ناشئة ذاتيًا. فبدلاً من التلاعب الفيزيائي ببكسلات الصورة، يتعلم النموذج "محاكاة" الإجراءات البصرية من خلال التوليد التلقائي للنصوص (autoregressive text generation)، مما يؤدي فعليًا إلى استيعاب الإدراك البصري داخل عملية الاستنتاج.

يعمل إطار العمل عبر مسار تدريب يتكون من مرحلتين من التعلم التعزيزي (RL):

المرحلة الأولى: ظهور الأدوات اللغوية وتقنينها

الهدف: تمكين نموذج VLM من الاستكشاف الذاتي لمسارات الاستنتاج البصري عالية الجودة وتلخيصها في "صندوق أدوات لغوي" قابل لإعادة الاستخدام.
العملية:
1. يتم تدريب النموذج باستخدام خوارزمية التحسين بالعينات الديناميكية والقص المزدوج (DAPO).
2. يولد النموذج مسارات استنتاج ( $\tau$ ) تتضمن إجراءات بصرية ضمنية (مثل "تحديد موقع العنوان"، "قراءة القيمة").
3. يتم تحليل المسارات الناجحة (تلك التي تؤدي إلى إجابات صحيحة). يقوم النموذج بتجريد هذه الإجراءات إلى أدوات لغوية معيارية (ثلاثيات تتكون من: اسم الأداة، الوصف، والمعاملات).
4. يتم بناء مجمع أدوات (Tool Pool) عالمي، ويتم اختيار أكثر الأدوات تكرارًا وفعالية (Top- $K$ ) لتشكيل صندوق الأدوات اللغوي النهائي ( $T_{box}$ ).
- أمثلة على الأدوات: read_text_element (قراءة عنصر نصي)، read_numeric_value (قراءة قيمة عددية)، compare_values (مقارنة القيم)، locate_visual_element (تحديد موقع عنصر بصري).

المرحلة الثانية: تحسين الاستنتاج البصري المعزز بالأدوات

الهدف: تحسين نموذج VLM لاستخدام صندوق الأدوات اللغوي المقنن بفعالية في الاستنتاجات اللاحقة.
العملية:
1. يتم ضبط النموذج (fine-tuning) باستخدام التعلم التعزيزي (RL) مع صندوق الأدوات الثابت ( $T_{box}$ ).
2. يولد النموذج مخرجات مهيكلة تحتوي على:
  - التوجيه البصري ( $z_{route}$ ): اختيار صفحات المستند ذات الصلة من المجموعة المسترجعة.
  - تنفيذ الأداة ( $z_{exec}$ ): توليد تسلسل من استدعاءات الأدوات اللغوية (مثل <tool name="read_numeric_value" args="...">) متبوعًا بالملاحظة الداخلية للنموذج للنتيجة.
3. دالة المكافأة: يعمل التحسين على تعظيم مكافأة موزونة تجمع بين:
  - صحة الإجابة ( $r_{ans}$ ): ما إذا كانت الإجابة النهائية تطابق الحقيقة الأرضية (ground truth).
  - صلاحية الأداة ( $r_{tool}$ ): حد تنظيم يضمن استخدام النموذج للأدوات بدقة ضمن الهيكل المحدد وصندوق الأدوات المقنن.

3. المساهمات الرئيسية

سلاسل الأدوات اللغوية الناشئة ذاتيًا: يقدم البحث تحولًا في النموذج من التلاعب بالصور الخارجي إلى الإدراك اللغوي الداخلي. ومن خلال معاملة الإجراءات البصرية كعملية توليد نصوص، يتجنب Lang2Act فقدان المعلومات المرتبط بقص الصور مع الحفاظ على الانتباه دقيق التفاصيل.
إطار عمل تعلم تعزيزي ثنائي المرحلة: آلية تدريب مبتكرة تكتشف أولاً أنماط التأسيس البصري الفعالة من خلال الاستكشاف الذاتي ثم تدمجها في صندوق أدوات قوي وقابل لإعادة الاستخدام.
توحيد الإدراك والاستنتاج: على عكس النهج المفككة، يدمج Lang2Act التأسيس البصري مباشرة في عملية التوليد التلقائي، مما يسمح للنموذج بالحفاظ على السياق العالمي مع التركيز على تفاصيل محددة.
تقييم شامل: تُظهر التجارب المكثفة عبر عدة معايير (SlideVQA، ViDoSeek، MMLongBench-Doc) ومقاييس نماذج مختلفة (3B، 7B، 32B) متانة الطريقة وقدرتها على التعميم.

4. النتائج التجريبية

مكاسب الأداء: يتفوق Lang2Act على جميع النماذج المرجعية (بما في ذلك طرق Prompting، ونماذج VLRM، ونماذج MRAG، والنماذج المعززة بالأدوات مثل VRAG-RL) بنسبة أكثر من 4% في متوسط الدقة. وفي SlideVQA، حقق دقة بنسبة 83.62% مقارنة بثاني أفضل نموذج (VRAG-RL) الذي حقق 81.74%.
الإدراك دقيق التفاصيل: يُظهر التحليل وجود ارتباط إيجابي قوي بين قدرة النموذج على الانتباه إلى "المناطق الذهبية" (المناطق الحقيقية) ودقة الإجابة. يحقق Lang2Act أعلى مستويات الدقة البصرية (V-Precision) والاستدعاء البصري (V-Recall)، مما يشير إلى قدرة فائقة على تحديد واستخراج الأدلة البصرية ذات الصلة دون فقدان السياق.
تقليل الهلوسة: من خلال الاعتماد على الأدوات اللغوية بدلاً من قص الصور المحفوف بالمخاطر، يقلل Lang2Act بشكل كبير من الهلوسة. وتُظهر دراسات الحالة أنه بينما يفشل VRAG-RL غالبًا بسبب القص الخاطئ (مثل فقدان الإجابة "43%")، ينجح Lang2Act في تحديد المنطقة الصحيحة والإجابة بدقة.
التعميم: ينتقل صندوق الأدوات المقنن بفعالية إلى مجموعات البيانات خارج النطاق (FetaTab، PaperTab) دون إعادة تدريب، مما يثبت أن الأدوات هي بدائيات قابلة للتعميم وليست مجرد نواتج مرتبطة بمجموعة بيانات محددة.
الكفاءة: يحقق Lang2Act زمن انتقال أقل في الاستنتاج (~~50 ثانية) مقارنة بطرق أدوات الصور المتكررة مثل VRAG-RL (~~123 ثانية)، حيث يتجنب الأعباء الإضافية لاستدعاءات واجهات برمجة التطبيقات الخارجية ومعالجة الصور.

5. الأهمية

يعالج Lang2Act عقبة حرجة في نظام RAG البصري: المقايضة بين الحفاظ على السياق العالمي واستخراج التفاصيل الدقيقة.

الأثر النظري: يثبت أن الاستنتاج البصري المعقد يمكن تحقيقه من خلال التجريد اللغوي بدلاً من التلاعب الفيزيائي بالصور، مما يشير إلى أن نماذج VLM يمكنها "التفكير" في التفاصيل البصرية بنفس كفاءة "رؤيتها".
الأثر العملي: يقدم إطار العمل حلاً أكثر قوة وكفاءة وقابلية للتوسع لفهم المستندات، مما يقلل من خطر فقدان المعلومات المتأصل في الأنظمة القائمة على القص. كما يوفر مخططًا لبناء وكلاء ذاتيي التحسين يمكنهم تنسيق أدوات الاستنتاج الخاصة بهم، متجاوزين بذلك مجموعات الأدوات الثابتة والمحددة مسبقًا.

في الختام، يمثل Lang2Act خطوة كبيرة للأمام في جعل نماذج VLM أكثر قدرة على التعامل مع الاستفسارات المعقدة القائمة على المستندات من خلال توحيد الإدراك والاستنتاج عبر نهج لغوي ناشئ ذاتيًا.