💬 NLP

Beyond Pixels: Introspective and Interactive Grounding for Visualization Agents

تقدم هذه الورقة البحثية إطار عمل "التأريض البصري الاستبطاني والتفاعلي" (IVG)، الذي يتغلب على قيود نماذج الرؤية واللغة المعتمدة على البكسلات فقط من خلال الجمع بين الاستبطان القائم على المواصفات والتلاعب التفاعلي بالرؤية لتفسير وحل حالات الغموض بدقة في المخططات التفاعلية، وهو ما تم التحقق منه عبر معيار iPlotBench الجديد.

المؤلفون الأصليون: Yiyang Lu, Woong Shin, Ahmad Maroof Karimi, Feiyi Wang, Jie Ren, Evgenia Smirni

نُشر 2026-04-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yiyang Lu, Woong Shin, Ahmad Maroof Karimi, Feiyi Wang, Jie Ren, Evgenia Smirni

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى خريطة طقس معقدة على هاتفك. ترى بقعة حمراء فوق مدينة ما وتسأل مساعدك الذكي: "هل هطل المطر هنا أكثر أم في المنطقة الزرقاء المجاورة لها؟"

إذا كان الذكاء الاصطناعي يشبه نموذج رؤية-لغة تقليدي (VLM)، فإنه يشبه شخصاً يحدق في صورة منخفضة الدقة لتلك الخريطة. يتعين عليه تخمين الأرقام بناءً على حجم الألوان التي تبدو له. قد يقول: "تبدو المنطقة الحمراء أكبر، لذا فمن المحتمل أنها أمطرت أكثر". لكنه قد يكون مخطئاً. ربما تكون المنطقة الحمراء مجرد خط سميك، أو ربما الصورة ضبابية. إنه عالق في "عنق زجاجة البكسل فقط" (Pixel-Only Bottleneck): فهو لا يرى سوى الصورة، ولا يرى البيانات الكامنة وراءها.

تقدم هذه الورقة البحثية إطار عمل جديداً يسمى IVG (التأسيس البصري الاستبطاني والتفاعلي)، والذي يمنح وكلاء الذكاء الاصطناعي قدرات خارقة للخروج من عنق الزجاجة هذا. فكر في الأمر كأنك تمنح الذكاء الاصطناعي جهاز تحكم عن بعد ودفتر حسابات سري بدلاً من مجرد زوج من العيون.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. القوتان الخارقتان

يمنح إطار العمل الذكاء الاصطناعي أداتين محددتين لحل المشكلات:

القوة الخارقة (أ): "دفتر الحسابات السري" (الاستبطان القائم على المواصفات - Spec-Grounded Introspection)
- التشبيه: تخيل أنك في مطعم. بدلاً من تخمين تكلفة وجبتك من خلال النظر إلى الطبق، تسأل النادل عن الإيصال.
- كيف يعمل: الرسوم البيانية تُبنى في الواقع من كود (مواصفات) يحتوي على الأرقام الدقيقة. يتيح IVG للذكاء الاصطناعي قراءة هذا الكود مباشرة. هو لا يخمن أن العمود "حوالي 50"؛ بل يقرأ الكود ويعرف أنه بالضبط 50.34. هذا يمنع الذكاء الاصطناعي من اختلاق الحقائق (الهلوسة).
القوة الخارقة (ب): "جهاز التحكم السحري" (التفاعل القائم على الرؤية - View-Grounded Interaction)
- التشبيه: تخيل أنك تنظر إلى غرفة مزدحمة من خلال ثقب مفتاح صغير. لا يمكنك رؤية من يتحدث مع من. ولكن إذا كان لديك جهاز تحكم عن بعد يسمح لك بالتكبير (Zoom in) على مجموعة معينة أو إطفاء الأضواء عن الأشخاص الذين لا تهتم بهم، فستتمكن أخيراً من رؤية الحقيقة.
- كيف يعمل: في بعض الأحيان، تكون البيانات فوضوية للغاية بحيث يصعب قراءتها حتى مع وجود "دفتر الحسابات السري" بسبب تداخل الكثير من الخطوط. يستخدم الذكاء الاصطناي "جهاز التحكم السحري" للتكبير على منطقة معينة، أو إخفاء الخطوط المربكة، أو تحديد نقطة معينة. هذا يمنح الذكاء الاصطناعي "نقطة تركيز" واضحة ليسأل "دفتر الحسابات السري" عنها.

2. كيف يعملان معاً

تظهر الورقة البحثية أن هاتين الأداتين تعملان بشكل أفضل عند استخدامهما معاً، مثل محقق يحمل عدسة مكبرة وقاعدة بيانات.

المشكلة: تسأل: "هل يتقاطع هذان الخطان؟"
الطريقة القديمة (البكسل فقط): ينظر الذكال الاصطناعي إلى الصورة الضبابية ويخمن: "ربما؟ يبدوان قريبين من بعضهما". (خطأ).
طريقة IVG:
1. التفاعل: يقول الذكاء الاصطناي: "لا أستطيع التحديد من هذه الرؤية الواسعة. دعني أكبر على النقطة التي يبدو فيها الخطان قريبين". (يستخدم جهاز التحكم السحري).
2. الاستبطان: الآن بعد أن قام بالتكبير، يسأل دفتر الحسابات السري: "ما هي الإحداثيات الدقيقة لهذين الخطين عند هذه النقطة؟"
3. الإجابة: يقول الدفتر: "الخط (أ) عند 45.2، والخط (ب) عند 45.8".
4. الاستنتاج: "لا، إنهما لا يتقاطعان".

3. الاختبار الجديد (iPlotBench)

لإثبات نجاح ذلك، صمم الباحثون اختباراً جديداً يسمى iPlotBench.

الاختبارات القديمة: كانت تشبه عرض صورة لرسم بياني على إنسان وسؤاله أسئلة. إذا أخطأ الإنسان (أو الذكاء الاصطناعي) في قراءة الصورة، فقد فشل.
الاختبار الجديد: أنشأ الباحثون 500 رسم بيئي تفاعلي وأعطوا الذكاء الاصطناعي الكود المصدري لها. كان على الذكاء الاصطناعي إعادة إنشاء الرسم البياني والإجابة على الأسئلة. ولأن الاختبار يحتوي على "الإجابة الصحيحة" مخبأة في الكود، فنحن نعرف بالتأكيد ما إذا كان الذكاء الاصطناعي مصيباً أم مجرد مخمن.

4. لماذا يهم هذا في الحياة الواقعية

تظهر الورقة البحثية أن هذا ليس مجرد خدعة رياضية؛ بل يغير كيفية مساعدة الذكاء الاصطناعي لنا:

التعاون في الوقت الفعلي: تخيل أنك تنظر إلى رسم بياني للأسهم مع صديق. أنت تشير إلى انخفاض وتتساءل: "لماذا انخفض السعر هنا؟". يرى الذكاء الاصطناعي بالضبط أين أشرت (بفضل أداة التفاعل)، ويبحث عن البيانات الدقيقة (بفضل دفتر الحسابات)، ويشرح: "آه، انخفض السعر لأن حجم التداول ارتفع في الساعة 2 مساءً". لا مزيد من التخمينات الغامضة.
الاستكشاف الذاتي: يمكن للذكاء الاصطناعي الآن استكشاف مجموعة بيانات ضخمة بمفرده. يمكنه أن يقول: "أعتقد أن هاتين المجموعتين مختلفتان"، فينشئ رسماً بيانياً، ويكبّر ليتأكد، ويقرأ الأرقام الدقيقة، وإذا لم تتطابق الأرقام، يقول: "خطئي، كنت مخطئاً"، ويجرب نظرية جديدة. إنه يصبح عالماً يصحح نفسه ذاتياً.
إيجاد الحل الأمثل: في المهام المعقدة مثل تدريب نماذج الذكاء الاصطناعي، هناك آلاف الخيارات. يمكن للذكاء الاصطناعي استخدام IVG للتركيز (Zoom in) على الخيارات "الواعدة" والتحقق من درجاتها الدقيقة، متجاهلاً الخيارات السيئة، بشكل أسرع بكثير مما يمكن للإنسان فعله.

الخلاصة

الذكاء الاصطناعي الحالي يشبه شخصاً يحاول قراءة كتاب من خلال التحديق في نسخة ضوئية ضبابية. هذه الورقة تمنح الذكاء الاصطناعي الكتاب الأصلي (مواصفات البيانات) وعلامة مرجعية (أدوات التفاعل) ليجد بالضبط ما يحتاجه.

من خلال الجمع بين قراءة الكود المصدري والتحكم في الرؤية، يتوقف وكلاء الذكاء الاصطناعي عن التخمين ويبدأون في المعرفة. إنهم ينتقلون من كونهم مراقبين سلبيين قد يكذبون بشأن ما يرونه، إلى مستكشفين نشطين يمكنهم إثبات ما هو صحيح تماماً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء البكسلات: التأسيس الاستبطاني والتفاعلي لوكلاء التصور البياني".

1. بيان المشكلة: عقبة "البكسل فقط"

تعاني نماذج الرؤية واللغة (VLMs) الحالية المستخدمة في تحليل المخططات من قيد جوهري يُعرف باسم عقبة "البكسل فقط" (Pixel-Only Bottleneck).

المشكلة: تتعامل الوكلاء مع المخططات التفاعلية كصور ثابتة، معتمدةً فقط على تفسير البكسلات. يؤدي هذا إلى "هلوسات إدراكية" مثل إساءة قراءة القيم العددية، أو الخلط بين نقاط البيانات المتداخلة، أو الفشل في اكتشاف الاتجاهات الدقيقة.
السبب الجذري: تُنشئ مكتبات التصور الحديثة (مثل Plotly وVega-Lite) المخططات من مواصفات مهيكلة (JSON) تحتوي على قيم بيانات دقيقة، ونطاقات المحاور، وتعاريف المسارات (trace definitions). ومع ذلك، تتجاهل الوكلاء الحالية هذا المصدر المهيكل للحقيقة، وتحاول استنتاج القيم من بيانات بكسلية تقريبية وفاقدة للدقة.
النتيجة: في المجالات عالية المخاطر مثل تحليل البيانات، تؤدي هذه الأخطاء إلى كسر سلسلة الاستدلال، مما يؤدي إلى استنتاجات مغلوطة. وخلافاً للصور الفوتوغرافية، تمتلك المخططات حقيقة موضوعية حتمية (المواصفات) لا يمكن للوكلاء الوصول إليها حالياً.

2. المنهجية: التأسيس البصري الاستبطاني والتفاعلي (IVG)

تقترح الورقة إطار عمل IVG، الذي ينقل استدلال الوكيل من الفحص الاحتمالي للبكسلات إلى الوصول المهيكل الحتمي. يعمل IVG عبر آليتين متكاملتين:

أ. الاستبطان القائم على المواصفات (Spec-Grounded Introspection)

الآلية: يقوم الوكلاء بالاستعلام مباشرة عن مواصفات JSON الخاصة بالمخطط.
الوظيفة: بدلاً من تقدير القيم من البكسلات، يستخرج الوكيل مصفوفات البيانات الدقيقة، وتعاريف المسارات، والسمات.
الفائدة: يقضي على أخطاء التقدير والهلوسات المتعلقة بالقيم العددية والعلاقات بين البيانات.

ب. التفاعل القائم على العرض (View-Grounded Interaction)

الآلية: يقوم الوكلاء بالتلاعب بالعرض المُصوّر باستخدام أدوات مثل التكبير (zooming)، والتحريك (panning)، وتبديل المسارات (النقر على وسيلة الإيضاح)، وتحديد المناطق.
الوظيفة: تولد هذه الإجراءات سياقاً بؤرياً (على سبيل المثال: نطاقات محاور محددة، أو فهارس مسارات، أو نقاط بيانات مختارة).
الفائدة: يقلص التفاعل مساحة البحث داخل المواصفات. على سبيل المثال، يسمح التكبير داخل منطقة متداخلة للوكيل بتصفية ملف JSON للوصول فقط إلى نقاط البيانات ذات الصلة، مما يحل الغموض البصري الذي لا يمكن للاستبطان وحده معالجته.

ج. التنفيذ: واجهة برمجة تطبيقات حالة التصور (Visualization State API)

يتم تنفيذ إطار العمل باستخدام أدوات بروتوكول سياق النموذج (MCP). توفر الواجهة البرمجية ما يلي:

الأدوات الأساسية: show_plot و get_plot_image.
أدوات الاستبطان: get_plot_json (يعيد المواصفات الكاملة).
أدوات التفاعل: relayout (التكبير/التحريك)، legendclick (تبديل المسارات)، selected (الحصول على النقاط في منطقة محددة).
سير العمل: يتنقل الوكيل بين التفاعل (لتحديد التركيز) والاستبطان (لاسترجاع البيانات الدقيقة) حتى يتم جمع الأدلة الكافية.

3. المساهمات الرئيسية

أ. مجموعة أدوات IVG

مجموعة من أدوات MCP التي تمكن الوكلاء من الوصول إلى مواصفات المخططات والتلاعب بالعروض، مما يحول الوكلاء من مراقبين سلبيين إلى مستكشفين نشطين لتصوراتهم.

ب. iPlotBench (المعيار المرجعي)

معيار تقييم جديد مصمم لتجاوز قيود معايير الصور الثابتة الحالية (مثل ChartQA).

مجموعة البيانات: 500 شكل تفاعلي من نوع Plotly عبر 5 أنواع من المخططات (الخطي، الخط والنقاط، الأعمدة الرأسية/الأفقية، والمخطط الدائري).
النطاق: 6,706 سؤالاً ثنائياً (نعم/لا) مع مواصفات الحقيقة الأرضية.
مقياس التقييم: التشابه الهيكلي الدلالي (SSS). بخلاف التقييم القائم على نماذج الرؤية واللغة (VLM) أو المقاييس على مستوى البكسل، يقارن SSS بشكل حتمي ملف JSON الذي أنشأه الوكيل مقابل مواصفات الحقيقة الأرضية. ويتضمن مقاييس فرعية لـ:
- نوع المسار ( $S_{Type}$ ).
- دقة البيانات ( $S_{Data}$ ): يستخدم مسافة Chamfer على السحب النقطية.
- صحة النصوص ( $S_{Text}$ ): مطابقة ضبابية واعية بالأدوار.
- النمط البصري ( $S_{Style}$ ): مطابقة الألوان والسمات.

ج. سيناريوهات النشر

تستعرض الورقة استخدام IVG في ثلاثة تدفقات عمل واقعية:

التعاون في الوقت الفعلي: يشير المستخدمون إلى مناطق في المخطط؛ يلتقط IVG ذلك كـ "سياق بؤري"، مما يسمح للوكيل بالإجابة على أسئلة مثل "لماذا انخفضت القيمة هنا؟" دون الحاجة لوصف لفظي.
الاستكشاف الذاتي: تولد الوكلاء تقارير قائمة على الأدلة، حيث تتحقق من الادعاءات عبر استرجاع القيم الدقيقة قبل صياغة الاستنتاجات النهائية.
البحث عن حلول تعلم الآلة: يستخدم الوكلاء IVG لمقارنة حلول تعلم الآلة المرشحة (مثل منحنيات التدريب) عبر استرجاع المقاييس الدقيقة من المخططات المتداخلة، مما يوجه البحث نحو المسارات الواعدة.

4. النتائج التجريبية

قيمت الدراسة الوكلاء (Claude Haiku 4.5 وعائلة Qwen-VL) عبر iPlotBench في أربعة تكوينات: الرؤية (بدون أدوات)، +التفاعل (التفاعل فقط)، +الاستبطان (الاستبطان فقط)، و الكامل (كلاهما).

إعادة إنشاء المخطط (المهمة 1):
- حقق الاستبطان (+Intro) أعلى المكاسب في دقة البيانات ( $S_{Data}$ : 0.8847 $\to$ 0.9016) وتحديد أنواع المسارات.
- قدم التفاعل وحده فوائد هيكلية محدودة.
- الاستنتاج: إضافة التفاعل إلى الاستبطان أدت أحياناً إلى تشتيت الوكلاء عن الإصلاحات على مستوى المواصفات، مما قلل قليلاً من $S_{Data}$ في التكوين الكامل.
الأسئلة البصرية (المهمة 2):
- حقق التكوين الكامل أعلى دقة إجمالية (0.8062).
- التآزر: قدم التفاعل أكبر المكاسب (+6.7%) في المخططات الخطية ومخططات الخط والنقاط حيث توجد تداخلات. كان الاستبطان وحده كافياً للمخططات العمودية والدائرية حيث تكون الهندسة متميزة.
- أنواع الأسئلة: تفوق الاستبطان في أسئلة المقارنة؛ بينما تفوق التكوين الكامل في أسئلة الطوبولوجيا (مثل التقاطعات) حيث كانت هناك حاجة للسياق المكاني.
توسع النماذج:
- تتناسب الفوائد مع قدرة النموذج. النماذج التي تمتلك $\ge$ 20 مليار معلمة نشطة (مثل Qwen3-VL-235B) تحسنت باستمرار مع IVG.
- النماذج الأصغر (مثل Qwen3-VL-30B) واجهت صعوبة في تنسيق الأدوات بفعالية، وأحياناً كان أداؤها أسوأ مع الأدوات مقار بحالتها بدونها.
استخدام الأدوات:
- تعلم الوكلاء الموازنة بين الآليات. عندما كان الاستبطان متاحاً، انخفضت استدعاءات التفاعل بنسبة 71%، مما يشير إلى أن الوكلاء استبدلوا التلاعب بالمنظر باستعلامات المواصفات المباشرة كلما أمكن ذلك.

5. الأهمية والأثر

تحول في النموذج المعرفي: ينقل IVG المجال من "تفسير البكسلات" إلى "الاستعلام عن المواصفات"، معالجاً السبب الجذري للهلوسة في تحليل المخططات.
التقييم الحتمي: من خلال تقديم iPlotBench والتشابه الهيكلي الدلالي، توفر الورقة طريقة صارمة وغير هلوسية لتقييم أداء الوكلاء، متجاوزة الحاجة للتقييم القائم على نماذج الرؤية واللغة.
التعاون بين الإنسان والوكيل: يتيح إطار العمل قناة اتصال مشتركة حيث توفر تفاعلات البشر (التكبير، التحديد) سياقاً دقيقاً للوكلاء، مما يقلل من الاحتكاك الناتج عن الوصف اللفظي.
القدرة على التعميم: رغم تطبيقها على Plotly، فإن المبدأ الأساسي (فصل المواصفات عن عملية التصوير) ينطبق على أي مكتبة تصور قائمة على القواعد (مثل Vega-Lite أو ECharts)، مما يقدم مخططاً لتصميم الأدوات المستقبلية.

في الختام، تجادل الورقة بأنه لكي تكون الوكلاء جديرة بالثقة في تحليل البيانات، يجب أن تتوقف عن التخمين من البكسلات وتبدأ في قراءة الكود المصدري للتصور. يوفر IVG الأدوات والإطار اللازمين لجعل هذا ممكناً.