💬 NLP

OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

يُعد OmniTrace إطار عمل خفيف الوزن ومستقل عن النماذج يعالج تحدي عزو العبارات المولدة في النماذج اللغوية الكبيرة متعددة الوسائط من خلال صياغة العزو كمسألة تتبع أثناء التوليد، مما يتيح تفسيرات متماسكة على مستوى النطاق عبر الوسائط دون الحاجة إلى إعادة تدريب أو إشراف.

المؤلفون الأصليون: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مجرد النظر إلى مسرح جريمة، أنت تشاهد فيلماً حياً يتكشف أمامك حيث يقوم المحقق (الذكاء الاصطناعي) بكتابة السيناريو نفسه أثناء عرض الفيلم.

هذا الفيلم لديه أربع كاميرات تعمل في وقت واحد:

النص (نسخة لما يقوله الناس).
الصور (صور للمشهد).
الصوت (أصوات الأحاديث والضوضاء في الخلفية).
الفيديو (الصورة المتحركة للأحداث).

يشاهد الذكاء الاصطناعي هذه الكاميرات الأربع ويبدأ في كتابة قصة. ولكن هنا تكمن المشكلة: كيف نعرف أي جزء من القصة جاء من أي كاميرا؟

إذا كتب الذكاء الاصطناعي: "المشتبه به يرتدي قبعة حمراء"، فهل رأى القبعة الحمراء في الصورة؟ أم سمع شخصاً يذكرها في الصوت؟ أم أنه اختلق الأمر من خياله؟

المشكلة: المحقق "الصندوق الأسود"

حتى الآن، كانت معظم أدوات الذك الذاء الاصطناعي التي تحاول الإجابة على هذا السؤال مثل المحققين القدامى الذين يعملون فقط على مسارح جريمة ثابتة (مثل صورة واحدة أو تقرير مكتوب). لقد كانوا بارعين في قول: "هذه الكلمة في التقر al جاءت من هذا الدليل".

لكن الذكاء الاصطناعي الحديث (المسمى بالنماذج اللغوية الكبيرة متعددة الوسائط - Omni-Modal LLMs) مختلف. إنه راوٍ حي ومُرتجل. ليس لديه سيناريو ثابت؛ بل يكتب كلمة تلو الأخرى بينما يشاهد الفيلم. لم تستطع الأدوات القديمة مواكبة ذلك لأنها كانت تحاول النظر إلى القصة بأكملها بعد انتهائها، بدلاً من تتبع الأدلة أثناء كتابة القصة. لقد كانوا مثل من يحاول معرفة من كتب جملة في كتاب من خلال النظر إلى الحبر بعد طباعة الكتاب، دون معرفة من كان يمسك بالقلم في تلك اللحظة تحديداً.

الحل: OmniTrace (متتبع "السلك الحي")

تقدم الورقة البحثية OmniTrace، وهو إطار عمل جديد يعمل مثل جهاز تنصت عالي التقنية ولحظي لعقل الذكاء الاصطناعي.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "السلك الحي" (التتبع أثناء التوليد)

تخيل أن الذكاء الاصطناعي طاهٍ يطهو وجبة معقدة (الإجابة) بينما ينظر إلى أربعة كتب وصفات مختلفة (المدخلات: النص، الصورة، الصوت، الفيديو).

الطريقة القديمة: تنتظر حتى تُقدم الوجبة، ثم تسأل الطاهي: "أي كتاب استخدمت لتحضير هذا الطبق؟" قد يخمن الطاهي، أو قد تكون الإجابة غامضة لأن عملية الطهي قد انتهت.
طريقة OmniTrace: يقوم OmniTrace بتثبيت مستشعر صغير على يد الطاهي أثناء الطهي. في كل مرة يلتقط فيها الطاهي توابل (كلمة)، يتحقق المستشعر فوراً: "هل حصلت على هذه التوابل من كتاب الصور، أم كتاب الصوات، أم كتاب النص؟"

إنه لا ينتظر حتى النهاية. إنه يتتبع المصدر كلمة بكلمة أثناء تفكير الذكاء الاصطناعي.

2. "مرشح الضجيج" (تجميع الإشارات)

أحياناً، تصبح المستشعرات مضطربة قليلاً. ربما يلقي الذكاء الاصطناعي نظرة خاطفة على صورة كلب بينما يتحدث عن قطة، فيصاب المستشعر بالارتباك.

OmniTrace ذكي بما يكفي لإدراك: "مهلاً، تلك الصورة للكلب كانت مجرد نظرة خاطفة لأجزاء من الثانية. السبب الحقيقي لتحدثنا عن القطة هو هذا المقطع الصوتي الذي استمر 5 ثوانٍ".
يقوم بتجميع هذه النظرات الصغيرة والمضطربة في كتل ذات معنى. بدلاً من القول: "نظر الذكاء الاصطناعي إلى الصورة 1 لمدة 0.1 ثانية"، يقول: "استخدم الذكاء الاصطناعي الصورة 1 لشرح الجملة الكاملة عن القطة".

3. "المترجم العالمي" (المستقل عن النموذج)

الجزء الأفضل؟ OmniTrace لا يهتم بكيفية تفكير الذكاء الاصطناعي. إنه يعمل مثل محول عالمي. سواء كان الذكاء الاصطناعي يستخدم "الانتباه" (التركيز بدقة على الأشياء) أو "التدرجات" (قياس مدى تأثير التغيير في النتيجة)، يمكن لـ OmniTrace الاتصال بأي من هذه الإشارات وترجمتها إلى إجابة واضحة للبشر.

لماذا هذا مهم؟

فكر في الأمر كأنه مدقق حقائق للمستقبل.

الثقة: إذا أخبرك الذكاء الاصطناعي: "هذا الدواء يعالج المرض"، يمكن لـ OmniTrace أن يشير إلى الدراسة الطبية المحددة (النص) أو فيديو التجارب السريرية (الفيديو) الذي استخدمه الذكاء الاصطناعي لتقديم هذا الادعاء.
تصحيح الأخطاء: إذا أخطأ الذكاء الاصطناعي، يمكنك رؤية أين حدث الارتباك بالضبط. "أوه، لقد تجاهل دليل الصوت وركز فقط على الصورة الضبابية".
الشفافية: إنه يمنع الذكاء الاصطناعي من "الهلوسة" (اختلاق أشياء) دون علمنا. فهو يجبر الذكاء الاصطناعي على إظهار خطوات عمله، تماماً كما يظهر الطالب خطواته الرياضية في الاختبار.

الخلاصة

OmniTrace هو أداة تحول "سحر" الذكاء الاصطناعي إلى عملية شفافة. إنه يأخذ التدفق الفوضوي والسريع لذكاء اصطناعي يشاهد فيلماً ويكتب قصة، ويرسم خطاً واضحاً من كل جملة وصولاً إلى اللحظة الدقيقة في الفيلم التي ألهمته. إنه يضمن أنه عندما يتحدث الذكاء الاصطناعي، فإننا نعرف بالضبط أي جزء من العالم يستمع إليه.

إليك ملخص تقني مفصل لورقة البحث: "OmniTrace: إطار عمل موحد للعزو أثناء التوليد في النماذج اللغوية الكبيرة متعددة الوسائط (Omni-Modal LLMs)."

1. بيان المشكلة

يمكن للنماذج اللغوية الكبيرة الحديثة متعددة الوسائط (Omni-Modal MLLMs) توليد استجابات سلسة من مدخلات متداخلة تشمل النصوص، الصور، الصوت، والفيديو. ومع ذلك، توجد فجوة حرجة في العزو (Attribution): وهي تحديد أي مصادر مدخلات محددة تدعم كل عبارة تم توليدها.

تواجه طرق العزو الحالية ثلاثة قيود أساسية عند تطبيقها على التوليد مفتوح النهاية القائم على فك التشفير (decoder-only):

التحيز نحو الهدف الثابت (Fixed-Target Bias): معظم الطرق مصممة لمهام التصنيف أو الاستخراج ذات هدف مخرجات ثابت. وهي تفشل في عملية التوليد التكراري (autoregressive generation) حيث يتطور هيكل المخرجات ديناميكيًا.
التركيز على نمط واحد (Single-Modality Focus): تجد النهج التقليدية صعوبة في التعامل مع المدخلات غير المتجانسة (نص، صورة، صوت، فيديو) الموحدة ضمن خط زمني سببي واحد للرموز (tokens).
عدم الاستقرار على مستوى الرمز (Token-Level Instability): الإشارات الخام على مستوى الرمز (مثل أوزان الانتباه) تكون مشوشة ومجزأة، وتفتقر إلى التماسك الدلالي على مستوى العبارة، مما يجعل من الصعب تفسير لماذا ولد النموذج عبارة معينة بناءً على منطقة صورة محددة أو مقطع صوتي معين.

التحدي الجوهري هو تطوير إطار عمل للعزو يأخذ بعين الاعتبار عملية التوليد، ويكون متعدد الوسائط، وقابلاً للتفسير دلاليًا، يعمل عبر الإنترنت (online) أثناء عملية فك التشفير دون الحاجة لإعادة التدريب.

2. المنهجية: OmniTrace

إن OmniTrace هو إطار عمل خفيف الوزن، ومستقل عن النموذج (model-agnostic)، يصيغ العزو كمسألة تتبع أثناء التوليد (generation-time tracing). يقوم بتحويل إشارات الرموز التعسفية إلى تفسيرات متماسكة على مستوى النطاق (span-level).

الخوارزمية الأساسية (الخوارزمية 1)

تعمل العملية في مرحلتين رئيسيتين أثناء فك التشفير التكراري:

المرحلة 1: تتبع المصدر أثناء التوليد

المدخلات: تسلسل متداخل من الرموز $x$ (نص، صورة، صوت، فيديو) ومطالبة (prompt).
تسجيل النقاط على مستوى الرمز: عند كل خطوة فك تشفير $t$ ، يولد النموذج رمزًا $y_t$ . وبالتزامن مع ذلك، يتم حساب إشارة عزو على مستوى الرمز $a_t(i)$ لكل رمز مدخل $i$ في السياق السببي. يمكن اشتقاق هذه الإشارة من أوزان الانتباه (مثل المتوسط المجمع، أو الأوزان الخام) أو النقاط القائمة على التدرج (gradient-based scores).
رسم خرائط المصدر: يقوم إطار العمل بتجميع كتلة العزو عبر وحدات مصدر محددة مسبقًا $S$ (مثل نطاقات النص، مناطق الصور، الفترات الزمنية). لكل رمز مولد، يحدد الوحدة المصدرية $S_j$ ذات الدرجة المجمعة الأعلى:
$\hat{s}(t) = \arg \max_{S_j \in S} \sum_{i \in S_j} a_t(i)$
تسجيل الثقة: يتم تسجيل درجة ثقة $c_t$ بناءً على قوة كتلة العزو.

المرحلة 2: التجميع والتنقيح على مستوى النطاق (Span-Level)

التقسيم (Segmentation): يتم تقسيم تسلسل المخرجات المولد إلى أجزاء متماسكة دلاليًا (نطاقات) $C_k$ (مثل الجمل أو العبارات).
تجميع الإشارات: يتم تجميع آثار مستوى الرمز داخل النطاق لتقليل التباين.
اختيار المصدر بناءً على الثقة: تقوم وحدة التنقيح باختيار مجموعة موجزة من المصادر الداعمة $\hat{S}_k$ $\hat{S}_{k}$ لكل نطاق باستخدام:
- الترجيح الواعي بأجزاء الكلام (POS-Aware Weighting): إعطاء الأولوية للرموز ذات المحتوى (الأسماء، الأرقام) على كلمات الربط والوظائف.
- تشكيل الثقة (Confidence Shaping): تضخيم المحاذات عالية اليقين وتثبيط الإشارات الضعيفة.
- تماسك المستوى المتتالي (Run-Level Coherence): تفضيل التعيينات المصدرية المتصلة زمنيًا لضمان الاستقرار.
- تصفية العتبة (Threshold Filtering): إزالة التعيينات ذات الكتلة المنخفضة لمنع الضجيج.

خصائص التصميم

مدرك للتوليد (Generation-Aware): يحسب العزو ديناميكيًا عند كل خطوة فك تشفير، وليس بعد التوليد (post-hoc) على هدف ثابت.
متعدد الوسائط (Omni-Modal): يعمل على خط زمني موحد للرموز يشمل جميع الوسائط.
مستقل عن النموذج (Model-Agnostic): متوافق مع آليات التسجيل المختلفة (الانتباه، التدرجات) وبنيات النماذج المختلفة.

3. المساهمات الرئيسية

الصياغة: تعريف العزو لتوليد الوسائط المتعددة مفتوح النهاية كمسألة تتبع ديناميكية، مع تسليط الضوء على قيود النهج الثابتة أحادية الوسائط.
إطار العمل: تقديم بروتوكول OmniTrace، وهو بروتوكول جاهز للاستخدام (plug-and-play) يحول إشارات مستوى الرمز المشوشة إلى تفسيرات مستقرة ومتماسكة عبر الوسائط دون إعادة تدريب النموذج.
التحقق التجريبي: إثبات أن العزو على مستوى النطاق المدرك للتوليد يحقق نتائج أكثر استقرارًا وقابلية للتفسير بشكل ملحوظ مقارنة بالنماذج المرجعية الساذجة عبر مهام ونماذج متنوعة.

4. النتائج التجريبية

قام المؤلفون بتقييم OmniTrace على 759 مثالاً عبر مهام بصرية وصوتية وفيديو باستخدام Qwen2.5-Omni و MiniCPM-o-4.5.

الأداء: تفوق OmniTrace بشكل كبير على النماذج المرجعية التي تعمل بعد التوليد (Self-Attribution, Embedding-based similarity, Random).
- مثال: في مهمة التلخيص البصري باستخدام Qwen2.5-Omni، حقق OmniTrace (OTAttMean) درجة 75.66 F1، مقارنة بـ 9.25 لنموذج Self-Attribution.
- الصوت/الفيديو: حقق درجات قوية في Time-F1 (مثل 83.12 في Audio QA)، مما يثبت فعاليته في المجالات الزمنية المستمرة حيث تفشل النماذج المرجعية القائمة على التضمين (embedding).
دراسات الاستئصال (Ablation Studies):
- التصفية أمر بالغ الأهمية: أدى إزالة ترجيح الثقة أو تماسك المستوى المتتالي إلى انخفاض حاد في F1 الخاص بالصور (من ~76 إلى ~20)، مما يشير إلى أن التأسيس البصري (visual grounding) حساس للغاية لتصفية الضجيج.
- تقسيم ASR: يعد تقسيم التعرف التلقائي على الكلام (ASR) عالي الجودة أمرًا ضروريًا؛ حيث أدى استخدام الرموز الخام دون تقسيم دلالي إلى تدهور شديد في الأداء.
- التآزر متعدد الوسائط: أدى الجمع بين المدخلات البصرية والصوتية إلى أفضل أداء للعزو، مما يؤكد الحاجة إلى سياق مشترك.
الموثوقية (Faithfulness): في أسئلة الاختيار من متعدد، أظهر OmniTrace اتساقًا بنسبة 93.84% في المركز الأول (Top-1 consistency)، مما يعني أن إشارات العزو حددت بشكل صحيح المصدر المقابل للإجابة التي اختارها النموذج، مما يؤكد أن التتبع يعكس عملية اتخاذ القرار الداخلية للنموذج.

5. الأهمية والخاتمة

يعالج OmniTrace فجوة الشفافية الحرجة في الجيل القادم من نماذج الذكاء الاصطناه. من خلال التعامل مع العزو كمسألة مهيكلة أثناء التوليد، فإنه يوفر:

القابلية للتوسع: طريقة تعمل عبر الإنترنت أثناء فك التشفير دون أعباء حسابية ثقيلة أو إعادة تدريب.
القابلية للتفسير: يسد الفجوة بين احتمالات الرموز الخام والتفسيرات المفهومة بشريًا (مثل: "هذه الجملة مبنية على مقطع الفيديو من الثانية 14 إلى 16").
الثقة: يتيح تصحيح الأخطاء والتحقق من النماذج متعددة الوسائط، مما يضمن أن المحتوى المولد مستند إلى أدلة مدخلة فعلية بدلاً من الهلوسة.

يؤسس هذا الإطار لبروتكول أساسي للشفافية في النماذج اللغوية الكبيرة متعددة الوسائط، مما يشير إلى أن النماذج المستقبلية يجب أن تدمج آليات التتبع هذه بشكل أصيل لضمان الموثوقية في مهام الاستدلال المعقدة متعددة الأدلة.