🤖 machine learning

HyperTokens: Controlling Token Dynamics for Continual Video-Language Understanding

تقدم الورقة البحثية HyperTokens، وهو مولد رموز يعتمد على المحولات ومعزز بمنظمات مستوحاة من الميتا (meta) وإشراف مساعد سببي لتمكين فهم مستمر وفعال للفيديو واللغة مع تقليل النسيان عبر إنتاج مطالبات ديناميكية خاصة بكل مهمة دون زيادة تكاليف الذاكرة.

المؤلفون الأصليون: Toan Nguyen, Yang Liu, Celso De Melo, Flora D. Salim

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Toan Nguyen, Yang Liu, Celso De Melo, Flora D. Salim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وعالماً بكل شيء (نموذج ذكاء اصطناعي ضخم)، قد قرأ كل كتاب في العالم. هذا الأمين بارع في الإجابة على الأسئلة المتعلقة بالتاريخ، والعلوم، والأفلام. ولكن الآن، تريد تعليم هذا الأمين مهارة جديدة: فهم الفيديو بدلاً من مجرد النصوص.

المشكلة هي أنك إذا حاولت تعليم الأمين مهارة جديدة (مثل "كيفية مشاهدة برامج الطبخ")، فقد ينسى بالخطأ كيفية الإجابة على أسئلة حول "السفر عبر الفضاء". وهذا ما يسمى بـ النسيان الكارثي (Catastrophic Forgetting).

علاوة على ذلك، إذا أردت تعليمه 100 نوع مختلف من الفيديوهات (طبخ، رياضة، أخبار، رسوم متحركة)، فلا يمكنك إعطاؤه 100 دليل تعليمات مختلف؛ لأن ذلك سيستهلك مساحة كبيرة من دماغه، وستبدأ الأدلة في الاختلاط ببعضها البعض.

HyperTokens هو اختراع جديد يحل هذه المشكلة. إليك كيف يعمل، باستخدام تشبيهات من الحياة اليومية:

1. "مولد الوصفات السحرية" (الفكرة الجوهرية)

بدلاً من إعطاء أمين المكتبة دليلاً تعليمياً سميكاً لكل نوع فيديو، تمنح HyperTokens مولداً صغيراً وسحرياً للوصفات.

الطريقة القديمة: أنت تسلم أمين المكتبة كتاباً سميكاً لـ "الطبخ"، وآخر لـ "الرياضة"، وآخر لـ "الأخبار". وفي النهاية، تمتلئ رفوف الكتب لديه وتصاب بالارتباك.
طريقة HyperTokens: أنت تعطي أمين المكتبة آلة صغيرة ثابتة الحجم. عندما تريد منه مشاهدة برنامج طبخ، تقوم بتغذية الآلة بـ "رمز" صغير (مثل الرمز البريدي لـ "الطبخ"). تقوم الآلة فوراً بطباعة مجموعة التعليمات المثالية والدقيقة (الرموز/tokens) المطلوبة لتلك المهمة المحددة.
الفائدة: تظل الآلة بنفس الحجم بغض النظر عن عدد المهام التي تضيفها. لن تنفد مساحة الرفوف لديك أبداً، وستكون التعليمات دائماً متجددة ومحددة.

2. "المدرب الذي يسافر عبر الزمن" (منع النسيان)

أحد أكبر التحديات هو أنه عندما يتعلم الأمين "الطبخ"، قد يبدأ في نسيان "السفر عبر الفضاء".

تستخدم HyperTokens تقنية تسمى التنظيم الاستباقي (Look-Ahead Regularization). تخيل مدرباً يدرب رياضياً.

المشكلة: إذا قال المدرب للرياضي فقط: "اركض أسرع الآن"، فقد يركض الرياضي بسرعة كبيرة لدرجة تجعله يتعثر وينسى كيف يمشي.
حل HyperTokens: يقوم المدرب بمحاكاة المستقبل. قبل أن يقوم الرياضي بأي حركة، يقول له المدرب: "حسناً، إذا ركضت بهذه الطريقة، ماذا سيحدث بعد ثانيتين؟ هل ستظل تتذكر كيف تمشي؟"
النتيجة: يوجه المدرب الرياضي بلطف ليركض بسرعة دون أن يتعثر. في الذكاء الاصطناعي، يعني هذا أن النظام يتعلم مهمة الفيديو الجديدة دون مسح المعرفة القديمة. إنه يجد "وادياً مسطحاً" في مشهد التعلم حيث يكون الذكاء الاصطناعي جيداً في كل شيء في آن واحد، بدلاً من قمة حادة يكون فيها بارعاً في شيء واحد ولكنه سيء جداً في أشياء أخرى.

3. "المحقق السببي" (التعلم بالطريقة الصحيحة)

يبحث البحث أيضاً في كيفية تعلم الذكاء الاصطناعي من الفيديوهات والأسئلة.

الطريقة الخاطئة (غير السببية): تخيل محاولة تخمين شكل الفيلم بمجرد قراءة النهاية والسؤال. "البطل أنقذ القطة. كيف كان شكل الفيلم؟" هذا مستحيل لأن العديد من الأفلام المختلفة يمكن أن تنتهي بهذه النهاية. سيبدأ الذكاء الاصطناعي في الهلوسة (اختلاق أشياء من خياله).
الطريقة الصحيحة (السببية): يعلم البحث الذكاء الاصطناعي أن ينظر إلى الفيديو و السؤال ليتوقع الإجابة. هذا هو التدفق الطبيعي للسبب والنتيجة.
الحيلة: على الرغم من أن الذكاء الاصطناعي لا يمكنه تخمين الفيديو تماماً من النص، إلا أن HyperTokens يستخدم طريقة "بديلة" ذكية (مثل محقق يستخدم الأدلة) للتأكد من أن فهم الذكاء الاصطنا للفيديو والنص يظل متوافقاً تماماً، دون إجباره على القيام بالمستحيل.

4. "الجسر متغير الشكل" (من الصورة إلى الفيديو)

أخيراً، اختبر الباحثون شيئاً صعباً للغاية: تعليم الذكاء الاصطناعي الانتقال من النظر إلى الصور الثابتة (مثل ألبوم عائلي) إلى فهم الفيديوهات المتحركة (مثل فيلم).

عادةً، عندما ينتقل المرء من الصور إلى الأفلام، يرتبك الذكال الاصطناعي وينسى كيفية التعامل مع الصور.
تعمل HyperTokens كجسر متين. ولأنها تولد تعليمات محددة فورياً، يمكنها نقل الذكاء الاصطناعي بسلاسة من "وضع الصور" إلى "وضع الفيديو" دون كسر الاتصال بالمهارات القديمة.

الملخص

HyperTokens تشبه إعطاء الذكاء الاصطناعي سكين سويسري ذكي وفعال في استهلاك الذاكرة. بدلاً من حمل صندوق أدوات ثقيل مليء بالأدوات المختلفة (الذي يصبح كبيراً وفوضوياً)، فإنه يحمل جهازاً صغيراً يمكنه إنشاء الأداة المثالية للمهمة المطلوبة في الحال. إنه يتعلم أشياء جديدة بسرعة، ويتذكر الأشياء القديمة بشكل مثالي، ولا يرتبك عند الانتقال بين أنواع مختلفة من الوسائط.

هذا يجعل من الممكن للذكاء الاصطناعي التعلم المستمر في العالم الحقيقي—مشاهدة تدفقات لا نهائية من الفيديو، وتعلم مفاهيم جديدة كل يوم، وعدم نسيان ما تعلمه بالأمس أبداً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "HyperTokens: التحكم في ديناميكيات الرموز (Tokens) للفهم المستمر للفيديو واللغة."

1. بيان المشكلة

تتناول الورقة تحدي الإجابة المستمرة على أسئلة الفيديو (VideoQA) باستخدام النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs).

المشكلة الجوهرية: تفشل نماذج "التدريب ثم النشر" التقليدية في البيئات الديناميكية حيث تتطور المهام (على سبيل المثال، الانتقال من فيديوهات داخلية إلى خارجية أو أنواع مختلفة من الأسئلة). يؤدي الضبط الدقيق الساذج (Naïve fine-tuning) للمهام الجديدة إلى النسيان الكارثي (Catastrophic Forgetting) للمعرفة السابقة.
محدودية الحلول الحالية:
- الأساليب القائمة على إعادة التشغيل (Replay-based methods): غالبًا ما يكون تخزين بيانات الفيديو السابقة مكلفًا حوسبيًا ومستهلكًا للذاكرة.
- التكيف الفعال للمعلمات (PEA): بينما تقوم طرق مثل LoRA أو ضبط المطالبات (Prompt Tuning) بتحديث مجموعة فرعية صغيرة فقط من المعلمات، إلا أنها تعاني من التداخل بين المهام (Cross-task interference).
- توسيع المطالبات (Prompt Scaling): تعاني الأساليب التي تخزن مطالبات خاصة بالمهام (مثل ProgPrompt) من ضعف القدرة على التوسع مع زيادة عدد المهام. أما معلمات المطالبات المشتركة (مثل Bisecle وColPro) فغالبًا ما تؤدي إلى تداخل عندما تختلف توزيعات المهام بشكل حاد.
الهدف: تطوير آلية لـ VideoQA مستمرة تحافظ على ذاكرة ثابتة، وتمنع النسيان، وتسمح بالتحكم الدقيق الخاص بكل مهمة، وتتعامل مع التحولات في التوزيع متعدد الوسائط دون تخزين البيانات السابقة.

2. المنهجية: HyperTokens

يقترح المؤلفون HyperTokens، وهو مولد رموز (Token Generator) يعتمد على المحولات (Transformer)، يقوم بتخليق رموز ضبط دقيق خاصة بالمهمة عند الطلب، بدلاً من تخزينها.

أ. البنية الأساسية

مولد الشبكة الفائقة ( $H_\phi$ ): محول (Transformer) خفيف الوزن يأخذ كود مهمة متعدد الوسائط مضغوطًا ( $z_t$ ) كمدخل، ويولد تسلسلًا من رموز المطالبات ( $P^t_i$ ) للنموذج اللغوي الكبير (LLM) المجمد.
الميزانية الثابتة: يظل حجم المولد ثابتًا بغض النظر عن عدد المهام، مما يضمن كفاءة الذاكرة.
تعلم كود المهمة: يقوم مشفر خفيف الوزن ( $g_\omega$ ) بمعالجة ميزات الفيديو والسؤال لإنشاء تمثيل (Embedding) خاص بالمهمة. يتم تحسين هذا المشفر باستخدام خسارة نموذج المهمة التباينية (Contrastive task prototype loss) لضمان أن ترتبط المهام المتميزة بمناطق متميزة في فضاء التمثيل.

ب. استراتيجيات التنظيم (مكافحة النسيان)

لمنع المولد من "نسيان" كيفية توليد المطالبات للمهام السابقة، قدم المؤلفون آليتين رئيسيتين:

تنظيم الاستشراف (LookAhead-Regularisation - LA-Reg):
- مستوحى من التعلم التلوي (Meta-learning)، يعمل هذا المنظم على تقييد انحراف معلمات المولد ( $\phi$ ).
- يحاكي عملية تحديث "استشرافية": حيث يحسب أين ستنتقل المعلمات بعد بضع خطوات من التدرج (Gradient steps) على المهمة الحالية، ويعاقب المولد إذا أدى هذا التحرك إلى انحراف كبير في مخرجات المطالبات لـ أكواد المهام السابقة.
- الرؤية النظرية: يثبت المؤلفون أن LA-Reg يعمل كمنظم تقليل الوعورة (Sharpness-Aware Minimization - SAM). فهو يدفع عملية التحسين نحو الحد الأدنى الأكثر تسطحًا (Flatter Minima) في مشهد الخسارة، وهي مناطق أكثر قوة تجاه التداخل من المهام الجديدة.
$\omega$ -Reg (على طراز EWC):
- يعمل على استقرار مشفر المهمة ( $g_\omega$ ) باستخدام درجات أهمية "الذكاء السينابتي" (Synaptic Intelligence - SI) لمنع آلية استرجاع تمثيل المهمة من الانحراف أثناء تعلم مهام جديدة.

ج. الإشراف متعدد الوسائط المساعد

قدمت الورقة منظورًا سببيًا (Causal Perspective) لتصميم خسائر مساعدة لتعلم الرموز:

الاتجاه السببي ( $p(Q|V, A)$ ): تُعامل عملية التنبؤ بالسؤال بناءً على الفيديو والإجابة كإشارة ممكنة وغنية بالمعلومات.
الاتجاه المضاد للسببية ( $p(V|Q, A)$ ): يرى المؤلفون أن التنبؤ بالفيديو من النص هو أمر غير محدد ومعرض للهلوسة. بدلًا من نمذجة ذلك مباشرة، استخدموا خسائر معلومات متبادلة بديلة (Surrogate mutual information losses) لمحاذاة تمثيلات الفيديو والنص:
- على مستوى الرمز ( $L_{Tok}$ ): خسارة InfoNCE لضمان قدرة النموذج على التنبؤ برموز بصرية مستقبلية بناءً على السياق.
- على مستوى الفيديو ( $L_{Vid}$ ): خسارة استرجاع عالمية لفرض المحاذاة بين تسلسل الفيديو الكامل وزوج السؤال والجواب (QA pair).

3. المساهمات الرئيسية

إطار عمل HyperTokens: نهج مبتكر يعتمد على الشبكة الفائقة (Hypernetwork) يولد مطالبات خاصة بالمهمة عند الطلب، مما يحل مشكلة التوسع في تخزين بنوك المطالبات مع الحفاظ على حدود الذاكرة.
الربط النظري بـ SAM: أول عمل يربط نظريًا بين منظمات التعلم المستمر (وتحديدًا آليات الاستشراف) وبين تقليل الوعرة (SAM)، مما يشرح لماذا تحسن الطريقة من القدرة على الاحتفاظ بالمعرفة (من خلال إيجاد حد أدنى أكثر تسطحًا عبر المهام).
التعلم المساعد السببي: تصميم مبدئي لخسائر مساعدة بناءً على الرسوم البيانية السببية، مع رفض الأهداف المضادة للسببية لصالح بدائل المعلومات المتبادلة التي تحترم الهيكل السببي لـ VideoQA.
معيار جديد (ImageQA $\to$ VideoQA): قدم المؤلفون بروتوكول تعلم مستمر عابر للنماذج (Cross-modal) يتسم بالتحدي، حيث ينتقل النموذج من فهم الصور الثابتة إلى الاستنتاج الزمني للفيديو، وهو إعداد تفشل فيه معظم الطرق الحالية.

4. النتائج التجريبية

تم تقييم الطريقة على معايير قياسية وبروتوكول العبور عبر الوسائط الجديد.

معايير VideoQA المستمرة (NExT-QA و DramaQA):
- الأداء: حققت HyperTokens نتائج الأفضل في مجالها (SOTA). في NExT-QA، وصلت دقتها إلى 64.75% (مقابل 62.37% للمنافس Bisecle) مع نسبة نسيان أقل بكثير (3.62% مقابل 5.34%).
- الدراسة الاستئصالية (Ablation): أدى إزالة منظم الاستشراف (LookAhead) أو خسارة كود المهمة التباينية إلى انخفاض كبير في الدقة وزيادة في النسيان، مما يؤكد ضرورتهما.
- خطوات الاستشراف (Look-ahead Steps): أدت زيادة عدد خطوات الاستشراف (من 0 إلى 2) إلى تحسين الأداء باستمرار، مما يؤكد صحة الحدس المتعلق بالتعلم التلوي.
النقل عبر الوسائط (ImageQA $\to$ VideoQA):
- في إعداد Visual7W $\to$ NExT-QA، حافظت HyperTokens على المتانة حيث عانى النموذج المرجعي (Bisecle) من انتقال سلبي حاد (انخفضت الدقة من 62.37% إلى 55.32%).
- تراجعت HyperTokens بشكل طفيف فقط، محتفظة بدقة أعلى في كل من مهمة المصدر (ImageQA) ومهمة الهدف (VideoQA)، مما يدل على قدرة فائقة على التكيف مع تحولات الوسائط.

5. الأهمية والأثر

القابلية للتوسع: من خلال فصل عدد المهام عن بصمة الذاكرة (حجم مولد ثابت)، تقدم HyperTokens حلاً عمليًا لنشر النماذج اللغوية الكبيرة في سيناريوهات التعلم مدى الحياة على الأجهزة ذات الموارد المحدودة.
الوضوح النظري: يوفر الربط بين تنظيم الاستشراف والحد الأدنى المسطح أساسًا نظريًا لتصميم خوارزميات تعلم مستمر أفضل، متجاوزًا مجرد الإصلاحات التجريبية.
المتانة تجاه تحول التوزيع: تشير قدرة الطريقة على التعامل مع التحول من الصور الثابتة إلى الفيديوهات الديناميكية إلى أنها مرشح قوي للتطبيقات الواقعية مثل الإدراك الروبوتي، والمراقبة، والوكلاء المساعدين الذين يجب أن يتعلموا من التدفقات البصرية المتطورة دون نسيان كارثي.

باخت-صار، تمثل HyperTokens خطوة كبيرة للأمام في التعلم متعدد الوسائط المستمر من خلال الجمع بين توليد الرموز الفعال عند الطلب، والتنظيم القائم على الأسس النظرية، والإشراف المساعد المدرك سببيًا لتحقيق دقة عالية مع حد أدنى من النسيان.