Tiny-Engram: Trigger-Indexed Concept Tables for Generative Vision
تقدم الورقة البحثية Tiny-Engram، وهو جدول مفاهيم مدمج مفهرس بالمحفزات يتيح التخصيص البصري النمطي في النماذج التوليدية المجمدة من خلال ربط العبارات التحفيزية النادرة بالهويات المستهدفة صراحةً مع الحفاظ على التحكم التركيبي، مما يظهر فعالية قوية في توليد الصور ولكنه يسلط الضوء على الحاجة إلى اقتران نصي-بصري أوثق لتحقيق استمرارية الهوية المستقرة في الفيديو.
تخيل أن لديك فناناً عملاقاً وموهوباً للغاية، قد رأى كل صورة صُنعت على الإطلاق. هذا الفنان "مجمد"، مما يعني أنه لا يمكنك تعليمه أشياء جديدة أو تغيير دماغه مباشرة. عادةً، إذا أردت منه أن يرسم شخصاً معيناً تعرفه (مثل صديقك "بوب")، عليك إما إعادة تدريب الفنان بالكامل (وهو أمر مكلف وبطيء) أو إعطاؤه ملاحظة دائمة تقول "ارسم بوب" (وهذا قد يفسد قدرته على رسم أشياء أخرى).
Tiny-Engram هي خدعة ذكية وجديدة لجعل هذا الفنان المجمد يرسم "بوب" دون تغيير دماغه أو إرباكه بشأن المواضيع الأخرى.
إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:
1. "المصافحة السرية" (المُحفِّز)
بدلاً من محاولة تعليم الفنان مفهوم "بوب" في كل مكان، تمنح Tiny-Engam الفنان مصافحة سرية.
في هذه الورقة البحثية، المصافحة هي اسم خيالي علمي: "Aldric Vortex-9 CyberNebula".
الفنان لا يعرف من هذا بشكل طبيعي. إذا طلبت منه رسم "Aldric Vortex-9"، فسيقوم في العادة برسم روبوت عام أو كائن فضائي لأن هذه هي الكلمات التي توحي بها.
2. "ورقة الغش في الجيب" (جدول المفاهيم)
تقوم Tiny-Engram بإرفاق ورقة غش صغيرة وغير مرئية بأذن الفنان. تحتوي هذه الورقة على قائمة من الأكواد السرية والصور التي تقابلها.
عندما يسمع الفنان العبارة السرية "Aldric Vortex-9 CyberNebula"، فإنه يقلب فوراً إلى الصفحة في ورقة الغش التي تقول: "أوه! هذا الكود يعني 'الرجل من لعبة Death Stranding ذو الشعر الطويل والملابس التكتيكية'".
ثم يستبدل فكرة الروبوت العامة بالشخص المحدد الذي يُفترض به رسمه.
3. "البقعة الضوئية" (حدود التنشيط)
هذا هو الجزء الأهم. ورقة الغش هذه تعمل فقط عندما تُنطق العبارة السرية المحددة.
إذا قلت: "ارسم قطة." -> يتجاهل الفنان ورقة الغش ويرسم قطة عادية. ورقة الغش تظل مغلقة.
إذا قلت: "ارسم Aldric Vortex-9 CyberNebula وهو يركض تحت المطر." -> يفتح الفنان ورقة الغش، ويرى الشخص المحدد، ويرسمه وهو يركض تحت المطر.
السحر: دماغ الفنان (النموذج المجمد) لا يتغير. ورقة الغش هي مجرد إضافة صغيرة ومؤقتة تعمل فقط عند سماع كلمات المحفز المحددة. إذا لم يكن المحفز موجوداً، يتصرف الفنان تماماً كما كان يفعل من قبل.
4. كيف يعمل في "استوديوهات الفن" المختلفة
اختبر الباحثون هذه التقنية في ثلاثة "استوديوهات" (نماذج ذكاء اصطناعي) مختلفة:
الاستوديو 1 (SD1.5): استوديو أصغر وأقدم. نجحت الخدعة بشكل جيد بما يكفي لجعل الفنان يرسم الشخص المحدد، لكن التفاصيل لم تكن مثالية.
الوديو 2 (SD3.5): استوديو ضخم وحديث يحتوي على ثلاثة "خبراء لغة" (مشفرات) مختلفين يساعدون الفنان. كان على الباحثين التأكد من أن ورقة الغش تتحدث بـ "مستوى صوت" مناسب لكل خبير حتى يفهموا جميعاً. هذا كان الأفضل. رسم الفنان الشخص المحدد بشكل مثالي، مع الحفاظ على كافة تفاصيل الخلفية (مثل المطر أو الإضاءة) بدقة كما هو مطلوب.
الاستوديو 3 (Wan2.2 - فيديو): هذا استوديو يصنع أفلاماً بدلاً من الصور الثابتة.
النتيجة: نجحت الخدعة في تغيير ما يوجد في الفيديو (بدا الشخص يشبه الشخص المحدد بدلاً من روبوت عام).
القصور: على الرغم من أن الشخص بدا صحيحاً في إطار واحد، إلا أن "الهوية" لم تكن مستقرة بما يكفي ليبقى مثالياً أثناء حركة الشخص أو دورانه أو تغير المشهد. الأمر يشبه تغير ملابس الممثل قليلاً في كل لقطة. تشير الورقة البحثية إلى أنه بالنسبة للفيديو، يجب أن تكون ورقة الغش "أقرب" إلى طاقم التصوير، وليس فقط إلى كاتب السيناريو، للحفاظ على مظهر الشخص ثابتاً طوال الفيلم.
ملخص لما يدّعونه
إنه يعمل للصور: يمكنك تعليم ذكاء اصطناعي مجمد رسم شخصية جديدة محددة باستخدام اسم وهمي، وسيقوم برسم تلك الشخصية فقط عند استخدام ذلك الاسم.
إنه آمن: إذا لم تستخدم الاسم الوهمي، سيتصرف الذكاء الاصطناعي تماماً كما كان يفعل من قبل. لن يرتبك أو "ينسى" كيفية رسم الأشياء الأخرى.
إنه صغير: لا تحتاج لإعادة تدريب الذكاء الاصطناعي بالكامل؛ أنت فقط تضيف هذه "الورقة الصغيرة" (جدول Engram).
الفيديو صعب: إنه يعمل للفيديو لتغيير نوع الشخصية، لكن الحفاظ على مظهر الشخص متطابقاً تماماً من البداية إلى النهاية في الفيديو لا يزال عملاً قيد التطوير.
باختصار، Tiny-Engram تشبه إعطاء مفتاح مغناطيسي لذكاء اصطناعي مجمد. المفتاح يفتح فقط ذكرى محددة عندما تضعه في القفل الصحيح (عبارة المحفز)، ويترك بقية المنزل (المعرفة العامة للذكاء الاصطناعي) دون أي مساس.
ملخص تقني: Tiny-Engram
بيان المشكلة
تعتمد طرق التخصيص الحالية لنماذج الرؤية التوليدية (مثل تحويل النص إلى صورة وتحويل النص إلى فيديو) عادةً على المهايئات المستمرة (continuous adapters)، أو تحديثات الأوزان، أو الرموز المتعلمة (learned tokens). وبين أنها فعالة في ترميز المفاهيم الجديدة، إلا أن هذه النهج تفتقر غالباً إلى حدود تنشيط صريحة (explicit activation boundaries). فالمهايئ الذي يعمل بشكل مستمر يمكن أن يؤثر دون قصد على المطالبات (prompts) خارج النطاق المقصود، كما يمكن للوحدات التي تم تدريبها بشكل مستقل أن تتفاعل بطرق غير متوقعة عند دمجها.
يكمن التحدي الجوهري الذي يعالجه هذا العمل في تحقيق التكيف النمطي (modular adaptation): أي ضمان تطبيق التحديث البصري المتعلم فقط عندما يكون هناك شرط نصي محدد ومسجل، بينما تتبع جميع المدخلات غير المتطابقة سلوك النموذج الأصلي المجمد بدقة. يتطلب هذا آلية لربط عبارة تشغيل (trigger phrase) نادرة بمفهوم بصري دون تغيير مسار التكييف العالمي للنموذج.
يعمل Tiny-Engram على تفعيل مبدأ "الإنغرام" (Engram) - المقترح أصلاً للنماذج اللغوية - كنموذج ضبط دقيق فعال في المعلمات (PEFT) للرؤية التوليدية. وبدلاً من كونه مهايئاً نشطاً عالمياً، فإنه يعمل كـ جدول مفاهيم مفهرس بالمشغل:
السجل (Registry): يتم تسجيل عبارة n-gram محددة (المشغل).
الفهرسة (Indexing): عند التشغيل، يقوم النظام بعملية بحث عن معرف الرمز (token-id lookup) بدقة. إذا وُجدت الـ n-gram المسجلة في المطالبة، فإنه يفهرس متجه ذاكرة متعلم.
الحقن الموضعي (Localized Injection): يقوم المتجه المسترجع بتعديل الحالات الخفية (hidden states) لمشفر النص فقط عند نطاق الرموز المتطابق. وإذا لم يتواجد المشغل، يتبع النموذج المسار الأساسي المجمد بدقة.
التجسيد البصري
يتم تطبيق الطريقة على مولدات الصور والفيديو المجمدة عن طريق حقن البواقي (residuals) في تيار التكييف النصي:
البنية (Architecture): تدعم الطريقة نماذج أحادية المشفر (SD1.5) ومجموعات متعددة المشفرات (SD3.5 مع CLIP-L، OpenCLIP-G، T5؛ وWan2.2 مع T5).
بنية الذاكرة: لكل مشفر نص، يتم تعلم جدول صغير من متجهات المفاهيم. يتم ترميز عبارة التشغيل، ويتم بناء سجل متعدد المقاييس من النطاقات الفرعية المتصلة (n-grams) للعبارة.
آلية الحقن:
SD1.5: يحقن باقياً مطلقاً ومقياساً (absolute scaled residual) في حالات رموز CLIP قبل انتباه الـ U-Net العرضي.
SD3.5 و Wan2.2: يستخدم قاعدة حقن المعيار النسبي (relative-norm injection rule). يوفر متجه الذاكرة الاتجاه، بينما يحدد مقياس متعلم قوة التحديث، ويقوم عامل تطبيع (ρ) بمعايرة حجم التحديث بالنسبة لمقياس تنشيط تيار النص الحالي. يضمن هذا تأثيراً متسقاً عبر المشفرات غير المتجانسة ذات السعة المختلفة للحالات الخفية.
التدريب: يتم تحسين متجهات المفاهيم ومقاييس الحقن فقط. تظل البنية الأساسية (VAE، U-Net/DiT، مشفرات النص) مجمدة. دالة الخسارة هي معيار التنبؤ بضجيج الانتشار أو هدف تدفق مستقيم (rectified-flow velocity target).
الإعداد التجريبي
المفهوم: قام المؤلفون بربط عبارة تشغيل خيالية ذات طابع علمي خيالي ("Aldric Vortex-9 CyberNebula") بهوية بصرية محددة (بطل من لعبة Death Stranding). يضمن هذا الاختيار أن العبارة ليس لها سوابق معرفية في النموذج المجمد، مما يجبر جدول "الإنغرام" على تعلم الربط من الصفر.
البيانات:
الصور: خمس صور مرجعية تم تحويلها إلى مطالبات عبر الهندسة العكسية، مع استبدال اسم الشخصية بعبارة التشغيل.
الفيديو: امتداد أولي باستخدام Wan2.2 TI2V. تم إنشاء مقاطع التدريب باستخدام نموذج Wan2.2 المجمد باستخدام أزواج (الصورة-المطالبة)، مما خلق امتداداً زمنياً للهوية من إنتاج "المعلم".
المساهمات الرئيسية
صياغة مفهرسة بالمشغل: وحدة PEFT تربط الذكريات البصرية بعناوين معجمية صريحة، مما يضمن حدود تنشيط منفصلة.
حقن ذاكرة مشفر النص: طريقة لتخصيص البنى التوليدية المجمدة عن طريق تعديل حالات التكييف النصي دون المساس ببنية تنقية الصورة/الفيديو.
قاعدة حقن المعيار النسبي: تقنية معايرة تسمح لحقن الذاكرة بالعمل بفعالية عبر تدفقات مشفرات النص غير المتجانسة (مثل SD3.5) وأطوال السياق المتغيرة.
دراسة الامتداد للفيديو: تحقيق أولي في تطبيق الذاكرة من جانب النص على انتشار الفيديو، مما يوضح الفجوة بين تنشيط النص واستقرار الهوية الزمنية.
النتائج
توليد الصور (SD1.5 & SD3.5)
محلية التنشيط: أثبتت الطة بنجاح أن الهوية البصرية المتعلمة يتم استرجاعها فقط عند وجود عبارة التشغيل. أما المطالبات التي لا تحتوي على المشغل فتنتج مخرجات مطابقة تماماً للنموذج الأساسي المجمد (متطابقة بايت بـ بايت تحت نفس البذور/seeds).
ربط الهوية: في كل من SD1.5 و SD3.5، تؤدي المطالبات التي تحتوي على المشغل إلى تحويل الموضوع المولد ليتطابق مع الهوية المرجعية مع الحفاظ على المشهد المحيط، والإضاءة، والتكوين المطلوب في المطالبة.
الأداء: يحقق SD3.5 نتائج أقوى من SD1.5، حيث يحافظ على دقة المشهد بشكل أكبر. ويتعامل حقن متعدد المشفرات ومعايرة المعيار النسبي بفعالية مع تعقيد بنية SD3.5.
توليد الفيديو (Wan2.2)
التنشيط: نجح حقن "الإنغرام" من جانب النص في تغيير الموضوع المولد في الفيديو. عند وجود المشغل، يتحول المخرج من شخصيات خيال علمي عامة إلى الهدف المستهدف ("long-haired tactical").
القيود: رغم أن المشغل ينشط المفهوم، إلا أن الاستمرارية الدقيقة للهوية عبر مطالبات الفيديو الأخرى محدودة. يمكن للطريقة أن توجه فئة الموضوع أو شكله الخارجي (silhouette)، لكنها تفشل في إعادة بناء تفاصيل الهوية المحددة بدقة عبر المشاهد والمتواليات الزمنية المتنوعة. يعزو المؤلفون ذلك إلى عدم وجود اقتران وثيق بين الذاكرة الثابتة من جانب النص والحالة البصرية المتطورة في محول الفيديو (video transformer).
الأهمية والادعاءات
يضع البحث Tiny-Engram كـ مسار عملي للتخصيص البصري النمطي، لا سيية لتوليد الصور. تكمن أهميته الأساسية في إرساء محلية التنشيط: القدرة على إضافة قدرات محكومة بصرامة بمشغلات معجمية، مما يمنع التداخل مع المطالبات غير المرتبطة.
يتسم المؤلفون بالتواضع بشأن نتائج الفيديو، حيث يصنفونها كـ حالة حدية (boundary case) بدلاً من كونها حلاً كاملاً. ويخلصون إلى أنه بينما يمكن لحقن الذاكرة من جانب النص توجيه توليد الفيديو، فإن تحقيق هوية مستقرة زمنياً في الفيديو يتطلب على الأرجح اقتراناً أوثق بين الذاكرة والحالة البصرية المتطورة (على سبيل المثال، الحقن بالقرب من بنية الفيديو أو آليات الانتباه)، بدلاً من الاعتماد فقط على واجهة التكييف النصي.
لا يدعي العمل التفوق على المعايير الموجودة (مثل DreamBooth أو LoRA) من حيث مقاييس دقة الهوية الخام، حيث لم يتم إجراء مقارنة معيارية متطابقة. بدلاً من ذلك، هو يتحقق من نهج معماري محدد لكيفية تنشيط وتوجيه التخصيص داخل النموذج.