Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention
تقدم هذه الورقة Gazette، وهو إطار عمل مبتكر يسخر النماذج اللغوية الكبيرة متعددة الوسائط ونصوص "التفكير بصوت عالٍ" الاصطناعية لفك تشفير مسارات حركة العين البشرية إلى أوصاف لغوية طبيعية وحرة للأهداف، متجاوزاً بذلك فك التشفير الفئوي التقليدي لالتقاط الفروق الدقيقة المفتوحة للنوايا البشرية.
تخيل أن عينيك تشبهان شعاع كشاف في غرفة مظلمة. عندما تنظر إلى شيء ما، فإن هذا الشعاع لا يظل ساكناً؛ بل ينطلق بسرعة في أرجاء المكان، ويستقر على نقاط مختلفة لأجزاء ضئيلة من الثانية. هذا النمط من الحركة يسمى "مسار المسح" (scanpath). لفترة طويلة، حاول العلماء معرفة ما تفكر فيه بمجرد مراقبة أين يهبط شعاع الكشاف الخاص بك. عادةً، كانوا يعاملون الأمر كأنه اختبار اختيار من متعدد؛ حيث يسألون: "هل يبحث الشخص عن قطة أم كلب؟" ويختار الكمبيوتر إجابة واحدة من قائمة محددة. لكن الأفكار البشرية فوضوية ومبدعة. فأحياناً، أنت لا تبحث فقط عن "كلب"؛ بل تبحث عن "الكلب الذهبي الأشعث الذي يرتدي وشاحاً أحمر ويختبئ خلف الأريكة". كانت الطريقة القديمة في طرح الأسئلة بسيطة للغاية بحيث لا يمكنها استيعاب هذا النوع من التفاصيل. وهنا يأتي دور مجال جديد يسمى "فك تشفير النظرات" (gaze decoding)، والذي يحاول ترجمة حركات العين تلك إلى القصص الغنية والمفتوحة التي تدور داخل رؤوسنا.
هنا تبرز ورقة بحثية جديدة تقدم طريقة ذكية وجديدة لحل هذا اللغز. فقد قام المؤلفون، الذين يعملون في جامعة ستوني بروك وجامعة أديليد، ببناء نظام يسمى Gazette. فبدلاً من إجبار الكمبيوتر على الاختيار من قائمة متعددة الخيارات، صُمم Gazette لكتابة قصة حرة حول ما يبحث عنه الشخص، باستخدام لغة طبيعية تماماً كما يفعل البشر. فكر في الأمر كترقية من قائمة مراجعة جامدة إلى كاتب مبدع يمكنه وصف ما تراه بالضبط.
المشكلة الكبيرة التي واجهها الباحثون هي أن عيون الجميع تتحرك بشكل مختلف قليلاً، حتى عندما يبحثون عن الشيء نفسه. فإذا طُلب من عشرة أشخاص البحث عن "سيارة حمراء"، فقد ينظر عشرة أشخاص مختلفون إلى السيارة بعشر طرق مختلفة قليلاً. البعض قد ينظر إلى العجلات أولاً، والبعض الآخر إلى النوافذ. إذا عرضت على الكمبيوتر حركات عين شخص واحد فقط، فسيصاب بالارتباك بسبب تلك العادات الشخصية. الأمر يشبه محاولة تخمين أغنية من خلال الاستماع إلى شخص واحد يدندنها بنشاز؛ قد تسمع اللحن، لكن الضجيج يجعل من الصعب التأكد.
ولحل هذه المشكلة، ابتكر الفريق حيلة ذكية تتضمن استراتيجية "التفكير بصوت عالٍ". لقد أدركوا أنه بينما تكون حركات عيون الجميع فريدة، فإن "السبب" وراء حركتها هو نفسه. لذا، استخدموا ذكاءً اصطناعياً قوياً (GPT-4) للنظر في حركات عيون العديد من الأشخاص المختلفين الذين يحاولون جميعاً العثور على نفس الشيء. عمل الذكاء الاصطناعي كالمحقق، متجاهلاً الخصائص الفردية والبحث عن النمط المشترك — "الوصفة السرية" لكيفية بحث البشر عن شيء معين. ثم كتب الذكاء الاصطناعي "نصاً للتفكير بصوت عالٍ"، وهو عبارة عن قصة تشرح الاستراتيجية: "أولاً، انظر إلى الأشكال الكبيرة، ثم ركز بدقة على الأجزاء الحمراء".
لقذا علموا نموذجهم الجديد، Gazette، كيفية قراءة هذه القصص التي أنشأها الذكاء الاصطناعي جنباً إلى جنب مع حركات العين. ساعد هذا النموذج على تعلم الفصل بين "الهدف" (ما يبحث عنه الشخص) و"الضجيج" (طريقة الشخص الفريدة في النظر). وعندما اختبروه، كان Gazette أفضل بكثير في تخمين الهدف من الطرق السابقة. فعلى سبيل المثال، عندما طُلب منه العثور على سيارة محددة في صورة، لم يكتفِ Gazette بقول "سيارة"، بل استطاع أن يقول: "السيارة السوداء في الزاوية العلوية اليمنى"، وفعل ذلك بدقة عالية، حتى عندما كانت المهمة صعبة.
تظهر الورقة البحثية أنه من خلال تعليم الكمبيوتر فهم "الاستراتيجية" وراء حركات العين، بدلاً من مجرد حركات العين نفسها، يمكننا فك تشفير النوايا البشرية بتفاصيل أكثر بك much. وبينما يعمل النظام بشكل أفضل عندما يتفق الناس على ما يبحثون عنه (مثل العثور على جسم محدد)، إلا أنه يشير إلى أننا نقترب من مستقبل يمكن للكمبيوتر فيه فهم أهدافنا بمجرد مراقبة أين ننظر، مما يفتح الأبواب أمام تقنيات مساعدة أفضل وفهم أعمق لكيفية تفاعلنا مع العالم.
ملخص تقني: Gazette – توليد النص من حركة العين (Gaze-to-Text Generation)
تعريف المشكلة تتناول الورقة البحثية القصور في طرق فك تشفير حركة العين الحالية، والتي عادة ما تصيغ المهمة كمسأبلة تصنيف تمييزية فوق مجموعة محددة مسبقاً من الفئات الثابتة (على سبيل المثال، تحديد كائن معين من مفردات محدودة). ويرى المؤلفون أن هذه النهج التصنيفي مقيد بطبيعته، ويفتقر إلى التفاصيل الدقيقة والقدرة التعبيرية المفتوحة المطلوبة للتطبيقات الواقعية مثل التجارة الإلكترونية، والتحليل التعليمي، والتقنيات المساعدة. بدلاً من ذلك، تقترح الورقة مشكلة تعلم جديدة: توليد النص من حركة العين (Gaze-to-Text Generation). والهدف هو فك تشفير مسارات حركة العين البشرية (scanpaths) إلى أوصاف لغة طبيعية حرة تلتقط الفروق الدقيقة الغنية للأهداف والنوايا البشرية، بدءاً من تسميات الكائنات البسيطة وصولاً إلى التعبيرات المرجعية المعقدة والغنية بالسياق أو الأسئلة.
المنهجية: إطار عمل Gazette قدم المؤلفون Gazette، وهو أول إطار عمل توليدي لفك تشفير حركة العين إلى نص، مبني على نماذج اللغات الكبيرة متعددة الوسائط (MLLMs).
البنية: يوسع Gazette نموذج LLaVA-1.5-7B الأساسي. يأخذ النموذج مدخلاً عبارة عن صورة I ومسار حركة عين S (مشفر نصياً كسلسلة من نقاط التثبيت مع الإحداثيات والمدد الزمنية) جنباً إلى جنب مع تعليمات لغوية. ويقوم النموذج بإخراج وصف باللغة الطبيعية D للسياق المعرفي، والذي يتضمن:
نوع السلوك العام: فئة السلوك الموجه نحو الهدف (مثل: البحث البصري بوجود/غياب الهدف، الإحالة إلى كائن، الإجابة على أسئلة بصرية).
المثير ذو المستوى الدقيق: الهدف المحدد (مثل: فئة هدف معينة، تعبير مرجعي، أو سؤال).
تحدي التباين الفردي: أحد التحديات الجوهرية المحددة هو أن إشارات حركة العين تتأثر بالاختلافات الفردية. فبالنسبة لنفس الهدف، يظهر المشاركون المختلفون مسارات حركة عين مختلفة. وغالباً ما تفشل عملية الضبط الدقيق للتعليمات القياسية (instruction tuning) على ثلاثيات (الصورة-مسار الحركة-الهدف) لأن النموذج يجد صعوبة في فصل الإشارة المدفوعة بالهدف عن الضجيج الخاص بكل مشارك.
توليد نص "التفكير بصوت عالٍ" (مهمة مساعدة): لمعالجة مشكلة الفصل بين المتغيرات، اقترح المؤلفون هدف تدريب مساعد مبتكر يسمى ThinkAloud.
المفهوم: يستفيد المؤلفون من الرؤية النظرية التي مفادها أنه بينما تتباين مسارات حركة العين الفردية، فإن استراتيجية تخصيص الانتباه المدفوعة بالهدف تظل ثابتة عبر المشاركين الذين يؤدون نفس المهمة على نفس الصورة.
التنفيذ: استخدموا GPT-4 لتحليل مسارات حركة العين من عدة مشاركين يتشاركون نفس الهدف والصورة. يقوم GPT-4 بتخليق "نصوص التفكير بصوت عالٍ" التي تصف الأنماط المكانية والزمانية المشتركة واستراتيجيات تخصيص الانتباه من الأعلى إلى الأسفل، مما يؤدي فعلياً إلى تصفية الخصائص الفردية الغريبة.
بيانات التدريب: تعمل هذه النصوص كنصوص توضيحية زنيفة (pseudo-annotations) لمهمة مساعدة حيث يتعلم النموذج توليد استراتيجية تخصيص الانتباه بناءً على صورة ومسار حركة عين واحد. وتتضمن النصوص ثلاث "وحدات أفكار": (1) شرح تخصيص الانتباه من الأعلى إلى الأسفل، (2) الموقع المستنتج للهدف (مربع الإحاطة)، و(3) طول مسار حركة العين.
الضبط الدقيق للتعليمات: يتم ضبط Gazette باستخدام التكيف منخفض الرتبة (LoRA) على مزيج من المهمة الأساسية GazeDec (فك تشفير الهدف) والمهمة المساعدة ThinkAloud (توليد شرح الاستراتيجية).
المساهمات الرئيسية
صياغة المهمة: تقديم فك تشفير غير مقيد لحركة العين حيث يتم التعبير عن الأهداف بلغة طبيعية مفتوحة المفردات بدلاً من الفئات الثاسية.
إطار عمل Gazette: تطوير أول إطار عمل قائم على MLLM مخصص لفك تشفير الانتباه من الأعلى إلى الأسفل.
الهدف المساعد: اقتراح مهمة التنبؤ بنص ThinkAloud. وتستفيد هذه الاستراتيجية من الثبات المشترك للإشارات المدفوعة بالهدف عبر العديد من المراقبين للمساعدة في تصفية التباين الفردي، مما يحسن أداء فك التشفير بشكل كبير.
النتائج التجريبية قيم المؤلفون Gazette على ثلاثة مجموعات بيانات: COCO-Search18 (البحث البصري)، RefCOCO-Gaze (الإحالة إلى كائن)، وAiR-D (الإجابة على أسئلة بصرية).
المهام التوليدية (الإحالة إلى كائن وVQA):
تفوق Gazette بشكل كبير على النماذج المرجعية (بما في ذلك LLaVA-1.5 القياسي ونموذج "آخر نقطة تثبيت") في مقاييس التداخل اللفظي (BLEU, METEOR, ROUGE, CIDEr).
تحت نموذج "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) (باستخدام GPT-4 لتقييم الطلاقة، الصلة، والصحة)، حقق Gazette درجات أعلى من النسخة التي تم تدريبها بدون مهمة ThinkAloud ("w/o ThinkAloud").
تشير النتائج إلى أن مهمة ThinkAloud تساعد النموذج على تعلم عمليات الاستدلال المعقدة واستراتيجيات تخصيص الانتباه، مما يؤدي إلى أوصاف أكثر دقة وسياقية.
المهام التنبؤية (البحث البصري):
في مجموعة بيانات COCO-Search18، حقق Gazette أداءً يضاهي أو يقترب من أفضل أداء حالي (state-of-the-art).
بالنسبة للبحث في حالة وجود الهدف (Target-Present)، حقق Gazette دقة بنسبة 77.3%، وهو ما يقارب تقريباً أفضل أداء سابق (77.6% بواسطة Mondal et al.).
في حالة غياب الهدف (Target-Absent)، تفوق Gazette بشكل ملحوظ على الطرق السابقة (44.3% دقة مقابل 38.7% لـ Mondal et al.).
أشار المؤلفون إلى أن التحسينات في بحث "غياب الهدف" كانت متواضعة، وعزوا ذلك إلى انخفاض الاتفاق بين المراقبين في هذه المهام، مما يقلل من فعالية استراتيجية استخراج الأنماط المشتركة.
الأهمية والادعاءات تدعي الورقة أن Gazette تمكن حركة العين من أن تكون إشارة قوية وغير اقتحامية لاستنتاج الأهداف البشرية بتفاصيل دلالية دقيقة، متجاوزة القيود المفروضة على التصنيفات الثابتة. ومن خلال النجاح في فصل ديناميكيات الهدف عن الضجيج الفردي عبر استراتيجية ThinkAloud، يظهر الإطار قدرة على التعميم عبر مهام متنوعة من مهام الانتباه من الأعلى إلى الأسفل.
يضع المؤلفون هذا العمل كخطوة نحو تطبيقات واقعية حيث يكون فهم ما يبحث عنه المستخدم (مثل تفضيلات نمط معينة في التسوق، أو التركيز المفاهيمي في التعليم، أو نية التنقل في الواقع المعزز) أمراً بالغ الأهمية. كما يقرون بالقيود، وتحديداً أن الطريقة تعتمد على الاتساق بين المراقبين (وهو ما يتراجع في المهام ذات الاتفاق المنخفض)، وأن النصوص المولدة بواسطة GPT-4 قد ترث تحيزات من الأولويات التدريبية للنموذج اللغوي الكبير بدلاً من الإدراك الحقيقي للمشارك. ومع ذلك، يؤكدون أن هذا النهج يفتح آفاقاً جديدة لاستخدام نماذج MLLM لفهم الانتباه البشري والحالات الذهنية.