تقدم الورقة البحثية SeeTok، وهو نهج متمحور حول الرؤية يقوم بتصوير النصوص كصور لتقوم النماذج اللغوية الكبيرة متعددة الوسائط بتفسيرها، مما يستبدل بفعالية عملية تقسيم الكلمات إلى وحدات فرعية (subword tokenization) لتحقيق كفاءة حوسبية كبيرة، وتحسين المتانة تجاه الضجيج الطباعي، وتحقيق تعميم أفضل عبر اللغات من خلال محاكاة القراءة البصرية البشرية.
إليك شرح لورقة البحث "من التجزئة إلى القراءة البصرية" (SEETOK)، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.
🧠 الفكرة الكبرى: كيف يقرأ البشر مقابل الحواسيب
تخيل أنك تقرأ كتابًا.
كيف يقرأ البشر: أنت لا تقرأ حرفًا بحرف (مثل ق-ط-ة). بل ترى شكل الكلمة بأكملها. حتى لو قام شخص ما ببعثرة الحروف الوسطى (مثل طةق أو قطة)، فإن دماغك يتعرف على "شكل" الكلمة ويعرف أنها تعني "قطة". أنت تقرأ الكلمة ككائن بصري واحد، مثل الصورة.
كيف تقرأ الحواسيب (الطريقة القديمة): نماذج الذكاء الاصطنا eventually الحديثة تشبه أمين مكتبة صارم للغاية. فهي لا ترى الكلمة بأكملها، بل تقطع كل جملة إلى قطع صغيرة محددة مسبقًا تسمى "الرموز" (tokens).
بالنسبة للغة الإنجليزية، يعمل هذا بشكل جيد نوعًا ما.
لكن بالنسبة للغات ذات عدد المتحدثين القليل (مثل الجورجية أو الكيرغيزية)، يمتلك أمين المكتبة قاموسًا صغيرًا جدًا. ولكي يفهم كلمة ما، يتعين عليه تقطيعها إلى قطع صغيرة كثيرة جدًا، بحيث قد تتحول عبارة بسيئة مكونة من كلمتين إلى أحجية مكونة من 20 قطعة. هذا يجعل الكمبيوتر بطيئًا، ومكلفًا في التشغيل، وسهل الارتباك بسبب الأخطاء الإملائية.
المشكلة: يحاول الكمبيوتر حل أحجية من خلال النظر إلى قطع الأحجية الفردية، بينما يحل البشر المشكلة من خلال النظر إلى الصورة الموجودة على الصندوق.
🎨 الحل: SEETOK (الـ "قارئ البصري")
قرر مؤلفو هذه الورقة البحثية، SEETOK، التوقف عن إجبار الكمبيوتر على القراءة مثل أمين المكتبة والبدء في تركه يقرأ مثل البشر.
التشبيه: "قائمة الطعام المصورة" تخيل أنك تذهب إلى مطعم.
الطريقة القديمة (تجزئة النص): يقرأ لك النادل قائمة الطعام كلمة بكلمة. "لدينا... الحساء... المكون... من... اليوم..." إذا طلبت ترجمة إلى لغة نادرة، سيتعين على النادل تقسيم كل كلمة إلى مقاطع لفظية صغيرة ليجدها في قاموسه. الأمر يستغرق وقتًا طويلاً.
طريقة SEETOK (القراءة البصرية): يسلمك النادل صورة لقائمة الطعام. أنت لا تحتاج لمعرفة الكلمات؛ فقط تنظر إلى صورة الحساء والنص الموجود في الصورة. أنت تتعرف على شكل الكلمات فورًا.
كيف يعمل SEETOK:
الرندرة (Render): بدلًا من تغذية الكمبيوتر بنصوص خام (حروف)، يقوم النظام بتحويل النص إلى صورة (صورة للكلمات).
الرؤية: يستخدم الكمبيوتر "عيونه" (مشفر رؤية تم تدريبه على ملايين الصور) للنظر إلى هذه الصورة. إنه يتعرف على الأشكال، تمامًا كما يفعل البشر.
الفهم: يقوم الكمبيوتر بعد ذلك بمعالجة هذه الأشكال البصرية لفهم المعنى.
🚀 لماذا يعد هذا أمرًا هامًا؟ (القوى الخارقة)
تظهر الورقة البحثية أن نهج "القارئ البصري" هذا أفضل بالفعل من نهج "أمين المكتبة النصي" القديم بأربع طرق:
1. قوة "الضغط" 📦
الطريقة القديمة: في اللغات النادرة، يحتاج الكمبيوتر إلى 11 رمزًا لقول "المعرفة العالمية". الأمر يشبه محاولة حمل صندوق ثقيل عن طريق تقسيمه إلى 11 طوبة صغيرة.
SEETOK: يرى العبارة بأكملها كـ رمز بصري واحد. إنه يشبه حمل الصندوق كاملاً دفعة واحدة.
النتيجة: يحتاج الكمبيوتر إلى رموز أقل بمقدار 4.4 مرة للقيام بنفس المهمة. وهذا يجعله أسرع بنسبة 70% ويستهلك كهرباء أقل (قدرة حوسبية).
2. "المترجم العالمي" 🌍
الطريقة القديمة: قاموس الكمبيوتر منحاز للغة الإنجليزية. إذا كنت تتحدث لغة نادرة، سيرتبك الكمبيوتر ويقسم كلماتك إلى شظايا بلا معنى.
SEETOK: بما أنه ينظر إلى شكل الكلمات، فهو لا يهتم إذا كانت اللغة إنجليزية أو صينية أو لهجة أفريقية نادرة. الكلمة هي كلمة، بغض النظر عن نظام الكتابة.
النتيجة: يترجم اللغات النادرة بشكل أفضل وأكثر كفاءة مما كان عليه في السابق.
3. درع "الأخطاء الإملائية" 🛡️
الطريقة القديمة: إذا كتبت "recieve" بدلًا من "receive"، سيرتبك مُجزئ النصوص (tokenizer) الخاص بالكمبيوتر. قد يعتقد أنها كلمة مختلفة تمامًا لأن قطع الأحجية لا تتطابق مع القاموس.
SECTOK: إذا كتبت "recieve"، يرى الكمبيوتر شكل الكلمة. تبدو مشابهة جدًا لكلمة "receive". الأمر يشبه التعرف على صديق حتى لو كان يرتدي قبعة ونظارات شمسية.
النتيجة: هو أكثر متانة ضد الأخطاء الإملائية، والخطوط الغريبة، والضجيج البصري.
4. خدعة "العد" 🔢
الطريقة القديمة: اسأل ذكاءً اصطناعيًا قياسيًا، "كم عدد حرف الـ 'r' في كلمة 'strawberry'؟" غالبًا ما يفشل لأنه يرى الكلمة ككتلة واحدة كبيرة (رمز واحد) ولا يمكنه عد الحروف الداخلية.
SECTOK: نظرًا لأنه يرى الكلمة كصورة للحروف، يمكنه بالفعل "عد" الأشكال.
النتيجة: يصبح أفضل في المهام التي تتطلب النظر في التفاصيل الدقيقة للكلمات، مثل عد الحروف أو إعادة ترتيب الكلمات المبعثرة.
🏁 الخلاصة
تجادل الورقة البحثية بأننا كنا نعلم الحواسيب القراءة مثل الآلات (تقطيع الكلمات إلى قطع) لفترة طويلة جدًا. ومن خلال الانتقال إلى القراءة البصرية (معاملة النص كصور)، يمكننا جعل الذكاء الاصطناعي:
أسرع (بيانات أقل للمعالجة).
أذكى (أفضل في اللغات النادرة والأخطاء الإملائية).
أكثر شبهاً بالبشر (التعرف على الأنماط والأشكال).
إنه تحول من "عد قطع الأحجية" إلى "النظر إلى الصورة". وفي عالم الذكاء الاصطناعي، تعد هذه قفزة هائلة للأمام.
إليك ملخص تقني مفصل لورقة البحث "From Tokenization to Visual Reading: SEETOK".
1. بيان المشكلة
تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية على الترميز بالكلمات الفرعية (subword tokenization) (مثل Byte-level BPE أو WordPiece) لتحويل النصوص إلى رموز (tokens) منفصلة من مفردات ثابتة. ورغم فعالية هذا النهج مع اللغات عالية الموارد مثل الإنجليزية، إلا أنه يعاني من قيود جوهرية:
التجزئة المفرطة في اللغات منخفضة الموارد: اللغات ذات البيانات التدريبية المحدودة أو البنية الصرفية المعقدة (مثل الجورجية أو القيرغيزية) يتم تجزئتها إلى تسلسلات طويلة للغاية وغير ذات معنى لغوي، مما يؤدي إلى تضخم التكاليف الحسابية.
فقدان الإشارات البصرية/الصرفية: يتجاهل ترميز الكلمات الفرعية الأنماط البصرية المستمرة والبنى الداخلية للحروف، مما يجعل النماذج شديدة الحساسية للأخطاء المطبعية، والخطوط المشوهة، والضجيج الطباعي.
عدم الكفاءة: تؤدي هذه التجزئة إلى تسلسلات مدخلات أطول، مما يزيد من استهلاك الذاكرة وعمليات الفاصلة العائمة (FLops)، لا سيما في المهام متعددة اللغات.
عدم التطابق المعرفي: على عكس البشر، الذين يتعرفون على الكلمات كأشياء بصرية متكاملة (باستخدام منطقة تشكيل الكلمة البصرية في الدماغ) قبل فك رموز معناها، تعالج الآلات النصوص كرموز رمزية مجزأة.
2. المنهجية: SEETOK
يقترح المؤلفون SEETOK، وهو منهج ترميز متمحور حول الرؤية يعامل النص كصور بدلاً من رموز منفصلة. تتكون عملية المعالجة من ثلاث مراحل رئيسية:
أ. الرندرة البصرية (Visual Rendering)
يتم رندرة سلاسل النصوص الخام إلى صور RGB باستخدام مُصيّر بصري (visual renderer).
الإعداد: يتم رندرة النص باستخدام خطوط محددة (مثل Google Noto Sans) ودقات عرض معينة. يتم تغيير أبعاد الصورة ديناميكيًا بناءً على طول النص.
المدخلات: يتلقى النموذج صورة "نص-بصرية" بدلاً من تسلسل من معرفات الرموز (token IDs).
ب. الترميز المتمحور حول الرؤية
بدلاً من مُرمز النصوص، يستخدم النظام المُشفر البصري (Vision Encoder) ومشروع الـ MLP (MLP Projector) من نموذج لغوي كبير متعدد الوسائط (MLLM) مُدرب مسبقًا (مثل Qwen2.5-VL أو LLaVA-NeXT).
استخراج الميزات: يستخرج المشفر البصري ميزات على مستوى الرقعة (patch-level features) من صورة النص.
التجميع: يقوم مشروع MLP ذو الطبقتين بتجميع الميزات من الرقع المتجاورة (مثلاً 4 رقع) ويقوم بإسقاطها في مساحة التضمين (embedding space) الخاصة بالنموذج اللغوي الكبير.
النتيجة: يعمل هذا بمثابة "مُرمز بصري"، حيث يضغط النص إلى تسلسل مضغوط من الرموز البصرية. على سبيل المثال، العبارة التي قد تستغرق 11 رمزًا فرعيًا تُضغط في رمز بصري واحد.
ج. الضبط الدقيق للتعليمات المتمحور حول الرؤية
غالبًا ما تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) المدربة مسبقًا صعوبة في اتباع التعليمات المقدمة كصور (نص-بصري) لأنها تدربت أساسًا على تعليمات نصية. لسد هذه الفجوة:
تكييف LoRA: يطبق المؤلفون طبقات التكيف منخفض الرتبة (LoRA) على كل من المشفر البصري والعمود الفقري للنموذج اللغوي (LLM backbone).
استراتيجية التدريب: يتم رندرة التعليمات كصور، بينما تظل الإجابات المستهدفة كنصوص. يتم ضبط النموذج لتقليل خسارة التنبؤ بالرمز التالي (next-token prediction loss).
خيار التصميم الرئيسي: يتم إبقاء المشروع (Projector) مجمدًا أثناء الضبط. هذا يحافظ على المحاذاة القوية بين الوسائط (cross-modal alignment) التي تم تعلمها أثناء التدريب المسبق واسع النطاق، مما يمنع النسيان الكارثي مع السماح للمشفر والنموذج اللغوي بالتكيف مع التعليمات النصية البصرية.
3. المساهمات الرئيسية
تحول في النموذج الفكري: يتحدى نهج ترميز الكلمات الفرعية الراسخ، مقترحًا نهج "القراءة البصرية" الشبيه بالبشر والذي يستفيد من مرونة المسارات اللغوية البصرية.
الكفاءة والضغط: يحقق ضغطًا هائلاً للرموز. تقلل هذه الطريقة عدد الرموز بمعدل 4.43 ضعفًا في المتوسط للإنجليزية وما يصل إلى 13.05 ضعفًا للغات منخفضة الموارد (مثل الجورجية)، مما يقلل عمليات الفاصلة العائمة (FLOPs) بنسبة 70.5%.
العدالة متعددة اللغات: يقضي على انحياز المفردات. بخلاف مُرمزي الكلمات الفرعية التي تفضل اللغات عالية الموارد، يوفر SEETOK تمثيلًا موحدًا ومضغوطًا لجميع الكتابات، مما يقلل من "الخصوبة" (عدد الرموز لكل كلمة) من ~3.88 إلى ~0.48 في اللغات منخفضة الموارد.
المتانة والوعي البنيوي: من خلال الحفاظ على الشكل البصري والبنية الداخلية للكلمات، يُظهر SEETOK متانة فائقة تجاه:
الأخطاء المطبعية والضجيج: يحافظ على الأداء تحت الهجمات على مستوى الحروف والضجيج البصري.
المهام دقيقة التفاصيل: يحسن بشكل كبير الأداء في مهام عد الحروف وإعادة ترتيب الكلمات حيث يفشل ترميز الكلمات الفرعية بسبب "العمى الحرفي".
القدرة على التعميم: طُبق بنجاح عبر مختلف الأنظمة الأساسية لـ MLLM (مثل Qwen2.5-VL، LLaVA-NeXT، JanusPro) دون تغييرات هيكلية.
4. النتائج التجريبية
قيم المؤلفون SEETOK على ثلاثة محاور رئيسية:
الأداء العام: في اختبارات مثل MMLU وTriviaQA وSST5، يضاهي SEETOK أو يتفوق على خط الأساس لترميز النصوص (على سبيل المثال، +15.60% في SST5) مع استخدام رموز أقل.
الترجمة متعددة اللغات:
عالية الموارد: حقق درجة COMET-22 بلغت 65.17 مقابل 61.45 لخط الأساس النصي.
منخفضة الموارد: أظهر نسبة ضغط رموز بلغت 7.85 ضعفًا وزيادة قدرها +3.87 في درجات COMET-22 للغات مثل القيرغيزية والجورجية.
المتانة تجاه الاضطرابات: تحت تأثير الضجيج على مستوى الحروف، والهجمات البصرية (استبدال الرموز)، والفساد على مستوى الكلمة، عانى SEETOK من انخفاضات أصغر بكثير في الدقة مقارنة بالنماذج المرمزة نصيًا.
الأمانة البنيوية:
عد الحروف: حسن الدقة من 57.99% (نص) إلى 64.98% (SEETOK).
إعادة ترتيب الكلمات: حسن الدقة من 10.94% إلى 12.50%.
التركيبية: أظهرت التضمينات البصرية تشابه جيب تمام (cosine similarity) أعلى (0.90+) مع تضمينات الكلمة الكاملة مقارنة بترميز النص (0.27)، مما يثبت الحفاظ الأفضل على البنية الصرفية.
الكفاءة: قلل من عمليات الفاصلة العائمة (FLOPs) بنسبة 70.5% ومن زمن الاستجابة (latency) بنسبة 33.5%. في سيناريوهات التسلسل الطويل (74 ألف رمز)، نجح SEETOK حيث فشل خط الأساس النصي بسبب قيود الذاكرة.
5. الأهمية
يمثل SEETOK خطوة هامة نحو الذكاء الاصطناعي المستوحى معرفيًا. من خلال محاكة قدرة البشر على قراءة الكلمات كأشياء بصرية، يتغلب على الانحيازات الهشة لترميز الكلمات الفرعية المنفصلة.
القابلية للتوسع: يوفر مسارًا لنماذج لغوية كبيرة أكثر كفاءة يمكنها التعامل مع نوافذ سياق ضخمة ولغات متنوعة دون الانفجار الحسابي الناتج عن تجزئة الرموز.
الاتجاه المستقبلي: يشير إلى مستقبل تعمل فيه المشفرات البصرية كواجهة موحدة لجميع الوسائط، مما قد يؤدي إلى نماذج أكثر متانة وتعددًا في اللغات وقدرة على التفكير الدقيق.
الأثر العملي: تسمح هذه الطريقة بالتدريب على المزيد من البيانات ضمن نفس ميزانية الحوسبة (بسبب ضغط الرموز) وتمكن الأداء القوي في السيناريوهات الواقعية التي تتضمن نصوصًا مشوشة أو مزخرفة (مثل التعرف الضوئي على الحروف OCR، والملاحظات المكتوبة بخط اليد).