Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention

1. بيان المشكلة

تهيمن نماذج المحولات (Transformers) على معالجة اللغات الطبيعية الحديثة، وهي تواجه ثلاث قيود حرجة:

1. التعقيد التربيعي: آلية الانتباه ذات التعقيد $O(L^2)$ تحد من القابلية للتوسع، مما يسبب استنفاد ذاكرة وحدة معالجة الرسومات (GPU) عند التعامل مع التسلسلات الطويلة (مثل المستندات الكاملة).
2. الاعتماد على الـ Tokenizer: الاعتماد على أدوات التجزئة (Tokenizers) يستلزم معالجة مسبقة خاصة بكل لغة، ويؤدي إلى ضغط فاقد للمعلومات وتعقيدات هندسية (مثل مشكلات الكلمات خارج المفردات - out-of-vocabulary).
3. عدم كفاءة المعلمات (Parameters): يتطلب الأداء التنافسي عادةً ملايين أو مليارات المعلمات.

تتفاقم هذه المشكلات في المعالجة على مستوى البايت (Byte-level processing)، حيث تكون تسلسلات المدخلات أطول بـ 3 إلى 5 أضعاف من نظيراتها المجزأة إلى رموز (Tokens). لا تزال النماذج الحالية على مستوى البايت (مثل ByT5 وCANINE) تعتمد على المحولات والانتباه، مما يجعلها ترث عائق $O(L^2)$. ويتساءل المؤلفون: هل يمكن للمعالجة في نطاق التردد (Frequency-domain processing) على البايتات الخام أن تضاهي أو تتفوق على النماذج المعتمدة على الرموز دون استخدام آلية الانتباه، وباستخدام عدد أقل بمراحل من المعلمات؟

2. المنهجية: بنية Kathleen

Kathleen هي بنية لتصنيف النصوص تعمل مباشرة على بايتات UTF-8 الخام باستخدام المعالجة في نطاق التردد. وهي تستبدل آليات الانتباه وأدوات التجزئة بسلسلة من المكونات المستوحاة من معالجة الإشارات. تحتوي النسخة النهائية من النموذج، Kathleen-Clean، على 733 ألف معلمة فقط.

المكونات الأساسية

تعالج البنية البايتات عبر المسار التالي:

1. مشفر جدول الموجات FFT-Rotate:

   • المشكلة التي تم حلها: يستبدل جدول التضمين الضخم ($256 \times d$ معلمة) بمتجه واحد قابل للتعلم ($d$ معلمة).
   • الآلية: يقوم بخرائط جميع قيم البايت الـ 256 باستخدام متجه واحد قابل للتعلم $w$ وتدوير طوري يعتمد على تحويل فوريه (FFT): $Enc(b) = \mathcal{F}^{-1}[\mathcal{F}[w] \odot e^{i \cdot b \cdot 2\pi/255}]$.
   • الكفاءة: يقلل عدد معلمات المشفر من حوالي 65 ألفًا إلى 256 رقمًا عشريًا فقط مع تحسين الدقة.

2. بنك المتذبذبات المتكرر (RecurrentOscillatorBank):

   • الآلية: يستخدم نوى التلافيف السببية (Causal convolution kernels) التي تم تهيئتها كـ موجات جيبية مخمدة ($k_i(t) = \gamma_i^t \cos(\omega_i t)$).
   • الوظيفة: يعمل كبنك من الرنانات التي تضخم أنماط ترددية محددة في تدفق البايتات بينما تخمد الضجيج.
   • الذاكرة: مدعوم بحالة ذاكرة متكررة ($M_t$) لتجميع الأدلة عبر التسلسل، مما يسمح بمعالجة ذات تعقيد $O(L)$.

3. التوافقيات الطورية (PhaseHarmonics) - (المكون الأكثر أهمية):

   • الآلية: عدم خطية جيبية تقوم بدمج المدخلات مع إسقاطات عند ترددات متباعدة أسياً: $PH(x) = [x, \sin(x \cdot 2^0 + \phi_0), \dots, \sin(x \cdot 2^5 + \phi_5)]$.
   • المعلمات: يحتوي فقط على 6 إزاحات طورية قابلة للتعلم ($\phi_0 \dots \phi_5$).
   • الأثر: رغم صغر حجمه، فإنه يخلق رؤى طيفية متعددة الدقة للبيانات.

4. بوابة قانون القوة (PowerLawGate - PLG):

   • الآلية: تطبق عدم خطية قانون القوة $sign(x) \cdot |x|^\gamma$ (حيث $\gamma \approx 0.5$)، محاكيةً قانون "ويبر-فيشنر" في علم النفس الفيزيائي.
   • الوظيفة: تضغط النطاق الديناميكي لمنع الأنماط ذات السعة العالية من الهيمنة.
   • السياق: ثبتت فعاليتها فقط في سياقات نطاق التردد (وليس في تضمينات الكلمات المعتمدة على الرموز).

5. التجميع المزدوج (DualPooling):

   • يجمع بين التجميع المرجح بالانتباه (Attention-weighted pooling) والتجميع الأقصى (Max pooling) لتقليص التسلسلات إلى متجهات، وهو أمر حيوي للحفاظ على الإشارات المعلوماتية المتفرقة في النصوص القصيرة.

3. المساهمات الرئيسية ونتائج الاختبار الاستبعادي (Ablation)

تؤكد الورقة على عملية تصميم قائمة على الاختبار الاستبعادي، حيث بدأت من نموذج سابق بـ 1.8 مليون معلمة وقامت بإزالة المكونات بشكل منهجي للعثور على البنية المثلى.

• PhaseHarmonics هو المكون الأكثر تأثيراً بمفرده: أدت إزالة هذا المكون (الذي يحتوي على 6 معلمات) إلى انخفاض في الدقة بنسبة 2.6%. وفي المقابل، أدت إزالة إطار عمل معرفي "مستوحى حيوياً" ضخم (Phantasy) يحتوي على 560 ألف معلمة إلى انخفاض بنسبة 0.2% فقط.
• التردد مقابل المعرفة: تُظهر الدراسة أن مكونات نطاق التردد البسيطة تتفوق بشكل منهجي على الأطر المعرفية المعقدة والمستوحاة حيوياً لهذه المهمة.
• المنفعة المعتمدة على السياق: كان "PowerLawGate" عديم الفائدة في سياقات الرموز (زيادة 0.0%)، لكنه ساهم بـ +0.9% في سياقات التردد على مستوى البايت، مما يثبت أن المنفعة الهيكلية تعتمد على تمثيل المدخلات.
• اكتشاف إلغاء الموجة الحاملة (Carrier Cancellation): فشلت التجارب المبكرة التي استخدمت موجات حاملة جيبية لأن المتوسط الحسابي (Mean pooling) دمر الإشارة ($E[\sin(\omega t)] \approx 0$). وكان الحل هو استخدام ميزات ترددية تحافظ على الهوية (Fourier encoding) بدلاً من الموجات الحاملة الصريحة.

4. النتائج التجريبية

تم تقييم Kathleen-Clean على ثلاث معايير قياسية (IMDB, AG News, SST-2) مقابل النماذج المعتمدة على الرموز ونماذج Transformer الأخرى على مستوى البايت.

• كفاءة المعلمات: نموذج Kathleen-Clean أصغر بـ 16 مرة من نظيره المعتمد على الرموز، وأصغر بـ 180 مرة من CANINE-S، ومع ذلك يتفوق عليهما في IMDB وAG News.
• القابلية للتوسع في السياق الطويل: بفضل تعقيد $O(L)$، يمكن لـ Kathleen معالجة تسلسلات تصل إلى 100 ألف بايت أو أكثر. في المقابل، تعاني نماذج Transformer القياسية من نفاذ ذاكرة وحدة معالجة الرسومات (OOM) بعد 1,024 بايت.
• الفجوة مع النماذج المدربة مسبقاً: لا تزال هناك فجوة بنسبة ~8% مقارم بـ BERT (الذي حقق 93% في SST-2)، وتُعزى هذه الفجوة إلى تدريب BERT الضخم على مجموعات بيانات خارجية وعدد معلمات أكبر.

5. الأهمية والعمل المستقبلي

• حد كفاءة جديد (New Pareto Frontier): يضع Kathleen حداً جديداً لكفاءة معالجة اللغات الطبيعية، مثبتاً أن المعالجة الترددية للإشارات هي بديل قابل للتطبيق للانتباه لفهم النصوص.
• النشر على الحافة (Edge Deployment): مع وجود 733 ألف معلمة فقط، فإن النموذج صغير بما يكفي للعمل على المتحكمات الدقيقة (مثل ESP32) والأجهزة المحمولة.
• البث والسياق الطويل: يتيح تعقيد $O(L)$ تصنيف النصوص في الوقت الفعلي ومعالجة مستندات كاملة دون قيود الذاكرة.
• الاستقلالية اللغوية: من خلال العمل على البايتات الخام، لا يتطلب النموذج تدريب أداة تجزئة (Tokenizer) ويتعامل مع أي لغة بشكل طبيعي.

الخلاصة: يثبت Kathleen أن مبدأ "الأقل هو الأكثر" (Less is more) ينطبق على بنية معالجة اللغات الطبيعية. فمن خلال الاستفادة من البنية الرياضية لمعالجة التردد والمذبذبات، يحقق كفاءة تضاهي أحدث النماذج، متفوقاً على نماذج أكبر بكثير تعتمد على الرموز، مع إلغاء الحاجة إلى أدوات التجزئة وآليات الانتباه.