11158 ورقة بحثية
تقدم الورقة البحثية TEXAS، وهي طريقة تكييف مبتكرة لنماذج لغة "خليط الخبراء" (Mixture-of-Experts) تعمل على تحديد الخبراء ذوي الصلة بالمهمة من خلال مقارنة تنشيطاتهم في الحالات الناجحة مقابل الحالات الفاشلة، وتستفيد من هذا الاكتشاف لزيادة وزن الإشراف ديناميكيًا على رموز الإجابة أثناء الضبط الدقيق، مما يحقق أداءً رائدًا عبر معايير متعددة دون تقييد مجموعات الخبراء الفرعية.
تقدم هذه الورقة سلماً تشخيصياً متوافقاً مع عملية التوليد لفك الارتباط بين قيود الأداء في نماذج اللغة الكلامية إلى فجوات متميزة ناتجة عن عدم توافق قواعد القرار وقيود تغطية القراءة، مما يكشف أنه بينما تتوفر المعلومات العاطفية غالباً في الحالات الخفية، فإن النماذج تفشل في كثير من الأحيان في استخدامها بفعالية بسبب آليات فك التشفير والقراءة غير المثالية.
تقدم الورقة البحثية نموذج SIEDD، وهو نموذج انتشار منفصل متعدد الرموز (multi-codec discrete diffusion model) يستفيد من التوليد الهرمي للرموز والاشتراط الموجه بالنص لتحقيق أداء رائد في عمليات ترميم وتحرير الكلام مع الحفاظ على هوية المتحدث والنبرة.
تُثبت هذه الورقة أنه بينما لا يمكن استرداد مؤشرات طبقات "ترانسفورمر" (transformer) محددة بشكل فريد من ملفات أخطاء تسمية الصور لدى المصابين بالحبسة الكلامية بسبب الفائض الوظيفي، إلا أنه يمكن عكس معاملات شدة الاضطراب والضجيج بنجاح لإنشاء نماذج مضادة للواقع تعيد إنتاج السلوكيات المستهدفة وتميز بين المتلازمات السريرية، مما يقدم إطاراً قوياً لقابلية التفسير السببي للنماذج اللغوية الكبيرة (LLM).
تقدم هذه الدراسة مفهوم "فجوة الاستيعاب عبر اللغات" (CLCG) لتوضيح أن النماذج اللغوية تظهر قدرات استيعابية منخفضة بشكل كبير في اللغات غير الإنجليزية مقارنة باللغة الإنجليزية، مما يكشف أن التقييمات المتمحورة حول اللغة الإنجليزية تبالغ في تقدير الأداء لمستخدمي اللغات ذات الموارد المنخفضة.
تقدم الورقة البحثية إطار عمل GRASP، وهو إطار عمل لإخفاء الهوية على الأجهزة يستفيد من تحسين السياسة النسبي للمجموعات (GRPO) لتدريب نموذج صغير واحد ليعمل في آن واحد كمجهل للهوية، ومهاجم، وحكم على المنفعة، مما يحقق مقايضات متفوقة بين الخصوصية والمنفعة مقارنة بالطرق الحالية القائمة على التقطير، مع القضاء على الحاجة إلى إرسال البيانات الخاصة إلى خوادم طرف ثالث.
تحدد هذه الورقة أن الاستيفاء الخطي الإقليدي المستخدم في نماذج لغة الانتشار المقنعة الحالية غير متوافق هندسيًا مع فضاء التضمين الكروي الخاص بها، وتقترح "التقنيع الناعم الكروي" (S-SM)، وهي طريقة تستخدم الاستيفاء الخطي الكروي مما يحسن بشكل كبير جودة التوليد والارتباك دون التأثير سلبًا على التقارب.
تقيم هذه الورقة طرق تقدير الثقة لنماذج الرؤية واللغة المالية، حيث تجد أنه بينما تفتقر النماذج المرجعية القائمة على الاستدلال فقط إلى المعايرة اللازمة للأتمتة الآمنة، فإن مسابير محددة مدربة يمكنها تمييز الإجابات الموثوقة عن الهلوسة بفعالية، رغم أن الحجم الإجمالي للمهام القابلة للأتمتة بأمان يظل مقيداً بالكفاءة الجوهرية للنموذج بدلاً من مجرد درجات الثقة الخاصة به.
تُثبت هذه الورقة أن قراءات الثقة في أنظمة الرؤية واللغة المنشورة معرضة بشدة لهجمات الحفاظ على الإجابة، مما يثبت أنها تعمل كإشارات مراقبة حساسة للنزاهة بدلاً من كونها إشارات مراقبة قوية قادرة على التلاعب لقبول إجابات غير صحيحة أو خفض الدقة الإجمالية إلى ما دون المستويات المرجعية.
تقترح هذه الورقة إطار عمل للتوجيه قبل الاستنتاج يتنبأ بصعوبة المستند باستخدام ميزات غير مكلفة للاختيار الديناميكي بين نماذج استخراج رخيصة وأخرى قوية، محققاً تخفيضات كبيرة في التكلفة (تصل إلى 77%) دون التضحية بالدقة، ولكن فقط لأنواع معينة من النصوص حيث تفشل النماذج الأرخص بشكل متكرر وتكون حالات الفشل تلك قابلة للتنبؤ.