11611 ورقة بحثية
إنّ ContextWeaver هو إطار عمل للذاكرة لوكلاء النماذج اللغوية الكبيرة (LLM agents) يعمل على تحسين الاستدلال في السياقات الطويلة عبر تنظيم سجل التفاعلات في رسم بياني ذي بنية تبعية لخطوات الاستدلال، مما يسمح باسترجاع سياقي انتقائي وملخص ومتحقق منه.
تقدم هذه الورقة "Code Broker"، وهو نظام متعدد الوكلاء مبني باستخدام حزمة تطوير الوكلاء (Agent Development Kit) من Google، يقوم بتنسيق وكلاء متخصصين يعتمدون على النماذج اللغوية الكبيرة (LLM) والتحليل الساكن لإنشاء تقارير جودة كود متعددة الأبعاد وقابلة للتنفيذ لمستودعات لغة بايثون، مع تسليط الضوء على فعاليته في تقديم ملاحظات موجهة للمطورين وعيوبه الحالية في عمق التقييم وقابلية التوسع.
باستخدام المشفّرات التلقائية المتناثرة (SAEs) لتحديد وتوجيه المجموعات الفرعية للميزات المتوافقة مع المفاهيم، تُثبت هذه الدراسة أن ثغرات كسر الحماية في نموذج Gemma-2-2B تتركز ضمن مجموعات فرعية محددة من الميزات في الطبقات المتوسطة إلى المتأخرة، مما يشير إلى أن التدخل في الميزات على مستوى الطبقات قد يكون أكثر فعالية لتعزيز المتانة من الدفاعات القائمة على الأوامر النصية.
تتقصى هذه الورقة الديناميكيات الزمنية لنماذج اللغة الانتشارية من خلال تحليل كيفية ظهور واستقرار أنواع مختلفة من المعلومات اللغوية — مثل الفئات الدلالية، وأجزاء الكلام، وهوية الرمز الدقيقة — طوال مسار إزالة الضجيج.
تقترح هذه الورقة إطار عمل لتمثيل التعديل الطيفي الزمني (STM) استناداً إلى نماذج بنك المرشحات القوقعية لتعزيز الكشف عن الكلام المحاكي للبشر، محققةً مستويات أداء تضاهي أو حتى تتفوق على الإدراك السمعي البشري.
تقترح هذه الورقة آلية لتحسين التلقين ما قبل الاستدلال تستخدم النماذج اللغوية الصغيرة (SLMs) لتحديد وحل الغموض الدلالي في تلقينات المستخدم بشكل صريح، مما يؤدي إلى تحسين أداء الاستدلال للنماذج اللغوية الكبيرة (LLMs) بأقل تكلفة حوسبية.
تُظهر هذه الورقة، باستخدام اللغات الصورية كبيئة اختبار منضبطة لتجنب تلوث البيانات، أنه في حين يحقق الضبط الدقيق كفاءة أعلى في التوزيع الداخلي مقارنة بالتعلم السياقي، فإن كلا النمطين يُظهران قدرات مماثلة في التعميم خارج التوزيع والتحيزات الاستقرائية، رغم أن التعلم السياقي أكثر حساسية بشكل ملحوظ لحجم النموذج والمفردات.
تقدم هذه الورقة إطار عمل خفيف الوزن وجاهز للإنتاج لتحليل ملفات PDF، يستخدم الاستدلال المكاني، وتحليل التخطيط، والتشابه الدلالي للكشف بدقة عن العناصر المرئية وربطها بالتعليقات التوضيحية، مما يحسن بشكل كبير أداء استرجاع المعلومات المعزز متعدد الوسائط (RAG) مع تقليل زمن الاستجابة.
تقترح هذه الورقة إطار عمل لضغط السياق، وهو غير معتمد على التدريب وغير مرتبط بنموذج محدد، يستخدم رسماً بيانياً هجيناً للجمل — يجمع بين التشابه الدلالي والبنية التسلسلية — لاختيار مجموعة مدمجة ومتماسكة وذات صلة بالمهمة للنماذج اللغوية الكبيرة ذات السياق الطويل.
تُعد Au-M-ol بنية متعددة الأنماط ومبتكرة تدمج مشفرًا صوتيًا وطبقة تكييف مع نموذج لغوي كبير مدرب مسبقًا لتحسين التعرف على الكلام الطبي وفهم اللغة السريرية بشكل كبير، محققةً انخفاضًا بنسبة 56% في معدل خطأ الكلمات مقارنة بالنماذج المرجعية الحالية.