11158 ورقة بحثية
تقدم هذه الورقة نموذجاً متخصصاً للتعرف على الكيانات المسماة قائماً على تقنية "ترانسفورمر" (transformer)، تم تدريبه على بيانات سريرية مشروحة من قبل خبراء، والذي يحقق أداءً فائقاً (درجة F1 تبلغ 0.89) في استخراج كيانات الأمراض المناعية والعدوائية الدقيقة من السرديات الطبية ذات النصوص الحرة مقارنة بالنهج العامة أو نهج التعلم الصفري.
تقدم هذه الورقة "الأفكار كعملية تخطيط" (Thoughts-as-Planning)، وهو إطار عمل مبتكر يعمل على تحسين سلاسل الاستدلال من خلال نمذجة النموذج اللغوي الكبير كبيئة قابلة للملاحظة جزئياً وتعلم نموذج عالم كامن لتمكين التخطيط الفعال، والقابل للتفسير، ومتعدد المقاييس عبر التدرج الاشتقاقي أو التعلم التعزيزي.
تقدم هذه الورقة GPF-LiveNews، وهو بروتوكول ومعيار تقييم للبث المباشر يدقق في كيفية صياغة النماذج اللغوية الكبيرة للأحداث الإخبارية الناشئة لمجموعات هويات مختلفة من خلال تحليل التباينات الدلالية والوجدانية عبر مدخلات ديناميكية من العالم الحقيقي.
تقدم هذه الورقة مقياساً على مستوى الرأس يسمى "الضعف التفاضلي للدوائر" (differential circuit vulnerability) لتوضيح أنه بينما يعمل الضبط الدقيق الخاضع للإشراف على تكييف النماذج مع المهام الجديدة بشكل أسرع، فإن التعلم المعزز يحافظ بشكل أفضل على الدوائر الحسابية الداخلية، مما يقدم تفسيراً ميكانيكياً لمقاومته المتفوقة للنسيان الكارثي.
تقدم هذه الورقة استراتيجية تلميح "برنامج الفكر" (Program-of-Thought) بنمط الصفر من الأمثلة، والتي تستفيد من نماذج لغوية بصرية خفيفة الوزن ومهمة مساعدة مبتكرة لتحويل المخطط إلى قاموس (chart-to-dictionary) لتوليد كود بايثون من أجل تلخيص المخططات بدقة وكفاءة، محققةً أداءً يضاهي الأساليب الحالية مع تحسين الصحة الواقعية.
تقترح الورقة البحثية نظام GrowLoop، وهو نظام تقييم محادثة ذاتي التطور يستخدم حداً أدنى من التعليقات التوضيحية البشرية الأولية وتحسيناً تكرارياً للمعايير مدفوعاً بالنماذج اللغوية الكبيرة ليتكيف باستمرار مع النماذج المتقدمة والسيناريوهات المتغيرة، متجاوزاً بذلك قيود المعايير الثابتة في تقييم الشبه بالبشر.
تقدم هذه الورقة طريقة للاستدلال وإطار عمل مقابل لتعلم التفضيلات يستفيدان من كواشف الهلوسة لتنقيح وضبط النماذج اللغوية الكبيرة بشكل تكراري، مما يقلل بشكل كبير من الهلوسات الواقعية في التلخيص السريري مع الحفاظ على الطلاقة والتماسك.
تكشف هذه الورقة، من خلال مقابلات مع ثمانية من باحثي علوم الحاسوب، عن مفارقة حيث يشكك الممارسون في لوحات صدارة النماذج اللغوية الكبيرة (LLM leaderboards) ومع ذلك يعتمدون عليها كأدلة استرشادية تقريبية، لتخلص في النهاية إلى أن الشبكات الأقران والتصنيفات القائمة على نظام "الساحة" (arena-based rankings) هي التي تقود عملية اختيار النماذج أكثر من المعايير القياسية الثابتة، مع تسليط الضوء على طلب حاسم بشأن شفافية التكلفة.
تقدم هذه الورقة أول دراسة منهجية لهجمات حقن الأوامر (prompt injection) في العالم الحقيقي في عمليات فحص السير الذاتية القائمة على النماذج اللغوية الكبيرة (LLM)، حيث حللت 200,000 سيرة ذاتية لتكشف أن ما يقرب من 1% منها يحتوي على حقن مخفي، وأن انتشارها في تزايد، وأن معظمها لا يستخدم تعليمات صريحة.
تتقصى هذه الورقة إطار عمل لضغط النصوص الدلالي غير الفاقد للمعلومات حيث يقوم مشفر بحذف النص استراتيجياً من أجل إعادة البناء بواسطة النماذج اللغوية الكبيرة، لتجد أن الحذف القائم على تكرار الكلمات البسيط يقدم خط أساس قوي وفعال بينما تتفوق الأساليب الدلالية الهجينة عند معدلات ضغط متوسطة، كما ينتج عن ضبط (QLoRA) أجهزة فك تشفير محلية تنافسية.