BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
تقدم الورقة البحثية BiSpikCLM، وهو أول نموذج لغوي نبضي ثنائي بالكامل يلغي العمليات الحسابية ذات الفاصلة العائمة من خلال آلية انتباه نبضية خالية من "Softmax" ويحقق أداءً تنافسياً بتكاليف حوسبة وبيانات تدريب أقل بكثير عبر إطار عمل مبتكر لتقطير المحاذاة المدرك للنبضات.