Evaluating Expert Specialization in Mixture-of-Experts Antibody Language Models
Die Studie zeigt, dass eine Mixture-of-Experts-Architektur mit optimierter Token-Auswahl-Routing-Strategie die Leistung von Antikörper-Sprachmodellen im Vergleich zu dichten Architekturen verbessert, indem sie eine spezialisierte Verarbeitung der hochvariablen CDRH3-Regionen ermöglicht.