OmniGene-4: A Unified Bio-Language MoE Model with Router-Level Interpretability
OmniGene-4 introduce un modelo fundacional de Mezcla de Expertos unificado e interpretable por el enrutador que demuestra cómo el preentrenamiento continuo impulsa la especialización entre tareas mientras la computación de expertos gestiona el razonamiento biológico basado en secuencias, logrando un rendimiento de vanguardia en homología de proteínas y conocimiento biológico general con costos de computación significativamente reducidos incluso cuando se extiende a entradas multimodales.