Yuan3.0 Ultra: A Trillion-Parameter Enterprise-Oriented MoE LLM
Il paper introduce Yuan3.0 Ultra, un modello linguistico open-source di grandi dimensioni basato su una miscela di esperti (MoE) con 1010 miliardi di parametri totali e 68,8 miliardi attivati, che utilizza il nuovo algoritmo LAEP per ottimizzare l'efficienza del pre-addestramento e raggiungere prestazioni leader in scenari aziendali.