Technische Samenvatting: ERNIE 5.0

Probleemstelling

Huidige grootschalige fundamentmodellen vertrouwen vaak op late-fusion architecturen, waarbij een voorgetraind taalbackbone wordt uitgebreid met modaliteitsspecifieke decoders of generatoren. Hoewel deze ontwerpen effectief zijn voor individuele modaliteiten, ontkoppelen ze multimodale generatie van begrip, waarbij ze vertrouwen op niet-autoregressieve doelstellingen die diepe cross-modale integratie hinderen. Bovendien kampen bestaande benaderingen vaak met het "ability seesaw"-probleem, waarbij optimalisatie voor de ene modaliteit de prestaties in andere modaliteiten verslechtert. Daarnaast vormen de implementatie van biljoentallen-parameters modellen aanzienlijke uitdagingen met betrekking tot computationele kosten, geheugenbeperkingen en de behoefte aan flexibele inferentieconfiguraties zonder hertraining of post-hoc compressie. Tot slot introduceert het schalen van reinforcement learning (RL) naar verenigde multimodale modellen instabiliteit door ijle beloningen (sparse rewards), entropie-instorting en training-inferentie discrepanties, met name binnen ultra-ijle Mixture-of-Experts (MoE) architecturen.

Methodologie

1. Verenigde Autoregressieve Architectuur

ERNIE 5.0 is een native autoregressief fundamentmodel dat vanaf de basis is ontworpen om tekst, beeld, video en audio onder één enkel framework te integreren.

• Verenigde Doelstelling: Alle modaliteiten worden getraind onder een verenigde Next-Group-of-Tokens Prediction doelstelling. Tekstgeneratie gebruikt Next-Token Prediction (NTP) aangevuld met Multi-Token Prediction (MTP). Beeld- en audiogeneratie worden geformuleerd als group-of-tokens voorspellingstaken (Next-Frame-and-Scale Prediction voor beeld; Next-Codec Prediction voor audio) om aan te sluiten bij het autoregressieve paradigma.
• Ultra-ijle MoE met Modaliteit-Agnostische Routing: De backbone maakt gebruik van een ultra-ijle MoE-architectuur (activatieratio < 3%). Cruciaal is dat de expert-routing modaliteit-agnostisch is, wat betekent dat routing-beslissingen worden geconditioneerd op verenigde token-representaties in plaats van expliciete modaliteit-identificatoren. Dit stelt tokens van verschillende modaliteiten in staat om naar een gedeelde pool van experts te worden verzonden, wat cross-modale kennisgeneralisatie bevordert zonder heuristische modaliteitsspecifieke toewijzing.
• Visuele Modellering:
  • Tokenisatie: Gebruikt een causale 3D-convolutionele tokenizer (geïnflateerd van een 2D-beeldtokenizer) die Next-Frame-and-Scale Prediction (NFSP) ondersteunt.
  • Begrip: Maakt gebruik van een Dual-Path Hybrid Representation die CNN- (perceptueel) en ViT- (semantisch) kenmerken fuseert via een Attention-Based Patch Merger vóór kwantisatie, waardoor fijne details behouden blijven die bij standaardcompressie verloren gaan.
  • Generatie: Gebruikt NFSP om tokens over ruimtelijke schalen en temporele frames te voorspellen. Een gecascadeerde diffusie-refiner wordt post-backbone ingezet om hoogresolutie details te verbeteren zonder te conflicteren met de autoregressieve loss.
• Audio Modellering:
  • Tokenisatie: Maakt gebruik van een Residual Vector Quantization (RVQ) tokenizer gedestilleerd van Whisper, die hoge-niveau semantiek (eerste token) scheidt van residuele akoestische details.
  • Generatie: Introduceert Next-Codec Prediction (NCP), een depth-wise autoregressieve architectuur waarbij hiërarchische audio-codes over transformer-lagen worden voorspeld, wat embeddings terugvoert om opeenvolgende niveaus te conditioneren.

2. Elastische Trainingsparadigma

Om de implementatie-flexibiliteit aan te pakken, introduceert ERNIE 5.0 een nieuwe Elastic Training strategie tijdens de pre-training. In plaats van een statisch model te trainen en dit later te comprimeren, leert het model gelijktijdig een familie van sub-modellen binnen één enkele run.

• Elastische Diepte: Varieert willekeurig het aantal actieve transformer-lagen (75% volledige diepte, 25% gereduceerde diepte).
• Elastische Breedte: Varieert willekeurig het totaal aantal experts in MoE-lagen (80% volledige breedte, 20% gereduceerde breedte).
• Elastische IJlheid: Varieert willekeurig de routing top-k (aantal geactiveerde experts per token).
  Dit maakt het mogelijk om sub-netwerken te extraheren met variërende capaciteit-efficiëntie-afwegingen die de functionele integriteit behouden zonder hertraining.

3. Post-Training en RL Optimalisatie

De post-training pipeline combineert Supervised Fine-Tuning (SFT) met Unified Multimodal Reinforcement Learning (UMRL). Om RL op ultra-ijle MoE-modellen te stabiliseren, worden drie belangrijke technieken toegepast:

• Unbiased Replay Buffer (U-RB): Breidt bestaande methoden (zoals APRIL) uit door een data-ordening-constraint af te dwingen. Het voorkomt dat long-tail queries batches blokkeren en zorgt voor een onbevooroordeelde datadistributie, waardoor non-stationaire moeilijkheidsverschuivingen die convergentie hinderen, worden vermeden.
• Gemitigeerde Entropie-instorting: Pakt snelle entropie-instorting in de vroege RL-stadia aan met behulp van Multi-granularity Importance Sampling Clipping (MISC) om training-inferentie mismatches te corrigeren en Well-learned Positive Sample Mask (WPSM) om over-optimalisatie op gemakkelijke queries te voorkomen.
• Adaptive Hint-based RL (AHRL): Introduceert gedeeltelijke "denkskeletten" (hints) voor moeilijke queries met ijle beloningen, waarbij de beschikbaarheid van hints geleidelijk wordt verminderd naarmate het model verbetert om de kloof tussen exploratie en taakvoltooiing te overbruggen.

4. Infrastructuur

De trainingsinfrastructuur maakt gebruik van Hybrid Parallelism (Tensor, Pipeline, Expert, Data, en Context parallelism) met fijnmazige geheugencontrole (FP8 mixed precision, dynamische activatie offloading) om triljoenen-parameters schaal aan te kunnen. Een Disaggregatie Architectuur scheidt tokenizers van de MoE-backbone om parallellisatie voor heterogene workloads te optimaliseren. FlashMask wordt gebruikt om flexibele attention-patronen over modaliteiten heen te versnellen.

Belangrijkste Bijdragen

1. Eerste Trillion-Parameter Unified Autoregressive Model: ERNIE 5.0 vertegenwoordigt de eerste productie-schaal realisatie van een verenigd model dat zowel multimodale begrip als generatie ondersteunt voor tekst, beeld, video en audio binnen één enkel autoregressief framework.
2. Modaliteit-Agnostische Expert Routing: Demonstreert dat een enkele gedeelde routing-mechanisme effectief experts kan specialiseren voor verschillende modaliteiten en taken zonder expliciete modaliteit-identificatoren, wat de noodzaak voor heuristische modaliteitsspecifieke ontwerpen elimineert.
3. Elastic Training: Stelt een "Once-For-All" pre-training paradigma voor dat een familie van inzetbare sub-modellen (variërend in diepte, breedte en ijlheid) produceert uit één enkel checkpoint, wat de computationele kosten voor het trainen van meerdere modelgroottes aanzienlijk vermindert.
4. Stabiele Multimodale RL: Introduceert een suite van technieken (U-RB, MISC, WPSM, AHRL) die efficiënte en stabiele post-training garanderen voor verenigde fundamentmodellen onder ultra-ijle MoE-architecturen.

Resultaten

Uitgebreide evaluaties op tekst-, visuele- en audio-benchmarks laten zien dat ERNIE 5.0 een sterke en gebalanceerde prestatie levert:

• Taal: Matcht of overtreft gespecialiseerde baselines (bijv. DeepSeek V3.2, Kimi K2) op kennis, redeneren, coderen en meertalige taken. Post-training verbetert instructie-opvolging en agent-capaciteiten aanzienlijk.
• Visie: Behaalt competitieve resultaten op visuele redenering, documentbegrip en VQA-benchmarks. In generatie produceert het beelden en video's met een hoge esthetiek en superieure semantische alignment (superieur aan Veo3 op VBench-Semantic) vergeleken met gespecialiseerde modellen.
• Audio: Levert state-of-the-art of competitieve prestaties in automatische spraakherkenning (ASR), stemchatten en algemeen audiobegrip over diverse linguïstische en akoestische omgevingen.
• Elasticiteit: Het reduceren van de routing-ijlheid naar 25% levert een versnelling van de decoding met meer dan 15% op met een minimale nauwkeurigheidsverlies. Een volledig elastische variant die slechts 53,7% van de geactiveerde parameters en 35,8% van de totale parameters gebruikt, behoudt een competitieve prestatie (gemiddelde score 75,17 vs. 75,55 voor het volledige model).

Betekenis en Claims

Het artikel claimt dat ERNIE 5.0 een schaalbare en efficiënte fundering legt voor de volgende generatie verenigde multimodale modellen. Door begrip en generatie te verenigen onder één enkele autoregressieve doelstelling met modaliteit-agnostische routing, overwint het de architecturale fragmentatie van late-fusion benaderingen. De introductie van elastic training biedt een principieel alternatief voor post-hoc compressie, wat flexibele implementatie over diverse hardware-beperkingen mogelijk maakt zonder prestatieverlies. Verder biedt het succesvolle stabiliseren van RL voor triljoenen-parameters modellen een kritiek pad voor het verbeteren van redeneren en alignment in toekomstige fundamentmodellen. De auteurs benadrukken dat deze resultaten de haalbaarheid van native multimodale integratie en elastische pre-training valideren als een levensvatbare strategie voor het schalen van fundamentmodellen.