Sintesi Tecnica: ERNIE 5.0

Definizione del Problema

Gli attuali modelli di base su larga scala si affidano spesso ad architetture a fusione tardiva (late-fusion), in cui un backbone linguistico pre-addestrato viene aumentato con decoder o generatori specifici per modalità. Sebbene efficaci per le singole modalità, questi design separano la generazione multimodale dalla comprensione, basandosi su obiettivi non autoregressivi che ostacolano una profonda integrazione cross-modale. Inoltre, gli approoli esistenti spesso lottano contro il problema del "seesaw delle capacità" (ability seesaw), dove l'ottimizzazione per una modalità degrada le prestazioni in altre. Inoltre, l'implementazione di modelli da trilioni di parametri affronta sfide significative riguardanti i costi computazionali, i vincoli di memoria e la necessità di configurazioni di inferenza flessibili senza necessità di riaddestramento o compressione post-hoc. Infine, scalare l'apprendimento per rinforzo (RL) verso modelli multimodali unificati introduce instabilità dovuta a ricompense sparse, collasso dell'entropia e discrepanze tra addestramento e inferenza, in particolare all'interno di architetture Mixture-of-Experts (MoE) ultra-sparse.

Metodologia

1. Architettura Autoregressiva Unificata

ERNIE 5.0 è un modello di base autoregressivo nativo, progettato da zero per integrare testo, immagini, video e audio sotto un unico framework.

• Obiettivo Unificato: Tutte le modalità sono addestrate sotto un obiettivo unificato di Next-Group-of-Tokens Prediction. La generazione di testo utilizza la Next-Token Prediction (NTP) aumentata dalla Multi-Token Prediction (MTP). La generazione di visione e audio è formulata come compiti di predizione di gruppi di token (Next-Frame-and-Scale Prediction per la visione; Next-Codec Prediction per l'audio) per allinearsi al paradigma autoregressivo.
• MoE Ultra-Sparse con Routing Modality-Agnostic: Il backbone utilizza un'architettura MoE ultra-sparse (tasso di attivazione < 3%). Fondamentalmente, il routing degli esperti è modality-agnostic, il che significa che le decisioni di routing sono condizionate su rappresentazioni di token unificate piuttosto che su espliciti identificatori di modalità. Ciò consente ai token di diverse modalità di essere instradati verso un pool condiviso di esperti, promuovendo la generalizzazione della conoscenza cross-modale senza allocazione euristica specifica per modalità.
• Modellazione Visiva:
  • Tokenizzazione: Utilizza un tokenizer convoluzionale 3D causale (infuso da un tokenizer di immagini 2D) che supporta la Next-Frame-and-Scale Prediction (NFSP).
  • Comprensione: Impiega una Rappresentazione Ibrida a Doppio Percorso che fonde caratteristiche CNN (percettive) e ViT (semantiche) tramite un Attention-Based Patch Merger prima della quantizzazione, preservando i dettagli fini persi nella compressione standard.
  • Generazione: Utilizza la NFSP per predire i token attraverso scale spaziali e frame temporali. Un rifinitore di diffusione a cascata è impiegato post-backbone per migliorare i dettagli ad alta risoluzione senza entrare in conflitto con la perdita autoregressiva.
• Modellazione Audio:
  • Tokenizzazione: Utilizza un tokenizer a Vettorizzazione Quantizzata Residua (RVQ) distillato da Whisper, separando la semantica di alto livello (primo token) dai dettagli acustici residui.
  • Generazione: Introduce la Next-Codec Prediction (NCP), un'architettura depth-wise autoregressiva dove i codici audio gerarchici sono predetti attraverso i livelli transformer, alimentando i feedback di embedding per condizionare i livelli successivi.

2. Paradigma di Addestramento Elastico

Per affrontare la flessibilità di deployment, ERNIE 5.0 introduce una nuova strategia di Elastic Training durante il pre-addestramento. Invece di addestrare un modello statico e comprimerlo successivamente, il modello apprende una famiglia di sub-modelli simultaneamente in un unico run.

• Elasticità della Profondità (Elastic Depth): Varia casualmente il numero di layer transformer attivi (75% profondità completa, 25% profondità ridotta).
• Elasticità della Larghezza (Elastic Width): Varia casualmente il numero totale di esperti nei layer MoE (80% larghezza completa, 20% larghezza ridotta).
• Elasticità della Sparsità (Elastic Sparsity): Varia casualmente il routing top-k (numero di esperti attivati per token).
  Ciò consente l'estrazione di sub-reti con diversi trade-off tra capacità ed efficienza che mantengono l'integrità funzionale senza riaddestramento.

3. Post-Training e Ottimizzazione RL

La pipeline di post-addestramento combina il Supervised Fine-Tuning (SFT) con l'Unified Multimodal Reinforcement Learning (UMRL). Per stabilizzare l'RL su modelli MoE ultra-sparse, vengono impiegate tre tecniche chiave:

• Unbiased Replay Buffer (U-RB): Estende i metodi esistenti (come APRIL) imponendo un vincolo di ordinamento dei dati. Impedisce alle query a coda lunga di bloccare i batch e assicura una distribuzione dei dati non influenzata, evitando i cambiamenti di difficoltà non stazionari che ostacolano la convergenza.
• Mitigazione del Collasso dell'Entropia: Affronta il rapido collasso dell'entropia nelle prime fasi di RL utilizzando il Multi-granularity Importance Sampling Clipping (MISC) per correggere i mismatch tra addestramento e inferenza e il Well-learned Positive Sample Mask (WPSM) per prevenire l'over-optimization su query facili.
• Adaptive Hint-based RL (AHRL): Introduce "scheletri di pensiero" parziali (hint) per query difficili con ricompense sparse, riducendo gradualmente la disponibilità di hint man mano che il modello migliora per colmare il divario tra esplorazione e completamento del compito.

4. Infrastruttura

L'infrastruttura di addestramento utilizza il Parallelismo Ibrido (Tensor, Pipeline, Expert, Data e Context parallelism) con un controllo della memoria fine-grained (precisione mista FP8, offloading dinamico delle attivazioni) per gestire scale di trilioni di parametri. Un'Architettura di Disaggregazione separa i tokenizer dal backbone MoE per ottimizzare il parallelismo per carichi di lavoro eterogenei. FlashMask è utilizzato per accelerare i pattern di attenzione flessibili tra le modalità.

Contributi Chiave

1. Primo Modello Autoregressivo Unificato da un Trilione di Parametri: ERNIE 5.0 rappresenta la prima realizzazione su scala di produzione di un modello unificato che supporta sia la comprensione che la generazione multimodale per testo, immagini, video e audio all'interno di un unico framework autoregressivo.
2. Routing degli Esperti Modality-Agnostic: Dimostra che un singolo meccanismo di routing condiviso può specializzare efficacemente gli esperti per diverse modalità e compiti senza identificatori di modalità espliciti, eliminando la necessità di design euristici specifici per modalità.
3. Elastic Training: Propone un paradigma di pre-addestramento "Once-For-All" che produce una famiglia di sub-modelli deployabili (con variazione di profondità, larghezza e sparsità) da un singolo checkpoint, riducendo significativamente il costo computazionale per l'addestramento di molteplici dimensioni di modello.
4. RL Multimodale Stabile: Introduce una suite di tecniche (U-RB, MISC, WPSM, AHRL) che garantiscono un post-addestramento efficiente e stabile per modelli foundation unificati sotto architetture MoE ultra-sparse.

Risultati

Valutazioni estese su benchmark di testo, visione e audio dimostrano che ERNIE 5.0 raggiunge prestazioni forti e bilanciate:

• Linguaggio: Pareggia o supera i baseline specializzati (es. DeepSeek V3.2, Kimi K2) su conoscenza, ragionamento, coding e compiti multilingue. Il post-training migliora significativamente il seguire le istruzioni e le capacità di agente.
• Visione: Raggiunge risultati competitivi nella ragionamento visivo, comprensione dei documenti e benchmark VQA. Nella generazione, produce immagini e video ad alta estetica con un superiore allineamento semantico (superando Veo3 su VBench-Semantic) rispetto ai modelli specializzati.
• Audio: Fornisce prestazioni allo stato dell'arte o competitive nel riconoscimento automatico del parlato (ASR), chat vocale e comprensione audio generale in diversi ambienti linguistici e acustici.
• Elasticità: Ridurre la sparsità del routing al 25% produce un incremento della velocità di decoding superiore al 15% con una minima perdita di accuratezza. Una variante totalmente elastica utilizzando solo il 53,7% dei parametri attivati e il 35,8% dei parametri totali mantiene prestazioni competitive (punteggio medio 75,17 vs 75,55 per il modello completo).

Significato e Rivendicazioni

Il paper sostiene che ERNIE 5.0 stabilisca una base scalabile ed efficiente per i modelli unificati multimodali di prossima generazione. Unificando comprensione e generazione sotto un unico obiettivo autoregressivo con routing modality-agnostic, supera la frammentazione architettonica degli approcci a fusione tardiva. L'introduzione dell'elastic training offre un'alternativa fondata alla compressione post-hoc, consentendo un deployment flessibile su diverse costrizioni hardware senza sacrificare le prestazioni. Inoltre, la stabilizzazione riuscita dell'RL per modelli foundation unificati da trilioni di parametri fornisce una via critica per potenziare il ragionamento e l'allineamento nei futuri modelli di base. Gli autori sottolineano che questi risultati validano la fattibilità dell'integrazione multimodale nativa e del pre-addestramento elastico come strategie valide per scalare i modelli di base.