Resumo Técnico: ERNIE 5.0

Definição do Problema

Os atuais modelos de fundação de grande escala frequentemente dependem de arquiteturas de fusão tardia (late-fusion), onde um backbone de linguagem pré-treinado é aumentado com decodificadores ou geradores específicos para cada modalidade. Embora eficazes para modalidades individuais, esses designs desacoplam a geração multimodal da compreensão, baseando-se em objetivos não autorregressivos que dificultam a integração multimodal profunda. Além disso, as abordagens existentes frequentemente lutam contra o problema do "balanço de habilidades" (ability seesaw), onde a otimização para uma modalidade degrada o desempenho em outras. Adicionalmente, a implantação de modelos de trilhões de parâmetros enfrenta desafios significos em relação aos custos computacionais, restrições de memória e a necessidade de configurações de inferência flexíveis sem retreinamento ou compressão post-hoc. Por fim, escalar o aprendizado por reforço (RL) para modelos multimodais unificados introduz instabilidade devido a recompensas esparsas, colapso de entropia e discrepâncias entre treinamento e inferência, particularmente dentro de arquiteturas Mixture-of-Experts (MoE) ultra-esparsas.

Metodologia

1. Arquitetura Autoregressiva Unificada

O ERNIE 5.0 é um modelo de fundação nativamente autoregressivo projetado do zero para integrar texto, imagem, vídeo e áudio sob um único framework.

• Objetivo Unificado: Todas as modalidades são treinadas sob um objetivo unificado de Previsão de Próximo Grupo de Tokens (Next-Group-of-Tokens Prediction). A geração de texto utiliza a Previsão do Próximo Token (NTP) aumentada com Previsão de Múltiplos Tokens (MTP). A geração de visão e áudio é formulada como tarefas de previsão de grupo de tokens (Previsão de Próximo Quadro e Escala para visão; Previsão de Próximo Codec para áudio) para alinhar-se ao paradigma autoregressivo.
• MoE Ultra-Esparsa com Roteamento Agnóstico à Modalidade: O backbone utiliza uma arquitetura MoE ultra-esparsa (taxa de ativação < 3%). Crucialmente, o roteamento de especialistas é agnóstico à modalidade, o que significa que as decisões de roteamento são condicionadas a representações de tokens unificados em vez de identificadores de modalidade explícitos. Isso permite que tokens de diferentes modalidades sejam despachados para um pool compartilhado de especialistas, promovendo a generalização de conhecimento cross-modal sem alocação heurística específica de modalidade.
• Modelagem Visual:
  • Tokenização: Utiliza um tokenizador convolucional 3D causal (inflado a partir de um tokenizador de imagem 2D) que suporta a Previsão de Próximo Quadro e Escala (NFSP).
  • Compreensão: Emprega uma Representação Híbrida de Caminho Duplo que funde características de CNN (perceptiva) e ViT (semântica) via um Patch Merger baseado em Atenção antes da quantização, preservando detalhes finos perdidos na compressão padrão.
  • Geração: Utiliza NFSP para prever tokens através de escalas espaciais e quadros temporais. Um refinador de difusão em cascata é empregado após o backbone para realçar detalhes de alta resolução sem conflitar com a perda autoregressiva.
• Modelagem de Áudio:
  • Tokenização: Utiliza um tokenizador de Quantização Vetorial Residual (RVQ) destilado do Whisper, separando a semântica de alto nível (primeiro token) dos detalhes acústicos residuais.
  • Geração: Introduz a Previsão de Próximo Codec (NCP), uma arquitetura depth-wise autoregressiva onde códigos de áudio hierárquicos são previstos através de camadas de transformer, retroalimentando embeddings para condicionar níveis subsequentes.

2. Paradigma de Treinamento Elástico

Para abordar a flexibilidade de implantação, o ERNIE 5.0 introduz uma nova estratégia de Treinamento Elástico durante o pré-treinamento. Em vez de treinar um modelo estático e comprimi-lo posteriormente, o modelo aprende uma família de submodelos simultaneamente em uma única execução.

• Profundidade Elástica: Varia aleatoriamente o número de camadas de transformer ativas (75% profundidade total, 25% profundidade reduzida).
• Largura Elástica: Varia aleatoriamente o número total de especialistas nas camadas MoE (80% largura total, 20% largura reduzida).
• Esparsidade Elástica: Varia aleatoriamente o top-k de roteamento (número de especialistas ativados por token).
  Isso permite a extração de sub-redes com diferentes equilíbrios entre capacidade e eficiência que mantêm a integridade funcional sem retreinamento.

3. Otimização de Pós-Treinamento e RL

O pipeline de pós-treinamento combina o Ajuste Fino Supervisionado (SFT) com Aprendizado por Reforço Multimodal Unificado (UMRL). Para estabilizar o RL em modelos MoE ultra-esparsos, três técnicas principais são empregadas:

• Buffer de Replay Não Enviesado (U-RB): Estende métodos existentes (como o APRIL) ao impor uma restrição de ordenação de dados. Ele evita que consultas de cauda longa travem os lotes (batches) e garante uma distribuição de dados não enviesada, evitando as mudanças de dificuldade não estacionárias que dificultam a convergência.
• Mitigação do Colapso de Entropia: Aborda o rápido colapso de entropia nos estágios iniciais de RL usando Clamping de Amostragem de Importância de Multigranularidade (MISC) para corrigir discrepâncias entre treinamento e inferência e o Máscara de Amostra Positiva Bem Aprendida (WPSM) para evitar a sobre-otimização em consultas fáceis.
• RL Adaptativo Baseado em Dicas (AHRL): Introduz "esqueletos de pensamento" (think skeletons) parciais (dicas) para consultas difíceis com recompensas esparsas, reduzindo gradualmente a disponibilidade das dicas conforme o modelo melhora para preencher a lacuna entre exploração e conclusão da tarefa.

4. Infraestrutura

A infraestrutura de treinamento utiliza Paralelismo Híbrido (paralelismo de Tensor, Pipeline, Especialista, Dados e Contexto) com controle de memória de grão fino (precisão mista FP8, descarregamento dinâmico de ativação) para lidar com escalas de trilhões de parâmetros. Uma Arquitetura de Desagregação separa os tokenizadores do backbone MoE para otimizar o paralelismo para cargas de trabalho heterogêneas. O FlashMask é usado para acelerar padrões de atenção flexíveis entre as modalidades.

Principais Contribuições

1. Primeiro Modelo Autoregressivo Unificado de Trilhão de Parâmetros: O ERNIE 5.0 representa a primeira realização em escala de produção de um modelo unificado que suporta tanto a compreensão quanto a geração multimodal para texto, imagem, vídeo e áudio dentro de um único framework autoregressivo.
2. Roteamento de Especialistas Agnóstico à Modalidade: Demonstra que um único mecanismo de roteamento compartilhado pode especializar efetivamente especialistas para diferentes modalidades e tarefas sem identificadores de modalidade explícitos, eliminando a necessidade de designs heurísticos específicos de modalidade.
3. Treinamento Elástico: Propõe um paradigma de pré-treinamento "Uma Vez para Todos" (Once-For-All) que produz uma família de submodelos implantáveis (variando profundidade, largura e esparsidade) a partir de um único checkpoint, reduzindo significativamente o custo computacional de treinar múltiplos tamanhos de modelos.
4. RL Multimodal Estável: Introduz um conjunto de técnicas (U-RB, MISC, WPSM, AHRL) que garantem um pós-treinamento eficiente e estável para modelos de fundação unificados sob arquiteturas MoE ultra-esparsas.

Resultados

Avaliações extensas em benchmarks de texto, visão e áudio demonstram que o ERNIE 5.0 alcança um desempenho forte e equilibrado:

• Linguagem: Iguala ou supera baselines especializados (ex: DeepSeek V3.2, Kimi K2) em conhecimento, raciocínio, codificação e tarefas multilíngues. O pós-treinamento aumenta significativamente o seguimento de instruções e capacidades de agente.
• Visão: Alcança resultados competitivos em raciocínio visual, compreensão de documentos e benchmarks de VQA. Na geração, produz imagens e vídeos de alta estética com superior alinhamento semântico (superando o Veo3 no VBench-Semantic) comparado a modelos especializados.
• Áudio: Entrega desempenho de estado da arte ou competitivo em reconhecimento automático de fala (ASR), conversa por voz e compreensão de áudio geral através de diversos ambientes linguísticos e acústicos.
• Elasticidade: Reduzir a esparsidade de roteamento para 25% gera um aumento de velocidade de decodificação de mais de 15% com perda mínima de precisão. Uma variante totalmente elástica usando apenas 53,7% dos parâmetros ativados e 35,8% dos parâmetros totais retém um desempenho competitivo (pontuação média de 75,17 vs. 75,55 para o modelo completo).

Significância e Alegações

O artigo afirma que o ERNIE 5.0 estabelece uma base escalável e eficiente para a próxima geração de modelos multimodais unificados. Ao unificar compreensão e geração sob um único objetivo autoregressivo com roteamento agnóstico à modalidade, ele supera a fragmentação arquitetônica das abordagens de fusão tardia. A introdução do treinamento elástico oferece uma alternativa fundamentada à compressão post-hoc, permitindo a implantação flexível em diversas restrições de hardware sem sacrificar o desempenho. Além disso, a estabilização bem-sucedida do RL para modelos de fundação multimodais de trilhões de parâmetros fornece um caminho crítico para aumentar o raciocínio e o alinhamento em futuros modelos de fundação. Os autores enfatizam que estes resultados validam a viabilidade da integração multimodal nativa e do pré-treinamento elástico como uma estratégia viável para escalar modelos de fundação.