Resumen Técnico: ERNIE 5.0

Planteamiento del Problema

Los modelos de base actuales a gran escala suelen depender de arquitecturas de fusión tardía (late-fusion), donde un núcleo lingüístico preentrenado se aumenta con decodificadores o generadores específicos para cada modalidad. Aunque estas estructuras son efectivas para modalidades individuales, desacoplan la generación multimodal de la comprensión, dependiendo de objetivos no autorregresivos que obstaculizan una integración multimodal profunda. Además, los enfoques existentes suelen luchar contra el problema del "subibaja de capacidades" (ability seesaw), donde la optimización de una modalidad degrada el rendimiento en otras. Adicionalmente, el despliegue de modelos de billones de parámetros enfrenta desafíos significativos respecto a los costos computacionales, las restricciones de memoria y la necesidad de configuraciones de inferencia flexibles sin necesidad de reentrenamiento o compresión post-hoc. Finalmente, escalar el aprendizaje por refuerzo (RL) hacia modelos multimodales unificados introduce inestabilidad debido a recompensas dispersas, colapso de entropía y discrepancias entre entrenamiento e inferencia, particularmente dentro de arquitectas de Mezcla de Expertos (MoE) ultra-dispersas.

Metodología

1. Arquitectura Autoregresiva Unificada

ERNIE 5.0 es un modelo de base nativamente autorregresivo diseñado desde cero para integrar texto, imagen, video y audio bajo un único marco de trabajo.

• Objetivo Unificado: Todas las modalidades se entrenan bajo un objetivo unificado de Predicción de Siguiente Grupo de Tokens (Next-Group-of-Tokens Prediction). La generación de texto utiliza la Predicción del Siguiente Token (NTP) aumentada con la Predicción de Múltiples Tokens (MTP). La generación de visión y audio se formula como tareas de predicción de grupo de tokens (Predicción de Siguiente Fotograma y Escala para visión; Predicción de Siguiente Codec para audio) para alinearse con el paradigma autorregresivo.
• MoE Ultra-Dispersa con Enrutamiento Agnóstico a la Modalidad: El núcleo utiliza una arquitectura MoE ultra-dispersa (tasa de activación < 3%). Crucialmente, el enrutamiento de expertos es agnóstico a la modalidad, lo que significa que las decisiones de enrutamiento están condicionadas por representaciones de tokens unificados en lugar de identificadores de modalidad explícitos. Esto permite que los tokens de diferentes modalidades sean despachados a un grupo compartido de expertos, promoviendo la generalización del conocimiento intermodal sin la necesidad de una asignación heurística específica para cada modalidad.
• Modelado Visual:
  • Tokenización: Utiliza un tokenizador convolucional 3D causal (inflado a partir de un tokenizador de imagen 2D) que soporta la Predicción de Siguiente Fotograma y Escala (NFSP).
  • Comprensión: Emplea una Representación Híbrida de Doble Vía que fusiona características de CNN (perceptuales) y ViT (semánticas) mediante un Unificador de Parches basado en Atención antes de la cuantización, preservando los detalles finos que se pierden en la compresión estándar.
  • Generación: Utiliza NFSP para predecir tokens a través de escalas espaciales y fotogramas temporales. Se emplea un refinador de difusión en cascada post-núcleo para mejorar los detalles de alta resolución sin entrar en conflicto con la pérdida autorregresiva.
• Modelado de Audio:
  • Tokenización: Utiliza un tokenizador de Cuantización de Vectores Residuales (RVQ) destilado de Whisper, separando la semántica de alto nivel (primer token) de los detalles acústicos residuales.
  • Generación: Introduce la Predicción de Siguiente Codec (NCP), una arquitectura autorregresiva de profundidad donde los códigos de audio jerárquicos se predicen a través de capas de transformador, retroalimentando los embeddings para condicionar los niveles subsiguientes.

2. Paradigma de Entrenamiento Elástico

Para abordar la flexibilidad de despliegue, ERNIE 5.0 introduce una novedosa estrategia de Entrenamiento Elástico durante el preentrenamiento. En lugar de entrenar un modelo estático y comprimirlo posteriormente, el modelo aprende una familia de sub-modelos simultáneamente dentro de una sola ejecución.

• Profundidad Elástica: Varía aleatoriamente el número de capas de transformador activas (75% de profundidad completa, 25% de profundidad reducida).
• Anchura Elástica: Varía aleatoriamente el número total de expertos en las capas MoE (80% de anchura completa, 20% de anchura reducida).
• Dispersión Elástica: Varía aleatoriamente el top-k de enrutamiento (número de expertos activados por token).
  Esto permite la extracción de sub-redes con diversos compromisos entre capacidad y eficiencia que mantienen la integridad funcional sin necesidad de reentrenamiento.

3. Optimización de Post-entrenamiento y RL

El flujo de post-entrenamiento combina el Ajuste Fino Supervisado (SFT) con el Aprendizaje por Refuerzo Multimodal Unificado (UMRL). Para estabilizar el RL en modelos MoE ultra-dispersos, se emplean tres técnicas clave:

• Buffer de Replay Sin Sesgo (U-RB): Extiende métodos existentes (como APRIL) al imponer una restricción de orden de datos. Evita que las consultas de cola larga detengan los lotes y asegura una distribución de datos sin sesgos, evitando los cambios de dificultad no estacionarios que dificultan la convergencia.
• Mitigación del Colapso de Entropía: Aborda el rápido colapso de la entropía en las etapas tempranas de RL utilizando el Muestreo de Importancia de Multigranularidad (MISC) para corregir los desajustes entre entrenamiento e inferencia, y el Máscara de Muestra Positiva Bien Aprendida (WPSM) para evitar la sobre-optimización en consultas fáciles.
• RL Adaptativo Basado en Pistas (AHRL): Introduce "esqueletos de pensamiento" (pistas) parciales para consultas difíciles con recompensas dispersas, reduciendo gradualmente la disponibilidad de pistas a medida que el modelo mejora para cerrar la breza entre la exploración y la finalización de la tarea.

4. Infraestructura

La infraestructura de entrenamiento utiliza Paralelismo Híbrido (paralelismo de Tensor, Pipeline, Experto, Datos y Contexto) con un control de memoria de grano fino (precisión mixta FP8, descarga dinámica de activación) para manejar escalas de billones de parámetros. Una Arquitectura de Desagregación separa los tokenizadores del núcleo MoE para optimizar la paralelización de cargas de trabajo heterogéneas. Se utiliza FlashMask para acelerar los patrones de atención flexibles a través de las modalidades.

Contribuciones Clave

1. Primer Modelo Autorregresivo Unificado de un Billón de Parámetros: ERNIE 5.0 representa la primera realización a escala de producción de un modelo unificado que soporta tanto la comprensión como la generación multimodal para texto, imagen, video y audio dentro de un único marco autorregresivo.
2. Enrutamiento de Expertos Agnóstico a la Modalidad: Demuestra que un único mecanismo de enrutamiento compartido puede especializar eficazmente a los expertos para diferentes modalidades y tareas sin identificadores de modalidad explícitos, eliminando la necesidad de diseños heurísticos específicos para cada modalidad.
3. Entrenamiento Elástico: Propone un paradigma de preentrenamiento "Once-For-All" que produce una familia de sub-modelos desplegables (con variaciones en profundidad, anchura y dispersión) a partir de un solo punto de control, reduciendo significativamente el costo computacional de entrenar múltiples tamaños de modelo.
4. RL Multimodal Estable: Introduce un conjunto de técnicas (U-RB, MISC, WPSM, AHRL) que garantizan un post-entrenamiento eficiente y estable para modelos fundacionales unificados bajo arquitecturas MoE ultra-dispersas.

Resultados

Evaluaciones extensas en benchmarks de texto, visión y audio demuestran que ERNIE 5.0 logra un rendimiento sólido y equilibrado:

• Lenguaje: Iguala o supera a las líneas base especializadas (ej. DeepSeek V3.2, Kimi K2) en conocimiento, razonamiento, codificación y tareas multilingües. El post-entrenamiento mejora significativamente el seguimiento de instrucciones y las capacidades de agente.
• Visión: Logra resultados competitivos en razonamiento visual, comprensión de documentos y benchmarks de VQA. En generación, produce imágenes y videos de alta estética con una alineación semántica superior (superando a Veo3 en VBench-Semantic) comparado con modelos especializados.
• Audio: Ofrece un rendimiento de vanguardia o competitivo en reconocimiento automático del habla (ASR), chat de voz y comprensión de audio general en diversos entornos lingüísticos y acústicos.
• Elasticidad: Reducir la dispersión de enrutamiento al 25% genera una aceleración de decodificación de más del 15% con una pérdida mínima de precisión. Una variante totalmente elástica que utiliza solo el 53.7% de los parámetros activados y el 35.8% de los parámetros totales mantiene un rendimiento competitivo (puntuación promedio de 75.17 frente a 75.55 para el modelo completo).

Significado y Reivindicaciones

El artículo afirma que ERNIE 5.0 establece una base escalable y eficiente para la próxima generación de modelos multimodales unificados. Al unificar la comprensión y la generación bajo un único objetivo autorregresivo con enrutamiento agnóstico a la modalidad, supera la fragmentación arquitectónica de los enfoques de fusión tardía. La introducción del entrenamiento elástico ofrece una alternativa fundamentada a la compresión post-hoc, permitiendo un despliegue flexible en diversas restricciones de hardware sin sacrificar el rendimiento. Además, la estabilización exitosa del RL para modelos multimodales de billones de parámetros proporciona una vía crítica para mejorar el razonamiento y la alineación en futuros modelos de base. Los autores enfatizan que estos resultados validan la viabilidad de la integración multimodal nativa y el preentrenamiento elástico como una estrategia viable para escalar los modelos de base.