Resumen Técnico: MiMo-Embodied

1. Declaración del Problema

El panorama actual de los Modelos Visión-Lenguaje (VLM) se caracteriza por una brecha de dominio significativa entre la IA Encarnada (robótica interior, manipulación, navegación) y la Conducción Autónoma (tráfico exterior, control de vehículos). Los modelos existentes suelen estar especializados en un solo dominio, lo que conduce a:

• Falta de Modelos Unificados: No existe un único VLM de código abierto que integre las capacidades requeridas tanto para la interacción física interior como para la conducción exterior.
• Generalización Cruzada Limitada: Los modelos especializados no logran transferir la comprensión espacial y las habilidades de razonamiento entre diversos entornos interiores y exteriores.
• Evaluación Incompleta: Las pruebas de referencia existentes evalúan capacidades de forma aislada, careciendo de un marco integral para evaluar el rendimiento entre diferentes encarnaciones.

MiMo-Embodied aborda estos desafíos introduciendo el primer modelo fundacional de código abierto, entre encarnaciones, que unifica la Conducción Autónoma y la IA Encarnada, con el objetivo de lograr un rendimiento de vanguardia (SOTA) en ambos dominios simultáneamente.

2. Metodología

2.1 Arquitectura del Modelo

MiMo-Embodied se construye sobre la arquitectura MiMo-VL, que consta de tres componentes principales:

1. Transformador de Visión (ViT): Utiliza el codificador MiMo-VL para procesar entradas de alta resolución, incluidas imágenes individuales, secuencias de múltiples imágenes y videos.
2. Proyector: Una Red Neuronal Perceptrón Multicapa (MLP) que mapea los tokens visuales a un espacio latente alineado con el Modelo de Lenguaje Grande (LLM).
3. Modelo de Lenguaje Grande (LLM): El motor de razonamiento responsable de la comprensión del texto, la inferencia lógica y la generación de respuestas coherentes.

El modelo admite diversas modalidades de entrada (imágenes, videos) y genera razonamiento basado en texto, planes de acción y predicciones de coordenadas.

2.2 Construcción del Conjunto de Datos de Entrenamiento

Los autores curaron un conjunto de datos masivo y diverso que abarca tres categorías:

• Conjunto de Datos General: Derivado del corpus de MiMo-VL, que incluye imágenes de alta resolución, videos y datos de razonamiento sintético para establecer una comprensión fundamental visión-lenguaje.
• Conjunto de Datos de IA Encarnada: Centrado en tres capacidades principales:
  • Predicción de Afordancias: Obtenido de PixMo-Points, RoboAfford y RoboRefIt para localización detallada y razonamiento de interacción.
  • Planificación de Tareas: Integración de Cosmos-Reason1, EgoPlan-IT y RoboVQA para razonamiento a largo plazo y secuenciación de acciones.
  • Comprensión Espacial: Uso de SQA3D, VLM-3R, RefSpatial y EmbSpatial para razonamiento espacial 3D y navegación.
• Conjunto de Datos de Conducción Autónoma: Estructurado en torno a tres módulos funcionales:
  • Percepción Ambiental: Comprensión general de la escena y localización regional de objetos (por ejemplo, CODA-LM, DriveLM, nuScenes-QA).
  • Predicción de Estado: Predicción de intenciones y modelado de interacciones multiagente.
  • Planificación de Conducción: Toma de decisiones de acción y razonamiento explicable (por ejemplo, BDD-X, NuInstruct).

2.3 Estrategia de Entrenamiento en Cuatro Etapas

Para lograr un aprendizaje sinérgico sin olvidar catastróficamente, el equipo empleó una estrategia progresiva de entrenamiento en cuatro etapas:

1. Etapa 1 (SFT de IA Encarnada): Ajuste fino sobre datos generales y conjuntos de datos de IA Encarnada para establecer afordancias centrales, planificación y razonamiento espacial.
2. Etapa 2 (SFT de Conducción Autónoma): Introducción de supervisión mixta a partir de datos de Conducción Autónoma para integrar la comprensión cruzada de dominios (percepción, predicción, planificación).
3. Etapa 3 (SFT de Cadena de Pensamiento): Mejora de la transparencia del razonamiento mediante el entrenamiento en justificaciones CoT generadas, obligando al modelo a descomponer problemas complejos en pasos lógicos secuenciales.
4. Etapa 4 (Ajuste Fino con Aprendizaje por Refuerzo): Aplicación de Optimización de Política Relativa de Grupo (GRPO) para refinar el rendimiento en tareas específicas. Esta etapa utiliza señales de recompensa específicas de la tarea (por ejemplo, coincidencia exacta para opciones múltiples, IoU para anclaje espacial) para optimizar la corrección y la fiabilidad.

3. Contribuciones Clave

• Primer Modelo Unificado entre Encarnaciones: MiMo-Embodied es el primer VLM de código abierto que integra con éxito y destaca tanto en tareas de Conducción Autónoma como de IA Encarnada.
• Evaluación Exhaustiva: Los autores establecieron un marco de evaluación riguroso que abarca 17 pruebas de referencia de IA Encarnada y 12 pruebas de referencia de Conducción Autónoma, proporcionando una visión holística de las capacidades entre encarnaciones.
• Paradigma de Entrenamiento Novel: La estrategia de entrenamiento multietapa propuesta (General $\to$ Especializado $\to$ CoT $\to$ RL) demuestra que existe una transferencia positiva entre tareas encarnadas interiores y exteriores, permitiendo un refuerzo mutuo en lugar de interferencia.
• Lanzamiento de Código Abierto: El modelo, el código y las estrategias de datos de entrenamiento están disponibles públicamente, fomentando más investigación en inteligencia encarnada unificada.

4. Resultados

4.1 Rendimiento Cuantitativo

MiMo-Embodied (7B de parámetros) logró un rendimiento de vanguardia (SOTA) en todos los aspectos, superando a:

• VLMs Generales: Incluyendo GPT-4o, Claude-Sonnet-4, Gemini-2.5-Pro y Qwen-VL-Max.
• Modelos Especializados: Superando a modelos dedicados de IA Encarnada (por ejemplo, RoboBrain-2.0, VeBrain) y modelos de Conducción Autónoma (por ejemplo, DriveLMM-o1, RoboTron-Drive).

Métricas Clave:

• IA Encarnada: Puntuaciones máximas en 17 pruebas de referencia, particularmente en Predicción de Afordancias (por ejemplo, 65.50 en Part-Afford, 69.81 en RoboAfford-Eval) y Comprensión Espacial (88.82 en CV-Bench).
• Conducción Autónoma: Rendimiento líder en 12 pruebas de referencia, incluyendo Percepción (58.55 en CODA-LM, 76.14 en DRAMA) y Planificación (83.58 en NuInstruct, 80.99 en DriveAction).
• Prueba de Referencia NAVSIM: En la planificación de trayectorias, MiMo-Embodied logró una Puntuación de Modelo de Conductor Predictivo (PDMS) de 91.0, superando a modelos más grandes como InternVL3-8B y ReCogDrive.

4.2 Rendimiento Cualitativo

• Navegación en el Mundo Real: Ejecutó con éxito tareas complejas de navegación doméstica (por ejemplo, "encuentra la aspiradora en la cafetería") con localización espacial precisa, superando a las líneas base en la identificación de objetos objetivo y el manejo de consultas plurales.
• Manipulación: Demostró un razonamiento de afordancias superior, identificando correctamente partes agarrables (asas, tapas) y zonas de colocación en escenas desordenadas.
• Escenarios de Conducción: Generó decisiones de conducción seguras e interpretables para escenarios complejos como giros en intersecciones, giros en U y adelantamientos, proporcionando razonamiento explícito para acciones críticas para la seguridad.

4.3 Estudios de Ablación

Los experimentos confirmaron que la estrategia de entrenamiento multietapa es crítica. Los modelos entrenados solo en dominios individuales sufrieron caídas de rendimiento en el otro. Mezclar datos directamente sin aprendizaje por etapas condujo a una ligera degradación del rendimiento en tareas de conducción. El enfoque progresivo propuesto produjo el mejor equilibrio, mejorando el rendimiento de IA Encarnada en un 4% y el rendimiento de Conducción en un 8.1% sobre una línea base de datos mixtos simple.

5. Significado

MiMo-Embodied representa un cambio pivotal en la investigación de la IA encarnada al demostrar que la inteligencia física interior y exterior no son mutuamente excluyentes, sino que se refuerzan mutuamente.

• Inteligencia Unificada: Demuestra que un único modelo fundacional puede dominar los matices de la manipulación robótica y la navegación vehicular, sugiriendo un camino hacia agentes encarnados de propósito general.
• Seguridad y Explicabilidad: La integración del ajuste fino con Cadena de Pensamiento y Aprendizaje por Refuerzo asegura que las decisiones del modelo en dominios críticos para la seguridad (como la conducción) no solo sean precisas, sino también interpretables y lógicamente sólidas.
• Impacto en la Comunidad: Al publicar el modelo y su metodología de entrenamiento como código abierto, MiMo-Embodied reduce la barrera para el desarrollo de sistemas encarnados unificados, acelerando el progreso tanto en la industria de la robótica como en la de la conducción autónoma.

En conclusión, MiMo-Embodied establece un nuevo estándar para los modelos fundacionales entre encarnaciones, validando que un enfoque unificado para la interacción con el mundo físico produce una generalización y un rendimiento superiores en comparación con los silos especializados.