Resumo Técnico: MiMo-Embodied

1. Declaração do Problema

O cenário atual dos Modelos Visão-Linguagem (VLMs) caracteriza-se por uma significativa lacuna de domínio entre IA Embodimentada (robótica interna, manipulação, navegação) e Dirigibilidade Autônoma (tráfego externo, controle veicular). Os modelos existentes são tipicamente especializados em um único domínio, levando a:

• Falta de Modelos Unificados: Nenhum VLM de código aberto único integra as capacidades necessárias para interação física interna e condução externa.
• Generalização Cruzada Limitada: Modelos especializados falham em transferir compreensão espacial e habilidades de raciocínio entre ambientes internos e externos diversos.
• Avaliação Incompleta: Benchmarks existentes avaliam capacidades de forma isolada, carecendo de um quadro abrangente para avaliar desempenho cruzado entre embodiments.

MiMo-Embodied aborda esses desafios introduzindo o primeiro modelo fundamental de código aberto, cruz-embodimentado, que unifica Dirigibilidade Autônoma e IA Embodimentada, visando alcançar desempenho de última geração (SOTA) em ambos os domínios simultaneamente.

2. Metodologia

2.1 Arquitetura do Modelo

MiMo-Embodied é construído sobre a arquitetura MiMo-VL, consistindo em três componentes principais:

1. Vision Transformer (ViT): Utiliza o codificador MiMo-VL para processar entradas de alta resolução, incluindo imagens únicas, sequências de múltiplas imagens e vídeos.
2. Projetor: Uma Rede Perceptron Multicamada (MLP) que mapeia tokens visuais para um espaço latente alinhado com o Modelo de Linguagem de Grande Escala (LLM).
3. Modelo de Linguagem de Grande Escala (LLM): O motor de raciocínio responsável pela compreensão de texto, inferência lógica e geração de respostas coerentes.

O modelo suporta modalidades de entrada diversas (imagens, vídeos) e gera raciocínio baseado em texto, planos de ação e previsões de coordenadas.

2.2 Construção do Conjunto de Dados de Treinamento

Os autores compilaram um conjunto de dados massivo e diversificado abrangendo três categorias:

• Conjunto de Dados Geral: Derivado do corpus do MiMo-VL, incluindo imagens de alta resolução, vídeos e dados de raciocínio sintéticos para estabelecer compreensão fundamental visão-linguagem.
• Conjunto de Dados de IA Embodimentada: Focado em três capacidades principais:
  • Previsão de Afordância: Obtido de PixMo-Points, RoboAfford e RoboRefIt para localização de alta granularidade e raciocínio de interação.
  • Planejamento de Tarefas: Integrado Cosmos-Reason1, EgoPlan-IT e RoboVQA para raciocínio de longo horizonte e sequenciamento de ações.
  • Compreensão Espacial: Utilizou SQA3D, VLM-3R, RefSpatial e EmbSpatial para raciocínio espacial 3D e navegação.
• Conjunto de Dados de Dirigibilidade Autônoma: Estruturado em torno de três módulos funcionais:
  • Percepção Ambiental: Compreensão geral de cena e localização regional de objetos (ex: CODA-LM, DriveLM, nuScenes-QA).
  • Previsão de Status: Previsão de intenção e modelagem de interação multiagente.
  • Planejamento de Condução: Tomada de decisão de ação e raciocínio explicável (ex: BDD-X, NuInstruct).

2.3 Estratégia de Treinamento em Quatro Estágios

Para alcançar aprendizado sinérgico sem esquecimento catastrófico, a equipe empregou uma estratégia progressiva de treinamento em quatro estágios:

1. Estágio 1 (SFT de IA Embodimentada): Ajuste fino em dados gerais + conjuntos de dados de IA Embodimentada para estabelecer afordância central, planejamento e raciocínio espacial.
2. Estágio 2 (SFT de Dirigibilidade Autônoma): Introdução de supervisão mista a partir de dados de Dirigibilidade Autônoma para integrar compreensão cruzada de domínios (percepção, previsão, planejamento).
3. Estágio 3 (SFT de Cadeia de Pensamento): Aprimoramento da transparência do raciocínio treinando em racionalidades CoT geradas, forçando o modelo a decompor problemas complexos em etapas lógicas sequenciais.
4. Estágio 4 (Ajuste Fino com Aprendizado por Reforço): Aplicação de Otimização de Política Relativa em Grupo (GRPO) para refinar o desempenho em tarefas específicas. Este estágio utiliza sinais de recompensa específicos da tarefa (ex: correspondência exata para múltipla escolha, IoU para ancoragem espacial) para otimizar correção e confiabilidade.

3. Contribuições Principais

• Primeiro Modelo Cruz-Embodimentado Unificado: MiMo-Embodied é o primeiro VLM de código aberto a integrar com sucesso e se destacar em tarefas de Dirigibilidade Autônoma e IA Embodimentada.
• Avaliação Abrangente: Os autores estabeleceram um quadro de avaliação rigoroso cobrindo 17 benchmarks de IA Embodimentada e 12 benchmarks de Dirigibilidade Autônoma, fornecendo uma visão holística das capacidades cruzadas de embodiment.
• Paradigma de Treinamento Novel: A estratégia de treinamento multiestágio proposta (Geral $\to$ Especializado $\to$ CoT $\to$ RL) demonstra que existe transferência positiva entre tarefas embodimentadas internas e externas, permitindo reforço mútuo em vez de interferência.
• Lançamento de Código Aberto: O modelo, o código e as estratégias de dados de treinamento estão publicamente disponíveis, fomentando pesquisas adicionais em inteligência embodimentada unificada.

4. Resultados

4.1 Desempenho Quantitativo

MiMo-Embodied (7B parâmetros) alcançou desempenho de Última Geração (SOTA) em todos os aspectos, superando:

• VLMs Gerais: Incluindo GPT-4o, Claude-Sonnet-4, Gemini-2.5-Pro e Qwen-VL-Max.
• Modelos Especializados: Superando modelos dedicados de IA Embodimentada (ex: RoboBrain-2.0, VeBrain) e modelos de Dirigibilidade Autônoma (ex: DriveLMM-o1, RoboTron-Drive).

Métricas Principais:

• IA Embodimentada: Melhores pontuações em 17 benchmarks, particularmente em Previsão de Afordância (ex: 65,50 em Part-Afford, 69,81 em RoboAfford-Eval) e Compreensão Espacial (88,82 em CV-Bench).
• Dirigibilidade Autônoma: Desempenho líder em 12 benchmarks, incluindo Percepção (58,55 em CODA-LM, 76,14 em DRAMA) e Planejamento (83,58 em NuInstruct, 80,99 em DriveAction).
• Benchmark NAVSIM: No planejamento de trajetória, MiMo-Embodied alcançou uma Pontuação de Modelo de Motorista Preditivo (PDMS) de 91,0, superando modelos maiores como InternVL3-8B e ReCogDrive.

4.2 Desempenho Qualitativo

• Navegação no Mundo Real: Executou com sucesso tarefas complexas de navegação doméstica (ex: "encontre o aspirador de pó na cantina") com localização espacial precisa, superando baselines na identificação de objetos-alvo e no manuseio de consultas no plural.
• Manipulação: Demonstrou raciocínio de afordância superior, identificando corretamente partes agarráveis (alças, tampas) e zonas de colocação em cenas desordenadas.
• Cenários de Condução: Gerou decisões de condução seguras e interpretáveis para cenários complexos como curvas em interseções, retornos e ultrapassagens, fornecendo raciocínio explícito para ações críticas de segurança.

4.3 Estudos de Ablação

Experimentos confirmaram que a estratégia de treinamento multiestágio é crítica. Modelos treinados apenas em domínios únicos sofreram quedas de desempenho no outro. Misturar dados diretamente sem aprendizado em etapas levou a uma leve degradação de desempenho em tarefas de condução. A abordagem progressiva proposta produziu o melhor equilíbrio, melhorando o desempenho de IA Embodimentada em 4% e o desempenho de Condução em 8,1% sobre uma baseline simples de dados mistos.

5. Significado

MiMo-Embodied representa uma mudança pivotal na pesquisa de IA Embodimentada, demonstrando que inteligência física interna e externa não são mutuamente exclusivas, mas mutuamente reforçadoras.

• Inteligência Unificada: Prova que um único modelo fundamental pode dominar as nuances da manipulação robótica e navegação veicular, sugerindo um caminho para agentes embodimentados de propósito geral.
• Segurança e Explicabilidade: A integração de Cadeia de Pensamento e ajuste fino com Aprendizado por Reforço garante que as decisões do modelo em domínios críticos de segurança (como condução) sejam não apenas precisas, mas também interpretáveis e logicamente sólidas.
• Impacto na Comunidade: Ao disponibilizar o modelo e sua metodologia de treinamento como código aberto, MiMo-Embodied reduz a barreira para o desenvolvimento de sistemas embodimentados unificados, acelerando o progresso nas indústrias de robótica e dirigibilidade autônoma.

Em conclusão, MiMo-Embodied estabelece um novo padrão para modelos fundamentais cruz-embodimentados, validando que uma abordagem unificada para interação com o mundo físico produz generalização e desempenho superiores em comparação com silos especializados.