Resumo Técnico: DeepInsight – Uma Infraestrutura de Avaliação Unificada para o Stack de IA Física

1. Declaração do Problema

Avaliar um stack de "IA Física" — definido aqui como um sistema humanoide incorporado que compreende raciocínio semântico (Sistema 2), execução de política visuomotora (Sistema 1) e controle de corpo inteiro (Sistema 0) — apresenta um desafio de engenharia fundamental devido à extrema heterogeneidade. Os operadores dentro deste stack diferem em mais de três ordens de magnitude em comprimento de episódio (desde um único passo de decodificação de modelo de fundação até milhares de ticks de física), modalidades de observação (texto, visão, áudio, estado físico contínuo), semântica de recompensa (correspondência exata, julgamento baseado em modelo, terminação analítica de trajetória) e perfis de recursos (inferência limitada por GPU, sandboxing limitado por I/O, simulação limitada por computação).

As práticas de avaliação atuais dependem da costura de diversos harnesses separados para cada segmento. Embora esses harnesses individuais preservem a validade local, eles carecem de um tempo de execução compartilhado, identidade de pontuação ou continuidade de rastreamento (trace continuity). Essa fragmentação destrói a capacidade de diagnosticar regressões entre camadas: uma falha originada em um planejador semântico que se manifesta como uma instabilidade de controle não pode ser localizada porque as camadas são avaliadas em ambientes distintos. Nenhum framework existente abrange todo este espectro, pois suas abstrações são tipicamente "locais ao regime", otimizadas para suposições de operadores específicos (ex: episódios de texto curtos ou rollouts de física longos) e incompatíveis com outros.

2. Metodologia: A Arquitetura DeepInsight

O DeepInsight é uma infraestrutura de avaliação projetada para servir todo o espectro da IA Física em um único tempo de execução. Em vez de forçar a heterogeneidade em um único regime homogêneo, ele preserva as características distintas de cada camada por trás de três abstrações compartilhadas estreitas: Tarefa, Recurso e Resultado.

2.1 A Abstração de Tarefa

Esta abstração absorve a heterogeneidade de forma de episódio, modalidade e semântica de recompensa.

• Ambientes Sem Estado (Stateless): Ao contrário de pipelines convencionais onde o estado reside na instância do ambiente, o DeepInsight torna os ambientes sem estado. Todo o estado transitório (amostras de dataset, histórico de conversa, resultados em curso) vive em um handle por episódio carregado pelos workers. Isso permite que uma única instância de ambiente sirva arbitrariamente muitos episódios simultâneos de formas vastamente diferentes (ex: uma tarefa de QA de passo único e um agente em sandbox de múltiplos turnos).
• Interface: Uma interface uniforme reset(handle) e step(handle, action) é implementada por todos os ambientes, desde decodificadores estáticos até simuladores de física.
• Configuração vs. Código: As tarefas são declaradas via configuração (configurações de suíte e template) em vez de código. A configuração executada é persistida como um artefato de snapshot, garantindo reprodutibilidade e permitindo que novos benchmarks sejam integrados primariamente através de mudanças de configuração.
• Julgamento Ortogonal: A pontuação é desacoplada da execução da tarefa. As tarefas definem o que é registrado; componentes de pontuação (scorers) separados leem o rastro (trace) e emitem recompensas. Isso permite que diferentes juízes (baseados em regras, baseados em modelos, analíticos de trajetória) sejam aplicados à mesma tarefa sem modificar o tempo de execução.

2.2 A Abstração de Recurso

Esta abstração absorve a heterogeneidade nos perfis de recursos de backend e na irregularidade operacional.

• Planos de Controle: Recursos caros (inferência de LLM e tempos de execução em sandbox) são destacados do orquestrador principal e delegados a planos de controle simétricos (Plano de Inferência e Plano de Sandbox).
• Protocolo de Handle: O orquestrador interage com esses planos através de um protocolo estreito de acquire(kind, episode_id, constraints) e release(handle). O orquestrador não gerencia o ciclo de vida interno (escalonamento automático, implantação de contêineres, recuperação) desses recursos; ele apenas gerencia os handles.
• Concorrência Independente: As etapas são desacopladas em filas independentes com seus próprios pools de workers e orçamentos de concorrência. Isso evita que etapas lentas (ex: execução de sandbox limitada por I/O) causem inanição em etapas rápidas (ex: geração limitada por GPU) ou vice-versa.
• Simetria: Tanto o plano de inferência (gerenciando frotas de motores heterogêneos como vLLM/SGLang) quanto o plano de sandbox (gerenciando contêineres sem estado e com estado) expõem a mesma interface para o orquestrador, ocultando sua complexidade operacional interna.

2.3 A Abstração de Resultado

Esta abstração absorve a heterogeneidade nos tipos de eventos entre as camadas.

• Esquema de Rastro Unificado: Cada evento de cada subsistema (diálogo de tempo de execução, racional do juiz, eventos de inferência, eventos de concessão de licença, passos de trajetória) é escrito em um registro estruturado único (TraceRecord).
• Identidade e Linhagem: Os registros compartilham uma tupla de identidade hierárquica (run_id, suite_id, task_id, episode_id, epoch) e linhagem causal (event_id, parent_event_id). Isso permite a análise cruzada de fontes (ex: unir latência de inferência com anomalias de trajetória) como uma simples junção de banco de dados ou travessia de grafo.
• Rastro como Artefato: O rastro é o artefato durável, não a pontuação agregada. Os agregados são computados a jusante do rastro. Isso permite diagnósticos de detalhamento (drill-down) muito depois de uma execução completar, localizando regressões em eventos ou concessões de recursos específicos.
• Relatórios Desacoplados: Os reporters consomem o rastro fora do caminho crítico (hot path). Adicionar novas análises ou métricas não requer a modificação do pipeline de avaliação.

3. Principais Contribuições

1. Tempo de Execução Unificado para Stacks Heterogêneos: O DeepInsight é a primeira infraestrutura a carregar todo o espectro da IA Física (desde a decodificação de modelos de fundação até o controle de corpo inteiro) em um único tempo de execução sem sacrificar a fidelidade do benchmark ou o throughput.
2. Três Invariantes: O sistema é construído sobre três invariantes compartilhadas (driver de episódio, protocolo de recurso-handle, esquema de identidade de rastro) que permitem que novos benchmarks sejam integrados majoritariamente via configuração.
3. Diagnóstico Entre Camadas: Ao unificar o rastro, o DeepInsight permite a localização de regressões que começam em uma camada e se manifestam em outra, uma capacidade impossível para federações de harnesses separados.
4. Desempenho de Classe de Produção: A arquitetura suporta escalonamento quase linear entre nós e reproduz os resultados de frameworks pares dentro dos orçamentos de erro declarados.

4. Resultados Experimentais

4.1 Sistema 2 (Avaliação de Modelos de Fundação)

O DeepInsight foi avaliado contra frameworks de código aberto maduros (lm-eval, Inspect AI, VLMEvalKit, lmms-eval) em benchmarks de texto, VQA multimodal e omnimodal usando os modelos Qwen3.6-27B e Qwen3-32B.

• Alinhamento de Acurácia: O DeepInsight reproduziu as pontuações de referência e as leituras de frameworks pares dentro do spread residual das próprias execuções dos pares. Foi mais próximo da referência na maioria dos benchmarks em categorias de texto (5/8, 4/9), VQA multimodal (8/15) e omnimodal (4/5).
• Throughput: Em um único nó 8×A100, o DeepInsight superou seus pares:
  • 1.29× mais rápido que o lm-eval (devido ao pipelining assíncrono que recupera o tempo ocioso de episódios de comprimento variável).
  • 1.13× mais rápido que o Inspect AI (devido ao desacoplamento de estágios que evita gargalos de concorrência compartilhados).
  • 1.03–1.04× mais rápido que VLMEvelKit/lmms-eval (onde cargas de trabalho limitadas por prefill ofereciam menos espaço para ganhos de pipelining).
• Escalabilidade: O DeepInsight demonstrou escalonamento quase linear entre nós (ganho de velocidade de 2.03× em 2 nós, 4.00× em 4 nós) para uma carga de trabalho de 27 suítes, uma capacidade que os frameworks pares não possuem.

4.2 Sistema 1 e Sistema 0 (Avaliação Incorporada)

• Sistema 1 (Visuomotora): A infraestrutura conduziu com sucesso simulações de malha fechada para navegação (VLN-CE), manipulação (LIBERO) e geração de movimento. Suportou tanto métricas objetivas quanto avaliações subjetivas de preferência humana (movimento condicionado por áudio) dentro do mesmo esquema de rastro.
• Sistema 0 (Controle de Corpo Inteiro): O DeepInsight permitiu um fluxo de trabalho de liberação "baseado em rastro". Enquanto métricas agregadas (Taxa de Sucesso, MPJPE) nomeavam uma política, o rastro permitiu um diagnóstico de nível de comportamento que identificou falhas locais (ex: dinâmica de junta do quadril, estabilidade de contato) que bloqueavam a implantação apesar de uma pontuação agregada alta.
• Validação de Sistema Completo (Sistema 2–1–0): Uma tarefa composta de guia de veículo demonstrou localização de falhas entre camadas.
  • Resultos: 60.4% de taxa de sucesso de ponta a ponta em 96 episódios.
  • Análise de Falha: O maior locus de falha foi a execução do Sistema 1 (42.1%), seguido por passagens de fronteira de sistema (28.9%). O rastro unificado permitiu atribuir as falhas a causas específicas (ex: "incompatibilidade de executabilidade de navegação-para-locomoção") que seriam invisíveis em avaliações isoladas.

5. Significância e Alegações

O artigo afirma que o DeepInsight aborda uma lacuna estrutural na avaliação da IA Física: a falta de um substrato que possa absorver todo o espectro de heterogeneidade de operadores sem forçar a reimplementação ou perder a visibilidade entre camadas.

• Retorno Diagnóstico: O valor primário é diagnóstico. Como cada camada escreve em um rastro compartilhado, uma regressão que surge em uma camada pode ser rastreada até sua origem em outra. Este "retorno de diagnóstico entre camadas" é inalcançável com uma federação de harnesses por segmento.
• Viabilidade de Produção: O sistema não é um protótipo teórico; ele está implantado em produção em todas as três camadas de um stack humanoide incorporado. Ele integra novos benchmarks majoritariamente via configuração e escala eficientemente.
• Escopo Modesto: Os autores afirmam explicitamente que o DeepInsight é um substrato de avaliação para um stack humanoide incorporado específico, não uma definição universal de IA Física. Os resultados de Sistema 1 e Sistema 0 são apresentados como demonstrações de cobertura e extensibilidade, não como benchmarks competitivos, com profundidade quantitativa para essas camadas deixada para trabalhos futuros. O artigo também observa que todos os rollouts relatados são simulados, reconhecendo o hiato sim-to-real como uma incerteza remanescente.

Em resumo, o DeepInsight fornece a "identidade compartilhada" necessária para diagnosticar sistemas complexos e multicamadas de IA física, substituindo o mosaico de ferramentas incompatíveis por uma infraestrutura unificada, escalável e centrada no rastro.