Resumen Técnico: DeepInsight – Una Infraestructura de Evaluación Unificada para el Stack de IA Física

1. Planteamiento del Problema

Evaluar un stack de "IA Física" —definido aquí como un sistema humanoide incorporado que comprende razonamiento semántico (Sistema 2), ejecución de política visuomotriz (Sistema 1) y control de cuerpo completo (Sistema 0)— presenta un desafío de ingeniería fundamental debido a su extrema heterogeneidad. Los operadores dentro de este stack difieren en más de tres órdenes de magnitud en la longitud de los episodios (desde un único paso de decodificación de un modelo fundacional hasta miles de ticks de física), las modalidades de observación (texto, visión, audio, estado físico continuo), la semántica de recompensa (coincidencia exacta, juicio basado en modelos, terminación analítica de trayectoria) y los perfiles de recursos (inferencia limitada por GPU, sandboxing limitado por E/S, simulación limitada por cómputo).

Las prácticas de evaluación actuales dependen de la unión de arneses separados para cada segmento. Si bien estos arneses individuales preservan la validez local, carecen de un tiempo de ejecución compartido, identidad de puntuación o continuidad de traza. Esta fragmentación destruye la capacidad de diagnosticar regresiones transcapas: un fallo originado en un planificador semántico que se manifiesta como una inestabilidad de control no puede localizarse porque las capas se evalúan en entornos disjuntos. Ninguna infraestructura existente abarca este espectro completo, ya que sus abstracciones son típicamente "locales al régimen", optimizadas para supuestos de operadores específicos (por ejemplo, episodios de texto cortos o rollouts de física largos) e incompatibles con otros.

2. Metodología: La Arquitectura DeepInsight

DeepInsight es una infraestructura de evaluación diseñada para servir a todo el espectro de la IA Física en un único tiempo de ejecución. En lugar de forzar la heterogeneidad en un único régimen homogéneo, preserva las características distintivas de cada capa detrás de tres abstracciones compartidas y estrechas: Tarea (Task), Recurso (Resource) y Resultado (Result).

2.1 La Abstracción de Tarea (Task)

Esta abstracción absorbe la heterogeneidad en la forma del episodio, la modalidad y la semántica de la recompensa.

• Entornos sin estado (Stateless Environments): A diferencia de las canalizaciones convencionales donde el estado reside en la instancia del entorno, DeepInsight hace que los entornos sean sin estado. Todo el estado transitorio (muestras de conjuntos de datos, historial de conversación, resultados en curso) vive en un manejador por episodio (per-episode handle) transportado por los trabajadores. Esto permite que una única instancia de entorno sirva a innumerables episodios concurrentes de formas muy distintas (por ejemplo, una tarea de QA de un solo paso y un agente en sandbox de múltiples turnos).
• Interfaz: Una interfaz uniforme reset(handle) y step(handle, action) es implementada por todos los entornos, desde decodificadores estáticos hasta simuladores de física.
• Configuración vs. Código: Las tareas se declaran mediante configuración (configuraciones de suite y plantilla) en lugar de código. La configuración ejecutada se persiste como un artefacto de instantánea (snapshot), lo que garantiza la reproducibilidad y permite la incorporación de nuevos benchmarks principalmente mediante cambios de configuración.
• Juicio Ortogonal: La puntuación se desacopla de la ejecución de la tarea. Las tareas definen qué se registra; componentes de puntuación separados leen la traza y emiten recompensas. Esto permite aplicar diferentes jueces (basados en reglas, basados en modelos, analíticos de trayectoria) a la misma tarea sin modificar el tiempo de ejecución.

2.2 La Abstracción de Recurso (Resource)

Esta abstracción absorbe la heterogeneidad en los perfiles de recursos de backend y la irregularidad operativa.

• Planos de Control: Los recursos costosos (inferencia de LLM y entornos de ejecución en sandbox) se desprenden del orquestador principal y se delegan a planos de control simétricos (Plano de Inferencia y Plano de Sandbox).
• Protocolo de Manejador (Handle Protocol): El orquestador interactúa con estos planos mediante un protocolo estrecho de acquire(kind, episode_id, constraints) y release(handle). El orquestador no gestiona el ciclo de vida interno (escalado automático, despliegue de contenedores, recuperación) de estos recursos; solo gestiona los manejadores.
• Concurrencia Independiente: Las etapas se desacoplan en colas independientes con sus propios pools de trabajadores y presupuestos de concurrencia. Esto evita que las etapas lentas (por ejemplo, ejecución en sandbox limitada por E/S) agoten a las etapas rápidas (por ejemplo, generación limitada por GPU) o viceversa.
• Simetría: Tanto el plano de inferencia (que gestiona flotas de motores heterogéneos como vLLM/SGLang) como el plano de sandbox (que gestiona contenedores estáticos y con estado) exponen la misma interfaz al orquestador, ocultando su complejidad operativa interna.

2.3 La Abstracción de Resultado (Result)

Esta abstracción absorbe la heterogeneidad en los tipos de eventos a través de las capas.

• Esquema de Traza Unificado: Cada evento de cada subsistema (diálogo del runtime, racional del juez, eventos de inferencia, eventos de arrendamiento, pasos de trayectoria) se escribe en un único registro estructurado (TraceRecord).
• Identidad y Linaje: Los registros comparten una tupla de identidad jerárquica (run_id, suite_id, task_id, episode_id, epoch) y un linaje causal (event_id, parent_event_id). Esto permite el análisis cruzado de fuentes (por ejemplo, unir la latencia de inferencia con anomalías de trayectoria) mediante una simple unión de base de datos o un recorrido de grafo.
• La Traza como Artefacto: La traza es el artefacto duradero, no la puntuación agregada. Los agregados se computan downstream a partir de la traza. Esto permite diagnósticos de "profundidad" (drill-down) mucho después de que termine una ejecución, localizando regresiones en eventos o arrendamientos de recursos específicos.
• Reporte Desacoplado: Los reporteros consumen la traza fuera del camino crítico (off the hot path). Añadir nuevos análisis o métricas no requiere modificar la canalización de evaluación.

3. Contribuciones Clave

1. Runtime Unificado para Stacks Heterogéneos: DeepInsight es la primera infraestructura capaz de portar todo el espectro de la IA Física (desde la decodificación de modelos fundacionales hasta el control de cuerpo completo) en un único runtime sin sacrificar la fidelidad del benchmark ni el rendimiento.
2. Tres Invariantes: El sistema se construye sobre tres invariantes compartidos (driver de episodio, protocolo de manejador de recursos, esquema de identidad de traza) que permiten la incorporación de nuevos benchmarks principalmente mediante configuración.
3. Diagnóstico Transcapa: Al unificar la traza, DeepInsight permite la localización de regresiones que comienzan en una capa y se manifiestan en otra, una capacidad imposible para las federaciones de arneses separados.
4. Rendimiento de Grado de Producción: La arquitectura soporta un escalado casi lineal entre nodos y reproduce los resultados de frameworks pares dentro de los presupuestos de error declarados.

4. Resultados Experimentales

4.1 Sistema 2 (Evaluación de Modelos Fundacionales)

DeepInsight fue evaluado contra frameworks de código abierto maduros (lm-eval, Inspect AI, VLMEvalKit, lmms-eval) en benchmarks de texto, VQA multimodal y omnimodal utilizando los modelos Qwen3.6-27B y Qwen3-32B.

• Alineación de Precisión: DeepInsight reprodujo las puntuaciones de referencia y las lecturas de frameworks pares dentro de la dispersión residual de las ejecuciones de los pares. Fue más cercano a la referencia en la mayoría de los benchmarks a través de las categorías de texto (5/8, 4/9), VQA multimodal (8/15) y omnimodal (4/5).
• Rendimiento (Throughput): En un nodo único de 8×A100, DeepInsight superó a sus pares:
  • 1.29× más rápido que lm-eval (debido al pipelining asíncrono que recupera el tiempo de inactividad de episodios de longitud variable).
  • 1.13× más rápido que Inspect AI (debido al desacoplamiento de etapas que evita cuellos de botella de concurrencia compartidos).
  • 1.03–1.04× más rápido que VLMEvalKit/lmms-eval (donde las cargas de trabajo limitadas por prefill ofrecían menos margen para ganancias de pipelining).
• Escalado: DeepInsight demostró un escalado casi lineal entre nodos (aceleración de 2.03× en 2 nodos, 4.00× en 4 nodos) para una carga de trabajo de 27 suites, una capacidad que los frameworks pares carecen.

4.2 Sistema 1 y Sistema 0 (Evaluación Incorporada)

• Sistema 1 (Visuomotriz): La infraestructura impulsó con éxito simulaciones de bucle cerrado para navegación (VLN-CE), manipulación (LIBERO) y generación de movimiento. Soportó tanto métricas objetivas como evaluaciones subjetivas de preferencia humana (movimiento condicionado por audio) dentro del mismo esquema de traza.
• Sistema 0 (Control de Cuerpo Completo): DeepInsight permitió un flujo de trabajo de lanzamiento "respaldado por traza". Mientras que las métricas agregadas (Tasa de Éxito, MPJPE) nominaban una política, la traza permitió un diagnóstico a nivel de comportamiento que identificó fallos locales (por ejemplo, dinámica de la articulación de la cadera, estabilidad de contacto) que bloqueaban el despliegue a pesar de tener una puntuación agregada alta.
• Validación de Sistema Completo (Sistema 2–1–0): Una tarea compuesta de guía de vehículo demostró la localización de fallos transcapa.
  • Resultos: 60.4% de tasa de éxito end-to-end en 96 episodios.
  • Análisis de Fallos: El mayor locus de fallo fue la ejecución del Sistema 1 (42.1%), seguido por los traspasos de frontera de sistema (28.9%). La traza unificada permitió atribuir los fallos a causas específicas (por ejemplo, "desajuste de ejecutabilidad de navegación-a-locomoción") que serían invisibles en evaluaciones aisladas.

5. Significado y Reivindicaciones

El artículo afirma que DeepInsight aborda un vacío estructural en la evaluación de la IA Física: la falta de un sustrato que pueda absorber todo el espectro de la heterogeneidad de los operadores sin forzar la reimplementación o perder la visibilidad transcapa.

• Beneficio Diagnóstico: El valor principal es diagnóstico. Debido a que cada capa escribe en una traza compartida, una regresión que surge en una capa puede rastrearse hasta su origen en otra. Este "beneficio transcapa" es inalcanzable con una federación de arneses por segmento.
• Viabilidad de Producción: El sistema no es un prototipo teórico; está desplegado en producción en todas las tres capas de un stack humanoide incorporado. Incorpora nuevos benchmarks principalmente vía configuración y escala eficientemente.
• Alcance Modesto: Los autores declaran explícitamente que DeepInsight es un sustrato de evaluación para un stack humanoide incorporado específico, no una definición universal de IA Física. Los resultados de los Sistemas 1 y 0 se presentan como demostraciones de cobertura y extensibilidad más que como benchmarks competitivos, dejando la profundidad cuantitativa para estas capas para trabajos futuros. El artículo también señala que todos los rollouts reportados son simulados, reconociendo la brecha sim-to-real como una incertidumbre persistente.

En resumen, DeepInsight proporciona la "identidad compartida" necesaria para diagnosticar sistemas complejos de IA física de múltiples capas, reemplazando el parche de herramientas incompatibles con una infraestructura unificada, escalable y centrada en la traza.