Riepilogo Tecnico: DeepInsight – Un'Infrastruttura di Valutazione Unificata attraverso lo Stack dell'IA Fisica

1. Definizione del Problema

Valutare uno stack di "IA Fisica"—definita qui come un sistema umanoide incarnato composto da ragionamento semantico (Sistema 2), esecuzione di policy visuomotoria (Sistema 1) e controllo del corpo intero (Sistema 0)—presenta una sfida ingegneristica fondamentale dovuta all'estrema eterogeneità. Gli operatori all'interno di questo stack differiscono per più di tre ordini di grandezza nella lunghezza degli episodi (da un singolo step di decodifica di un modello di fondazione a migliaia di tick fisici), nelle modalità di osservazione (testo, visione, audio, stato fisico continuo), nella semantica della ricompensa (corrispondenza esatta, giudizio basato su modello, terminazione analitica della traiettoria) e nei profili di risorse (inferenza limitata dalla GPU, sandboxing limitato dalla I/O, simulazione limitata dal calcolo).

Le attuali pratiche di valutazione si affidano all'assemblaggio di harness separati per ogni segmento. Sebbene questi harness individuali preservino la validità locale, mancano di un runtime condiviso, di un'identità di punteggio o di continuità della traccia. Questa frammentazione distrugge la capacità di diagnosticare regressioni cross-layer: un fallimento originato in un pianificatore semantico che si manifesta come un'instabilità del controllo non può essere localizzato perché i livelli vengono valutati in ambienti disgiunti. Non esiste alcun framework esistente che copra l'intero spettro, poiché le loro astrazioni sono tipicamente "locali al regime", ottimizzate per assunzioni di operatori specifici (ad esempio, episodi testuali brevi o rollout fisici lunghi) e incompatibili con altri.

2. Metodologia: L'Architettura DeepInsight

DeepInsight è un'infrastruttura di valutazione progettata per servire l'intero spettro dell'IA Fisica su un unico runtime. Invece di forzare l'eterogeneità in un unico regime omogeneo, preserva le caratteristiche distinte di ogni livello dietro tre astrazioni condivise e ristrette: Task, Resource e Result.

2.1 L'Astrazione del Task

Questa astrazione assorbe l'eterogeneità nella forma dell'episodio, nella modalità e nella semantica della ricompensa.

• Ambienti Stateless: A differenza dei pipeline convenzionali dove lo stato risiede nell'istanza dell'ambiente, DeepInsight rende gli ambienti stateless. Tutto lo stato transitorio (campioni di dataset, cronologia delle conversazioni, risultati in corso) risiede su un handle per episodio trasportato dai worker. Ciò consente a una singola istanza di ambiente di servire arbitrariamente molti episodi concorrenti di forme molto diverse (ad esempio, un task di QA a singolo step e un agente in sandbox a più turni).
• Interfaccia: Un'interfaccia uniforme reset(handle) e step(handle, action) è implementata da tutti gli ambienti, dai decoder statici ai simulatori fisici.
• Configurazione vs Codice: I task sono dichiarati tramite configurazione (config di suite e template) piuttosto che tramite codice. La configurazione eseguita viene preservata come artefatto snapshot, garantendo la riproducibilità e consentendo l'onboarding di nuovi benchmark principalmente attraverso modifiche alla configurazione.
• Giudizio Ortogonale: Il punteggio è scollegato dall'esecuzione del task. I task definiscono cosa viene registrato; componenti di scoring separati leggono la traccia ed emettono ricompense. Ciò consente di applicare diversi giudici (basati su regole, basati su modelli, analitici sulla traiettoria) allo stesso task senza modificare il runtime.

2.2 L'Astrazione della Risorsa

Questa astrazione assorbe l'eterogeneità dei profili di risorse backend e l'irregolarità operativa.

• Piani di Controllo: Le risorse costose (inferenza LLM e runtime in sandbox) sono staccate dall'orchestratore principale e delegate a piani di controllo simmetrici (Piano di Inferenza e Piano Sandbox).
• Protocollo Handle: L'orchestratore interagisce con questi piani tramite un protocollo stretto acquire(kind, episode_id, constraints) e release(handle). L'orchestratore non gestisce il ciclo di vita interno (autoscaling, deployment dei container, recupero) di queste risorse; gestisce solo gli handle.
• Concorrenza Indipendente: Gli stage sono scollati in code indipendenti con i propri pool di worker e budget di concorrenza. Ciò impedisce agli stage lenti (ad esempio, l'esecuzione in sandbox limitata dalla I/O) di affamare quelli veloci (ad esempio, la generazione limitata dalla GPU) e viceversa.
• Simmetria: Sia il piano di inferenza (che gestisce flotte di motori eterogenei come vLLM/SGLang) sia il piano sandbox (che gestisce container stateless e stateful) espongono la stessa interfaccia all'orchestratore, nascondendo la loro complessità operativa interna.

2.3 L'Astrazione del Risultato

Questa astrazione assorbe l'eterogeneità dei tipi di eventi tra i livelli.

• Schema di Traccia Unificato: Ogni evento da ogni sottosistema (dialogo del runtime, razionale del giudice, eventi di inferenza, eventi di lease, step della traiettoria) viene scritto in un singolo record strutturato (TraceRecord).
• Identità e Lineage: I record condividono una tupla di identità gerarchica (run_id, suite_id, task_id, episode_id, epoch) e un lineage causale (event_id, parent_event_id). Ciò consente l'analisi cross-source (ad esempio, unire la latenza di inferenza con le anomalie della traiettoria) come una semplice join di database o un attraversamento di un grafo.
• La Traccia come Artefatto: La traccia è l'artefatto duraturo, non il punteggio aggregato. Gli aggregati sono calcolati a valle dalla traccia. Ciò consente diagnosi di "drill-down" molto tempo dopo la fine di una run, localizzando le regressioni a specifici eventi o lease di risorse.
• Reporting Disaccoppiato: I reporter consumano la traccia fuori dal percorso critico (hot path). L'aggiunta di nuove analisi o metriche non richiede la modifica del pipeline di valutazione.

3. Contributi Chiave

1. Runtime Unificato per Stack Eterogenei: DeepInsight è la prima infrastruttura in grado di gestire l'intero spettro dell'IA Fisica (dal decoding di un modello di fondazione al controllo del corpo intero) su un unico runtime senza sacrificare la fedeltà del benchmark o il throughput.
2. Tre Invarianti: Il sistema è costruito su tre invarianti condivise (driver dell'episodio, protocollo risorsa-handle, schema di identità della traccia) che permettono l'onboarding di nuovi benchmark principalmente tramite configurazione.
3. Diagnostica Cross-Layer: Unificando la traccia, DeepInsight consente la localizzazione delle regressioni che iniziano in uno strato e si manifestano in un altro, una capacità impossibile per le federazioni di harness separati.
4. Performance di Grado Produzione: L'architettura supporta una scalabilità quasi lineare tra i nodi e riproduce i risultati di framework peer entro i budget di errore dichiarati.

4. Risultati Sperimentali

4.1 Sistema 2 (Valutazione di Modelli di Fondazione)

DeepInsight è stata valutata contro framework open-source maturi (lm-eval, Inspect AI, VLMEvalKit, lmms-eval) su benchmark testuali, multimodali VQA e omnimodali utilizzando i modelli Qwen3.6-27B e Qwen3-32B.

• Allineamento dell'Accuratezza: DeepInsight ha riprodotto i punteggi di riferimento e le letture dei framework peer entro la dispersione residua delle stesse run dei peer. È stata più vicina al riferimento nella maggior parte dei benchmark nelle categorie testo (5/8, 4/9), VQA multimodale (8/15) e omnimodale (4/5).
• Throughput: Su un singolo nodo 8×A100, DeepInsight ha superato i peer:
  • 1.29× più veloce di lm-eval (grazie al pipelining asincrono che recupera il tempo inattivo dagli episodi di lunghezza variabile).
  • 1.13× più veloce di Inspect AI (grazie allo scollamento degli stage che evita colli di bottiglia di concorrenza condivisi).
  • 1.03–1.04× più veloce di VLMEvalKit/lmms-eval (dove i carichi di lavoro limitati dal prefill offrivano meno spazio per i guadagni di pipelining).
• Scalabilità: DeepInsight ha dimostrato una scalabilità quasi lineare tra i nodi (velocizzazione di 2.03× su 2 nodi, 4.00× su 4 nodi) per un carico di lavoro di 27 suite, una capacità che i framework peer non possiedono.

4.2 Sistema 1 e Sistema 0 (Valutazione Embodied)

• Sistema 1 (Visuomotorio): L'infrastruttura ha guidato con successo simulazioni a ciclo chiuso per la navigazione (VLN-CE), la manipolazione (LIBERO) e la generazione del movimento. Ha supportato sia metriche oggettive che valutazioni soggettive basate sulla preferenza umana (movimento condizionato dall'audio) all'interno dello stesso schema di traccia.
• Sistema 0 (Controllo del Corpo Intero): DeepInsight ha abilitato un workflow di rilascio "supportato dalla traccia". Mentre le metriche aggregate (Success Rate, MPJPE) nominavano una policy, la traccia ha permesso una diagnostica a livello di comportamento che ha identificato fallimenti locali (ad esempio, dinamica dell'articolazione dell'anca, stabilità del contatto) che bloccavano il deployment nonostante un alto punteggio aggregato.
• Validazione Full-System (Sistema 2–1–0): Un compito composto di guida del veicolo ha dimostrato la localizzazione dei fallimenti cross-layer.
  • Risultati: Tasso di successo end-to-end del 60.4% su 96 episodi.
  • Analisi dei Fallimenti: Il locus principale di fallimento è stato l'esecuzione del Sistema 1 (42.1%), seguito dai passaggi tra i sistemi (28.9%). La traccia unificata ha permesso di attribuire i fallimenti a cause specifiche (ad esempio, "mismatch di eseguibilità tra navigazione e locomozione") che sarebbero state invisibili in valutazioni isolate.

5. Significato e Rivendicazioni

Il paper sostiene che DeepInsight affronti un vuoto strutturale nella valutazione dell'IA Fisica: la mancanza di un substrato in grado di assorbire l'intero spettro dell'eterogeneità degli operatori senza forzare la reimplementazione o perdere la visibilità cross-layer.

• Rendimento Diagnostico: Il valore primario è diagnostico. Poiché ogni livello scrive in una traccia condivisa, una regressione che emerge in uno strato può essere tracciata fino alla sua origine in un altro. Questo "rendimento cross-layer" è irraggiungibile con una federazione di harness per singolo segmento.
• Vitalità in Produzione: Il sistema non è un prototipo teorico; è implementato in produzione in tutti e tre i livelli di uno stack umanoide incarnato. Onboarda nuovi benchmark principalmente tramite configurazione e scala efficientemente.
• Ambito Modesto: Gli autori dichiarano esplicitamente che DeepInsight è un substrato di valutazione per uno specifico stack umanoide incarnato, non una definizione universale di IA Fisica. I risultati per il Sistema 1 e il Sistema 0 sono presentati come dimostrazioni di copertura ed estensibilità piuttosto che come benchmark competitivi, con la profondità quantitativa per questi livelli lasciata a lavori futuri. Il paper nota anche che tutti i rollout riportati sono simulati, riconoscendo il gap sim-to-real come un'incertezza rimanente.

In sintesi, DeepInsight fornisce l'"identità condivisa" necessaria per diagnosticare sistemi di IA fisica complessi e multistrato, sostituendo un insieme di strumenti incompatibili con un'infrastruttura unificata, scalabile e centrata sulla traccia.