기술 요약: DeepInsight – 물리적 AI 스택 전반을 아우르는 통합 평가 인프라

1. 문제 정의

본 문서에서 정의하는 '물리적 AI(Physical AI)' 스택—즉, 시맨틱 추론(System 2), 시각-운동 정책 실행(System 1), 그리고 전신 제어(System 0)로 구성된 체화된 휴머노이드 시스템—을 평가하는 것은 극심한 이질성으로 인해 근본적인 엔지니어링 과제를 제기한다. 이 스택 내의 연산자들은 에피소드 길이(단일 파운데이션 모델 디코딩 단계부터 수천 번의 물리 틱까지), 관측 모달리티(텍스트, 비전, 오디오, 연속적 물리 상태), 보상 의미론(정확한 일치, 모델 기반 판단, 궤적 분석적 종료), 그리고 리소스 프로필(GPU 바운드 추론, I/O 바운드 샌드박싱, 컴퓨트 바운드 시뮬레이션) 측면에서 세 자릿수 이상의 차이를 보인다.

현재의 평가 관행은 각 세그먼트를 위한 별도의 하네스(harness)를 짜깁기하는 방식에 의존한다. 이러한 개별 하네스들은 국소적인 유효성은 유지할 수 있으나, 공유된 런타임, 점수 정체성(scoring identity), 또는 트레이스 연속성이 결여되어 있다. 이러한 파편화는 계층 간 회귀(regression)를 진단하는 능력을 파괴한다. 예를 들어, 시맨틱 플래너에서 시작되어 제어 불안정성으로 나타나는 실패는 각 계층이 서로 분리된 환경에서 평가되기 때문에 그 원인을 국소화(localize)할 수 없다. 기존의 프레임워크들은 특정 운영자 가정(예: 짧은 텍스트 에피소드 또는 긴 물리 롤아웃)에 최적화된 "레짐 로컬(regime-local)" 추상화를 사용하며 서로 호환되지 않기 때문에, 이 전체 스펙트럼을 아우르는 프레임워크는 존재하지 않는다.

2. 방법론: DeepInsight 아키텍처

DeepInsight는 단일 런타임 상에서 전체 물리적 AI 스펙트럼을 지원하도록 설계된 평가 인프라이다. 이질성을 하나의 동질적인 레짐으로 강제하는 대신, DeepInsight는 세 가지 좁고 공유된 추상화인 Task(작업), Resource(리소스), Result(결과) 뒤에 각 계층의 고유한 특성을 보존한다.

2.1 Task 추상화

이 추상화는 에피소드 형태, 모달리티, 보상 의미론의 이질성을 흡수한다.

• 무상태 환경(Stateless Environments): 환경 인스턴스 내에 상태가 존재하는 전통적인 파이프라인과 달리, DeepInsight는 환경을 무상태로 만든다. 모든 일시적 상태(데이터셋 샘플, 대화 기록, 진행 중인 결과)는 워커(worker)가 운반하는 **에피소드별 핸들(per-episode handle)**에 저장된다. 이를 통해 단일 환경 인스턴스가 매우 다양한 형태를 가진 수많은 동시 에피소드(예: 단일 단계 QA 작업과 다회차 샌드박스 에이전트)를 처리할 수 있다.
• 인터페이스: 모든 환경(정적 디코더부터 물리 시뮬레이터까지)은 통일된 reset(handle) 및 step(handle, action) 인터페이스를 구현한다.
• 코드 대신 설정(Configuration vs. Code): 작업은 코드가 아닌 설정(suite 및 template config)을 통해 선언된다. 실행된 설정은 스냅샷 아티팩트로 영구 저장되어 재현성을 보장하며, 주로 설정 변경만으로 새로운 벤치마크를 온보딩할 수 있게 한다.
• 직교적 판단(Orthogonal Judgment): 점수 산출은 작업 실행과 분리된다. 작업은 무엇을 기록할지를 정의하고, 별도의 스코러(scorer) 컴포넌트가 트레이스를 읽어 보상을 생성한다. 이를 통해 동일한 작업에 대해 규칙 기반, 모델 기반, 궤적 분석적 판단 등 다양한 심판(judge)을 실행 환경의 수정 없이 적용할 수 있다.

2.2 Resource 추상화

이 추상화는 백엔드 리소스 프로필과 운영상의 불규칙성의 이질성을 흡수한다.

• 컨트롤 플레인(Control Planes): 비용이 많이 드는 리소스(LLM 추론 및 샌드박스 런타임)는 메인 오케스트레이터로부터 분리되어 대칭적인 컨트롤 플레인(Inference Plane 및 Sandbox Plane)에 위임된다.
• 핸들 프로토콜: 오케스트레이터는 acquire(kind, episode_id, constraints) 및 release(handle)라는 좁은 프로토콜을 통해 이 플레인들과 상호작용한다. 오케스트레이터는 이러한 리소스의 내부 라이프사이클(오토스케일링, 컨테이너 배포, 복구)을 관리하지 않고, 오직 핸들만을 관리한다.
• 독립적 동시성: 각 단계는 자체 워커 풀과 동시성 예산을 가진 독립적인 큐로 분리된다. 이를 통해 느린 단계(예: I/O 바운드 샌드박스 실행)가 빠른 단계(예: GPU 바운드 생성)를 고갈시키거나 그 반대의 상황이 발생하는 것을 방지한다.
• 대칭성: 헤테로지니어러스 엔진 플릿(vLLM/SGLang 등)을 관리하는 인퍼런스 플레인과 무상태/상태 유지 컨테이너를 관리하는 샌드박스 플레인은 모두 오케스트레이터에 동일한 인터페이스를 노출하여 내부의 운영 복잡성을 숨긴다.

2.3 Result 추상화

이 추상화는 계층 간 이벤트 유형의 이질성을 흡수한다.

• 통합 트레이스 스키마: 모든 서브시스템(런타임 대화, 심판의 근거, 추론 이벤트, 리스 이벤트, 궤적 단계)에서 발생하는 모든 이벤트는 단일 구조화된 레코드(TraceRecord)로 기록된다.
• 정체성 및 계보(Identity and Lineage): 레코드는 계층적 정체성 튜플(run_id, suite_id, task_id, episode_id, epoch)과 인과적 계보(event_id, parent_event_id)를 공유한다. 이를 통해 크로스 소스 분석(예: 추론 지연 시간과 궤적 이상 현상의 결합)을 단순한 데이터베이스 조인이나 그래프 탐색으로 수행할 수 있다.
• 아티팩트로서의 트레이스: 트레이스는 실행 가능한 영구적 아티팩트이며, 집계 점수는 트레이스로부터 파생되는 결과물이다. 이를 통해 런이 완료된 후에도 "드릴다운" 진단이 가능하며, 특정 이벤트나 리소스 리스로부터 회귀 원인을 국소화할 수 있다.
• 분리된 리포팅: 리포터는 핫 패스(hot path) 외부에서 트레이스를 소비한다. 새로운 분석이나 메트릭을 추가하기 위해 평가 파이프라인을 수정할 필요가 없다.

3. 주요 기여

1. 이질적 스택을 위한 통합 런타임: DeepInsight는 벤치마크의 충실도나 처리량을 희생하지 않고, 파운데이션 모델 디코딩부터 전신 제어에 이르는 전체 물리적 AI 스펙트럼을 단일 런타임에서 실행하는 최초의 인프라이다.
2. 세 가지 불변량: 시스템은 세 가지 공유 불변량(에피소드 드라이버, 리소스-핸들 프로토콜, 트레이스 정체성 스키마)을 기반으로 구축되었으며, 이를 통해 대부분의 새로운 벤치마크를 설정만으로 온보딩할 수 있다.
3. 교차 계층 진단: 트레이스를 통합함으로써, DeepInsight는 한 계층에서 시작되어 다른 계층에서 표면화되는 회귀를 국소화할 수 있게 한다. 이는 분리된 개별 하네스들의 연합체로는 불가능한 기능이다.
4. 프로덕션급 성능: 본 아키텍처는 노드 간 근선형 스케일링을 지원하며, 명시된 오차 범위 내에서 피어 프레임워크(peer-framework)의 결과를 재현한다.

4. 실험 결과

4.1 System 2 (파운데이션 모델 평가)

DeepInsight는 텍스트, 멀티모달 VQA, 옴니모달 벤치마크에서 Qwen3.6-27B 및 Qwen3-32B 모델을 사용하여 성숙한 오픈소스 프레임워크(lm-eval, Inspect AI, VLMEvalKit, lmms-eval)와 비교 평가되었다.

• 정확도 정렬: DeepInsight는 참조 점수 및 피어 프레임워크의 수치를 피어 실행 자체의 잔차 확산 범위 내에서 재현하였다. 텍스트(5/8, 4/9), 멀티모달 VQA(8/15), 옴니모달(4/5) 카테고리 전반에 걸쳐 대다수의 벤치마크에서 참조 모델과 가장 근접한 결과를 보였다.
• 처리량: 단일 8×A100 노드에서 DeepInsight는 피어들을 능가했다:
  • lm-eval보다 1.29배 빠름 (비가변적 에피소드로부터 유휴 시간을 회수하는 비동기 파이프라이닝 덕분).
  • Inspect AI보다 1.13배 빠름 (단계별 분리를 통해 공유 동시성 병목 현상을 방지함 덕분).
  • VLMEvelKit/lmms-eval보다 1.03–1.04배 빠름 (프리필 바운드 워크로드가 파이프라이닝 이득을 얻을 여지가 적었음).
• 스케일링: DeepInsight는 27개 스위트 워크로드에 대해 노드 간 근선형 스케일링(2개 노드에서 2.03배, 4개 노드에서 4.00배 속도 향상)을 입증하였으며, 이는 피어 프레임워크들이 갖지 못한 능력이다.

4.2 System 1 및 System 0 (체화된 평가)

• System 1 (시각-운동): 인프라는 내비게이션(VLN-CE), 조작(LIBERO), 동작 생성을 위한 폐쇄 루프 시뮬레이션을 성공적으로 구동했다. 또한 동일한 트레이스 스키마 내에서 객관적 메트릭과 주관적 인간 선호도 평가(오디오 조건부 동작)를 모두 지원했다.
• System 0 (전신 제어): DeepInsight는 "트레이스 기반" 릴리스 워크플로우를 가능하게 했다. 집계 메트릭(성공률, MPJPE)이 정책을 지명하는 동안, 트레이스는 높은 집계 점수에도 불구하고 배포를 가로막는 국소적 실패(예: 힙 관절 역학, 접촉 안정성)를 식별하는 행동 수준의 진단을 허용했다.
• 전체 시스템 검증 (System 2–1–0): 구성된 차량 가이드 작업은 교차 계층 실패 국소화를 보여주었다.
  • 결과: 96개 에피소드에 대해 60.4%의 엔드 투 엔드 성공률을 기록했다.
  • 실패 분석: 가장 큰 실패 지점은 System 1 실행(42.1%)이었으며, 시스템 경계 간 핸드오프(28.9%)가 그 뒤를 이었다. 통합 트레이스를 통해 시스템은 "내비게이션-로코모션 실행 가능성 불일치"와 같이, 고립된 평가에서는 보이지 않을 구체적인 원인으로 실패를 귀속시킬 수 있었다.

5. 의의 및 주장

본 논문은 DeepInsight가 물리적 AI 평가의 구조적 격차, 즉 모델의 이질성을 수용하면서도 계층 간 가시성을 잃지 않는 기질(substrate)의 부재를 해결한다고 주장한다.

• 진단적 가치: 주요 가치는 진단에 있다. 모든 계층이 공유 트레이스에 기록을 남기기 때문에, 한 계층에서 나타나는 회귀를 다른 계층의 기원으로 추적할 수 있다. 이 "교차 계층 보상"은 개별 세그먼트 하네스들의 연합으로는 달성할 수 없는 것이다.
• 프로덕션 생존력: 이 시스템은 이론적 프로토타입이 아니다. 이는 체화된 휴머노이드 스택의 세 계층 모두에서 프로덕션 환경에 배포되어 사용되고 있다. 설정을 통해 새로운 벤치마크를 손쉽게 온보딩하며 효율적으로 확장 가능하다.
• 범위의 제한: 저자들은 DeepInsight가 특정 체화된 휴머노이드 스택을 위한 평가 기질임을 명시하며, 물리적 AI의 보편적 정의를 지향하는 것이 아님을 밝힌다. System 1 및 System 0 결과는 커버리지와 확장성을 보여주기 위한 데모로 제시되었으며, 이 계층들에 대한 정량적 깊이는 향후 연구 과제로 남겨두었다. 또한, 모든 롤아웃이 시뮬레이션된 것임을 언급하며 sim-to-real 간극이 여전히 존재하는 불확실성임을 인정한다.

요약하자로, DeepInsight는 복잡하고 다층적인 물리적 AI 시스템을 진단하는 데 필요한 "공유된 정체성"을 제공하며, 호환되지 않는 도구들의 짜깁기 대신 통합되고 확장 가능하며 트레이스 중심적인 인프라를 제시한다.