기술 요약: 샌드박스 코딩 에이전트는 경쟁력 있는 옴니모달(Omni-modal) 작업 해결사이다

1. 문제 정의

멀티모달 대규모 언어 모델(LLM)이 비디오와 오디오를 목표로 함에 따라, 네이티브 옴니모달 모델(오디오 및 비디오 스트림을 컨텍스트에 직접 입력하는 모델)이 효과적인 작업 해결을 위해 필수적이라는 견해가 지배적입니다. 그러나 이러한 모델을 배포하려면 상당한 엔지니어링 노력과 모델링 오버헤드가 필요합니다. 반면, 기존의 많은 에이전트 시스템(예: OpenClaw, Hermes)은 텍스트 전용 또는 텍스트+이미지 시스템에 머물러 있습니다.

본 논문은 중요한 간극을 조사합니다: 네이티브 비디오/오디오 인지 능력이 없지만 샌드박스된 터미널 환경에 접근할 수 있는 코딩 에이전트가, 엔드 투 엔드(end-to-end) 인지에 의존하는 대신 외부 도구(예: ffmpeg, whisper, tesseract)를 오케스트레이션하여 증거를 추출함으로써 옴니모달 작업을 해결할 수 있는가? 저자들은 정보를 검색하고 처리하는 문제로 분해될 수 있는 작업들에 대해 네이티브 옴니모달 아키텍처의 필요성에 의문을 제기합니다.

2. 방법론

2.1. 샌드박스 에이전트 프레임워크

저자들은 원시 미디어 파일(비디오, 오디오, 이미지, 문서)이 모델의 컨텍스트에 패킹되는 대신 파일 시스템 객체로서 배치되는 격리된 워크스페이스(Ubuntu 22.04) 내에서 코딩 에이전트를 평가합니다.

• 입력: 에이전트는 자연어 지시문과 파일 경로를 받습니다.
• 프로세스: 에이전트는 터미널 인터페이스를 통해 환경과 상호작용합니다. 에이전트는 다음을 수행하기 위한 스크립트를 작성하고 실행합니다:
  • 전사(transcript) 추출 (whisper/ASR 사용).
  • 프레임 샘플링 또는 영역 크롭 (ffmpeg, ffprobe, OpenCV 사용).
  • OCR 수행 (tesseract).
  • 웹 검색 및 메타데이터 분석 수행.
  • 추론 궤적(reasoning trajectory)을 형성하기 위한 중간 산출물(표, 로그, 크롭 이미지 등) 합성.
• 출력: 특정 태그(예: <answer>) 내에 형식화된 최종 답변.

2.2. 평가 벤치마크

본 연구는 다양한 강조점을 가진 4가지 벤치마크를 활용합니다:

• OmniGAIA: 도구 매개 방식의 개방형 사실 관계 및 다단계 홉(multi-hop) 옴니모달 추론.
• SocialOmni: 오디오-비주얼 사회적 인지 및 정체성 인식.
• LVOmniBench: 장기 형태(long-form) 오디오-비디오 이해.
• VideoZeroBench: 시공간적 증거를 요구하는 도전적인 비디오 중심 추론.

저자들은 샌드박스 코딩 에이전트(GPT-5.4 및 Claude Opus 4.6와 같은 모델을 사용하는 Codex 및 Claude Code 하네스 사용)를 네이티브 옴니모달 LLM(Gemini 3.1 Pro, Qwen 3.5-Omni, MiMo-V2-Omni) 및 사전 정의된 멀티모달 에이전트 스캐폴드(OmniAgent, Agent-Omni)와 비교합니다.

2.3. 실패 분석 및 기술 주입(Skill Injection)

한계를 이해하기 위해, 저자들은 200개의 주석 처리된 궤적을 바탕으로 오류를 다음으로 분류하는 Omni 터미널 실패 분류 체계를 구축했습니다:

1. 오디오 인지 및 추출
2. 비디오 인지 및 추출
3. 모달 콘텐츠 탐색 부족
4. 지식 검색 및 사실 관계 오류
5. 논리적 추론 및 계산
6. 도구 및 환경 인프라 실패

또한, 베이스 모델을 재학습시키지 않고 성능을 개선하기 위해 기술 주입을 탐구했습니다:

• 교정 세트 자기 반복(Calibration-set self-iteration): 이진 정답 여부 피드백을 기반으로 에이전트가 기술을 수정합니다.
• 로그 기반 자기 증류(Log-driven self-distillation): 별도의 에이전트가 원시 실행 트레이스에서 재사용 가능한 기술을 채굴합니다.
• 인간 참여형 기술(Human-in-the-loop Skills): 전문가 전략을 인코딩한 수동 작성 워크플로우.

2.4. 오픈 소스 유도 (Code-X)

오픈 소스 모델에서의 재현성을 입증하기 위해, 저자들은 다음을 포함하는 Code-X 학습 레시피를 도입했습니다:

• OmniCoding 데이터셋: 비디오, 오디오, 이미지 및 교차 모달 작업을 아우르는 6,035개의 궤적 데이터셋.
• 학습 파이프라인: 지도 미세 조정(SFT) 후 **그룹 시퀀스 정책 최적화(GSPO)**를 이용한 강화 학습(RL).
• 보상 설계: 모달리티 건너뛰기, 잘못된 형식의 도구 호출, 답변 불일치를 페널티로 부여하고, 올바른 형식과 도구 참여에 보상을 주는 프로세스 인지 검증 가능 보상.

2.5. TerminalBench-O

이해와 프로세싱은 구별된다는 점을 인식하여, 저자들은 코딩 에이전트의 옴니모달 프로세싱(예: 비디오 편집, 데이터베이스 감사) 작업에 대한 최초의 프로세스 수준 벤치마크인 TerminalBench-O를 도입했습니다. 이는 장기 계획, 도구 체이닝, 엄격한 출력 준수를 요구하는 실제 작업에 대해 에이전트를 평가합니다.

3. 주요 결과

3.1. 성능 경쟁력

• 네이티브 모델 능가: OmniGAIA에서 GPT-5.4 xHigh 코딩 에이전트는 **75.0%**의 정확도를 달성하여, 가장 강력한 네이티브 옴니모달 모델인 Gemini 3.1 Pro(66.1%)를 8% 이상 앞질렀습니다. Claude Opus 4.6 역시 Gemini 3.1 Pro를 2.5% 초과했습니다.
• 효율성: 코딩 에이전트는 네이티브 옴니모달 모델보다 훨씬 적은 토큰을 소비했습니다. 전체 미디어 스트림을 주입하는 대신 증거(전사 데이터, 프레임)를 선택적으로 검색함으로써, 훨씬 작은 멀티미디어 풋프린트로 경쟁력 있는 성능을 달성했습니다.
• 추론 깊이: 추론 노력(예: GPT-5.4의 "Low"에서 "xHigh"로)을 높일수록 명확한 성능 향상이 나타났으며, 이는 에이전트의 계산 깊이가 인지 능력만큼 중요하다는 것을 시사합니다.

3.2. 도구 사용 역학

• 단계별 파이프라인: 성공적인 에이전트는 단계별 파이프라인을 채택했습니다: 미디어 추출 $\rightarrow$ 전사 $\rightarrow$ 외부 검색 $\rightarrow$ 추론.
• 핵심 도구: ffmpeg, ffprobe, whisper, web_search가 가장 일관된 이득을 제공했습니다. python3(자체 제작 도구)는 빈번하게 호출되었으나 신뢰도는 엇갈렸습니다.
• 텍스트 전용 절제 실험(Ablation): 직접적인 이미지 접근 권한이 없는 텍스트 전용 에이전트조차 많은 벤치마크에서 경쟁력을 유지했는데, 이는 많은 "옴니모달" 작업이 깊은 시각적 이해보다는 텍스트나 얕은 인지(OCR)를 통해 해결될 수 있음을 나타냅니다.

3.3. 기술 주입의 영향

• 기술 주입은 성능을 실질적으로 향상시켰습니다. 로그 기반 자기 증류 설정은 평균 OmniGAIA 정확도를 61.4%(기술 없음)에서 **76.7%**로 높여, 교정 세트 자기 반복 및 인간 작성 기술보다 우수한 성능을 보였습니다.
• 이는 실행 트레이스가 이진 피드백이나 정적인 인간 가이드보다 절차적 지식을 정교화하는 데 더 풍부한 감독(supervision)을 제공함을 시示합니다.

3.4. 오픈 소스 결과 (Code-X)

• Code-X 레시피를 통해 오픈 소스 모델(Qwen-3.6-27B)이 오픈 소스 모델 중 최고 수준의 결과를 달성할 수 있었습니다.
• 27B 모델은 OmniGAIA에서 43.3%, LVOmniBench에서 **60.0%**를 기록하며, 기존의 모든 오픈 소스 코딩 에이전트를 능가하고 VideoZeroBench에서는 성능을 두 배로 높였습니다.

3.5. TerminalBench-O의 과제

• 이해 능력과는 별개로, TerminalBench-O는 현재의 에이전트들에게 어려운 과제로 드러났습니다. 가장 강력한 GPT-5.5 Codex조차 **24%**의 통과율만을 기록했습니다.
• 장기 계획, 신뢰할 수 있는 도구 체이닝, 엄격한 출력 준수를 요구하는 작업은 여전히 큰 병목 구간으로 남아 있으며, 이는 이해와 능동적 프로세싱 사이의 간극을 보여줍니다.

4. 의의 및 주장

본 논문은 샌드박스 코딩 에이전트가 네이티브 옴니모달 모델과 비교했을 때, 오프라인 옴니모달 작업 해결에 있어 매우 경쟁력 있고 종종 더 우월한 패러다임이라고 주장합니다.

• 패러다임 전환: 저자들은 많은 작업에서 병목 현상이 모델의 원시 데이터를 "보고 듣는" 능력이 아니라, 원시 미디어를 일반 목적의 추론 인터페이스에 적합한 압축되고 검증 가능한 증거로 변환하기 위해 도구를 오케스트레이션하는 능력에 있다고 주장합니다.
• 효율성: 이 접근 방식은 방대한 컨텍스트 비용을 피하면서 더 토큰 효율적인 경로를 제공합니다.
• 미래의 경계: 본 논문은 다음 단계의 프런티어가 단순한 이해를 넘어 다중 모달리티 프로세싱(편집, 감사, 생성)이라고 상정합니다. TerminalBench-O의 도입은 코딩 에이전트가 구조적 이점을 갖는 능동적, 프로세스 수준의 역량으로 평가의 초점을 전환하는 것을 목표로 합니다.
• 재현성: Code-X, OmniCoding, TerminalBench-O를 공개함으로써, 저자들은 네이티브 옴니모달 API에 대한 의존을 넘어 멀티모달 에이전트 지능에 대한 오픈 소스 연구의 토대를 마련했습니다.

결론적으로, 본 연구는 "네이티브" 멀티모달 인지가 고성능 옴니모달 에이전트를 위한 필수 조건이 아님을 입증합니다. 대신, 샌드박스 환경 내에서의 도구 매개 증거 추출이 광범리한 비디오 및 오디오 작업에 대해 정확도와 효율성 측면에서 더 우수한 결과를 낼 수 있음을 보여줍니다.