기술 요약: OpenComputer

문제 제기

컴퓨터 사용 에이전트의 확장성은 현재 두 가지 치명적인 과제로 인해 병목 현상을 겪고 있습니다: 현실적이고 재현 가능한 데스크톱 환경 구축의 높은 비용, 그리고 복잡한 소프트웨어 상태에서의 작업 성공 여부 검증의 어려움입니다. 전통적인 작업 생성은 사용자 목표와 환경 초기화 (예: 파일 채우기, 설정 구성) 를 수동으로 설계해야 하므로 번거롭고 표준화되지 않았습니다. 또한, 평가는 종종 "LLM 을 심판자로 활용"하거나 스크린샷을 시각적으로 검사하는 방식에 의존하는데, 이는 근본적인 애플리케이션 상태, 파일 메타데이터, 또는 시각적으로 명확하지 않은 영구적인 부작용에서 발생하는 미묘한 오류를 탐지하지 못합니다. 기존 벤치마크는 대부분 인간이 선별한 것으로 규모가 제한적이며, 신뢰할 수 있고 기계가 검증 가능한 보상 신호가 부족한 경우가 많습니다.

방법론: OpenComputer 프레임워크

OpenComputer 는 컴퓨터 사용 에이전트를 위해 검증 가능한 소프트웨어 세계를 합성하도록 설계된 검증 기반 프레임워크입니다. 이는 검증을 하류 평가 단계가 아닌 환경 및 작업 구축을 조직화하는 원칙으로 간주합니다. 이 프레임워크는 네 가지 긴밀하게 결합된 구성 요소로 이루어져 있습니다:

1. 애플리케이션별 상태 검증기

OpenComputer 는 각 지원 애플리케이션이 샌드박스 내에서 실행되는 합성 Python 검증기 모듈과 짝을 이루는 검증 스택을 구축합니다.

• 검사 채널: 검증기는 브라우저 디버깅 프로토콜 (CDP), D-Bus, SQLite 기반 프로필 데이터베이스, 접근성 API(AT-SPI), 직접 파일 파싱 (예: Inkscape, VS Code, Blender 용) 과 같은 가장 신뢰할 수 있는 애플리케이션별 검사 채널을 활용합니다.
• 엔드포인트 구축: 시스템은 구조화된 상태 표면 (콘텐츠, 환경 설정, 기록, 메타데이터) 을 노출하는 JSON 출력을 가진 CLI 하위 명령어를 생성합니다.
• 테스트 프로토콜: 검증기는 휴리스틱 매칭에 의존하는 것이 아니라 실제 소프트웨어 상태를 신뢰성 있게 검사하도록 보장하기 위해 유닛 테스트 및 통합 테스트를 통한 엄격한 디버그 - 수정 - 재시도 루프를 거칩니다.

2. 자기 진화형 검증 계층

검증기의 잔여 오류 (예: 취약한 스키마 가정 또는 불완전한 커버리지) 를 해결하기 위해 OpenComputer 는 자기 진화 루프를 구현합니다:

• 보정: 강력한 에이전트가 샌드박스 내에서 쉬운 수준부터 중간 수준의 작은 작업 세트를 실행합니다.
• 불일치 진단: LLM 평가자와 프로그래밍 방식 검증기가 최종 상태에 대한 판단을 독립적으로 내립니다. 에이전트 실패가 아닌 검증기 오류로 귀결된 불일치를 식별합니다.
• 정제: 이 피드백을 기반으로 검증기 코드, 엔드포인트 또는 문서가 정제됩니다. 이 과정은 검증기가 기준 판단과 일치하거나 예산이 소진될 때까지 반복됩니다.

3. 작업 생성 파이프라인

작업은 검증기를 인식하는 과정을 통해 합성됩니다:

• 제안: 시스템은 기존 검증기에 조건을 두지 않고 현실적인 사용자 목표를 제안하여 다양성을 보장합니다.
• 필터링: 제안된 작업들은 복잡성과 데이터 생성 가능성을 기준으로 필터링되며, 다단계 워크플로우가 우선시됩니다.
• 그라운딩: 작업은 검증 스택에 그라운딩됩니다. 만약 상태가 검사 가능하지만 엔드포인트가 없다면 새로운 엔드포인트가 생성됩니다.
• 합성: 시스템은 필요한 파일, 구성, 프로필을 생성하여 작업을 구체화하며, $x$는 지시사항, $e$는 환경 초기화, $c$는 기계가 검증 가능한 성공 기준인 작업 인스턴스 $\tau = (x, e, c)$를 출력합니다.

4. 평가 하네스

하네스는 새로운 데스크톱 샌드박스에서 에이전트를 실행하여 전체 스크린샷 - 행동 궤적을 기록합니다. 성공 여부는 최종 소프트웨어 상태에 대해 작업의 검사 명령어를 실행하여 계산됩니다. 보수는 통과한 검사의 비율 ($R = N_{pass}/N_{total}$) 로 계산되어, 정확한 기계 검증 가능 성공 조건을 유지하면서도 부분 점수를 허용합니다.

주요 기여

1. OpenComputer 프레임워크: 수동 구축 없이 현실적인 소프트웨어 세계, 작업 설명, 검증기를 자동으로 생성하는 검증 기반 시스템.
2. 신뢰성 검증: LLM 을 심판자로 활용한 평가보다 하드코딩된 검증기가 인간 심판과 더 밀접하게 일치한다는 실증적 증거 (특히 세분화된 애플리케이션 상태의 경우).
3. 대규모 벤치마크: 브라우저, 오피스 도구, 크리에이티브 소프트웨어, 개발 환경, 커뮤니케이션 앱을 아우르는 33 개의 데스크톱 애플리케이션과 1,000 개의 최종 작업으로 구성된 릴리스.

실험 결과

저자들은 OpenComputer 벤치마크에서 최첨단 및 오픈소스 에이전트를 평가했습니다:

• 최첨단 성능: GPT-5.4 가 68.3% 의 완전 작업 성공률과 88.4% 의 평균 보상으로 가장 높은 성능을 기록했습니다. Claude-Sonnet-4.6(64.4%) 과 Kimi-K2.6(58.8%) 이 그 뒤를 이었습니다. 높은 부분적 진전에도 불구하고, 신뢰할 수 있는 엔드투엔드 완료는 여전히 어렵습니다.
• 오픈소스 격차: 오픈소스 모델들은 기존 벤치마크인 OSWorld 에서 보고된 점수에 비해 성능이 크게 하락했습니다. 예를 들어, GUI-OWL-1.5-8B 는 OSWorld 점수 52.3% 에서 OpenComputer 에서는 5.7% 로 떨어졌습니다.
• 효율성: GPT-5.4 는 출력을 위한 긴 추론 추적을 피하고 연산을 결합하는 능력 덕분에 작업당 평균 19.0 단계로 가장 효율적이었습니다.
• 검증 정렬: 120 개 작업 비교에서 하드코딩된 검증기는 94.1% 의 확률로 인간 판단과 일치한 반면, LLM 심판자는 79.2% 였습니다. 검증기는 스크린샷이 놓치는 터미널 로그, 축소된 패널, 정밀한 파일 메타데이터의 오류를 탐지하는 데 특히 우수했습니다.
• 자기 진화 영향: 자기 진화형 검증 계층은 보정 작업에서 검사기 측 오류의 89.4% 를 수정하여 인간 - 검사기 일치율을 85.2% 에서 94.1% 로 향상시켰습니다.

중요성과 주장

이 논문은 OpenComputer 가 현실적인 소프트웨어 세계와 기계 검증 가능한 피드백을 결합함으로써 컴퓨터 사용 연구의 확장을 위한 기초 인프라를 제공한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 검증의 중요성: 에이전트를 위한 확장 가능한 합성은 LLM 심판자나 스크린샷과 같은 약한 대리 평가가 아닌 신뢰할 수 있는 검사와 결합되어야 합니다.
• 현재의 한계: 최첨단 에이전트조차도 현실적인 데스크톱 워크플로우에서 엔드투엔드 완료에 어려움을 겪고 있어, 견고한 컴퓨터 자동화의 격차를 드러냅니다.
• 미래 활용성: 이 프레임워크는 감사 가능한 그라운딩 보상을 제공함으로써 평가뿐만 아니라 SFT, RL 과 같은 학습 파이프라인도 지원합니다. 이는 복잡한 소프트웨어 환경에서 에이전트의 신뢰성과 실패 모드를 연구하기 위한 통제된 출발점 역할을 합니다.

저자들은 공간 배치 (Draw.io 의 경우) 와 같이 프로그래밍 방식 검사로 완전히 환원될 수 없는 시각적 또는 기하학적 판단이 필요한 작업에 대한 한계를 인정합니다. 이러한 작업은 재현성을 유지하기 위해 주요 벤치마크에서 제외되었으나, 향후 하이브리드 검증 연구를 위해 공개되었습니다.