기술 요약: StructAgent

문제 정의

최근 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)의 발전은 디지털 에이전트가 컴퓨터 사용 작업을 수행할 수 있게 했습니다. 그러나 실제 세계의 작업은 복잡한 워크플로우와 진화하는 컨텍스트를 포함하는 **장기적 관점(long-horizon)**의 과제인 경우가 많습니다. 에이전트가 이러한 작업을 실행함에 따라, 사실적 정보, 중간 편집, 실패한 시도, 그리고 부분적으로 완료된 실행을 포함하는 가공되지 않은 상호작용 이력이 축적됩니다.

식별된 핵심 과제는 기존 에이전트들이 일반적으로 이러한 가공되지 않은 비구조적 이력을 기반으로 작동한다는 점입니다. 컨텍스트가 커짐에 따라 중요한 정보가 파묻히게 되며, 현재 작업 상태가 모호해집니다. 이러한 구조의 부재는 에이전트가 다음과 같은 작업을 수행하는 것을 어렵게 만듭니다:

• 작업 진행에 대한 명확한 인과적 이해 유지.
• 비정상적인 상태나 중간 오류를 즉각적으로 탐지.
• 정확한 계획 및 실행 수행.
• 전체 이력을 다시 재생하지 않고 실패로부터 복구.

결과적으로, 에이전트가 유효한 진행과 노이즈, 또는 검증되지 않은 자가 보고된 완료 주장 사이를 구분하기 어려워지기 때문에 신뢰할 수 있는 장기적 실행은 제한됩니다.

방법론: StructAgent

이러한 과제를 해결하기 위해 저자들은 작업 진행의 통합된 인과적 표현을 중심으로 에이전트의 상태와 워크플로우를 명시적으로 구조화하는 상태 중심 프레임워크인 StructAgent를 제 제안합니다. 이 프레임워크는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다:

1. 통합 에이전트 상태 (Unified Agent State)

Raw trajectory로부터 진행 상황을 추론하는 대신, StructAgent는 모든 모듈의 공유 인터페이스 역할을 하는 압축되고, 타입이 지정되었으며, 감사가 가능한 상태 $s_t$를 유지합니다. 상태는 다음과 같이 정의됩니다:
$$s_t = (s_t^{req}, s_t^{val}, s_t^{ver})$$

• $s_t^{req}$ (요구사항, Requirements): 현재 하위 목표(subgoal)의 요구사항을 저장하며, 무엇이 달성되어야 하고 검증기(verifier)가 무엇을 확인해야 하는지 명시합니다.
• $s_t^{val}$ (유용한 값, Useful Values): 실행 중에 발견된 지속적이고 유용한 값들(예: 파일 경로, URL, 선택된 엔티티)을 저장합니다.
• $s_t^{ver}$ (검증된 증거, Verified Evidences): 프로빙(probing) 과정 중 검증기에 의해 수집된 증거를 저장하여, 감사 및 재사용을 가능하게 합니다.

인과 중심의 전이(Causality-Oriented Transitions): 상태 전이는 엄격하게 제어됩니다. 요구사항의 상태($\sigma_{i,t}$)는 오직 검증기에 의해 뒷받und된 결정에 의해서만 VERIFIED(검증됨) 또는 INVALIDATED(무효화됨)로 변경될 수 있습니다. 이는 진행 상황 업데이트가 에이전트의 자가 보고가 아닌, 검증 가능한 증거에 근거하도록 보장합니다.

2. 구조화된 워크플로우 (Structured Workflow)

프레임워크는 고정된 실행 루프인 Planner $\rightarrow$ Actor $\rightarrow$ Verifier $\rightarrow$ State Update를 기반으로 작동합니다.

• Planner (계획기): 현재 상태를 읽어 다음 하위 목표($g_t$)를 선택합니다. Raw history로부터 진행 상황을 재구성할 필요가 없습니다.
• Actor (행위자): 환경 내에서 하위 목표를 실행하려고 시도하며, 액션 트레이스($\tau_t$)를 생성합니다.
• Verifier (검증기): 구조화되고 에이전트적인 프로빙(예: 파일 확인, 셸 출력, 애플리케이션 상태 확인)을 사용하여 시도된 하위 목표가 유효한 진행을 생성했는지 확인합니다. 검증 결과(decision, $d_t$)로 상태를 검증, 무효화 또는 변경 없이 유지할 것을 출력합니다.
• Memory (메모리): 재사용 가능한 경험을 바탕으로 하위 목표나 액션 패턴을 제안하며, 상태 조건부 지원을 제공합니다.

구현된 주요 능력

• 진행 체크포인팅 (Progress Checkpointing): 상태 이력은 자기 완결적이고 인간이 읽을 수 있는 스냅샷 역할을 하여, 에이전트가 전체 상호작용 이력을 다시 재생하지 않고도 실행을 재개할 수 있게 합니다.
• 표적화된 실패 복구 (Targeted Failure Recovery): 진행이 정체될 때, 시스템은 검증된 증거(예: 증거 부족, 상충하는 요구사항)를 사용하여 문제를 진단하고, 일반적인 재시도가 아닌 특정 개입(재계획, 재시도 또는 인간의 개입)을 선택합니다.
• 도구 지원 실행 (Tool-Supported Execution): 반복되는 패턴은 재사용 가능한 절차로 요약됩니다. Actor는 이러한 도구를 호출할 수 있지만, 그 결과는 검증된 경우에만 상태에 반영됩니다.

주요 기여

1. 통합 상태: 계획, 행동, 검증에 공유된 뷰를 제공하는 압축되고 타입이 지정된 감사 가능한 상태 표현의 도입.
2. 구조화된 워크플로우: 검증기에 의해 뒷받und된 결정만이 진행 상황을 확정, 보존 또는 무효화할 수 있는 계획-행동-검증 루프 설계.
3. 광범위한 실증적 검증: 다양한 LLM 및 VLM 백본에 대해 장기적 관점의 컴퓨터 사용 작업에서 프레임워크의 성능 향상을 입증하였으며, 다양한 도메인(데스크톱, 웹, 마인크래프트)에 걸쳐 일반화 가능함을 보여줌.

실험 결과

OSWorld-Verified (데스크톱)

프레임워크는 장기적 관점의 컴퓨터 사용을 위한 벤치마크인 OSWorld-Verified에서 평가되었습니다. StructAgent는 다양한 백본에 대해 일관된 성능 향상을 보였습니다:

• Qwen3.5-9B: 성공률이 27.0%(단일 모델)에서 **46.9%**로 향상되었습니다.
• Qwen3.5-27B: 성공률이 **31.6%**에서 **62.2%**로 향상되었습니다.
• MiniMax-M3: 단일 모델 베이스라인인 75.2%를 넘어 **78.9%**를 달성하며 새로운 오픈 소스 SOTA를 기록했습니다.
• 도메인 성능: 성능 향상은 내구성이 있는 중간 상태와 파일 기반 확인이 가능한 "Office" 작업(스프레드시트, 문서)에서 가장 두드러졌습니다. 교차 애플리케이션 작업은 여전히 도전적이었으나 더 강력한 백본과 함께 개선되었습니다.

일반화 (Generalization)

• Web (Mind2Web): StructAgent는 웹 환경으로 일반화되어, Qwen3.5-9B에서 47.3%, Qwen3.5-27B에서 **52.3%**를 달성하며 재현된 베이스라인들을 능가했습니다. 성과는 진행 상황을 URL 및 페이지 상태를 통해 추적할 수 있는 정보 탐색 작업에서 가장 강력했습니다.
• Minecraft: 데스크톱 증거 소스를 인벤토리 기반 검증으로 교체함으로써 프레임워크를 마인크래프트에 구현했습니다. 이는 **76%**의 작업 가중 평균 성공률을 달고(Optimus-1의 59% 대비), 상태 업데이트 규율이 도메인에 무관함을 입증했습니다.

분석

• 검증 품질 (Verification Quality): 구조화된 검증은 시각적 전용 검증에 비해 Recall을 0.67에서 0.81로 향상시켰는데, 이는 주로 최종 스크린샷에는 보이지 않는 실제 완료 사항(예: 파일 존재 여부, 명령 출력)을 복구했기 때문입니다.
• 실패 모드 (Failure Modes): 실패한 궤적 분석 결과, 오류가 Planner(30%), Verifier(30%), Actor(33%)에 고르게 분포되어 있었습니다. 이는 장기적 신뢰성을 위해서는 단순히 Actor를 확장하는 것이 아니라 시스템 전반의 개선이 필요함을 나타냅니다.

의의 및 주장

본 논문은 추상의 목적이 "절대적으로 정밀할 수 있는"(Edsger W. Dijkstra 인용) 의미론적 수준을 만드는 것이라고 주장합니다. StructAgent는 노이즈가 있는 이력 위에서의 연속적인 생성을 벗어나 명시적인 인과 구조를 구축함으로써 이를 달성합니다.

저자들의 주장은 다음과 같습니다:

1. 투명성 및 제어 가능성: 검증기에 의해 뒷받und된 상태 전이를 강제함으로써, 에이전트의 진행 상황은 투명하고 감사 가능하며 제어 가능해집니다.
2. 강건성: 프레임워크는 증거 기반의 작업 완료를 가능하게 하여 표적화된 실패 복구를 지원하며, 취약한 자가 보고식 "DONE" 주장에 대한 의존도를 줄입니다.
3. 일반성: 상태 중심 패러다임은 특정 모델 규모나 데스크톱 환경에 국한되지 않습니다. 증거 소스를 적응시킴으로써 동일한 구조적 워크플로우를 유지하면서 웹 브라우저 및 게임 환경(마인크래프트)으로 효과적으로 일반화됩니다.

이 연구는 장기적 신뢰성을 위한 시스템 레벨의 솔루션으로서 자신을 포지셔닝하며, 작업 진행 자체를 구조화하는 것이 기초 언어 모델을 개선하는 것만큼이나 중요하다고 제안합니다.