🤖 AI

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

이 논문은 에이전트의 기술을 일관된 시나리오로 재구성하고, 지시어, 솔루션 및 검증기를 접지(grounding)하기 위해 공유된 실행 가능한 컨테이너 상태를 활용함으로써, 터미널 태스크 합성의 일관성과 해결 가능성을 보장하고 이를 통해 터미널 에이전트의 확장 가능하고 효과적인 학습을 가능하게 하는 프레임워크인 FACET을 소개한다.

원저자: Kou Shi, Zun Wang, Qisheng Su, Shiting Huang, Ziao Zhang, Zhen Fang, Qingnan Ren, Jin Liu, Yu Zeng, Yiming Zhao, Lin Chen, Zehui Chen, Feng Zhao

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kou Shi, Zun Wang, Qisheng Su, Shiting Huang, Ziao Zhang, Zhen Fang, Qingnan Ren, Jin Liu, Yu Zeng, Yiming Zhao, Lin Chen, Zehui Chen, Feng Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이곳에 기술된 연구를 이해하려면, 먼저 현대의 인공지능이 현실 세계에서 행동하는 법을 어떻게 배우고 있는지 살펴보아야 합니다. 수년 동안 이러한 시스템은 주로 텍스트를 통해 학습하며, 문장에서 다음 단어를 예측하거나 문서를 요약하는 법을 배웠습니다. 하지만 인공지능의 다음 개척지는 단순히 읽거나 쓰는 것이 아니라, '하는 것'입니다. 이는 컴퓨터의 명령줄(command line)을 탐색하고, 소프트웨어를 설치하며, 파일을 관리하고, 자신의 실수로부터 복구할 수 있는 시스템을 구축하는 것을 의미합니다. 기계에게 이와 같은 일을 가르치기 위해 연구자들에게는 연습할 방법이 필요합니다. 그들은 컴퓨터에 목표가 주어지고, 이를 해결하려고 시도하며, 단순히 무엇을 하겠다고 말한 것에 기반하는 것이 아니라 화면에 실제로 일어난 결과에 따라 성공 여부를 즉시 알려주는 방대한 연습 문제 라이브러리가 필요합니다. 문제는 이러한 연습 문제를 충분히 만드는 것이었습니다. 수작업으로 만드는 것은 너무 느리고, 자동으로 만들면 지시 사항과 일치하지 않거나, 고장 나거나, 해결이 불가능한 퍼즐이 만들어지는 경우가 많았습니다.

한 연구팀은 이 문제를 해결하기 위해 새로운 방법을 개발하여, 수천 개의 복잡하고 작동 가능한 컴퓨터 작업을 처음부터 생성하는 시스템을 만들었습니다. 그들은 이 프레임워크를 FACET이라고 부릅니다. 단순히 컴퓨터에게 작업 설명을 발명하라고 요청하는 대신, 이 시스템은 파일 정리, 특정 프로그램 실행, 또는 데이터 분석 방법과 같은 기존의 컴퓨터 기술들을 대량으로 수집하는 것부터 시작합니다. 연구자들은 이 개별적인 기술들을 가져와 하나의 일관된 이야기로 엮어냅니다. 그들은 원시 데이터로부터 보고서를 준비하거나 보안 서버를 설정하는 것과 같이, 특정하고 다단계적인 목표를 달성해야 하는 사용자를 상상합니다. 시스템은 모든 단계가 논리적으로 선행 단계를 따르고 필요한 모든 도구와 파일이 갖춰지도록 이 시나리오를 재구성합니다.

이 과정에서 가장 중요한 부분은 작업이 문서화되기 전에 발생합니다. 시스템은 작업이 진행될 실제 컴퓨터 환경을 구축합니다. 폴더를 만들고, 소프트웨어를 설치하며, 필요한 대로 파일들을 설정합니다. 이 디지털 작업 공간이 완전히 구축되고 검증된 후에야 시스템은 사용자에게 줄 지침, 정답, 그리고 작업 수행 여부를 확인하는 테스트를 생성합니다. 이 순서는 매우 중요합니다. 작업을 실제 작동하는 환경에 기반시킴으로써, 시스템은 지침이 파일과 일치하고, 정답이 지침과 일치하며, 테스트가 결과와 일치하도록 보장합니다. 만약 환경 구축에 실패하면, 시스템은 전체 아이디어를 버리는 대신 특정 오류를 수정합니다. 이러한 접근 방식은 지침에서 존재하지 않는 파일을 요구하거나, 솔루션이 생성할 수 없는 결과를 테스트가 확인하는 흔한 문제를 방지합니다.

연구진은 이 방법을 사용하여 6,000개 이상의 독특한 작업을 생성함으로써 이를 테스트했습니다. 그런 다음 이 작업들을 해결하는 데 성공한 시도들을 사용하여 차세대 컴퓨터 에이전트를 학습시켰습니다. 결과는 명확했습니다. 이 시스템이 생성한 데이터로 에이전트를 학습시켰을 때, 복잡한 컴퓨터 문제를 해결하는 능력이 현저히 향상되었습니다. 이러한 개선은 작고 빠른 버전부터 훨씬 크고 강력한 버전까지 다양한 크기의 컴퓨터 모델 전반에서 일관되게 나타났습니다. 이 시스템은 시나리오를 신중하게 재구성하고 환경을 먼저 구축함으로써, 고품질의 신뢰할 수 있는 훈련장을 만들 수 있음을 입증했습니다. 이 방법은 에이전트가 문제의 텍스트뿐만 아니라, 자신이 변화시키려는 컴퓨터 상태의 실체로부터 배울 수 있게 해줍니다.

또한 이 연구는 왜 이전의 많은 시도가 실패했는지를 밝혀냈습니다. 이러한 세심한 단계별 근거 없이 작업을 생성하면, 지침, 정답, 그리고 테스트가 서로 어긋나게 됩니다. 지침은 한 가지를 요구하고, 정답은 다른 것을 수행하며, 테스트는 제3의 것을 확인하게 되어 에이전트를 혼란에 빠뜨리거나 평가를 무의미하게 만듭니다. 연구진은 모든 요소가 동일한 작동 환경에 묶여 있도록 하는 자신들의 방법이 훨씬 더 어렵고 현실적인 작업을 만들어낸다는 것을 발견했습니다. 에이전트들이 쉬운 작업에 비해 어려운 작업들을 완벽하게 해결하는 빈도는 낮았지만, 그들이 해결한 것들은 진정한 성공이었습니다. 시스템은 단 하나의 누락된 파일이나 작은 설정 오류가 전체 프로세스를 실패하게 만들 수 있는 실제 세계의 컴퓨터 업무의 복잡성을 성공적으로 포착해 냈습니다.

이 연구는 인공지능을 가르치는 새로운 길을 제시합니다. 방대한 양의 단순한 합성 데이터에 의존하기보다, 모든 요소가 함께 작동하는 것이 검증된 더 작고 고품질인 데이터셋을 만드는 데 초점을 맞춥니다. 연구진은 기술의 원래 의도를 보존하고 환경이 실제적이며 일관되도록 보장함으로써, 훨씬 더 효과적인 데이터를 생성할 수 있음을 보여주었습니다. 이 데이터로 학습된 에이전트들은 단순히 답을 암기하는 것이 아니라, 컴퓨터 시스템의 복잡하고 상호 연결된 현실을 탐색하는 법을 배웠습니다. 이 결과는 더 나은 에이전트를 구축하는 핵심이 그들이 받는 연습의 질에 있으며, 그들이 해결하는 문제가 그들이 작동하게 될 세상만큼이나 실제적이고 일관되어야 한다는 점을 시사합니다.

기술 요약: FACET

문제 정의

터미널 에이전트를 학습시키기 위해서는 확장 가능하고 고품질의 실행 가능한 감독 데이터가 필요합니다. 그러나 터미널 작업을 합성하는 것은 본질적으로 매우 어렵습니다. 왜냐면 유효한 작업은 사용자 지침(user instruction), 초기화된 환경(initialized environment), 참조 솔루션(reference solution), 그리고 실행 가능한 검증기(executable verifier)라는 네 가지 구성 요소가 긴밀하게 결합된 번들이기 때문입니다. 기존의 다단계 합성 파이프라인은 두 가지 결정적인 문제에 직면해 있습니다:

정보 손실(Information Loss): 풍부한 소스 자료(기술, 의존성, 상태 전이 등)가 생성 과정에서 단순화된 작업 설명으로 압축되면서, 절차적 제약 조건과 중간 상태들이 누락되는 경우가 많습니다.
아티팩트 드리프트(Artifact Drift): 구성 요소들을 공유된 근거(grounding) 없이 독립적으로 또는 순차적으로 생성할 경우 불일치가 발생합니다. 예를 들어, 지침은 환경에 존재하지 않는 파일을 참조하거나, 검증기는 솔루션이 생성할 수 없는 상태를 테스트할 수 있습니다.

도메인 명세나 스킬 분류 체계로부터 아티팩트를 생성하는 기존 방식들은 모든 구성 요소가 동일하게 실현된 실행 상태(realized execution state)에 근거하도록 보장하는 데 실패하여, 해결 불가능한 작업이나 잘못된 평가를 초래하곤 합니다.

방법론: FACET

저자들은 소스의 의도를 보존하고 실행 가능한 상태에 근거한 구축 패러다임을 통해 구성 요소 간의 일관성을 보장하도록 설계된 프레임워크인 FACET(Fine-grained Agentic Construction of Executable Tasks)를 제안합니다. 이 프로세스는 세 단계로 나뉩니다.

1. 정보 소스 획득 및 저장소 구축

FACET는 공개적으로 사용 가능한 에이전트 스킬(OpenClaw, ClawHub, GitHub 출처)을 수집하고, 안전하지 않거나 읽을 수 없는 기록을 필터링하여 71,000개 이상의 유효한 스킬로 구성된 코퍼스를 만듭니다.

시나리오 추출: 추출 에이전트는 각 스킬에 대한 애플리케이션 컨텍스트, 목표, 그리고 상태 전이를 식별합니다.
저장소 구축: 유사한 가설들을 후보 시나리오-스킬 쌍으로 그룹화합니다. 모델 기반 판별기(model-based judge)가 관련성, 상보성, 실행 가능성을 필터링하여 정제된 시나리오-스킬 쌍 저장소를 구축합니다.

2. 시나리오 재구성 및 참조 구축

FACET는 스킬을 직접 작업 설명으로 변환하는 대신, 일관된 워크플로우와 의존성을 복구하기 위해 **에이전트 기반 시나리오 재구성(agentic scenario reconstruction)**을 수행합니다.

5차원 표현: 시스템은 목표(Goal), 컨텍스트(Context), 역량(Capability), 상태(State), I/O 및 도구(I/O/Tools)의 다섯 가지 차원에 걸쳐 시나리오를 재구성합니다.
참조 생성: 이러한 차원들을 통합하여 완전한 자연어 시나리오 설명( $C$ )을 생성합니다. $C$ 로부터 시스템은 정렬된 참조물인 워크플フロー와 상태 전이를 상세히 기술하는 **솔루션 참조( $R_S$ )**와 목표 및 제약 조건을 명시하는 **지침 참조( $R_I$ )**를 생성합니다.
일관성 검사: 모델은 진행하기 전에 $R_S$ 와 $R_I$ 가 동일한 초기 상태와 목표 결과를 공유하는지 검증합니다.

3. 실행 가능한 상태에 근거한 작업 구축

이 단계에서는 환경을 우선순위에 두어 재구성된 명세를 유효한 작업 번들( $T = (I, E, S, V, M)$ )로 변환합니다.

환경 실현: 시스템은 실행 환경(Dockerfile, fixture, 의존성)을 구축하고 빌드 실패 시 이를 수정합니다. 결정적으로, **실현된 컨테이너 상태( $e_0$ )**가 공유된 근거 인터페이스로서 노출됩니다.
순차적 아티팩트 생성: 지침, 솔루션, 검증기는 순차적으로 생성되며, 모두 동일하게 실현된 환경 상태( $e_0$ )에 대한 읽기 권한을 가집니다. 이를 통해 지침은 존재하는 파일을 참조하고, 솔루션은 실제 환경에서 작동하며, 검증기는 올바른 최종 상태를 확인하도록 보장합니다.
타겟팅된 복구: 검증 실패 시, 제약된 라우터(constrained router)가 실행 트레이스를 바탕으로 특정 결함 구성 요소(환경, 솔루션 또는 검증기)를 식별합니다. 오직 식별된 아티팩트만 복구하여 유효한 구성 요소는 유지하고 불필요한 재생성을 방지합니다.

주요 기여

FACET 프레임워크: 이질적인 에이전트 스킬로부터 복잡한 터미널 작업을 합성하기 위해, 소스의 정보 풍부성을 보존하도록 시나리오와 워크플로우를 재구성하는 새로운 파이프라인입니다.
실행 가능한 상태 근거 패러다임: 실현된 환경을 통해 작업 아티팩트들을 조율하는 구축 방식입니다. 이는 합성을 단순히 그럴듯한 구성 요소를 개별적으로 생성하는 것에서, 하나의 일관되고 실행 가능한 전체 작업으로 구축하는 것으로 전환합니다.
검증 및 감독 파이프라인: 신뢰할 수 있는 터미널 에이전트 감독 데이터를 생산하기 위한 완전한 시스템입니다. 광범한 분석을 통해 결과 데이터가 모델 성능을 효과적으로 향상시키며, 생성 순서(Instruction $\to$ Solution $\to$ Verifier)가 역순이나 결합 생성 방식보다 교차 아티팩트 정렬을 크게 개선함을 입증했습니다.

실험 결과

저자들은 Terminal-Bench 2.1 벤치마크를 사용하여 FACET를 평가했습니다.

데이터셋 특성: FACET는 평균 22.77개의 실행 가능한 테스트를 포함하는 6,078개의 검증된 작업을 생성했으며, 이는 기존 데이터셋(예: Terminal-Lego의 16.60)보다 현저히 높습니다. 궤적(trajectory)의 길이는 평균 11.86 턴으로 더 길며, 이는 복잡한 다단계 워크플로우를 반영합니다.
모델 성능: FACET 작업에서 수집된 1,200개의 성공적인 궤적으로 지도 미세 조정(SFT)을 수행한 결과, 세 가지 Qwen3.5 모델 규모에서 일관된 향상을 보였습니다:
- 4B: 17.60에서 24.72로 향상 (+7.12).
- 9B: 27.34에서 35.58로 향상 (+8.24).
- 27B: 40.82에서 47.57로 향상 (+6.75).
효율성: 미세 조정된 27B 모델은 동일한 평가 설정 하에서 훨씬 더 큰 Qwen3.5-397B(49.06)의 성능에 근접하는 47.57을 달s성했습니다. 이는 약 15배 작은 크기임에도 불구하고 달성한 결과입니다.
생성 방식 분석: 세 가지 생성 순서를 비교한 어블레이션 연구 결과, "순방향(Forward)" 순서(Environment $\to$ Instruction $\to$ Solution $\to$ Verifier)가 "역방향(Reverse)" 및 "결합(Joint)" 방식보다 가장 높은 초기 유효성(46.5%)과 최종 수율(83/100)을 달성했습니다. 이는 솔루션을 검증기보다 먼저 생성하는 것이 정렬을 개선함을 확인시켜 줍니다.

의의 및 주장

본 논문은 소스 의도 보존과 공유된 실행 가능 상태 근거가 확장 가능한 터미널 작업 합성을 위한 핵심 원칙이라고 주장합니다. 시나리오를 재구성하여 절차적 제약을 유지하고, 모든 작업 아티팩트를 실현된 환경에 근거하게 함으로써, FACET는 밀도 높은 실행 가능한 체크를 포함하는 작업을 생성합니다. 이러한 작업은 터미널 에이전트의 능력을 모델 규모 전반에 걸쳐 향상시키는 효과적이고 데이터 효율적인 감독을 제공합니다. 저자들은 작업의 난이도가 단순히 워크플로우를 실행하는 것에 그치지 않고, 상호 의존적인 요구사항을 정밀하게 충족하는 데 있으며, 이는 그들의 세밀한 검증 방식을 통해 관찰 가능하다는 점을 강조합니다. 결과는 시나리오 재구성과 상태 근거를 신중하게 조율함으로써 대규모 작업 생성에만 의존하지 않고도 고품질의 감독 데이터를 얻을 수 있음을 시사합니다.