ISE: An Execution-Grounded Recipe for Multi-Turn OS-Agent Trajectories
이 논문은 고품질의 실행 기반 멀티턴 OS 에이전트 궤적을 생성하여 미세 조정된 모델의 도구 사용 성능을 크게 향상시키고 더 큰 제로샷 베이스라인들을 능가하는 3단계 합성 패러다임인 ISE를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 매우 똑똑하지만 경험이 없는 로봇에게 컴퓨터 사용법을 가르치려 한다고 상상해 보십시오. 당신은 이 로봇이 "내 파일들을 정리하고, 그것들을 바탕으로 보고서를 작성한 뒤, 상사에게 이메일을 보내는 것"과 같은 복잡한 작업을 수행할 수 있게 만들고 싶습니다.
문제는 이 논문에 따르면, 우리가 이 로봇들을 가르치기 위해 사용해 온 "교과서"(학습 데이터)에 세 가지 특정한 결함이 있다는 점입니다.
- 도구에서 시작하여 사용자를 놓침: 대부분의 데이터는 사용 가능한 컴퓨터 명령어 목록(예: "파일 삭제" 또는 "이메일 전송")을 먼저 살펴본 뒤, 그 명령어를 사용할 이유를 임의로 만들어내는 방식으로 구축됩니다. 이는 마치 요리사에게 "배가 고프니 샌드위치를 만들어줘"라고 시작하는 대신, "여기 칼이 있으니 무언가를 썰 이유를 상상해 봐"라고 가르치는 것과 같습니다.
- 너무 짧음: 실제 생활에는 주고받는 과정이 있습니다. 로봇이 실수를 하면 사람이 바로잡아주고, 로봇이 성공하면 다음 단계를 요청합니다. 하지만 대부분의 학습 데이터는 자판기 거래처럼 하나의 질문과 하나의 답변으로만 이루어져 있으며, 실제 대화와 같은 상호작용은 없습니다.
- 가짜임: 로봇들은 보통 "시뮬레이션된" 결과 위에서 학습됩니다. 컴퓨터는 파일을 삭제한 것처럼 '흉내'를 내거나 에러 메시지가 무엇일지 '추측'할 뿐입니다. 로봇은 실제로 컴퓨터를 만져본 적이 없으므로, 실제로 상황이 잘못되었을 때 어떻게 대처해야 하는지를 배우지 못합니다.
해결책: ISE (의도 → 시뮬레이션 → 실행)
저자들은 이러한 문제들을 해결하기 위해 ISE라고 불리는 새로운 3단계 레시피를 제안합니다. 이것은 로봇을 위한 고급 요리 학교와 같습니다.
1단계: 메뉴 (의도 - Intent)
도구 목록에서 시작하는 대신, 그들은 실제 인간의 필요에서 시작합니다.
- 비유: 식재료가 창고에 무엇이 있는지에 따라 메뉴를 만드는 것이 아니라, 다양한 유형의 사람들이 실제로 무엇을 먹고 싶어 하는지에 따라 메뉴를 만드는 요리사를 상상해 보십시오.
- 방법: 그들은 5만 개의 고유한 "페르소나"(바쁜 재무 매니저, 창의적인 작가, 혹은 학생 등)를 생성하고, 이를 다양한 유형의 작업 및 난이도와 혼합했습니다. 이를 통해 로봇이 단순히 쉽고 흔한 요청뿐만 아니라, 광범위하고 실제적인 요청을 처리하는 법을 배우도록 보장했습니다.
2단계: 역할극 (시뮬레이션 - Simulate)
이 단계는 "너무 짧다"는 문제를 해결하는 단계입니다. 그들은 특별한 AI를 사용하여 인간 사용자 역할을 수행하게 합니다.
- 비유: 화가 난 고객 역할을 연기하는 메소드 배우를 상상해 보십시오. 이 배우는 단순히 "샌드위치 만들어줘"라고 말하고 끝내지 않습니다. 만약 로봇이 빵을 떨어뜨리면, 배우는 "이봐요, 빵을 떨어뜨렸잖아요, 다시 집으세요!"라고 말합니다. 만약 로서이 잘 해낸다면, "좋아요, 이제 치즈를 올려주세요"라고 말합니다.
- 비법: 저자들은 이 "배우" AI가 캐릭터를 유지하도록 만들었습니다. 이 AI가 (훈련을 망치는 데) 실수로 도움이 되는 조수가 되지 않도록 주의했습니다. 이 AI는 로봇이 '무엇을 했다고 생각하는지'가 아니라, 로봇이 '실제로 무엇을 했는지'에 반응하며 엄격하게 사용자의 역할에 머물러 있습니다.
3단계: 실제 주방 (실행 - Execute)
이것은 가장 결정적인 단계입니다. 로봇은 결과를 추측하는 것이 아니라, 실제 격리된 컴퓨터에서 실제로 작업을 수행합니다.
- 비유: 요리사가 실제가 아닌 가짜 도마 위에서 채소를 써는 흉내를 내는 대신, 요리사가 실제로 진짜 채소를 써는 것입니다. 만약 칼이 미끄러져 테이블을 찍었다면, 시스템은 그 실제 실수를 기록합니다.
- 중요한 이유: 로봇이 명령을 실행하려 할 때 실패하면(예: "파일을 찾을 수 없음"), "배우" 사용자는 그 실제 에러 메시지를 보고 반응합니다. 이를 통해 로봇은 실제 세상에서 발생하는 재난으로부터 어떻게 회복(recover)해야 하는지를 배웁니다. 이는 가짜 시뮬레이션으로는 배울 수 없는 부분입니다.
결과
그들은 이 새로운 "교과서"(ISETrace라고 불림)를 가져와 로봇(구체적으로 Qwen3-8B 모델)을 훈련시켰습니다.
- 이전: 이 새로운 훈련 없이는, 로봇은 복잡한 다단계 컴퓨터 작업의 약 **19%**만을 해결할 수 있었습니다.
- 이후: 새로운 훈련을 거친 후, 로봇은 작업의 **37%**를 해결했습니다.
- 비교: 이 80억 파라미터 규모의 로봇은 이 데이터로 훈련되지 않은 다음의 모델들보다 더 나은 성능을 보였습니다:
- 훨씬 더 큰 규모의 320억 파라미터 로봇 (이 데이터로 훈련되지 않음)
- 매우 유명하고 값비싼 상용 로봇 (GPT-4o, 이 데이터로 훈련되지 않음)
핵심 요점
이 논문은 학습 데이터를 '무엇'으로 만드느냐만큼 '어떻게' 만드느냐가 중요하다는 것을 주장합니다. 실제 인간의 필요에서 시작하고, 긴 대화를 강제하며, 실제 컴퓨터에서 연습하게 함으로써(실패 사례를 포함하여), 그들은 훨씬 더 똑똑한 에이전트를 만들어냈습니다.
또한 그들은 "긴 대화" 부분이 핵심임을 입증했습니다. 학습 데이터를 단일 질문 형태로 줄였을 때(주고받는 과정을 제거했을 때), 로봇의 성능은 크게 떨어졌습니다. 이는 로봇이 진정으로 유용해지기 위해서는 대화를 다루는 법을 배우는 것이 필수적임을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.