PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
PreAct는 성공적인 실행을 검증 가능한 상태 머신 프로그램으로 컴파일하여 반복적인 작업에서 컴퓨터 사용 에이전트를 가속화함으로써, 오류가 있는 스크립트의 축적을 방지하고 정확성을 보장하기 위한 내장된 안전 점검과 함께 8.5~13배 더 빠른 리플레이를 가능하게 하는 시스템입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신에게 매우 똑똑하지만 매우 비싼 로봇 비서가 있다고 상상해 보세요. 이 로봇은 당신의 컴퓨터 화면을 보고, 어떤 버튼을 클릭할지 파악하며, 회의를 예약하거나 연락처를 추가하는 등의 일을 하기 위해 텍스트를 입력할 수 있습니다.
문제는 이 로봇이 낭비적이라는 점입니다. 로봇은 같은 작업을 두 번 수행할 때마다 방금 자신이 무엇을 했는지 모두 잊어버립니다. 매번 처음부터 다시 화면을 살펴보고, 모든 단계를 고민하고, 엄청난 "생각 비용"(비싼 AI 컴퓨팅 자원)을 지불해야 합니다. 이는 마치 가이드가 박물관을 한 번 보여준 뒤, 다음 날 똑같은 박물관을 보여주기 위해 매번 새로운 가이드를 고용하여 비용을 지불하게 만드는 것과 같습니다.
PreAct는 이 로봇이 망각하는 대신 유창하게 업무를 수행하도록 가르치는 새로운 시스템입니다. 일상적인 비유를 통해 그 작동 원리를 설명해 드리겠습니다.
1. "레시피 북" vs "셰프"
보통의 로봇은 매 끼니마다 모든 재료의 맛을 다시 보고 레시피를 새로 만드는 셰프와 같습니다.
PreAct는 게임의 판도를 바꿉니다. 로봇이 처음으로 작업(예: 연락처 추가)을 성공적으로 완료했을 때, 단순히 잊어버리는 것이 아니라 완벽한 단계별 레시피(상태 머신 프로그램)를 작성합니다.
- 첫 번째 수행 시: 로봇은 작업을 해결하기 위해 값비싼 "생각하는 뇌"를 사용하며 레시피를 작성합니다. 여기에는 시간과 비용이 듭데듭니다.
- 두 번째 수행 시: 로봇은 값비싼 뇌를 사용하는 대신, 단순히 레시피를 읽고 지침을 따릅니다. 생각할 필요 없이 즉시 행동합니다. 이 방식은 8.5배에서 13배 더 빠르며, 실행 비용이 거의 들지 않습니다.
2. "안전 점검" (맹목적으로 따르지 않기)
당신은 이런 걱정을 할 수도 있습니다: "만약 화면이 다르게 보이면 어떡하지? 만약 팝업 창이 뜨면?"
로봇이 단순히 레시피를 맹목적으로 따른다면, 잘못된 버튼을 클릭하여 문제를 일으킬 수 있습니다.
PreAct는 영리하게 설계되었습니다. 레시피의 모든 단계를 수행하기 전에, 화면을 살짝 훑어보며 화면이 레시피에서 예상한 것과 일치하는지 확인합니다.
- 일치할 경우: 생각할 필요 없이 즉시 버튼을 클릭합니다.
- 일치하지 않을 경우: 즉시 멈추고, "잠깐, 무언가 잘못되었습니다"라고 말하며, 새로운 상황을 파악하기 위해 값비싼 로봇 뇌를 다시 호출합니다.
이는 GPS 경로를 따라 운전하면서도 도로에 계속 눈을 떼지 않는 운전자와 같습니다. 만약 도로가 폐쇄되었다면, 벽을 향해 맹목적으로 운전하는 것이 아니라 멈춰 서서 새로운 길을 묻는 것입니다.
3. "품질 관리 게이트" (가장 중요한 부분)
여기 까다로운 문제가 있습니다. 만약 로봇이 완성된 것처럼 보이지만 실제로는 실패하는 레시피를 작성한다면 어떻게 될까요?
예시: 레시피에는 "이름을 입력하고, 저장을 클릭한다"라고 되어 있습니다. 하지만 로봇이 이름을 실제로 입력하는 것을 잊어버렸다면, 저장을 클릭했을 때 아무 일도 일어나지 않을 수 있습니다. 만약 로봇이 이 잘못된 레시피를 저장한다면, 나중에 이 레시피를 사용할 때마다 매번 실패하게 될 것입니다.
Pre-Act에는 엄격한 품질 관리 게이트가 있습니다.
새로운 레시피를 라이브러리에 넣기 전에, 로봇은 컴퓨터를 초기화하고 레시피를 처음부터 다시 실행하여 실제로 작동하는지 확인합니다.
- 레시피가 작동하면: 라이브러리에 추가됩니다.
- 레시피가 실패하면 (끝까지 실행되었더라도): 쓰레기통에 버려집니다.
연구 결과에 따르면, 이 게이트가 없다면 로봇의 라이브러리는 "잘못된 레시피"로 가득 차게 되며, 시간이 지날수록 작업을 수행하는 능력이 오히려 떨어지게 됩니다. 이 게이트가 있으면 로봇은 작업을 반복할 때마다 점점 더 똑똑해집니다.
결과
연구진은 이를 휴대폰, 데스크톱 컴퓨터, 웹사이트에서 테스트했습니다.
- 속도: 작업 반복 속도가 8.5배에서 13배 빨라졌습니다.
- 비용: 로봇은 반복되는 작업에 대해 값비싼 "생각 비용"을 지불하는 것을 멈췄습니다.
- 신뢰성: 매 단계마다 화면을 점검하고 잘못된 레시피를 걸러냄으로써, 시스템은 단순히 빨라진 것이 아니라 시간이 지남에 따라 더 정확해졌습니다.
요약하자면: PreAct는 매번 바퀴를 새로 발명하는 로봇을, 기술을 배우고, 기록하고, 그 기술이 변할 때까지 완벽하고 즉각적으로 실행하는 로봇으로 바꿔줍니다. 변화가 생기면 다시 배웁니다. 이는 수학 문제를 한 번 암기하고 나서, 매일 잊어버리고 다시 배워야 하는 학생과, 한 번 배운 것을 완전히 익히는 학생의 차이와 같습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.