기술 요약: AutoRPA

문제 정의

대형 언어 모델 (LLM) 에이전트는 ReAct(추론 및 행동) 패러다임을 통해 그래픽 사용자 인터페이스 (GUI) 와 상호작용하는 데 숙련된 능력을 보여왔으나, 실제 배포에서는 상당한 비효율성에 직면합니다. 기존 연구의 대부분은 새로운 인스턴스에서의 단일 작업 성능을 최적화하며, 매 상호작용마다 비용이 많이 드는 LLM 추론을 호출합니다. 그러나 실제 시나리오는 일일 보고서 제출, 항공권 예약과 같은 반복적인 작업 유형을 자주 포함하며, 각 인스턴스마다 LLM 추론을 호출하는 것은 계산적으로 낭비적이고 비용이 많이 듭니다.

반면, 전통적인 로봇 프로세스 자동화 (RPA) 는 반복 작업에 대해 높은 런타임 효율성을 제공하지만 취약성 (brittleness) 이라는 단점이 있습니다. 전통적인 RPA 는 수동으로 제작된 스크립트에 의존하는데, 이는 경직되어 있어 GUI 레이아웃이 변경되면 실패하며 개발 및 유지 관리에 상당한 인적 노력이 필요합니다. 본 논문이 다루는 핵심 과제는 LLM 에이전트의 유연성과 전통적 RPA 의 효율성 사이의 간극을 해소하기 위해, LLM 보조를 통해 특정 작업 유형에 대한 견고하고 토큰 효율적인 RPA 함수를 자동으로 합성하는 방법입니다.

방법론: AutoRPA 프레임워크

AutoRPA 는 ReAct 스타일 에이전트의 의사결정 논리를 실행 가능하고 재사용 가능한 RPA 코드로 "증류"하도록 설계된 프레임워크입니다. 이 과정은 세 가지 주요 단계로 나뉩니다.

1. 탐색 단계

• ReAct 궤적 생성: ReAct 스타일 에이전트가 GUI 환경과 상호작용하여 작업 인스턴스를 해결합니다. 에이전트는 스크린샷과 UI 구조 (DOM/접근성 트리) 를 관찰하고, 단계를 추론하며, 행동을 실행합니다.
• 반성 (Reflection): 궤적이 실패할 경우, 반성 메커니즘을 통해 에이전트가 실패 원인을 분석하고 성공적인 궤적을 수집할 때까지 최대 $N_{ref}$회까지 재시도합니다.
• 번역 (Hard-to-Soft Coding): 전용 **번역 에이전트 (Translator Agent)**가 에이전트의 "하드코딩"된 행동 (예: click(index=2)) 을 "소프트코딩"된 절차로 변환합니다. 고정된 인덱스나 좌표에 의존하는 대신, 번역기는 find_element 함수를 사용하여 텍스트 내용, 요소 유형, 대상 설명과 같은 의미적 속성을 기반으로 요소를 locating 하는 코드를 생성합니다. 이를 통해 생성된 논리는 사소한 레이아웃 변경에도 견고해집니다.

2. RPA 생성 단계

• RAG 를 활용한 빌더 에이전트: **빌더 에이전트 (Builder Agent)**가 특정 작업 유형 ($G_k$) 에 대한 최종 RPA 함수 ($F_k$) 를 합성합니다.
• 검색 증강 생성 (RAG): 빌더가 누락된 컨텍스트로 인해 인터페이스 상태에 대해 잘못된 가정을 하는 것을 방지하기 위해, 프레임워크는 트리 구조화된 검색 메커니즘을 사용합니다. 빌더는 과거 성공적인 탐색에서 관찰, 행동, 요약과 같은 특정 상호작용 블록을 가져오기 위해 궤적 데이터베이스를 쿼리할 수 있습니다.
• 코드 합성: 빌더는 작업 변형을 처리하기 위한 논리적 구조 (루프, 조건문) 를 포함하는 Python 함수를 생성합니다. 이는 번역된 궤적에서 불필요한 단계를 제거하고 필요한 오류 처리를 포함합니다. 코드는 정적 규칙으로 해결할 수 없는 복잡한 추론 작업에 대해 멀티모달 LLM 호출 (ask_mllm) 을 포함할 수도 있습니다.

3. 하이브리드 수리를 통한 검증 단계

• 실행 및 분석: 생성된 RPA 코드가 관찰된 작업 인스턴스에서 실행됩니다. 실행이 실패할 경우, **분석 에이전트 (Analyzer Agent)**가 중단점을 식별하고 실패 원인을 분석하며, 작업을 재개할 수 있는지 아니면 다시 시작해야 하는지 결정합니다.
• 하이브리드 수리 전략: 코드 개선에만 의존하는 대신, 시스템은 하이브리드 접근 방식을 채택합니다. 코드가 실패하면 ReAct 에이전트가 중단점 (또는 재시작) 에서 실행을 재개하여 수정 증명을 생성합니다. 이 "하이브리드 궤적"(코드 실행 + ReAct 수리) 은 빌더 에이전트에 피드백되어 코드를 반복적으로 개선하는 데 사용됩니다.
• 종료: 프로세스는 코드가 모든 유효성 검사 작업을 통과하거나 최대 개선 시도 횟수 ($M$) 에 도달할 때까지 계속됩니다. 작업이 자동화 불가능한 경우, 시스템은 해당 특정 인스턴스에 대해 ReAct 에이전트를 기본으로 사용합니다.

주요 기여

1. AutoRPA 프레임워크: 전통적 RPA 는 너무 취약하고 ReAct 에이전트는 비용이 너무 많이 드는 반복적인 GUI 자동화 시나리오를 대상으로 작업 유형에 대한 견고한 RPA 함수를 자동으로 생성하는 새로운 시스템입니다.
2. 번역기 - 빌더 파이프라인: 번역기가 하드코딩된 ReAct 행동을 속성 기반의 소프트코딩 절차로 변환하고, 빌더가 트리 구조화된 궤적 검색 (RAG) 을 사용하여 견고한 RPA 함수를 합성하는 2 단계 프로세스입니다.
3. 하이브리드 수리 전략: 직접 코드 실행과 ReAct 기반 폴백을 결합한 검증 메커니즘입니다. 이를 통해 합성된 코드가 실패할 때 ReAct 에이전트로부터의 수정 증명을 포함하여 코드를 반복적으로 개선할 수 있습니다.
4. 효율성과 견고성: 이 프레임워크는 순수 LLM 기반 에이전트와 비교하여 성공률을 유지하거나 향상시키면서 토큰 소비를 크게 줄이는 데 성공했습니다.

실험 결과

저자들은 AutoRPA 를 AndroidWorld(실제 Android 앱), WebArena(현실적인 웹 작업), MiniWoB++(시뮬레이션 웹 작업) 의 세 가지 벤치마크에서 평가했습니다.

• 토큰 효율성: AutoRPA 는 ReAct 스타일 에이전트 대비 토큰 사용량을 **82% 에서 96%**까지 줄였습니다. 예를 들어, GPT-4o 를 사용한 AndroidWorld 에서 AutoRPA 는 79.9k 토큰에 비해 14.7k 토큰만 소비했습니다.
• 성공률:
  • AndroidWorld에서 AutoRPA 는 GPT-4o 기준 **37.0%**의 성공률을 달성하여 ReAct(35.2%) 와 SeeAct(15.3%) 를 능가했으며, 동시에 훨씬 적은 토큰을 사용했습니다.
  • **MiniWoB++**에서 AutoRPA 는 "어려운" 작업에서 91.1%, 모든 작업에서 **95.4%**의 성공률을 달성하여 AdaPlanner 및 AutoManual 과 같은 최첨단 방법을 능가했으며, ReAct 가 필요로 하는 토큰의 10% 미만을 소비했습니다.
  • WebArena에서 AutoRPA 는 이전 방법들의 성능과 일치하면서도 토큰 소비를 극적으로 줄였습니다.
• 절대 실험 (Ablation Studies): 실험은 ReAct 탐색 단계, 번역 에이전트, RAG 메커니즘, 또는 하이브리드 수리 전략 중 하나라도 제거하면 성공률이 크게 떨어지는 것을 확인하여 각 구성 요소의 필요성을 입증했습니다.

중요성과 주장

본 논문은 AutoRPA 가 반복 작업에서 LLM 에이전트 실행의 높은 비용과 비효율성 versus 전통적 RPA 의 높은 유지 관리 비용이라는 중요한 실용적 문제를 해결한다고 주장합니다. LLM 에이전트의 의사결정 논리를 검증된 재사용 가능한 코드로 증류함으로써 AutoRPA 는 다음을 가능하게 합니다:

• 토큰 효율적 자동화: 반복적인 작업 유형에 대한 GUI 자동화의 계산 비용을 극적으로 줄입니다.
• 견고성: 정적 스크립트나 단일 샷 LLM 생성보다 환경 및 작업 지시문의 변형을 더 잘 처리하는 코드를 생성합니다.
• 확장성: 새로운 작업 유형마다 광범위한 수동 스크립팅이나 큐레이션된 전문가 지식을 요구하지 않고 다양한 GUI 작업을 자동화할 수 있는 경로를 제공합니다.

저자들은 그들의 방법이 특정 ReAct 에이전트에 의존하지 않으며 다양한 LLM 백본에 적용할 수 있음을 강조하며, 이는 효율적인 GUI 자동화를 위한 일반화 가능한 솔루션이라고 주장합니다.