기술 요약: 자율 에이전트를 위한 예시를 통한 올바른 행동 학습

문제 정의

자율 에이전트(예: 컴퓨터 사용 에이전트, 코딩 에이전트) 가 더욱 정교해짐에 따라, 비결정성으로 인해 그들의 순차적 행동을 검증하는 것은 상당한 도전 과제가 됩니다. 전통적인 소프트웨어와 달리, 자율 시스템은 실행 간에 정확히 동일한 상태 및 행동 시퀀스를 따르는 경우가 거의 없습니다. 이러한 변이는 타이밍 차이, 환경적 요인, 그리고 합법적인 대체 경로 (예: 로딩 화면의 나타남 또는 사라짐, 또는 동일한 목표를 달성하는 다른 UI 경로) 로 인해 발생합니다.

기존 검증 접근법은 이러한 맥락에서 다음과 같은 치명적인 한계를 겪고 있습니다:

• 어설션 기반 테스트: 모든 검사를 위한 수동 명세가 필요하며, 시각적 상태 문제를 놓치고 대체 경로를 처리할 수 없습니다.
• 녹화 및 재생: 취약하며, 사소한 렌더링 차이 또는 타이밍 변이에서 실패합니다.
• 시각 회귀 테스트: 실행 흐름이나 의미론적 의미를 이해하지 못한 채 스크린샷을 고립적으로 비교합니다.
• 머신러닝 오라클: 수천 개의 학습 예시가 필요하며 설명 가능성이 부족합니다.

핵심 문제는 수동 명세 없이 허용 가능한 변이(비본질적 상태) 와 실제 실패(필수 상태 건너뛰기) 를 구별하는 것입니다.

방법론

이 논문은 2~10 개의 통과 실행 트레이스 (passing execution traces) 로부터 일반화된 정답 모델을 자동으로 학습하고, 이 모델을 기준으로 새로운 실행을 검증하는 새로운 알고리즘을 제안합니다. 이 접근법은 세 단계로 구성됩니다:

1 단계: 캡처 및 접두사 트리 구축

시스템은 알려진 바르게 실행된 결과에서 실행 트레이스를 수집합니다. 각 트레이스에는 순차적 상태 관찰 (예: UI 에이전트의 경우 스크린샷) 과 행동 (예: 클릭, 키 입력) 이 포함됩니다. 이러한 트레이스는 **접두사 트리 수용기 (PTA)**로 변환되는데, 이는 노드가 관찰 가능한 상태를 나타내고 간선이 행동을 나타내는 방향 그래프입니다.

2 단계: 병합 및 일반화

이 단계는 비결정성을 처리하고 필수 상태와 선택적 상태를 식별하기 위해 여러 PTA 를 병합합니다.

1. 다단계 상태 동등성 감지: 서로 다른 스크린샷이 동일한 논리적 상태를 나타내는지 판단하기 위해 시스템은 3 단계 접근법을 사용합니다:
   • 1 단계 (시각적 지표): 지각 해싱, 구조적 유사성 지수 (SSIM), 픽셀 변화 비율을 사용합니다.
   • 2 단계 (의미론적 분석): 시각적 지표가 모호한 경우, 멀티모달 대형 언어 모델 (LLM) 이 나란히 비교를 수행하여 의미론적으로 중요한 차이 (예: 폼 오류) 와 관련 없는 차이 (예: 창 장식, 타임스탬프) 를 구별합니다.
   • 3 단계 (스마트 병합): 대체 경로 (예: 로딩 화면 유무) 와 수렴 지점을 포착하는 통합 그래프를 구성합니다.
2. 지배자 추출: 컴파일러 이론의 지배자 분석을 사용하여 시스템이 다른 상태를 "지배"하는 상태 (즉, 초기 상태에서 특정 상태로의 모든 경로가 해당 지배자를 통과해야 함) 를 식별합니다. 종단 상태에서 초기 상태로 역추적함으로써, 시스템은 선택적 변이 (예: "로딩 화면") 를 필터링하고 필수 상태(예: "메인 창", "검색 대화상자") 만 포함하는 지배자 트리를 추출합니다.

3 단계: 위상 서열 매칭을 통한 검증

새로운 테스트 트레이스가 도착하면, 시스템이 학습된 지배자 트리의 경로와 일치하는 상태 시퀀스의 위상 서열을 포함하는지 확인합니다.

• 매칭 로직: 참조 상태가 $A \to B \to C \to D$이고 테스트 트레이스가 $A \to X \to B \to Y \to C \to D$인 경우, 필수 상태가 올바른 순서로 나타나고 $X$와 $Y$가 허용된 추가 항목으로 간주되므로 매칭됩니다.
• 지표: 시스템은 커버리지 ($\frac{\text{매칭된 상태}}{\text{전체 참조 상태}}$) 를 계산하고 종단 상태가 일치하는지 확인합니다.
• 출력: 결과는 블랙박스 분류가 아닌 설명 가능한 지표 (커버리지 비율, 누락된 상태) 와 함께 PASS 또는 FAIL로 제공됩니다.

주요 기여

1. 3 단계 알고리즘: 2~10 개의 예시 트레이스로부터 필수 상태와 선택적 상태를 자동으로 식별하기 위해 접두사 트리 수용기와 지배자 분석을 통합한 새로운 접근법.
2. 다단계 동등성 감지: 비결정적 행동을 강력하게 처리하고 기능적 동등성을 시각적 노이즈와 구별하기 위해 시각적 지표와 멀티모달 LLM 의미론적 분석을 결합한 하이브리드 시스템.
3. 위상 서열 매칭: 허용 가능한 변이를 용인하면서 실행 정확성을 검증하고 설명 가능한 커버리지 지표를 제공하는 검증 메커니즘.

실험 결과

저자들은 28 개의 에이전트 실행 (학습용 3 개, 테스트용 25 개) 을 가진 합성 VS Code 확장 버그 탐지 시나리오를 사용하여 통제된 사례 연구를 수행했습니다.

• 정확도: 시스템은 제품 버그 (11/11), 에이전트 문제 (3/3), 잘못된 성공 (1/1), 놓친 버그 (1/1) 를 탐지하는 데 100% 정확도를 달성했습니다.
• 비교: 컴퓨터 사용 에이전트 (CUA) 가 성공/실패를 자체 보고하는 베이스라인과 비교했을 때, 제안된 접근법은 베이스라인을 크게 능가했습니다:
  • 정확도: 100% 대 82.2% (+17.8%p).
  • 재현율 (Recall): 100% 대 60.0% (+40.0%p).
  • F1 점수: 100% 대 69.8% (+30.2%p).
• 근본 원인 분석: 시스템은 "에이전트 실행 오류"와 "제품 버그"를 구별하는 능력을 입증하여, 에이전트가 실수했지만 제품은 정상인 "버그 아님" 시나리오를 식별하는 데 52.2% 의 F1 점수를 달성했습니다. 반면 CUA 베이스라인은 이러한 시나리오를 전혀 식별하지 못했습니다 (F1 점수 0%).

중요성과 주장

이 논문은 자율 에이전트에 대한 신뢰할 수 있는 행동 검증이 방대한 학습 코퍼스, 취약한 정확한 일치 명세, 또는 수동 어설션을 필요로 하지 않는다고 주장합니다. 단 몇 개의 통과 트레이스로부터 학습함으로써, 시스템은 다음과 같은 이점을 제공합니다:

• 설정 비용 절감: ML 기반 오라클에 필요한 수백 또는 수천 개의 학습 예시 필요성을 제거합니다.
• 설명 가능성 제공: 블랙박스 ML 분류기와 달리 해석 가능한 지배자 트리와 정밀한 커버리지 지표를 생성합니다.
• 비결정성 처리: 로딩 화면과 같은 허용 가능한 변이를 용인하면서도 필수 구조적 행동을 강제하여 녹화 및 재생 및 시각 회귀 도구의 주요 약점을 해결합니다.
• 광범위한 적용 가능성: UI 테스트에서 입증되었지만, 저자들은 이 접근법이 코딩 에이전트 (개발 패턴 검증), 로봇 프로세스 자동화 (준수 점검), 강화 학습 (학습 데이터 필터링) 에도 적용 가능하다고 주장합니다.

저자들은 시각적 상태 표현에 대한 의존성 (백엔드 서비스에는 덜 효과적), 통과 트레이스 필요성 (실패만으로는 학습 불가), 의미론적 동등성을 위한 LLM 의존성 등 한계를 인정합니다. 그러나 그들은 이 접근법이 복잡한 생산 환경에서 자율 에이전트의 신뢰성을 보장하기 위한 실용적이고, 소량 학습 (low-shot) 이 가능하며, 해석 가능한 메커니즘을 제공한다고 주장합니다.