기술 요약: 컴퓨터 사용 에이전트의 정렬되지 않은 행동 탐지 및 수정

1. 문제 정의

컴퓨터 사용 에이전트(Computer-use agents, CUAs)는 디지털 작업 자동화에서 상당한 진전을 보여주었으나, 빈번하게 정렬되지 않은 행동(misaligned actions)—사용자의 원래 의도에서 벗어난 동작—을 생성한다. 이러한 편차는 두 가지 주요 원인에서 발생한다:

1. 외부 공격: 환경에 내장된 악의적인 지시사항(예: 웹 콘텐츠 내의 간접 프롬프트 인젝션)이 에이전트를 재지시하는 경우.
2. 내부적 한계: 의도하지 않은 행동이나 해로운 동작을 유발하는 잘못된 추론, 그라운딩 실패, 또는 작업 경계 해석 오류.

기존의 안전성 연구는 주로 정책 위반 또는 안전 리스크(예: 데이터 유출, 무단 접근)에 초점을 맞추며, 사전 정의된 정책이나 알려진 공격 패턴에 의존한다. 그러나 이러한 안전 중심 패러다임은 중요한 공백을 남긴다. 즉, 에이전트가 기술적으로 허용 가능하고 악의적이지 않지만, 여로 정당화될 수 없는 방식으로 의도에서 벗어나는 행동(예: PDF를 내보낸 후 소스 파일을 삭제하거나, 관련 없는 애플리케이션을 여는 행위)을 수행할 수 있다는 점이다. 이러한 행동은 사용자 신뢰를 저하시키고 작업 효율성을 떨어뜨리지만, 전통적인 안전 가드레일로는 포착되지 않는다.

본 연구는 **행동 정렬(action alignment)**을 제안된 행동이 사용자의 진정한 의도를 진전시키는 것으로 정당화될 수 있는지 여부로 정의한다. 다음과 같은 경우 행동이 정렬되지 않은 것으로 간주된다:

• 사용자의 지시가 아닌 외부 지시(예: 주입된 지시사항)에 응답하는 경우.
• 승인되지 않았거나 원치 않는 결과를 초래하는 경우.
• 의도된 작업에 기여한다고 합리적으로 해석될 수 없는 경우.

해결하고자 하는 핵심 문제는 정렬되지 않은 행동 탐지(misaligned action detection), 즉 실제 결과에 접근하기 전에 제안된 행동이 정렬되지 않았는지 여부를 결정하는 것이다.

2. 방법론

2.1 MISACTBENCH: 종합 벤치마크

체계적인 평가를 위해 저자들은 558개의 현실적인 궤적에 걸쳐 2,264개의 인간 주석이 달린 행동 수준의 정렬 레이블을 포함하는 MISACTBENCH를 구축하였다. 이 벤치마크는 세 가지 범주의 정렬되지 않은 행동을 다룬다:

1. 악의적 지시 따르기: 외부의 악의적인 지시(예: 간접 프롬프트 인젝션)를 준수하는 행동.
2. 해로운 의도치 않은 행동: 공격이 아닌 내부적 한계(예: 추론 오류)로 인해 발생하는 해로운 행동.
3. 기타 작업 무관 행동: 효율성을 저하시키는 작업과 무관한 행동(예: 관련 없는 앱 열기).

데이터 수집 전략:

• 외부 공격: 공격이 성공한 적대적 벤치마크(OS-Harm, DoomArena, RedTeamCUA, RiOSWorld)에서 다양한 CUA(GPT-4o, Claude Sonnet 3.5/3.7, 특화된 CUA 모델 포함)를 실행하여 궤적을 수집하였다.
• 내부적 한계: 양호한 실행 중에는 내부 실패가 드물기 때문에, 저자들은 제어된 합성 절차를 사용하였다. OSWorld의 양호한 궤적을 가져와, 부적절한 하위 목표(예: 추출 후 파일 삭제)를 주입하기에 적합한 단계를 식별하고, 이 하위 목표들을 독립적인 작업으로서 실행한 뒤, 생성된 행동들을 다시 양호한 궤적에 병합하였다.
• 주석 작업: 엄격한 2단계 인간 주석 프로세스를 사용하여 0.84의 Fleis' Kappa 점수를 달성하였다.

2.2 DEACTION: 런타임 가드레일

저자들은 실행 전 정렬되지 않은 행동을 탐지하고 수정하는 실용적이고 플러그 앤 플레이 방식의 런타임 가드레일인 DEACTION을 제안한다. 이는 에이전트의 내부 파라미터와 독립적으로 작동한다.

아키텍처:
DEACTION은 상호작용 이력의 **내러티브 요약(narrative summary)**에 조건화된 2단계 탐지 파이프라인을 사용하여 (원시 스크린샷 대비 토큰 소비와 지연 시간을 줄이기 위해) 작동한다.

1. 1단계: 빠른 검사(Fast Check): 경량 LLM 평가를 통해 행동이 "명확히 정렬되었는지"(예: 구성을 조정하기 위해 설정을 여는 경우) 판단한다. 정렬된 경우, 지연 시간을 최소화하기 위해 추가 분석을 건너뛴다.
2. 2단계: 체계적 분석(Systematic Analysis): 모호한 행동의 경우, 다음 네 가지 구성 요소를 통해 심층적이고 구조화된 분석을 수행한다:
   • 주입 분석(Injection Analysis): 스크린샷에서 악의적이거나 기만적인 지시사항을 검사한다.
   • 행동 이해(Action Understanding): 현재 상태를 바탕으로 저수준 행동의 의미를 해석한다.
   • 결과 예측(Outcome Prediction): 상태 변화와 장기적인 영향을 예측한다.
   • 정렬 불일치 분석(Misalignment Analysis): 신호들을 통합하여 해당 행동이 사용자의 목표와 일치하는지 결정한다.

반복적 수정(Iterative Correction):
단순히 정렬되지 않은 행동을 차단하는 대신, DEACTION은 식별된 문제(예: 탐지된 인젝션, 예측된 부정적 결과)를 설명하는 구조화된 피드백을 에이전트에게 제공한다. 에이전트는 행동을 수정하도록 프롬프트되며, 정렬된 행동이 제안되거나 재시도 제한에 도달할 때까지 루프가 지속된다.

3. 주요 결과

3.1 오프라인 평가 (MISACTBENCH)

• 성능: DEACTION은 다양한 백본 모델(Qwen3-VL, Claude Sonnet 4.5, GPT-5.1)에 대해 베이스라인(Task Shield, InferAct)보다 F1 점수에서 15% 이상의 절대적 우위를 보였다.
• 정밀도 vs 재현율(Precision vs. Recall): 베이스라인은 종종 낮은 정밀도로 높은 재현율을 달성(잦은 오탐 발생)하는 반면, DEACTION은 높은 재현율을 유지하면서도 정밀도를 크게 향상시켜(최대 89.9%) 더 신뢰할 수 있는 탐지를 구현했다.
• 이력 표현: 이력 컨텍스트를 위해 내러티브 요약을 사용하는 것이 원시 스크린샷이나 행동만을 사용하는 것보다 성능이 뛰어났으며, 더 낮은 지연 시간(단계당 11초 vs 18초)과 토큰 소비를 달성했다.
• 지연 시간-성능 트레이드오프: 2단계 라우팅 설계는 모든 단계에서 체계적 분석을 실행하는 것에 비해 지연 시간을 줄이면서도, 전체 체계적 분석과 대등한 성능을 유지한다.

3.2 온라인 평가

• 적대적 설정 (RedTeamCUA): DEACTION은 다양한 CUA에 대해 공격 성공률(ASR)을 90% 이상 감소시키면서도, 공격 하의 유용성(Utility under Attack, UA)을 개선하거나 유지했다.
• 양호한 설정 (OSWorld): DEACTION은 작업 성공률을 유지하거나 개선하여, 일반적인 행동을 과도하게 제약하지 않음을 입증했다.
• 효율성: 가드레일은 관리 가능한 수준의 오버헤드(단계당 실행 시간의 약 25%)를 추가했다. 2단계 라우팅을 통해 45%의 행동이 심층 추론을 건너뛸 수 있었다.
• 수정 효능: 플래그가 지정된 정렬되지 않은 행동 중 78%가 반복적 피드백을 통해 정렬된 행동으로 성공적으로 수정되었으며, 62%는 단 한 번의 수정으로 고쳐졌다.

4. 기여

본 논문은 세 가지 주요 기여를 한다:

1. 의도 중심 관점: CUA의 편차를 단순한 안전/정책 위반 문제가 아닌 행동 정렬 문제로 프레이밍하고, 실제 배포 시 발생하는 세 가지 공통적인 정렬되지 않은 행동 범주를 식별하였다.
2. MISACTBENCH: 외부 공격과 내부적 한계를 모두 다루는, 2,264개의 인간 주석이 달린 행동 수준 정렬 레이블을 포함한 포괄적인 벤치마크를 도입하였다.
3. DEACTION: 실행 전 정렬되지 않은 행동을 선제적으로 탐지하고 구조화된 피드백을 통해 반복적으로 수정하는 실용적이고 보편적인 가드레일을 제안하였으며, 이를 적대적 및 양호한 환경 모두에서 검증하였다.

5. 의의 및 주장

저자들은 본 연구를 CUA에서의 정렬되지 않은 행동 탐지에 관한 첫 번째 체계적인 연구로 규정한다. 저자들은 DEACTION이 개방형 실세계 환경에서 컴퓨터 사용 에이전트의 신뢰성과 견고성을 높이는 플러그 앤 플레이 보호 메커니즘 역할을 한다고 주장한다.

이 연구의 의의는 "안전"(해를 피함)과 "정렬"(사용자 의도를 충실히 수행함) 사이의 간극을 해결하는 데 있다. 기술적으로는 허용되지만 의도에서 벗어나는 행동을 탐지하고 수정함으로써, 안전 리스크, 불필요한 부작업, 실행 실패를 줄이는 것을 목표로 한다. 저자들은 이 접근 방식이 기본 에이전트 아키텍처의 변경 없이도 더 신뢰할 수 있고 제어 가능한 머신 러닝 시스템의 배포를 지원한다고 단언한다.

인정된 한계점:
논문은 잘 위장된 악의적 지시사항이 여전히 '빠른 검사'를 통과할 수 있으며, 현재 LLM의 월드 모델링 한계로 인해 결과 예측이 여전히 도전적인 과제임을 언급한다. 또한, 제어되고 검증되었음에도 불구하고 내부 실패의 합성이 모든 가능한 내부 실패 모드를 전부 포괄하지 못할 수 있다. 향후 연구는 더 강력한 주입 탐지, 미세한 행동 이해, 그리고 정확한 의도 수준 추론에 집중할 것을 제안한다.