🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

이 논문은 추론 패턴이 아닌 브라우저 자동화의 고유한 아티팩트를 활용하는 최소한의 견고한 행동 특징 세트(구체적으로 mouse_event_rate 및 teleport_click_ratio)를 통해 AI 에이전트를 식별함으로써, 이진 인간 대 봇 분류기의 한계를 극복하고 정교한 회피 시도 속에서도 완벽에 가까운 탐지 정확도를 달성하는 3클래스 탐지 프레임워크를 제안한다.

원저자: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도시라고 상상해 보세요. 수십 년 동안 성문의 보안 요원들은 매우 단순한 업무를 수행했습니다. 그들은 단 두 종류의 사람만 찾아내면 되었습니다. 자연스럽고 약간 비틀거리며 걷고, 중간에 멈춰 생각하기도 하며, 때로는 자기 발에 걸려 넘어지기도 하는 인간이 있었습니다. 그리고 **봇(Bot)**은 엄격한 일정에 따라 움직이는 로봇과 같아서, 결코 주저하지 않고 완벽한 직선으로 행진하며 기계적인 정밀함으로 움직였습니다. 경비원들은 이 "인간 대 로봇"이라는 이분법을 중심으로 전체 시스템을 구축했습니다. 인간처럼 걸으면 통과되었고, 로봇처럼 행진하면 제지당했습니다.

하지만 최근 들어 세 번째 유형의 방문객이 나타나기 시작했습니다. 바로 **AI 에이전트(AI Agent)**입니다. 이들을 아주 똑똑하고 초지능적인 관광객이라고 생각해 보세요. 이들은 지도를 읽고, 복잡한 경로를 계획하며, 누구보다 뛰어난 문제 해결 능력을 갖추고 있습니다. 하지만 이들도 여로 이동하기 위해서는 도시의 자동화된 지하철 시스템(브라우저 자동화)을 이용해야 합니다. 문제는 이 AI 에이전트들이 매우 교활하다는 점입니다. 이들은 필요할 때 인간처럼 행동할 수 있을 만큼 영리하지만, 여전히 브라우저 자동화 도구를 사용하여 움직여야 합니다. 기존의 보안 요원들은 "인간" 혹은 "로봇"만을 식별하도록 훈련되었기에 혼란에 빠졌습니다. AI 에이전트들이 기존의 구식 로봇처럼 보이지 않도록 너무나 영리하게 행동했기 때문에, 요원들은 이들을 일반적인 사람으로 착각하여 성문 안으로 들여보내 버렸습니다.

이것이 뮌헨 공과대학교와 Kontext Security의 연구팀이 해결하고자 했던 퍼즐입니다. 그들은 다음과 같은 단순하지만 결정적인 질문을 던졌습니다. "마우스 움직임과 버튼 클릭 방식만을 관찰하여 인간, 로봇, 그리고 스마트한 AI 에이전트를 구분할 수 있는가?" 만약 가능하다면, 이를 위해 필요한 절대적인 최소 정보량은 얼마인가?

정체성의 위기

연구진은 기존의 보안 시스템이 처참하게 실패하고 있다는 것을 발견했습니다. 그들이 표준적인 "인간 대 봇" 탐지기를 이 새로운 AI 에이전트들에게 테스트했을 때, 결과는 엉망이었습니다. 흔히 쓰이는 탐지기 유형(MLP라고 불리는)은 **39.1%**의 AI 에이전트가 인간으로 오인되어 통과되도록 내버려 두었습니다. 더욱 정교한 탐지기(SAINT라고 불리는)는 **34.5%**를 놓쳤습니다. 랜덤 포레스트(Random Forest) 모델조차 이들의 **30.0%**를 잡아내지 못했습니다.

연구팀은 이것이 단순히 탐지기가 "멍청해서" 발생하는 문제가 아니라는 점을 깨달았습니다. 이것은 구조적인 문제였습니다. 탐지기들은 사람을 분류하기 위해 "인간" 또는 "봇"이라는 두 개의 상자만을 가지고 만들어졌습니다. 스마트한 AI 에이전트가 나타났을 때, 그들은 어느 쪽 상자에도 깔끔하게 들어맞지 않았고, 결국 탐지기는 그냥 추측을 해버린 것입니다. 연구진은 만약 "에이전트"라고 라벨링 된 세 번째 상자를 단순히 추가하기만 한다면, 탐지기들이 매번 **100%**의 확률로 에이전트를 완벽하게 잡아낼 수 있다는 것을 증명했습니다.

비밀은 "유령"의 움직임에 있다

그렇다면 어떻게 그들을 잡아냈을까요? 연구팀은 AI 에이전트들이 잡히는 이유가 그들의 "사고"나 영리한 "계획" 때문이 아니라는 것을 발견했습니다. 대신, 그들은 기계 속의 유령들 때문에 잡혔습니다.

사람이 키보드를 치거나 마우스를 움직이는 모습을 상상해 보세요. 그들의 손은 물리적인 객체입니다. 무게가 있고, 관성이 있으며, 카메라나 센서가 포착할 수 있는 미세하고 지저리며 떨리는 움직임을 만듭니다. 하지만 AI 에이전트가 브라우저 자동화 도구(Playwright와 같은)를 사용할 때, 그것은 물리적인 손을 움직이는 것이 아닙니다. 그것은 디지털 명령을 보내는 것입니다. 마치 유령이 버튼을 누르는 것과 같습니다.

연구팀은 이 디지털 유령들이 매우 구체적이고 눈에 보이지 않는 서명을 남긴다는 것을 발견했습니다.

지터(Jitter)의 부재: 인간이 마우스를 움직일 때에는 약간의 흔들림이 발생합니다. 하지만 AI가 클릭할 때는 목표 지점에 그냥 '나타납니다'. 클릭 직전까지의 작고 지저분한 움직임이 없습니다.
"휠(Wheel)" 회전의 부재: 마우스 휠로 웹페이지를 스크롤하면 특정 데이터 스트림이 생성됩니다. 하지만 AI는 휠을 아예 건너뛰고 페이지에 스크롤 명령을 직접 내립니다.
즉각적인 클릭: 인간은 마우스 버튼을 누르고 떼는 데 아주 짧은 찰나의 시간이 걸립니다. 하지만 AI는 변동성 없이 즉각적으로 수행합니다.

연구팀은 AI가 숨을 수 있는지 테스트하기 위해 "5단계 회피 사다리"를 구축했습니다. 그들은 모든 방법을 시도했습니다.

1단계: AI가 평범하게 클릭함.
2단계: AI가 수학 공식을 사용하여 인간처럼 곡선을 그림.
3단계: AI가 인간의 움직임을 모방하는 학습형 AI(GAN)를 사용하여 가짜 마우스 경로를 생성함.
4단계: AI가 인간처럼 보이기 위해 무작위 "지터"를 추가함.
5단계: AI가 실제 인간이 마우스를 움직인 기록을 재생함.

심지어 AI가 실제 인간의 마우스 움직임 녹화본을 재생했을 때(5단계)조차도 여전히 발각되었습니다! 왜일까요? 마우스의 경로는 인간처럼 보였을지라도, 클릭이 일어나는 방식은 여전히 디지털 명령이었기 때문입니다. AI는 물리적인 마우스 휠을 사용하지 않았다는 사실이나, 인간의 손이 가진 미세하고 자연스러운 떨림이 없다는 사실을 속일 수 없었습니다. "유령"의 서명이 여전히 남아 있었던 것입니다.

마법의 두 가지 특징 세트

이 발견에서 가장 흥ante한 부분은 실제로 얼마나 적은 정보가 필요했는가 하는 점이었습니다. 연구진은 모든 AI 에이전트를 잡아낼 수 있는 가장 작은 특징 세트를 찾기 위해 수천 가지의 서로 다른 조합을 테스트했습니다.

그들은 AI를 식별하기 위해 매우 복잡한 시스템이 필요하지 않다는 것을 발견했습니다. 단 두 가지의 간단한 요소만 있으면 됩니다:

마우스 이벤트 발생률(Mouse Event Rate): 마우스가 얼마나 자주 움직이는가. (AI의 움직임은 클릭 전까지 매우 드물거나 존재하지 않는 경우가 많습니다).
클릭 지속 시간 표준 편차(Click Duration Standard Deviation): 클릭하는 데 걸리는 시간의 변동성이 얼마나 큰가. (AI의 클릭은 완벽하게 일관적이지만, 인간의 클릭은 다양합니다).

이 두 가지 단서만으로도 시스템은 가장 고도화된 속임수를 사용하는 상황에서도 **100%**의 AI 에이전트를 식별할 수 있었습니다. 만약 여기에 세 가지 특징(타이핑 속도나 스크롤 속도의 변동성 등)을 더 추가한다면, 시스템은 인간, 봇, 에이전트를 동시에 완벽하게 구분하여 0.991이라는 거의 완벽한 점수를 기록할 수 있었습니다.

이것이 의미하는 바

이 논문은 AI 에이전트를 잡아내는 것은 그들이 인간처럼 "생각하는가"를 알아내는 것이 아니라, 그들이 웹을 돌아다니기 위해 다른 종류의 "근육"을 사용하고 있음을 알아채는 것이라고 결론짓습니다. 그들은 물리적인 손 대신 디지털 명령을 사용하고 있습니다.

연구진은 만약 단 하나의 특징만을 사용하여 탐지기를 만들려고 한다면 속을 수 있다고 경고합니다. 예를 들어, 단독으로는 완벽해 보였던 한 가지 특징은 탐지기가 실제 인간을 포함한 모든 사람을 "에이전트"라고 추측하게 만들어, 아무런 쓸모가 없게 만들었습니다. 하지만 올바른 두 가지 특징을 함께 사용한다면, 탐지기는 매우 강력해집니다.

이 발견은 인터넷의 미래에 있어 매우 중요한 사건입니다. AI 에이전트가 흔해짐에 따라, 웹사이트들은 누가 브라우징을 하고 있는지 알아야 할 것입니다. 이 연구는 그들을 찾아내기 위해 거대하고 복잡한 시스템을 구축할 필요가 없다는 것을 보여줍니다. 우리는 그저 디지털 유령들이 인간처럼 걷고자 할 때 남기는 작고 보이지 않는 발자국을 찾기만 하면 됩니다. 그리고 그들이 표준적인 브라우저 도구를 사용하는 한, 그 발자국은 언제나 그곳에 남아 있을 것입니다.

기술 요약: 브라우저 자동화 환경 내 AI 에이전트의 행동 탐지를 위한 최소 기능 집합

1. 문제 정의

보안 업계는 오랫동안 웹 트래픽을 인간 또는 봇이라는 이분법적 가정하에 운영해 왔습니다. 이러한 이분법은 행동 생체 인식, CAPTCHA 및 봇 관리 플랫폼의 발전을 이끌어 왔습니다. 그러나 LLM 기반 AI 에이전트(예: Anthropic의 Computer Use, OpenAI의 Operator)의 등장은 제3의 별도 트래픽 클래스를 도입했습니다. 정형화된 스크립트를 따르는 전통적인 봇과 달리, 이 에이전트들은 Playwright와 같은 자동화 API를 통해 실제 브라우저를 사용하여 자율적으로 브라우징하고, 추론하며, 다단계 작업을 수행합니다.

본 연구에서 식별된 핵심 문제는 이진 분류기는 세 가지 클래스의 세계를 구조적으로 표현할 수 없다는 점입니다. "인간"과 "봇" 사이에서 하나를 선택하도록 강요받을 때, 이진 분류기는 AI 에이전트를 잘못 분류합니다. 논문은 이것이 단순히 모델링 용량의 문제가 아니라, 레이블 공간에 "에이전트" 클래스가 결여된 구조적 문제임을 입증합니다. 결과적으로, 정교한 이진 분류기(MLP, SAINT)는 실제 AI 에이전트의 약 34~39%를 "인간"으로 오분류하며, 이를 잡아내는 모델(예: XGBoost)은 견고한 에이전트 특이적 신호가 아닌 취약하고 우연한 특징에 의존하는 경우가 많습니다.

2. 방법론

데이터셋 구축

저자들은 다음으로 구성된 통합 3클래스 데이터셋을 구축했습니다:

인간 (Humans): CAPTCHA 해결 중의 마우스 역학을 포착하기 위해 CaptchaSolve30k에서 추출한 14,000개 이상의 세션.
봇 (Bots): 문헌에 근거한 분포를 바탕으로 세 가지 아키타입(Headless, Scripted, Sophisticated)으로부터 생성된 5,000개의 합성 샘플. "Sophisticated" 아키타입은 trivial한 특징 분리를 방지하기 위해 의도적으로 인간의 행동과 중첩되도록 설계되었습니다.
에이전트 (Agents): LLM(Claude)이 10가지 다양한 웹 작업(양식 작성, 네비게이션, 로그인 등)에 대해 Playwright를 통해 Chrome 브라우저를 구동한 1,025개의 실제 세션.

특징 공학 (Feature Engineering)

연구에서는 17개의 연속적 행동 특징(궤적, 클릭, 타이밍 및 에이전트 특이적 비율)과 7개의 이진 환경 특징을 추출했습니다. 주요 특징은 다음과 같습니다:

mouse_event_rate: 원시(raw) mousemove 이벤트 발생률.
teleport_click_ratio: 원시 이벤트 점프(jump)가 선행된 클릭의 비율.
click_duration_std: 클릭 유지 시간의 표준 편차.
inter_action_gap_ 특징들: LLM의 "정지-추론-실행(pause-think-act)" 주기를 포착하도록 설계됨.

모델 아키텍처 및 평가

모델: MLP, Random Forest, XGBoost, 그리고 SAINT(테이블러 트랜스포머)를 평가했습니다.
3클래스 정식화: 구조적 간극을 해결하기 위해 저자들은 SAINT를 3클래스 분류(인간, 봇, 에이전트)에 적합하도록 조정했습니다.
회피 사다리 (Evasion Ladder): 견고성을 테스트하기 위해 다음의 5단계 회피 사다리를 구축했습니다:
1. None: 네이티브 Playwright API.
2. Rule-based: 베지에 곡선(Bézier curves) 및 인간 샘플링 지연 시간.
3. GAN: WGAN-GP로 생성된 궤적.
4. GAN+: 미세 지터(micro-jitter)와 Fitts의 법칙 타이밍이 적용된 GAN 궤적.
5. Human Replay: CaptchaSolve30k의 실제 인간 커서 궤적을 Playwright를 통해 재생.
특징 선택: 계산 효율성을 위해 Gradient Boosting Machines(GBM)를 사용하여 수행된 전수 조사( $k=1$ 부터 $5$까지의 9,401개 특징 부분집합)와 전방 선택(forward selection) 및 후방 제거(backward elimination)를 병행했습니다.

3. 주요 결과

이진 탐지의 간극

이진 분류기는 에이전트를 인간과 효과적으로 구분하지 못합니다:

MLP: 에이전트의 39.1%를 인간으로 오분류.
SAINT: 에이전트의 34.5%를 인간으로 오분류.
Random Forest: 30.0% 오분류.
XGBoost: 100% 탐지율을 달랐으나, 에이전트 특이적 신호가 아닌 취약하고 우연한 특징(예: 스크롤 이벤트 누락)에 의존함.

해결책: 3클래스 정식화(인간, 봇, 에이전트)로 전환함으로써 이 간극을 완전히 제거했습니다. 3개 클래스로 학습된 SAINT 모델은 모든 30번의 실행(3개 모델 패밀리 × 10개 시드)에서 에이전트에 대해 F1 = 1.000을 달성했습니다.

회피에 대한 견고성

3클래스 탐지기는 실제 인간의 궤적을 Playwright로 재생한 "Human Replay" 단계를 포함한 모든 5단계 회피 수준에서도 **100% 에이전트 재현율(Recall)**을 유지했습니다.

핵적인 통찰: 궤적 수준에서의 회피(GAN, 리플레이)는 이벤트 스트림 구조가 비인간적이기 때문에 실패합니다. 자동화 API(Playwright)는 물리적 장치가 생성하는 원시 포인터 이동 스트림이나 wheel-delta 스트림을 방출하지 않습니다.
아티팩트(Artifacts): 탐지 신호는 "부재 신호(absence signatures)"에 의존합니다. 즉, 클릭 전의 원시 이벤트 텔레포트 제로, 빈 wheel-delta 시리즈, 빈 클릭 전 mousemove 트랙 등이 이에 해당하며, 이는 커서 경로가 인간과 유사해지더라도 지속됩니다.

최소 특징 집합

전수 조사와 후방 제거를 통해 다음과 같은 작은 특징 부분집합이 충분함을 확인했습니다:

두 개의 특징:
- {mouse_event_rate, teleport_click_ratio} (전수 조사 결과): 100% 에이전트 재현율과 에이전트 정밀도(Precision) = 0.994, Macro-F1 = 0.926을 달성.
- {mouse_event_rate, click_duration_std} (후방 제거 결과): 100% 에이전트 재현율과 에이전트 정밀도 = 1.000, Macro-F1 = 0.904를 달성.
다섯 개의 특징: Macro-F1을 ≥0.99로 높여 세 클래스 전체에 걸쳐 견고한 구별을 가능하게 함.
퇴행적 사례 ( $k=1$ ): 단일 "완벽한" 특징(cursor_path_linearity)은 진단적 함정입니다. 이는 분류기가 항상 "에이전트"라고 예측하도록 강제하여 낮은 정밀도(0.33)와 Macro-F1(0.17)을 초래합니다.

신호의 기원

구별 신호는 에이전트의 추론 과정(예: "pause-think-act" 주기)이나 작업 복잡도의 산물이 아닙니다.

LLM 추론 간극을 포착하도록 설계된 특징들(예: inter_action_gap_variance)은 에이전트 재현율에 영향을 주지 않고 후방 제거에 의해 제거되었습니다.
신호는 API 실행 아티팩트입니다: 브라우저 자동화 API(Playwright/CDP)가 이벤트를 생성하는 방식(프로그래밍 방식의 DOM 호출)이 물리적 입력 장치와 근본적으로 다릅니다.
작업 독립성: 작업 관련 특징(타이핑, 스크롤)을 제거해도 에이전트 탐지에 영향을 미치지 않았으며, 이는 신호가 마우스 역학 및 이벤트 스트림의 존재 여부에 있음을 확인시켜 줍니다.

4. 의의 및 주장

본 논문은 다음을 수행한 최초의 연구라고 주장합니다:

LLM 기반 브라우저 에이전트를 전통적인 봇과 구별되는 별도의 탐지 카테고리로 취급했습니다.
"이진 vs 에이전트" 혼동이 레이블 공간의 구조적 한계임을 입증했으며, 이는 세 번째 클래스를 추가함으로써 해결 가능함을 보여주었습니다.
탐지가 인지적 패턴이 아닌 저수준 API 아티팩트(원시 이벤트 스트림의 부재)에 의존함을 보여줌으로써, 궤적 기반 회피(GAN, 인간 리플레이)에 대해 견고함을 증명했습니다.
실무 배포를 위한 최소 특징 집합을 제공하여, 두 개의 행동 특징만으로 유닛 정밀도(unit precision)를 가진 에이전트 격리가 가능함을 입증했습니다.

한로 및 범위:

결과는 CDP 매개 자동화(Playwright, Puppeteer, Selenium with CDP)에 특화되어 있습니다.
본 논문은 브라우저 API를 완전히 우회하는 에이전트(예: xdotool 또는 하드웨어 에뮬레이터와 같은 OS 레벨 입력 시뮬레이션 사용)는 이 탐지 방법을 회피할 가능성이 높다고 명시합니다.
봇 클래스는 합성된 것이며, 에이전트 탐지는 실제 데이터로 검증되었으나, 3클래스 구분을 위한 Macro-F1 점수는 합성된 봇 분포에 의존합니다.
"Human Replay" 회피 단계는 Playwright API에 국한되며, OS 레벨의 주입(injection)은 테스트하지 않았습니다.

결론적으로, 본 논문은 AI 에이전트가 현재 탐지 가능한 이유는 그들이 이벤트 스트림 내에서 뚜렷한 비인간적 "부재 신호"를 남기는 자동화 API를 통해 작동하기 때문이라고 주장합니다. 이 신호는 중복적이고 최소한의 것(2~5개 특징 필요)이며, 가장 정교한 궤적 기반 회피 시도조차 극복할 수 있는 견고함을 가집니다.