🤖 AI

Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents

이 논문은 상용 솔버와 신흥 LLM 기반 브라우저 에이전트를 대상으로 웹 봇 방어 체계의 회복력을 체계적으로 평가하며, 챌린지 기반 방어는 쉽게 우회되는 반면 비대화형 방어는 행동 분석보다 실행 환경의 신뢰성에 더 의존함으로써 신뢰할 수 있는 환경에서 작동하는 정교한 에이전트에 취약하다는 점을 밝히고 있다.

원저자: Behzad Ousat, Nikita Turkmen, Lalchandra Rampersaud, Dillan Bailey, Amin Kharraz

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Behzad Ousat, Nikita Turkmen, Lalchandra Rampersaud, Dillan Bailey, Amin Kharraz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도시라고 상상해 보세요. 이 도시에는 두 가지 주요 유형의 여행자가 있습니다. 바로 실제 사람과 '봇(bot)'입니다. 봇은 어떤 일을 빠르게 수행하도록 프로그래밍된 자동화된 로봇과 같습니다. 때로는 편지를 분류하는 우체부처럼 도움이 되기도 하지만, 종종 비밀번호를 훔치기 위해 수천 개의 문 잠금장치를 동시에 따려는 도둑처럼 악의적인 모습을 보이기도 합니다. 도시를 안전하게 지키기 위해 웹사이트 소유자들은 문 앞에 '게이트(gate)'를 설치합니다. 오랫동안 이 게이트는 "당신은 인간입니까?"라는 간단한 질문을 던지는 경비원과 같았습니다. 예를 들어, 교통 신호등 사진을 보여주고 그것을 클릭하라고 요청하는 식이었죠. 만약 당신이 올바른 것을 클릭했다면, 안으로 들어갈 수 있었습니다. 하지만 사진을 볼 수 없는 로봇이라면 밖에서 갇혀 있어야 했습니다.

하지만 최근, 새로운 종류의 여행자가 도착했습니다. 바로 'AI 에이전트'입니다. 이들을 서투른 로봇이 아니라, 아주 똑똑한 디지털 인턴이라고 생각해보세요. 이들은 웹사이트를 읽고, 내용을 이해하며, 버튼을 클릭하고, 심지어 평이한 영어로 된 지시사항을 따라 퍼즐을 풀 수도 있습니다. 보안 요원들의 큰 고민은 이것입니다. "이 똑똑한 인턴들이 경비원들을 속일 수 있을까?" 만약 답이 '예'라면, 기존의 게이트들은 더 이상 도둑들을 막아내기에 충분하지 않을 것입니다. 이것이 바로 플로리다 국제 대학교(Florida International University)의 연구팀이 알아내고자 했던 핵심입니다. 그들은 이 새로운 AI 에이전트들이 오늘날 웹사이트에서 사용하는 현대적인 보안 게이트를 몰래 통과할 수 있는지, 만약 그렇다면 어떻게 통과하는지를 확인하고 싶었습니다.

위대한 게이트 탈취 사건: 연구진이 발견한 것들

연구진은 방어 체계를 테스트하기 위해 '악당' 역할을 맡기로 했습니다. 그들은 단순히 추측만 한 것이 아니라, 고전적인 "교통 신호등 클릭" 퍼즐부터 백그라운드에서 실행되는 보이지 않는 보안 검사까지, 7가지 서로 다른 유형의 보안 게이트가 있는 실제 세계의 테스트 도시를 구축했습니다. 그런 다음, 누가 통과할 수 있는지 확인하기 위해 두 팀의 공격자를 투입했습니다.

팀 1: "사람 고용하기" 서비스
첫 번째 팀은 중간 관리자 역할을 하는 상업적 서비스를 이용했습니다. 로봇이 퍼즐에 부딪히면, 스스로 해결하는 대신 실제 사람 작업자에게 사진을 보내 몇 초 만에 정답을 받아오는 방식입니다. 연구진은 이 방법이 무서울 정도로 효과적이라는 것을 발견했습니다. 고전적인 퍼즐(hCaptcha나 reCaptcha v2 같은 경우)에 대해, 이 서비스들은 **100%**의 성공률을 기록했습니다. 이는 마치 당신을 위해 자물쇠를 따 줄 사람을 고용하는 것과 같았습니다. 거의 매번 성공했으며, 비용도 1,000번 시도당 때로는 단돈 0.10달러 정도로 매우 저렴했습니다. 퍼즐을 보여주지 않는 "보이지 않는" 게이트조차도 대부분 이 방식으로 뚫렸습니다. 하지만 아무런 질문도 던지지 않고 사용자의 행동을 관찰하는 가장 진보된 형태의 보이지 않는 게이트(reCaptcha v3)의 경우, 이 서비스들의 성공률은 약 **23%**에 그쳤습니다. 퍼즐을 풀기 위해 사람을 고용할 수는 있지만, 사람을 고용해 가짜 디지털 이력을 만들어내는 것은 쉽지 않다는 결론이 나왔습니다.

팀 2: "똑똑한 AI 인턴들"
두 번째 팀은 스스로 읽고 클릭할 수 있는 새로운 LLM 기반 브라우저 에이전트, 즉 "똑똑한 인턴들"을 사용했습니다. 연구진은 클라우드에서 실행되거나 개인 컴퓨터에서 실행되거나 브라우저 확장 프로그램 형태인 6가지 서로 다른 버전의 에이전트를 테스트했습니다.

결과는 실패와 놀라움이 섞여 있었습니다. 고전적인 퍼즐을 마주했을 때, 대부분의 AI 인턴들은 처참하게 실패했습니다. 그들은 퍼즐을 볼 수도 있고 지시사항을 이해할 수도 있었지만, 이미지 인식 과제를 실제로 '해결'하지는 못했습니다. 이는 마치 지도는 읽을 줄 알지만 신발 끈은 묶지 못하는 천재를 보는 것과 같았습니다. 그들에게는 도움을 줄 특별한 '솔버(solver)' 모듈이 필요했고, 그것 없이는 움직일 수 없었습니다.

하지만 이야기는 여기서부터 정말 흥ей로워집니다. 연구진이 이 에이전트들을 보이지 않는 게이트(reCaptcha v3 등)에 대해 테스트했을 때, 에이전트들이 실패한 이유는 그들이 "멍청해서"가 아니었습니다. 그들은 "가짜처럼 보였기 때문"이었습니다.

연구진은 보안 시스템이 에이전트가 얼마나 똑똑한지를 체크하는 것이 아니라, 에이전트의 환경이 얼마나 실제처럼 보이는지를 체크한다는 것을 발견했습니다. 연구진은 거의 동일하게 행동하는 두 에이전트, Browser-Use와 NanoBrowser를 비교했습니다. 두 에이전트 모두 버튼을 클릭하고, 마우스를 움직이고, 양식을 작성하는 방식이 거의 똑같았습니다. 그럼에도 불구하고, NanoBrowser는 게이트를 통과했지만, Browser-Use는 차단되었습니다.

왜 그랬을까요? 차이점은 행동 방식에 있지 않았습니다. 차이점은 그들의 "배낭"에 있었습니다. NanoBrowser는 쿠키, 저장된 로그인 정보, 안정적인 디지털 지문(fingerprint) 등 오랜 시간의 기록을 가진 실제 웹 브라우저 안에서 실행되고 있었습니다. 마치 도시에서 수년간 거주해 온 사람처럼 말이죠. 반면, Browser-Use는 깨끗하고 갓 생성된 브라우저 환경에서 실행되고 있었는데, 이는 마치 현지 유심 카드를 아직 사지 않은 채 막 도착한 관광객처럼 수상하게 보였습니다. 보안 시스템은 이 "깨끗한" 환경의 냄새를 맡고, 에이전트가 완벽하게 행동하고 있음에도 불구하고 "안 돼, 너는 봇이야"라고 선언한 것입니다.

핵심적인 시사점

이 논문은 "퍼즐을 더 어렵게 만드는 것"이라는 기존의 개념이 힘을 잃어가고 있다고 시사합니다. 단순히 퍼즐을 더 복잡하게 만든다고 해도, 공격자들은 단돈 몇 푼에 사람을 고용해 이를 해결할 수 있기 때문입니다. 가장 똑똑한 AI 에이전트들조차 특별한 도구 없이는 퍼즐을 풀 수 없습니다.

진정한 보안 경계는 이동했습니다. 이제는 "수수께끼를 풀 수 있느냐"의 문제가 아니라, "당신이 이 동네에 속해 있다는 것을 증명할 수 있느냐"의 문제입니다. 연구진은 reCaptcha v3와 같은 방어 체계가 강력한 이유가, "깨끗한" 로봇 환경과 "삶의 흔적이 있는" 인간 환경을 구분할 수 있기 때문이라는 것을 발견했습니다. 하지만 이것이 완벽한 방패는 아닙니다. 연구는 AI 에이전트들이 쿠키, 히스토리, 지문을 온전히 유지함으로써 실제 브라우저 환경을 모방하는 능력이 향상됨에 따라, 결국 이 보이지 않는 게이트들까지 속일 수 있게 될 것이라고 암시합니다.

요약하자면, "똑똑한 인턴들"은 점점 더 똑똑해지고 있지만, 현재로서는 그들이 진짜 사람임을 증명할 "신분증"(브라우저 기록과 쿠키)을 가지고 있지 않기 때문에 여전히 붙잡히고 있습니다. 이 논문이 시사하는 바에 따르면, 웹 보안의 미래는 퍼즐이 얼마나 어려운가보다는, 실제 디지털 삶과 가짜 삶 사이의 차이를 얼마나 잘 포착할 수 있느냐에 달려 있을 것입니다.

기술 요약: 부서진 문: LLM 에이전트 시대의 웹 봇 방어 재평가

문제 정의

웹 보안의 지형은 LLM(대규모 언어 모델) 기반 브라우저 에이전트의 등장으로 인해 변화하고 있습니다. 기존의 자동화 프레임워크가 취약하고 미리 정의된 스크립트에 의존하는 것과 달리, 이러한 에이전트는 자연어를 사용하여 콘텐츠를 추론하고 인터페이스와 상호작용하며 자율적으로 웹사이트를 탐색할 수 있습니다. 이러한 진화는 인간 사용자와 자동화된 행위자 사이의 구분에 의존하는 현재의 봇 관리 시스템의 근본적인 가설에 도전합니다.

본 논문은 현재의 방어 생태계에 존재하는 두 가지 주요 취약점을 다룹니다:

상업적 솔버 서비스(Commercial Solver Services): 캡차(Captcha) 해결을 외주화하는 제3자 서비스로, 이로 인해 챌린지 기반 방어가 무력해질 가능성이 있습니다.
LLM 기반 에이전트: 오프더쉘(off-the-shelf) 에이전트가 우수한 추론 능력 때문이 아니라, 실행 환경과의 상호작용을 통해 방어를 우회할 수 있는 능력입니다.

핵심 연구 질문은 현대적인 봇 방어(대화형 및 비대화형 모두)가 이러한 진화하는 위협 벡터에 대해 여전히 효과적인가, 만약 그렇지 않다면 공격의 성공과 실패를 결정하는 구체적인 요인은 무엇인가 하는 점입니다.

방법론

저자들은 통제된 테스트베드 내의 7개 웹 애플리케이션을 대상으로 두 가지 별도의 공격자 스택을 활용한 체계적인 측정 연구를 수행했습니다.

1. 실험 설정

테스트베드: 특정 봇 완화 설정을 구성한 7개의 전용 서브도메인에 배포된 7개의 보호된 웹 애플리케이션. 애플리케이션은 백엔드 로직의 변동성을 격리하기 위해 표준 HTML 폼을 사용했습니다.
방어 구성: 연구는 다음의 방어 스펙트럼을 다룹니다:
- 챌린지 기반(Challenge-Based): hCaptcha (Easy/Hard), reCaptcha v2 (Checkbox/Invisible).
- 비대화형/행동 기반(Non-Interactive/Behavioral): reCaptcha v3 (점수 기반), Cloudflare Turnstile (Managed/Invisible).
공격자 스택:
- 상업적 솔버: 7개의 인기 있는 제3자 해결 서비스(예: 2Captcha, Anti-Captcha, AZCaptcha)를 다양한 난이도 수준에 걸쳐 테스트했습니다.
- LLM 기반 브라우저 에이전트: 6개의 에이전트를 4가지 배포 모드로 평가했습니다:
  - 클라우드 호스팅: Browser-Use, Skyvern, Manus.
  - 셀프 호스팅: Browser-Use, Skyvern, OpenManus, SeeAct.
  - AI 지원 브라우저: BrowserOS, Perplexity Comet.
  - 브라우저 확장 프로그램: NanoBrowser.

2. 평가 프로토콜

RQ1 (솔버): 병렬화된 파이프라인을 통해 각 솔버 서비스에 대해 타겟당 100개의 태스크를 제출했습니다. 성공은 유효한 토큰을 받거나 벤더의 임계값(예: reCaptcha v3의 경우 >0.5)을 초과하는 신뢰 점수를 받는 것으로 정의되었습니다.
RQ2 (에이전트): 에이전트에게 표준 작업(로그인 폼 제출)을 부여했습니다. 성공을 위해서는 두 단계가 필요했습니다: (1) 검증 메커니즘 우회, (2) 폼 제출 성공.
RQ3 (근본 원인 분석): 미세한 상호작용 트레이스 분석을 통해 Browser-Use(실패한 에이전트)와 NanoBrowser(성공한 에이전트)를 비교했습니다. 두 에이전트는 거의 구별 불가능한 행동 이벤트 트레이스(클릭, 마우스 움직임, 타이밍)를 생성했음에도 불구하고, reCaptcha v3에 대해 서로 다른 결과를 냈습니다.

주요 기여

솔버의 체계적 측정: 본 논문은 hCaptcha, reCaptcha v2, reCaptcha v3, Cloudflare Turnstile에 대한 7개의 상업적 솔버 서비스를 종합적으로 평가합니다. 솔버들이 매우 낮은 비용(1,000회 해결당 $0.10 수준)으로 챌린지 기반 시스템에 대해 거의 완벽한 우회율을 달성하는 반면, 비대화형 행동 기반 방어에는 크게 어려움을 겪는다는 것을 입증했습니다.
LLM 에이전트 평가: 6개의 다양한 LLM 기반 브라우저 에이전트의 성능을 특성화합니다. 연구 결과, 에이전트들은 복잡한 워크플로우를 탐색할 수는 있지만, 전용 솔버 모듈 없이는 챌린지 기반 방어에 지속적으로 실패하며, 추론 능력의 한계가 아닌 환경적 탐지 가능성 때문에 비대화형 방어에 실패한다는 것을 발견했습니다.
보안 경계 식별: 비교 트레이스 분석을 통해, 본 논문은 **실행 환경의 진본성(execution-environment authenticity)**을 우회 성공의 결정적 요인으로 분리해 냈습니다. 이는 행동적 유사성만으로는 우회에 충분하지 않으며, 실제 브라우저 프로필에 축적된 장기적인 환경적 정당성(쿠키, 히스토리, 안정적인 핑거프린트)의 존재가 핵심적인 차별화 요소임을 보여줍니다.

결과

상업적 솔버의 성능

챌린지 기반 방어: 솔버들은 reCaptcha v2 (Checkbox 및 Invisible)와 hCaptcha (Easy)에 대해 거의 100%의 성공률을 달이트했습니다. hCaptcha (Hard)의 경우 운영 복잡성과 제한된 제공업체 지원으로 인해 성공률이 58~100%로 낮았습니다.
비대화형 방어: 성능이 reCaptcha v3에 대해 크게 하락했습니다. 서비스 평균 성공률은 23%에 불과했으며, 가장 우수한 성과를 낸 BestCaptchaSolver조차 63%를 기록했습니다. 대부분의 서비스는 0.5 임계값을 초과하는 토큰을 생성하는 데 실패했습니다.
비용: 챌린지 기반 우회는 상품화되어 있으며, 1,000회 해결당 $0.10에서$ 5.00 사이의 비용이 듭니다.

LLM 기반 에이전트의 성능

챌린지 기반 시스템: 대부분의 에이전트는 전문화된 통합 없이는 시각적 퍼즐(hCaptcha)이나 체크박스 상호작용(reCaptcha v2)을 해결하는 데 실패했습니다. Skyvern(클라우드 호스팅)은 독자적인 캡차 해결 파이프라인 덕분에 높은 성공률을 달성한 예외적인 사례였습니다.
비대화형 시스템:
- 클라우드 또는 셀프 호스팅 환경에서 실행되는 에이전트들(예: Browser-Use, Skyvern)은 상호작용 워크플로우를 빈번하게 완료했지만, reCaptcha v3 및 Turnstile으로부터 낮은 신뢰 점수를 받아 제출에 실패했습니다.
- NanoBrowser(브라우저 확장 프로그램)는 reCaptcha v3와 Turnstile을 일관되게 우회한 유일한 에이전트였습니다. 이는 표준 사용자 브라우저 프로필 내에서 작동하며 지속적인 쿠키, 히스토리, 안정적인 핑거프린팅 신호를 상속받기 때문입니다.

근본 원인 분석 (RQ3)

연구는 Browser-Use와 NanoBrowser를 비교했습니다.

행동 트레이스: 두 에이전트는 거의 동일한 이벤트 트레이스(마우스 움직임, 클릭 타이밍)를 생성했으며 유사한 시간(~11초) 내에 작업을 완료했습니다.
결과의 괴리: Browser-Use는 지속적으로 낮은 신뢰 점수(0.1–0.3)를 받은 반면, NanoBrowser는 성공했습니다.
결론: Browser-Use의 실패는 행동적 이상 징후 때문이 아니라 환경적 진본성의 결여 때문이었습니다. NanoBrowser의 성공은 축적된 신뢰 신호(쿠키, 히스토리 등)를 가진 "실제" 브라우저 환경 내에서의 작동 덕분이었으며, 반면 Browser-Use는 장기적 정당성 표식이 부족한 깨끗하고 계측된 환경에서 실행되었습니다.

의의 및 주장

본 논문은 봇 관리 시스템의 보안 경계를 재정의합니다. 저자들은 다음과 같이 주장합니다:

보안 경계의 이동: 비대화형 방어(reCaptcha v3와 같은)의 회복력은 챌린지의 복잡성(챌린지가 없으므로)에서 오는 것이 아니라 실행 환경 레이어에서 옵니다. 시스템은 "깨끗한" 자동화 환경과 "진정한" 사용자 환경을 효과적으로 구분합니다.
행동 모사가 불충분함: 인간과 유사한 상호작용 패턴(마우스 움직임, 타이밍)을 시뮬레이션하는 것만으로는, 밑바탕이 되는 브라우저 환경에 역사적 정당성(쿠키, 히스토리, 확장 프로그램)이 없다면 현대적 방어를 우회하기에 더 이상 충분하지 않습니다.
방어 설계에 대한 시사점: 방어자는 "퍼즐이 얼마나 어려운가"에서 "진정한 환경을 모방하는 데 비용이 얼마나 드는가"로 초점을 전환해야 합니다. 효과적인 봇 관리는 상호작용의 복잡성이나 행동 점수에 의존하기보다, 환경적 진본성에 대한 강력한 서버 측 검증과 환경 스푸핑(spoofing)에 대한 저항력에 점점 더 의존하게 될 것입니다.
이중 용도 위험(Dual-Use Risk): LLM 에이전트를 유용하게 만드는 능력(목표 분해, 적응형 계획)은 동시에 적대적 자동화의 장벽을 낮춥니다. 위험은 모델 자체에 있는 것이 아니라, 솔버 API와 결합된 에이전트의 구성, 그리고 환경 스푸핑에 대한 가드레일의 부재에 있습니다.

본 논문은 비대화형 방어가 챌린지 기반 방어보다 현재 더 강한 저항력을 제공하지만, 이 보호는 취약하며 신뢰할 수 있는 브라우저 환경을 복제하는 난이도에 의존하고 있다는 점을 지적합니다. 이러한 속성은 자동화 도구가 진화함에 따라 약화될 수 있습니다.