기술 요약: 차세대 CAPTCHA (Next-Gen CAPTCHAs)

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)과 GUI 기반 "컴퓨터 사용(Computer-Use)" 에이전트의 급격한 진화는 기존의 CAPTCHA 시스템을 무용지물로 만들었습니다. 이전의 방어 기제들이 왜곡된 텍스트(OCR에 의해 파괴됨), 객체 인식(Vision Transformer에 의해 파서짐), 또는 정적 논리 퍼즐(GPT-5.2 및 Gemini3-Pro와 같은 추론 중심 MLLM에 의해 파서짐)에 의존했던 것과 달리, 이러한 장벽들은 이미 무너졌습니다. 최근 벤치마크에 따르면, 고도화된 에이전트들은 과업을 검증 가능한 미세 단계(micro-steps)로 분해함으로써 "빙고(Bingo)"와 같은 복잡한 논리 퍼즐에서 90% 이상의 통과율을 달ей할 수 있음이 확인되었습니다.

식별된 핵심 취약점은 현재의 CAPTCHA가 대개 짧고 분해 가능한 워크플로우라는 점입니다. 에이전트가 페이지 상태를 관찰하고 나면, 문제는 로컬에서 검증 가능한 결정들의 시퀀스로 축소되며, 이 영역은 현대적인 도구 활용 에이전트들이 매우 높은 신뢰도를 보이는 구간입니다. 이는 웹 보안의 근간이 되는 "봇-하드(bot-hard)" 가정을 무력화하며, 에이전트가 인간과 유사한 숙련도로 탐색, 추론 및 행동할 수 있게 함으로써 심각한 보안 공백을 초래합니다.

2. 방법론

저자들은 정적인 난이도 조절에서 벗어나, 인간의 직관과 현재 에이전트들의 과도한 계획 및 단계별 추론 사이의 **"인지적 격차(Cognitive Gap)"**를 공략하는 확장된 방어 프레임워크인 **차세대 CAPTCHA(Next-Gen CAPTCHAs)**를 제안합니다.

2.1 이론적 프레임워크: 확장된 POMDP

GUI 에이전트와 CAPTCHA 간의 상호작용은 확장된 부분 관측 마르코프 결정 과정(POMDP)으로 모델링됩니다:
$$W = (S, O, X, A_{web}, A_{think}, Z, T_{env}, U, R, \kappa)$$
여기서 에이전트는 라이브 웹페이지($O$)를 관찰하고, 내부 작업 공간($X$)을 유지하며, 브라우저 액션($A_{web}$)과 내부 숙고($A_{think}$)를 선택합니다. 설계 목표는 관찰–기억–결정–행동 루프에서의 실패 모드를 증폭시키는 것이며, 구체적으로 다음을 타겟팅합니다:

• G1 (장면 구조 추론): 부분 관측 가능성 하에서 레이어의 깊이, 그림자 또는 반사를 불완전하게 해석하는 취약성.
• G2 (시간적 통합): 단일 스냅샷 분석이 아닌, 다단계 증거 축적(예: 움직임 단서)을 요구하는 과업.
• G3 (수량 및 이산적 불변성): 작은 지각 오류가 최종 결정의 반전을 초래하는 이산적 양(개수, 홀짝성 등)에 대한 높은 민감도.
• G4 (잠재 상태 추적): 완전히 재관측되지 않는 단계들 사이에서 중간 변수(예: 부분 합계, 방향 등)를 유지해야 하는 필요성.
• G5 (지각-행동 정렬): 올바른 내부 결정을 정밀한 저수준 브라우저 상호작용(예: 드래그 앤 드롭 대상)으로 변환하는 데 따르는 어려움(UI 확률론적 특성 하에서).

2.2 절차적 생성 파이프라인

정적 데이터셋과 달리, 차세대 CAPTCHA는 강력한 규칙 기반 데이터 생성 파이프라인을 활용합니다:

• 생성 패밀리(Generative Families): 27개의 태스크 패밀리 중 25개가 절차적으로 생성되어, 사실상 무한한 고유 인스ме스(예: "빨간 점" 타이밍 상호작용)를 허용합니다.
• 자동 검증: 솔루션은 인간의 주석이 아닌 생성 규칙에 의해 검증되므로, 구성에 의한 정확성을 보장합니다.
• 필터링: 경량 모델 스트레스 테스트(Gemini 3 Flash)를 통해, 패밀리가 에이전트에게는 어렵게 유지되면서(<30% 통과율) 인간에게는 해결 가능하도록(>90% 성공률) 필터링합니다.
• 벤치마크 구축: 27개의 시각-언어 패밀리에 걸친 519개의 퍼즐로 구성된 큐레이션된 테스트 세트와, 비용 효율적인 평가를 위한 경량 서브셋(패밀리당 5개 퍼즐)이 구축되었습니다.

3. 주요 기여

1. 27개의 새로운 CAPTCHA 패밀리: 정적 논리를 넘어 인터랙티브하고 직관에 기반한 챌린지로 이동하여, 경험적으로 관찰된 인간-MLLM 간의 격차(G1–G5)를 타겟팅하는 27개의 독특한 태스크 포맷을 설계했습니다.
2. 절차적 생성 프레임워크: 수동 레이벨링이 필요 없고 암기를 방지하는, 다양하고 규칙으로 검증된 CAPTCHA 인스턴스를 생성하는 확장 가능한 시스템을 제공합니다.
3. 실제 웹 평가 플랫폼: 실제 브라우저 환경에서 GUI 에이전트를 평가하기 위한 오픈 소스 기반의 프레임워크 불가지론적(framework-agnostic) 플랫폼입니다. 저자들은 Browser-Use를 주요 참조 통합 도구로 사용하며, 추가적인 프레임워크(Claude Cowork, CrewAI)를 평가합니다.
4. 벤치마크 공개: 519개의 퍼즐 메인 세트와 비용 효율적인 서브셋을 포함한 표준화된 벤치마크를 제공하여, 지각, 기억, 추론 및 행동 전반에 걸친 에이전트 성능의 재현 가능한 비교를 용이하게 합니다.

4. 실험 결과

고정된 인터랙티브 프로토콜과 퍼즐 간 상태 리셋을 사용하여 라이브 웹 태스크에서 실험이 수행되었습니다.

• 인간 vs. 에이전트 성능: 인간은 낮은 지연 시간(평균 31초)과 함께 거의 천장에 도달한 98.8%의 Pass@1을 달성했습니다. 이와 극명하게 대조적으로, 가장 성능이 뛰어난 추론 MLLM(GPT-5.2-xHigh)은 단 5.9%의 Pass@1만을 기록했습니다. 다른 강력한 모델들(Gemini-3-Flash-High, Claude-Opus4.5)은 0.9%에서 3.2% 사이의 점수를 기록했습니다.
• 실패 모드 분석: 분석 결과, 에이전트들은 종종 올바른 시각 영역을 주목함에도 불구하고, 액션 프리미티브(예: 드래그/회전 대신 클릭 수행)에서 실패하거나 시간적 증거를 통합하는 데 실패하는 것으로 나타났습니다. 추론 깊이(토큰)를 늘리는 것은 한계 효용 체감의 법칙을 보였습니다. 예를 들어, Gemini-3-Flash의 사고 모드를 "Minimal"에서 "High"로 높였음에도 불구하고, 막대한 토큰 사용량 증가에도 불구하고 Pass@1은 0.6%에서 3.2%로 소폭 상승하는 데 그쳤습니다.
• 경제적 비대칭성: 시스템을 공격하는 비용이 매우 높습니다. GPT-5.2-xHigh는 5.9%의 성공률로 평가 세트를 처리하는 데 약 $3,122의 API 비용이 발생했습니다. 또한, 고도의 추론 모델은 퍼즐당 16분에서 77분이 소요되어, 1분 미만의 인간 수행 능력과 비교했을 때 실시간 자동 공격을 운영적으로 불가능하게 만듭니다.
• 프레임워크 독립성: 서로 다른 에이전트 프레임워크(CrewAI, Browser-Use, Claude Cowork) 간에 약간의 성능 차이(0.00% ~ 4.44%)가 있었으나, 모두 일관되게 낮은 성능을 보였습니다. 이는 난이도가 오케스트레이션 계층의 결함이 아닌 근본적인 인지적 격차에서 기인함을 나타냅니다.

5. 의의 및 주장

본 논문은 에이전틱 AI로 인해 "bot-hard" 가정이 붕러진 웹 보안의 임계점을 다루고 있다고 주장합니다. 정적 퍼즐에서 **동적 인지적 발산(dynamic cognitive divergence)**으로 방어 패러다임을 전환함으로써, 차세대 CAPTCHA는 생물학적 사용자와 인공적 사용자 사이의 견고한 구분을 성공적으로 재확립했습니다.

저자들은 자신들의 접근 방식이 단순히 기존 퍼즐을 "강화"하는 것이 아니라, 인간의 직관(인터랙티브한 접지 및 상태 유지를 자연스럽게 처리함)과 현재 에이전트들의 과도하게 세분화된 단계별 전략 사이의 구조적 불일치를 이용하는 것임을 강조합니다. 이 시스템은 현실적인 인터랙티브 제약 조건 내에서 작동하는 한, 가장 진보된 추론 모델에 대해서도 효과적인 확장 가능하고, 다양하며, 경제적으로 비대칭적인 방어를 제공합니다. 본 연구는 "에이전트 시대"의 웹을 보호하기 위한 기초적인 단계로서 자리매김하고 있습니다.