기술 요약: 행동으로 알 수 있다: UI 흔적을 통한 LLM 브라우저 에이전트의 지문 분석

1. 문제 정의

대형 언어 모델 (LLM) 에이전트가 연구용 프로토타입에서 사용자를 대신해 웹을 탐색하는 생산 시스템으로 전환됨에 따라, 중요한 보안 질문이 대두됩니다: 웹사이트는 에이전트를 구동하는 특정 기반 모델을 수동적으로 식별할 수 있을까요? 현재의 봇 감지는 일반적으로 인간과 자동화를 이분법적으로 분류하는 방식으로 문제를 접근합니다. 그러나 스크립트 기반 자동화가 LLM 에이전트로 대체됨에 따라 위협 환경이 변화합니다. 고전적인 보안 프레임워크에서 표적 식별은 악용의 전제 조건입니다. 적대자가 페이지를 방문하는 모델이 무엇인지 파악할 수 있다면, 알려진 모델별 취약점을 기반으로 특정 제이브레이크 (jailbreak) 를 선택하거나 화이트박스 적대적 공격의 검색 공간을 축소하는 등 공격을 맞춤화할 수 있습니다.

본 논문은 브라우저 에이전트의 기반 모델이 수동적이고 페이지 내 사용자 인터페이스 (UI) 흔적만으로 추론될 수 있는지 조사합니다. 저자들은 에이전트의 행동 (클릭, 스크롤, 키 입력) 과 상호작용 타이밍이 브라우저 헤더나 네트워크 계층 메타데이터 (스푸핑 가능) 와 무관하게 모델 고유의 행동 지문을 인코딩한다고 주장합니다.

2. 방법론

실험 설정

본 연구는 GPT-5.4, Claude Opus 4.6, Gemini-3.1/Flash 와 같은 독점 모델과 Qwen3/3.5-VL 시리즈, GLM-4.6V, Gemma-4, UI-TARS-1.5, Seed-2.0-Lite 와 같은 오픈소스 모델을 포함한 14 개의 최첨단 멀티모달 LLM 을 평가합니다.

• 환경: 에이전트는 모델의 결정을 Playwright 명령어로 변환하는 표준화된 브라우저 하네스 (Midscene.js) 내에서 작동합니다. 이는 행동적 차이가 실행 환경이 아닌 모델 자체에서 비롯되도록 보장합니다.
• 작업: 에이전트는 두 개의 정보 검색 벤치마크 (위키백과 기반의 2WikiMultiHop, FRAMES) 와 두 개의 쇼핑 벤치마크 (Webshop, Amazon 기반의 Deepshop) 를 포함한 네 가지 라이브 웹 환경에서 작업을 수행합니다.
• 데이터 수집: 경량 JavaScript 추적기가 대상 페이지에 주입됩니다. 이는 밀리초 단위로 클라이언트 측 상호작용 이벤트를 수동적으로 기록하며 다음을 포착합니다:
  • 행동 유형 (클릭, 스크롤, 키 입력, 탐색).
  • 공간 좌표 (클릭 X/Y, 스크롤 깊이).
  • 시간적 역학 (이벤트 간 간격, 첫 번째 행동까지의 시간).
  • 구조적 패턴 (링크 클릭 비율, 키 유형).
• 흔적 형식: 세션은 $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$ 형태의 흔적을 생성하며, 여기서 $s_t$는 관찰, $u_t$는 행동, $\Delta t_t$는 이전 행동 이후 경과된 시간입니다.

분류 접근법

문제는 원천 모델을 예측하는 지도 학습 분류 작업으로 공식화됩니다 ($\hat{m} = f(\tau)$).

• 특징 추출: 시간적 역학 (예: 이벤트 간 간격 통계), 스크롤 행동, 클릭 공간 분포, 탐색 볼륨으로 분류되는 41 개의 스칼라 특징이 추출됩니다.
• 모델: Lasso 회귀, 로지스틱 회귀, 랜덤 포레스트, XGBoost, LSTM 네트워크 등 다섯 가지 분류기 계열이 훈련됩니다. XGBoost 가 주요 성능을 발휘하는 것으로 강조됩니다.
• 평가 프로토콜:
  • 폐쇄형 지문 분석: 분류기는 고정된 14 개의 알려진 에이전트 세트로 훈련 및 테스트됩니다.
  • 개방형 지문 분석: 알려진 에이전트를 알려지지 않은 에이전트와 구별하는 능력 (흔적을 알려지지 않은 것으로 플래그 지정) 을 테스트하기 위해 "한 에이전트 제외 (leave-one-agent-out, LOO)" 프로토콜이 사용됩니다.

3. 주요 결과

폐쇄형 식별에서의 높은 정확도

본 연구는 에이전트가 행동 흔적에서 매우 식별 가능함을 보여줍니다.

• 성능: XGBoost 분류기는 14 개 모델 전반에 걸쳐 최대 **96%**의 매크로 F1 점수를 달성합니다.
• 일관성: 네 가지 데이터셋 (2WikiMultiHop, FRAMES, Webshop, Deepshop) 전반에 걸쳐 높은 성능이 관찰됩니다. 예를 들어, Seed-2-lite 는 2WikiMultiHop 에서 96.1% 의 F1 을 달성했고, UI-TARS-1.5 는 Webshop 에서 92.1% 를 달성했습니다.
• 효율성: 강력한 분류기는 사용 가능한 훈련 흔적의 1/3 미만을 사용하여 훈련될 수 있습니다. 또한, 모델 정체성은 에피소드 초기에 추론될 수 있습니다. 매크로 F1 은 관찰된 행동의 처음 40% 내에서 급격히 상승하여 전체 흔적 성능에 근접하는 수준으로 정체됩니다.

개방형 감지

알려진 것과 알려지지 않은 것을 구별하는 개방형 식별은 더 어렵지만 여전히 실현 가능합니다.

• 대부분의 에이전트는 알려진 흔적과 알려지지 않은 흔적을 구별하는 데 AUROC > 0.60 을 달성합니다.
• 주목할 점은 폐쇄형과 개방형 성능 간의 분리가 존재한다는 것입니다. 정체성이 알려진 상태에서 식별하기 가장 쉬운 에이전트 (예: Seed-2-lite) 가 개방형 설정에서 알려지지 않은 에이전트와 구별하기 가장 쉬운 것은 아닙니다.

특징 중요도 및 견고성

• 시간적 특징의 우세: 정상 조건 하에서 시간적 특징 (이벤트 간 간격, 첫 번째 행동까지의 시간) 은 분류 정확도의 주요 동인입니다.
• 교란에 대한 견고성: 저자들은 행동 사이에 최대 5 초까지의 무작위 지연을 주입하여 이러한 지문의 복원력을 테스트했습니다.
  • 깨끗한 흔적으로 훈련된 분류기는 지연된 흔적으로 평가될 때 성능이 급격히 저하됩니다.
  • 그러나 지연된 흔적으로 재훈련된 분류기는 성능을 대부분 회복합니다. 이들은 순수한 타이밍에서 클릭 좌표 분산, 구조적 키 비율, 링크 클릭 비율과 같은 견고한 구조적 특징으로 의존도를 전환합니다. 이는 타이밍이 가장 강력한 신호이지만 행동적 "지문"이 그것에만 의존하지 않음을 시사합니다.

일반화

• 작업 전이: 단일 작업 전이 (한 작업으로 훈련, 같은 사이트 내 다른 작업으로 테스트) 는 약합니다. 그러나 풀링된 사이트 훈련(같은 웹사이트에서 여러 작업의 흔적을 결합) 은 강력한 귀속 성능을 회복시킵니다.
• 교차 사이트 전이: 서로 다른 웹사이트 간 전이 (예: 위키백과에서 아마존으로) 는 여전히 약하며, 지문은 모델, 작업 분포, 웹사이트 인터페이스 간의 특정 상호작용에 조건 지어짐을 시사합니다.

4. 중요성 및 함의

본 논문은 이 연구가 LLM 에이전트에 대한 새로운 공격 표면, 즉 UI 흔적을 통한 수동 모델 귀속을 확립한다고 주장합니다.

• 위험 모델: 이 공격은 수동적이며 공존합니다 (적대자가 페이지를 통제함). 네트워크 가시성이나 능동적 프로빙이 필요하지 않습니다.
• 악용 벡터: 에이전트가 식별되면 적대자는 다음을 수행할 수 있습니다:
  1. 표적 프롬프트 인젝션 배포: 특정 식별된 모델에 대해 효과적인 것으로 알려진 제이브레이크를 선택합니다.
  2. 비용 증대 (스펀지 공격): 고비용 최첨단 모델 (예: Claude Opus, GPT-5.4) 의 토큰 소비를 극대화하도록 설계된 콘텐츠를 제공하여 사용자의 추론 예산에 대한 서비스 거부 효과를 창출합니다.
  3. 조건부 액세스 제어: 모델별 화이트리스트 또는 블랙리스트를 구현하거나, 다른 모델에는 안전해 보이지만 특정 모델에게만 보이는 독성 콘텐츠를 제공합니다.
• 방어 한계: 무작위 지연과 같은 표준 브라우저 정규화는 적대자가 교란된 데이터로 분류기를 재훈련할 의사가 있다면 이 공격으로부터 보호하기에 충분하지 않습니다.

5. 결론

저자들은 LLM 에이전트의 페이지 내 행동이 모델 자체와 비교할 수 있는 지속적이고 식별 가능한 신호라고 결론지었습니다. "인간 대 봇" 감지에서 "어떤 모델" 귀속으로의 전환은 배포된 에이전트의 위협 환경에 근본적인 변화를 나타냅니다. 본 논문은 행동 귀속 연구와 대응책 개발을 촉진하기 위해 레이블이 지정된 에이전트 흔적 코퍼스와 브라우저 하네스를 공개합니다.

참고: 본 논문은 현재 범위가 단일 에이전트 하네스 (Midscene.js), 14 개 모델의 폐쇄 집합, 그리고 아직 완벽하지 않은 개방형 감지로 제한됨을 명시적으로 밝힙니다. 향후 작업은 하네스 불변 신호를 특성화하고 적응형 적대자에 대한 은폐 방어를 평가하는 것이 필요합니다.