기술 요약: 캐나리 토큰을 활용한 AI 웹 스크래퍼 식별

문제 제기

대형 언어 모델 (LLM) 은 사전 학습과 쿼리 시 증강 (예: 검색 증강 생성 또는 실시간 웹 검색) 을 위해 웹에서 스크랩된 데이터에 의존합니다. 이는 모델 성능을 향상시키지만, 사이트 안정성, 개인정보 보호, 저작권 및 윤리와 관련된 중대한 우려를 야기합니다. 웹사이트 소유자는 주로 Robots Exclusion Protocol(robots.txt) 과 같은 메커니즘을 사용하여 특정 스크래퍼의 콘텐츠 접근을 제한하고자 합니다. 그러나 어떤 특정 웹 스크래퍼 (User-Agent 문자열로 식별됨) 가 어떤 AI 챗봇에 데이터를 공급하는지에 대한 신뢰할 수 있는 지식이 부족하여 이러한 통제 수단의 실효성이 훼손됩니다.

기존의 AI 관련 스크래퍼 식별 방법은 자발적인 기업 공개, 일회성 연구자 실험, 또는 크라우드 소싱 보고에 의존합니다. 이러한 방법들은 신뢰할 수 없거나 확장 가능하지 않습니다. 더 나아가, AI 챗봇이 실시간으로 콘텐츠를 검색하는지, 제 3 자 검색 엔진의 캐시된 데이터에 의존하는지, 아니면 접근 통제를 우회하기 위해 신원을 위장하는지 여부는 여전히 불분명합니다. 이러한 불투명성은 사이트 소유자가 AI 생태계에서 효과적으로 탈퇴하는 것을 방해합니다.

방법론

저자들은 웹 스크래퍼와 AI 챗봇 간의 관계를 정확하게 자동으로 추론하기 위해 캐나리 토큰을 사용하는 새로운 기법을 제안합니다. 이 접근법은 3 단계 파이프라인을 포함합니다:

1. 캐나리 토큰 웹사이트 배포:

   • 저자들은 개인 포트폴리오, 회사 사이트 등 일반적인 콘텐츠 유형을 모방한 20 개의 고유한 웹사이트를 배포했습니다.
   • 각 웹사이트 템플릿에는 캐나리 토큰(이름, 위치, 숫자 등의 고유한 무작위 문자열) 을 위한 자리 표시자가 포함되어 있었습니다.
   • 동적 제공: 스크래퍼가 사이트에 접속하면 시스템은 고유한 User-Agent와 **Autonomous System Number(ASN)**의 조합을 기반으로 방문자를 식별했습니다.
   • 토큰 할당: 각 고유한 스크래퍼는 페이지 콘텐츠에 포함된 고유한 캐나리 토큰 세트를 제공받았습니다. 스크래퍼가 여러 번 방문하면 동일한 토큰을 받았고, 다른 스크래퍼는 서로 다른 토큰을 받았습니다.

2. AI 챗봇 쿼리:

   • 2 개월의 전파 기간 후, 저자들은 ChatGPT, Claude, Copilot, Gemini 등을 포함한 22 개의 생산용 AI 챗봇에 특정 프롬프트를 사용하여 쿼리를 수행했습니다.
   • 프롬프트는 배포된 웹사이트에 대한 정보를 포함하는 응답을 이끌어내도록 설계되었으며, 특히 캐나리 토큰에 해당하는 세부 사항 (예: "Alice 의 고향은 어디입니까?") 을 요청했습니다.
   • 변형 정보나 불일치를 확인하기 위해 후속 쿼리가 사용되었습니다.

3. 스크래퍼 추론:

   • 저자들은 챗봇 응답에서 캐나리 토큰을 추출했습니다.
   • 매칭 알고리즘: 챗봇 응답이 특정 스크래퍼에 고유하게 할당된 토큰을 포함하는 경우 매칭이 성립했습니다.
   • 임계값: 허위 양성 (예: 환각 또는 우연한 일치) 을 완화하기 위해, 스크래퍼가 데이터셋 전체에서 최소 2 개의 토큰($t=2$) 과 연관되었거나 1 개의 고유한 웹사이트 상호작용($w=1$) 이 관찰된 경우에만 해당 스크래퍼가 챗봇에 데이터를 공급하는 것으로 추론되었습니다.
   • 모호한 매칭 (예: 부분 집합 토큰 또는 수치적 우연) 은 신뢰성을 보장하기 위해 폐기되었습니다.

실험 설정

• 대상: 주요 제공업체 (OpenAI, Anthropic, Google, Microsoft 등) 및 검색 엔진 제공업체의 22 개 생산용 AI 챗봇.
• 조건: 이 연구는 3 가지 접근성 조건 하에서 수개월 동안 진행되었습니다:
  1. 완전 접근 가능: 모든 사이트가 온라인 상태 (기준선).
  2. 오프라인: 캐싱을 테스트하기 위해 10 개 사이트가 오프라인으로 전환됨.
  3. 제한됨: 10 개 사이트는 온라인 상태였으나 robots.txt 를 통해 차단되어 프로토콜 준수를 테스트함.
• 지표: 추론된 데이터 소스에 포함된 특정 User-Agent 문자열의 존재와 차단 후 콘텐츠의 지속성.

주요 결과

1. 스크래퍼에서 챗봇으로 매핑 (RQ1)

이 연구는 22 개 챗봇 중 18 개가 사용한 User-Agent 를 성공적으로 식별했습니다.

• 선언된 대 실제: 일부 챗봇은 자체 선언된 User-Agent(예: ChatGPT 의 OAI-SearchBot) 를 사용했지만, 많은 챗봇은 일반 브라우저 에이전트(예: Chrome, Safari) 나 제 3 자 검색 에이전트(예: Googlebot, Bingbot, Bravebot) 를 활용했습니다.
• 신원 회전: Kimi와 같은 일부 시스템은 대량의 User-Agent 목록을 회전시키는 것으로 나타나 정적 문자열을 통한 식별을 어렵게 만들었습니다.
• 제 3 자 의존: 많은 챗봇이 자체 직접 크롤러가 아닌 검색 엔진 크롤러 (예: Googlebot) 와 연관된 콘텐츠를 반환하여, 직접 스크래핑 대신 검색 엔진 색인화에 의존하고 있음을 시사했습니다.

2. 캐싱 및 지속성 (RQ2)

• 캐싱의 보편성: 웹사이트가 오프라인으로 전환되었을 때, 대부분의 챗봇은 해당 사이트와 연관된 콘텐츠를 계속 반환했습니다.
• 검색 엔진 캐싱: 제 3 자 검색 에이전트 (Googlebot, Bingbot) 에 의존하는 챗봇은 검색 엔진 색인화와 일치하는 높은 지속성을 보였습니다.
• 직접 캐싱: 일반 브라우저 에이전트 (예: Grok, Solar) 를 사용하는 챗봇조차도 소스가 오프라인이 된 후에도 콘텐츠를 계속 제공하여 자체 캐시를 유지하고 있음을 나타냈습니다.

3. 차단 효과 (RQ3)

• 표준 통제의 비효율성: 사이트를 오프라인으로 전환하거나 robots.txt 제한을 구현하는 것은 챗봇이 이전에 스크랩된 콘텐츠를 반환하는 것을 방지하는 데 크게 실패했습니다.
• robots.txt 무시: robots.txt 조건에서 많은 챗봇이 콘텐츠를 계속 반환하여 프로토콜을 무시하거나 제한 이전에 캐시된 데이터에 의존하고 있음을 시사했습니다.
• 예외: Duck.ai는 오프라인 및 robots.txt 조건 모두에서 콘텐츠 반환을 중단한 유일한 시스템으로 관찰되어, 가용성과 프로토콜 지시를 능동적으로 평가하고 있음을 시사했습니다.

중요성 및 주장

이 논문은 AI 챗봇의 실시간 콘텐츠 검색을 뒷받침하는 인프라에 대한 최초의 비판적 조사를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 새로운 측정 기법: 캐나리 토큰 접근법은 자발적 공개에 의존하지 않고 권한이 없는 제 3 자가 어떤 스크래퍼가 어떤 LLM 에 데이터를 공급하는지 추론할 수 있는 신뢰할 수 있는 자동화 방법을 제공합니다.
2. 불투명성 폭로: 이 연구는 데이터 공급망이 공개된 공개 사항보다 더 복잡함을 드러냅니다. AI 챗봇은 종종 제 3 자 검색 엔진이나 일반 브라우저 에이전트에 의존하며 콘텐츠를 자주 캐싱하여 robots.txt 와 같은 표준 차단 메커니즘이 AI 출력에서 데이터를 제거하는 데 비효율적이게 만듭니다.
3. 통제에 대한 함의: 이 발견들은 AI 스크래핑에서 탈퇴하려는 웹사이트 소유자가 robots.txt 나 사이트 오프라인 전환에만 의존할 수 없음을 시사합니다. 논문은 복잡하고 다자간 데이터 공급망 전반에 걸쳐 선호도를 신호하고 이를 강제하기 위한 새로운 메커니즘의 필요성을 강조합니다.

저자들은 그들의 접근법이 스크래퍼 식별을 개선하지만, 현재 AI 웹 스크래핑 환경은 여전히 대부분 불투명하며 전통적인 접근 통제 수단에 저항한다고 결론지었습니다.