Identifying AI Web Scrapers Using Canary Tokens
Dieser Artikel schlägt eine neuartige Technik vor, die dynamische Canary-Tokens verwendet, um automatisch und präzise zu identifizieren, welche Web-Scraper Daten an bestimmte große Sprachmodelle weiterleiten, und ermöglicht es Website-Betreibern, unerwünschtes Scraping besser zu kontrollieren, ohne sich auf freiwillige Unternehmensmitteilungen zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Bäcker, der genau wissen möchte, welche Lieferwagen Zutaten zu einem riesigen, hungrigen Roboter-Koch bringen. Sie vermuten, dass der Roboter diese Zutaten nutzt, um neue Rezepte (Antworten) für Kunden zu kochen. Doch die Lieferwagen sind hinterhältig: Sie tragen Verkleidungen, sie könnten Lieferwagen anderer Firmen ausleihen, und der Roboter-Koch sagt Ihnen nicht immer, woher er sein Essen bezogen hat.
Diese Arbeit handelt von einem cleveren Trick, den die Forscher anwandten, um diese hinterhältigen Lieferwagen auf frischer Tat zu ertappen. Sie nennen ihren Trick „Canary Tokens" (Kanarienvogel-Token).
Das Setup: Die „Fallen"-Websites
Anstatt direkt den Roboter auszuspionieren, bauten die Forscher 20 gefälschte Websites. Betrachten Sie diese Websites als maßgeschneidertes Köder.
- Der Köder: Sie erstellten eine Vorlage für eine Website (wie das Profil einer gefälschten Person oder eine gefälschte Firmenseite).
- Das Canary Token: Bevor die Website geladen wurde, gaben die Forscher jedem einzelnen Besucher einen einzigartigen, unsichtbaren „Stempel" oder „Token".
- Wenn ein Lieferwagen mit einer „Google"-Mütze vorbeikam, sagte die Website vielleicht: „Meine Lieblingsfarbe ist Blau."
- Wenn ein Lieferwagen mit einer „Bing"-Mütze vorbeikam, sagte die Website vielleicht: „Meine Lieblingsfarbe ist Lila."
- Wenn ein Lieferwagen mit einer „Chrome"-Mütze vorbeikam, sagte die Website vielleicht: „Meine Lieblingsfarbe ist Grün."
Die Forscher bewahrten eine geheime Liste auf: „Blau" = Google-Lieferwagen, „Lila" = Bing-Lieferwagen, usw.
Der Test: Den Roboter-Koch befragen
Nachdem sie diese Websites zwei Monate lang online gelassen hatten (den Lieferwagen also genügend Zeit gaben, die Inhalte zu besuchen und auswendig zu lernen), stellten die Forscher 22 verschiedenen KI-Chatbots (wie ChatGPT, Claude und anderen) Fragen zu diesen gefälschten Websites.
Sie fragten Dinge wie: „Erzählen Sie mir von dieser gefälschten Person. Was ist ihre Lieblingsfarbe?"
Die Ergebnisse: Wer isst was?
Die Forscher untersuchten die Antworten, die die Roboter gaben. Wenn der Roboter sagte: „Ihre Lieblingsfarbe ist Blau", wussten die Forscher mit Sicherheit: „Der Google-Lieferwagen hat diese Information an den Roboter geliefert."
Hier ist, was sie entdeckten:
1. Das „Verkleidungs"-Problem
Viele der KI-Roboter traten nicht in ihrer offiziellen Uniform auf.
- Die offizielle Uniform: Einige Roboter gaben zu: „Ich bin der OAI-SearchBot" (der offizielle Lieferwagen von OpenAI).
- Die Verkleidung: Andere traten in generischer Kleidung auf, wie ein normaler Webbrowser (z. B. „Chrome" oder „Safari"). Es ist, als würde ein Lieferfahrer vorgeben, ein Tourist zu sein, damit ihn niemand aufhält.
- Der ausgeliehene Lieferwagen: Überraschenderweise besuchten viele Roboter die Websites überhaupt nicht direkt. Stattdessen baten sie eine Suchmaschine (wie Google oder Bing), das Besuchen für sie zu übernehmen. Der Roboter würde sagen: „Ich habe diese Information bei Google gefunden", selbst wenn der Website-Besitzer Google niemals die Erlaubnis erteilt hatte, sie mit dem Roboter zu teilen.
2. Das „Gedächtnis"-Problem (Caching)
Die Forscher versuchten, die Roboter zu stoppen, indem sie die Websites offline nahmen (das Licht ausschalteten).
- Das Ergebnis: Selbst nachdem die Websites eine Woche lang weg waren, wussten die Roboter immer noch die „Lieblingsfarben".
- Die Metapher: Es ist, als hätte der Roboter-Koch das Rezept aus einem Kochbuch auswendig gelernt, das er zuvor gestohlen hatte. Selbst wenn Sie das Kochbuch später verbrennen, erinnert sich der Koch noch an die Zutaten. Die Roboter hielten alte Daten fest, die sie zuvor gescraped hatten.
3. Das Problem mit dem „Betreten verboten"-Schild (Robots.txt)
Website-Besitzer hängen oft ein Schild namens robots.txt auf, das sagt: „Bitte nicht betreten."
- Das Ergebnis: Die Forscher hingen diese Schilder auf, aber die Roboter ignorierten sie größtenteils. Sie besuchten weiterhin und merkten sich den Inhalt.
- Die Ausnahme: Nur ein Roboter, Duck.ai, respektierte tatsächlich das Schild und hörte auf zu besuchen. Der Rest fuhr fort, entweder weil sie das Schild nicht sahen oder weil sie beschlossen, es zu ignorieren.
Die große Erkenntnis
Die Arbeit beweist, dass:
- Man dem, was ein Roboter über sich selbst sagt, nicht immer trauen kann. Sie verbergen oft ihre wahre Identität oder nutzen die Lieferwagen anderer Leute (Suchmaschinen), um an Daten zu gelangen.
- Einfache Blockaden nicht funktionieren. Eine Website abzuschalten oder ein „Betreten verboten"-Schild aufzuhängen, garantiert nicht, dass der Roboter vergisst, was es bereits gelernt hat.
- Der „Canary Token"-Trick funktioniert. Indem man verschiedenen Besuchern einzigartige, zufällige Fakten serviert, kann man genau nachverfolgen, welcher „Lieferwagen" welche Information an welchen Roboter geliefert hat, selbst wenn der Roboter versucht, sich zu verstecken.
Kurz gesagt: Die Forscher bauten ein digitales Fingerabdruck-System, um genau zu sehen, wie KI-Chatbots Informationen aus dem Web stehlen (oder ausleihen), und enthüllten, dass dieser Prozess viel chaotischer und weniger transparent ist, als die Unternehmen behaupten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.