Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web
Diese Studie offenbart eine wachsende Asymmetrie beim Web-Gatekeeping, bei der seriöse Nachrichtenseiten zunehmend KI-Crawler über robots.txt und aktive Maßnahmen blockieren, während Desinformationsseiten weitgehend offen bleiben, was potenziell die für Large Language Models verfügbaren Trainingsdaten verzerrt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, belebte Bibliothek vor, in der jedes Buch, jeder Artikel und jeder Blogbeitrag ein Informationsstück ist, das darauf wartet, gelesen zu werden. Jahrelang waren „Roboter“ (spezielle Computerprogramme) die Bibliothekare dieser digitalen Welt, die still und leise durch die Gänge schlenderten, um Bücher zu kopieren, damit Suchmaschinen uns helfen können, sie zu finden. Doch vor kurzem ist eine neue Art von Bibliothekar eingetroffen: der Künstliche Intelligenz (KI)-Roboter. Diese suchen nicht nur nach einem einzelnen Buch; sie versuchen, alles gleichzeitig zu lesen, um zu lernen, wie man schreibt, Fragen beantwortet und mit uns chattet. Um dies zu steuern, können Website-Besitzer ein einfaches, freiwilliges Schild an ihre Tür hängen, das robots.txt heißt. Betrachten Sie dies wie ein „Eintritt verboten“- oder „Bitte kommen Sie herein“-Schild für diese digitalen Bibliothekare. Wenn ein Website-Besitzer auf dieses Schild schreibt „Keine KI erlaubt“, sollen höfliche KI-Roboter darauf hören und fernbleiben. Aber hier stellt sich die große Frage: Setzen alle Websites diese Schilder auf? Und wenn sie es tun, tun sie dies aus denselben Gründen? Da KI immer klüger und leistungsfähiger wird, ist es entscheidend zu verstehen, wer ihre Türen öffnet und wer sie abschließt, denn das entscheidet darüber, welche Informationen die KI lernt.
Dieses Papier mit dem Titel „Is Misinformation More Open?“ fungiert wie eine digitale Detektivgeschichte, die untersucht, wie zwei sehr unterschiedliche Gruppen von Websites mit diesen „Eintritt verboten“-Schildern für KI umgehen. Die Forscher untersuchten zwei Gruppen: „renommierte“ Nachrichtenseiten (die seriösen, faktenprüfenden Journalisten) und „Misinformation“-Seiten (die Orte, an denen falsche oder irreführende Geschichten verbreitet werden). Sie wollten sehen, ob die seriösen Nachrichtenorganisationen besser darin waren, die KI-Roboter anzuweisen, fernzubleiben, als die Fake-News-Seiten.
Die Ergebnisse offenbaren einen überraschenden und drastischen Kontrast. Die Forscher fanden heraus, dass renommierte Nachrichtenseiten viel wahrscheinlicher ein „Eintritt verboten“-Schild für KI-Roboter aufstellen. Tatsächlich sagten 60,0 % dieser vertrauenswürdigen Seiten in ihren robots.txt-Dateien explizit mindestens einem KI-Crawler, dass er draußen bleiben soll. Im scharfen Kontrast dazu taten dies nur 9,1 % der Misinformation-Seiten. Es ist, als würden die seriösen Bibliotheken ihre Türen vor den neuen KI-Schülern verriegeln, während die Fake-News-Flugblattverbreiter ihre Türen weit offen lassen. Im Durchschnitt listete eine renommierte Nachrichtenseite 15,5 verschiedene KI-Roboter auf, die sie nicht besuchen wollte, während Misinformation-Seiten weniger als einen gelistet hatten.
Die Studie untersuchte auch, ob diese Websites ihre Schilder tatsächlich durchsetzten oder sie nur aufschrieben. Sie fanden heraus, dass renommierte Nachrichtenseiten die Regeln nicht nur aufschrieben, sondern auch aktiv KI-Roboter blockierten, die versuchten, sich hineinzuschleichen, wodurch sie ihre schriftlichen Regeln mit ihren Handlungen abglichen. Misinformation-Seiten waren weniger konsistent; während einige zwar blockierten, schrieben viele die Regeln gar nicht erst auf. Die Forscher beobachteten auch, wie sich dies im Laufe der Zeit veränderte, indem sie Aufnahmen von September 2023 bis Mai 2025 betrachteten. Sie sahen, dass renommierte Nachrichtenseiten schnell lernten, ihre Türen zu verriegeln, wobei die Zahl der Seiten, die KI blockierten, in nur zwei Jahren von 23 % auf fast 60 % sprang. Misinformation-Seiten hingegen blieben weitgehend passiv und aktualisierten ihre Schilder selten.
Die Autoren legen nahe, dass diese wachsende Kluft eine seltsame Situation schafft: Da die „guten“ Quellen beginnen, ihre Türen zu verriegeln, um ihre Inhalte zu schützen, könnten die KI-Roboter am Ende mehr Zeit damit verbringen, die „schlechten“ Quellen zu lesen, die noch weit offen stehen. Dies könnte bedeuten, dass die KI mehr aus Fehlinformationen lernt als aus korrekten Nachrichten, einfach weil die Misinformation-Seiten leichter zugänglich sind. Das Papier behauptet nicht, dass dies die KI bereits ruiniert hat, aber es hebt ein echtes Risiko hervor: Wenn wir nicht darauf achten, wer seine Türen öffnet, könnte die Zukunft der KI auf einem Fundament aus Unwahrheiten gebaut werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.