Synthetic Sources?: Auditing Generative Search Engine Citations for Evidence of AI-Generated Sources
Diese Studie prüft vier bedeutende generative Suchmaschinen anhand von 712 realen Suchanfragen und stellt fest, dass etwa 16 % ihrer zitierten Quellen von KI generiert sind, was ein erhebliches Risiko unterstreicht, dass Nutzer unüberprüfte synthetische Informationen erhalten, die als autoritativ präsentiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bitten eine Gruppe von vier sehr klugen, weltoffenen Bibliothekaren (ChatGPT, Copilot, Gemini und Perplexity), eine Frage zu Politik, Gesundheit oder Umwelt zu beantworten. Anstatt Ihnen nur eine direkte Antwort zu geben, sagen diese Bibliothekare: „Hier ist die Antwort, und hier sind die 10 Bücher, die wir gelesen haben, um sie zu verfassen."
Dieser Artikel ist eine Prüfung dieser „Bücher" (der von ihnen zitierten Websites), um festzustellen, ob einige davon tatsächlich von einem Roboter verfasst wurden, der sich als Mensch ausgab.
Hier ist die Aufschlüsselung dessen, was die Forscher fanden, unter Verwendung einfacher Analogien:
1. Das Setup: Die „Bibliothek" des Internets
Die Forscher behandelten diese KI-Suchmaschinen wie eine neue Art von Bibliothek. Sie stellten 712 echte Fragen (zu Themen wie „Ist diese Diät sicher?" oder „Was ist der neueste politische Skandal?") an vier verschiedene KI-Engines.
Die Engines antworteten mit Antworten und lieferten eine Liste von Links (Zitationen), um zu beweisen, woher sie ihre Informationen bezogen. Die Forscher gingen dann zu diesen Links, lasen den Inhalt und führten einen „Lügendetektor"-Test (ein KI-Erkennungstool namens Pangram) durch, um festzustellen, ob der Text von einem Menschen verfasst oder von einer anderen KI generiert wurde.
2. Die große Entdeckung: Der „Roboter-Geist" in der Bibliothek
Das Hauptergebnis ist, dass ungefähr 16 % der „Bücher", auf die diese Bibliothekare verwiesen, tatsächlich von Robotern verfasst wurden.
- Die Metapher: Stellen Sie sich vor, Sie gehen in eine Bibliothek, um ein Geschichtsbuch zu finden. Sie nehmen eines vom Regal, öffnen es und stellen fest, dass der Autor eine Maschine ist, die das Ganze in einer Sekunde geschrieben hat. Das wussten Sie nicht, als Sie es aufgriffen.
- Die Realität: In dieser Studie waren ungefähr 1 von 6 Quellen, auf die sich die KI-Engines beriefen, KI-generierte Inhalte.
- Der schlimmste Übeltäter: Die KI-Engine Copilot zitierte mit der höchsten Wahrscheinlichkeit diese von Robotern verfassten Quellen (nahezu 3 von 10 ihrer Zitationen waren KI-generiert). ChatGPT war am vorsichtigsten, zitierte sie jedoch immer noch in etwa 7 % der Fälle.
3. Das „Long-Tail"-Problem: Die Menge gegen die VIPs
Die Forscher bemerkten ein seltsames Muster darin, welche Websites die KI-Engines gerne zitierten.
- Die VIPs (Der Kopf): Eine kleine Gruppe berühmter, vertrauenswürdiger Websites (wie Wikipedia, Regierungsseiten wie
whitehouse.govund große Nachrichtenagenturen) wird immer wieder zitiert. Sie sind die „VIPs" der Bibliothek. - Der Long Tail: Der Großteil der Zitationen stammt jedoch aus einem „Long Tail" aus Tausenden obskurer, selten besuchter Websites. Die meisten dieser obskuren Seiten werden nur ein- oder zweimal zitiert.
- Das Ergebnis: Der „von Robotern verfasste" Inhalt verbarg sich hauptsächlich in diesem Long Tail. Die berühmten VIP-Seiten waren größtenteils von Menschen verfasst, aber die obskuren, One-Hit-Wonder-Websites waren diejenigen, die mit KI-generiertem Text gefüllt waren.
- Die Analogie: Es ist wie auf einer Party, bei der der Gastgeber (die KI) Sie immer wieder denselben 5 berühmten Leuten (Wikipedia, Regierungsseiten) vorstellt, aber dann 80 % der Zeit damit verbringt, Sie mit 1.000 Fremden im hinteren Teil des Raums bekannt zu machen, von denen viele eigentlich Mannequins (KI-Inhalte) sind, die sich als Menschen ausgeben.
4. Die Aufschlüsselung nach Themen
Die Forscher überprüften drei spezifische Bereiche:
- Umwelt: Dieses Thema hatte den höchsten Anteil an zitierten KI-generierten Quellen.
- Gesundheit: Ein erheblicher Teil der Quellen für Gesundheitsratschläge war ebenfalls KI-generiert.
- Politik: Enthalte ebenfalls KI-Quellen, wenn auch etwas weniger als die beiden anderen.
5. Warum dies wichtig ist (laut dem Artikel)
Der Artikel argumentiert, dass dies riskant ist, weil:
- Die „Vertrauens"-Falle: Wenn eine KI Ihnen eine Antwort gibt und Ihnen eine Liste von Links zeigt, gehen Sie davon aus, dass diese Links echte, von Menschen verifizierte Fakten sind. Wenn die Links tatsächlich KI-generiert sind, zitiert die KI im Wesentlichen ihre eigenen „Halluzinationen" oder minderwertigen Robotertexte als Beweis für ihre eigene Antwort.
- Die Qualitätslücke: Obwohl nicht jeder KI-Text schlecht ist, stellt der Artikel fest, dass KI-Text Fehler, Vorurteile oder erfundene Fakten enthalten kann. Wenn eine KI-Suchmaschine KI-geschriebene Quellen verwendet, um ihre Antwort zu erstellen, baut sie ein „Kartenhaus", dessen Fundament wackelig ist.
- Die „Black Box": Die Engines sagen Ihnen nicht: „Hey, diese Quelle wurde von einem Bot verfasst." Sie zeigen Ihnen einfach den Link.
Zusammenfassung
Der Artikel kommt zu dem Schluss, dass diese neuen „Generativen Suchmaschinen" derzeit wie Bibliothekare agieren, die versehentlich Bücher zitieren, die von Robotern verfasst wurden, ohne den Leser zu informieren. Sie stützen sich stark auf einige wenige berühmte Websites, ziehen aber auch eine massive Menge an Informationen aus einem „Long Tail" obskurer Websites, von denen viele mit KI-generiertem Inhalt gefüllt sind.
Die Forscher sagen, dies sei ein Warnsignal: Wenn wir nicht daran arbeiten, wie diese Engines ihre Quellen auswählen und prüfen, könnten Benutzer unwissentlich Informationen vertrauen, die vollständig synthetisch sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.