Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond
Diese Studie analysiert 14.727 reale Sicherheits- und Datenschutz-Prompts aus dem WildChat-Datensatz, um Nutzeranfragen zu kategorisieren und die Qualität der LLM-Antworten zu bewerten, wobei sie aufzeigt, dass kommerzielle Modelle zwar im Allgemeinen leistungsfähiger als Open-Weight-Modelle sind, aber dennoch gelegentlich widersprüchliche Ratschläge liefern können, die Nutzer irreführen könnten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten, allwissenden Bibliothekar, der jede Ihrer Fragen beantworten kann. Sie könnten fragen: „Wie wird das Wetter?“ oder „Wie backe ich einen Kuchen?“ Aber was passiert, wenn Sie ihn etwas Gefährliches fragen, wie zum Beispiel: „Wie hacke ich das WLAN meines Nachbarn?“ oder „Ist diese seltsame E-Mail ein Betrug?“
Dieses Papier ist wie ein Detektivbericht über genau dieses Szenario. Die Forscher wollten herausfinden, was echte Menschen diesen KI-Bibliotheken über digitale Sicherheit und Privatsphäre (um ihre Konten sicher zu halten und ihre Daten privat zu halten) fragen und wie gut die KI darauf antwortet.
Hier ist die Aufschlüsselung ihrer Untersuchung, unter Verwendung einiger alltäglicher Analogien:
1. Die Detektivarbeit: Was die Menschen fragen
Die Forscher gingen in eine riesige Bibliothek mit 3,2 Millionen echten Gesprächen zwischen Menschen und KI (genannt „WildChat“). Sie filterten das Rauschen heraus und fanden 14.727 Gespräche, die sich speziell um Sicherheit und Privatsphäre drehten.
Sie sortierten diese Fragen in neun verschiedene „Regale“ ein und untersuchten dann 450 davon genauer, um den Vibe der Fragen zu verstehen. Sie fanden sechs Haupttypen von Interaktionen:
- Die Wissenssuchenden (33 %): Dies sind Menschen, die nur grundlegende Fragen stellen, wie „Was ist ein Virus?“ oder „Wie funktioniert die Zwei-Faktor-Authentifizierung?“. Es ist, als würde man den Bibliothekar fragen: „Was ist eine Tomate?“
- Die Problemlöser (21 %): Diese Nutzer stecken in Schwierigkeiten. Sie wurden aus ihren sozialen Netzwerken ausgesperrt oder auf einer Website gesperrt und fragen: „Wie schreibe ich einen Brief, um mein Konto zurückzubekommen?“
- Die Selbstverteidiger (12 %): Dies sind proaktive Nutzer. Sie fragen: „Ist diese neue Shopping-App sicher?“ oder „Wie verhindere ich, dass mein Telefon mich trackt?“. Sie nutzen die KI als Leibwächter.
- Die KI-Abklopfer (10 %): Dies ist eine neue, seltsame Kategorie. Menschen fragen die KI nach ihr selbst. Sie fragen: „Erinnerst du dich an unseren Chat?“ oder „Was ist dein geheimer API-Key?“. Sie versuchen zu sehen, ob die KI eine „Hintertür“ hat oder ob sie sie ausspioniert.
- Die Böswilligen (7 %): Leider fragen manche Menschen nach Hilfe, um schlechte Dinge zu tun. Sie fragen: „Wie stehle ich das Passwort von jemandem?“ oder „Wie umgehe ich den Internetfilter meiner Schule?“.
- Der Rest: Die anderen Kategorien decken Dinge wie das Schreiben von Code für die Sicherheit oder den Umgang mit Belästigung ab.
2. Die Testfahrt: Wie gut sind die Antworten der KI?
Die Forscher sahen sich nicht nur die Fragen an; sie testeten fünf verschiedene KI-Modelle (drei berühmte „kommerzielle“ und zwei „offene“) anhand von 270 dieser Sicherheitsfragen. Sie stellten jeder KI dieselbe Frage 10 Mal, um zu sehen, ob sie jedes Mal die gleiche Antwort gibt.
Sie bewerteten die Antworten auf einer Skala von 1 bis 10 (10 ist perfekt).
- Die kommerziellen KIs (Die VIPs): Die großen, bezahlten KI-Modelle (wie GPT-5.5) waren die klaren Gewinner. Sie erreichten eine Durchschnittsbewertung von 8,67. Denken Sie an sie als Sicherheitsexperten, die meistens den richtigen Rat geben.
- Die offenen KIs (Die DIY-Truppe): Die kostenlosen Open-Source-Modelle (wie Llama 4) schnitten schlechter ab, etwa bei 6,71. Sie waren „okay“, aber sie machten mehr Fehler, wie zum Beispiel die Verwechslung eines medizinischen Medikaments mit einem Hacking-Begriff.
3. Das „Flip-Flop“-Problem: Konsistenz vs. Qualität
Hier ist der überraschendste Teil der Geschichte. Die Forscher fanden heraus, dass Intelligenz nicht gleichbedeutend mit Konsistenz ist.
Stellen Sie sich vor, Sie fragen einen Sicherheitswachmann: „Ist diese Tür verschlossen?“
- Wachmann A sagt 10 Mal hintereinander „Ja“. (Konsistent, aber vielleicht nicht der schlauste Wachmann).
- Wachmann B sagt beim ersten Mal „Ja“, beim zweiten Mal „Nein“ und beim dritten Mal „Vielleicht“. Selbst wenn Wachmann B meistens recht hat, ist sein Hin-und-Her-Wechseln (Flip-Flopping) gefährlich, weil man ihm nicht vertrauen kann.
Die Studie ergab Folgendes:
- Die offene KI (Llama 4) war tatsächlich am konsistentesten. Sie gab in 97 % der Fälle die gleiche Antwort, obwohl ihre Antworten oft eine geringere Qualität hatten.
- Die Top-Kommerziell-KI (GPT 5.5) war am intelligentesten (höchste Qualität), aber sie gab gelegentlich widersprüchliche Antworten. Ein Mal sagte sie vielleicht: „Sie sollten Ihr Passwort ändern“, und beim nächsten Mal sagte sie: „Ihr Passwort ist völlig in Ordnung“.
Warum das wichtig ist
Das Papier argumentiert, dass in der Welt der Sicherheit Konsistenz genauso wichtig ist wie Intelligenz.
Wenn Sie eine KI fragen, wie Sie Ihr Bankkonto schützen können, können Sie es sich nicht leisten, dass sie Ihnen jedes Mal einen anderen Rat gibt, wenn Sie fragen. Wenn die KI heute sagt: „Tun Sie X“ und morgen sagt: „Tun Sie nicht X“, werden Sie vielleicht verwirrt und tun am Ende gar nichts, wodurch Ihre Daten ungeschützt bleiben.
Das Fazit
Diese Studie ist die erste, die sich mit echten Menschen beschäftigt, die echte Sicherheitsfragen an eine KI stellen. Sie fand heraus, dass:
- Menschen die KI für alles nutzen, von grundlegendem Lernen bis hin zum Versuch, Systeme zu hacken oder sich selbst zu schützen.
- Die großen, bezahlten KI-Modelle im Allgemeinen besseren Rat geben als die kostenlosen.
- Jedoch kann selbst die beste KI sich manchmal widersprechen. Um wirklich zuverlässig für die Sicherheit zu sein, muss eine KI sowohl intelligent als auch beständig sein.
Die Forscher kommen zu dem Schluss, dass wir sowohl messen müssen, wie gut die Antwort einer KI ist, als auch wie konsistent sie ist, denn eine kluge, aber verwirrte KI stellt ein Risiko für Ihre digitale Sicherheit dar.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.