The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Diese Arbeit kombiniert eine bibliometrische Analyse von 7.369 Dokumenten mit einer kritischen Rezension, um aufzuzeigen, dass die Forschung zu großen Sprachmodellen in der Cybersicherheit fragmentiert über isolierte offensive und defensive Rollen verteilt ist, was die Autoren dazu veranlasst, ein gekoppeltes Dual-Use-Framework sowie acht prioritäre Forschungsrichtungen vorzuschlagen, um den Mangel an adaptiver Evaluierung und integrierten Sicherheitsstrategien zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den letzten Jahren ist eine neue Art von Computerprogramm entstanden, das menschliche Sprache lesen, schreiben und verstehen kann. Diese Programme, bekannt als Large Language Models (große Sprachmodelle), sind nicht nur Chatbots; sie sind leistungsstarke Werkzeuge, die Organisationen zunehmend zur Verwaltung ihrer digitalen Sicherheit einsetzen. Sie können tausende von Sicherheitswarnungen scannen, um echte Bedrohungen zu finden, Code schreiben, um Softwarelücken zu schließen, oder sogar Sicherheitsteams bei der Planung ihrer Verteidigung unterstützen. Doch diese Werkzeuge haben auch eine dunkle Seite. Da sie so gut darin sind, Anweisungen zu befolgen und Texte zu generieren, können böswillige Akteure sie dazu bringen, Malware zu schreiben, überzeugende gefälschte E-Mails zu erstellen oder Sicherheitsregeln zu umgehen. Dies schafft eine einzigartige Situation, in der eine einzige Technologie gleichzeitig als Schild, als Waffe und als Ziel dient. Sie ist der Schild, wenn sie ein Netzwerk schützt, die Waffe, wenn sie einem Angreifer hilft, und das Ziel, wenn jemand versucht, das Programm selbst zu täuschen. Zu verstehen, wie diese drei Rollen interagieren, ist entscheidend, denn wenn wir das Werkzeug nur als Verteidiger untersuchen, übersehen wir vielleicht, dass das Werkzeug selbst anfällig für genau jene Angriffe ist, die es eigentlich stoppen soll.
Ein Team von Forschern setzte sich zum Ziel, diese komplexe Landschaft zu kartieren – nicht durch das Lesen weniger Arbeiten, sondern durch die Analyse tausender Dokumente, um zu sehen, wie die wissenschaftliche Gemeinschaft tatsächlich über diese Probleme denkt. Sie sammelten fast 13.000 Datensätze, die zwischen 2023 und Ende 2026 veröffentlicht wurden, und filterten sie auf eine Kerngruppe von 7.369 Dokumenten herunter, die sich direkt mit der Schnittstelle dieser Sprachmodelle und der Cybersicherheit befassten. Mit einer Methode, die Forschung wie eine Landkarte behandelt, untersuchten sie, wie oft verschiedene Themen gemeinsam auftauchten und welche Studien am häufigsten zitiert wurden. Sie wollten wissen, ob Wissenschaftler die drei Rollen dieser Modelle gemeinsam untersuchten oder ob sie in getrennten Silos arbeiteten. Sie wollten auch sehen, ob die Beweise, die die Sicherheit dieser Werkzeuge stützen, so solide waren, wie sie scheinen.
Die Forscher fanden heraus, dass das Feld unglaublich schnell wächst, wobei sich die Anzahl der relevanten Dokumente fast jedes Jahr verdoppelt oder verdreifacht. Die Forschung ist jedoch tief gespalten. Die überwältigende Mehrheit der Studien konzentriert sich isoliert auf nur eine der drei Rollen. Nur etwa acht Prozent der untersuchten Dokumente betrachteten mehr als eine Rolle gleichzeitig. Das bedeutet, dass die Menschen, die untersuchen, wie man diese Modelle angreift, selten mit denen sprechen, die untersuchen, wie man sie zur Verteidigung einsetzt. Noch besorgnender ist, dass Forscher, wenn sie ein Verteidigungssystem unter Verwendung dieser Modelle bauen, fast nie testen, ob dieses System von genau jenen Angriffen getäuscht werden kann, die es eigentlich verhindern soll. In den von ihnen überprüften Verteidigungsstudien erwähnten nur etwa elf Prozent das Risiko, dass das Modell selbst kompromittiert werden könnte. Die Forscher kamen zu dem Schluss, dass die Technologie von Natur aus miteinander verbunden ist – wobei ein Verteidigungswerkzeug auch ein potenzielles Ziel ist –, die Forschungsgemeinschaft der Realität jedoch noch nicht hinterhergekommen ist.
Als das Team genauer untersuchte, wie gut diese Modelle als Waffen oder Schilde funktionieren, stellte es fest, dass die in verschiedenen Studien berichteten Zahlen wild inkonsistent waren. Wenn Forscher beispielsweise testeten, wie gut eine künstliche Intelligenz ein Computersystem hacken konnte, reichten die berichteten Erfolgsraten von null bis neunzig Prozent. Diese große Lücke lag nicht daran, dass sich die Modelle veränderten, sondern daran, dass die Testdesigns unterschiedlich waren. Einige Studien verschafften dem Modell einen riesigen Vorteil, indem sie ihm genau sagten, wo die Schwachstelle lag, während andere es in einer realistischen Umgebung testeten, in der es die Schwachstelle selbstständig finden musste. Die Forscher stellten fest, dass viele Studien ihre Verteidigung nicht gegen Angreifer testeten, die aktiv versuchten, herauszufinden, wie sie diese brechen können. Stattdessen testeten sie gegen statische, vorhersehbare Angriffe. Das ist vergleichbar mit dem Testen eines Schlosses gegen einen Schlüssel, der sich nie verändert, an anstatt gegen einen Schlüsseldienst, der versucht, es zu knacken.
Die Studie zeigte auch, dass sich die gefährlichsten Bedrohungen die Leiter hinaufbewegen. Die frühe Forschung konzentrierte sich auf einfache Tricks, um das Modell dazu zu bringen, etwas zu sagen, was es nicht sagen sollte. Jetzt verschiebt sich der Fokus auf komplexere Systeme, in denen das Modell vergangene Gespräche speichern, Werkzeuge nutzen und über einen längeren Zeitraum Entscheidungen treffen kann. Diese „agentischen“ Systeme sind viel schwerer zu schützen, da ein einziger Fehler zu einer Kette von Fehlhandlungen führen kann, die sich über ein ganzes Netzwerk ausbreiten. Die Forscher fanden heraus, dass es zwar viele neue Wege gibt, diese Systeme anzugreifen, die Verteidigungen jedoch oft fragil sind. Eine Verteidigung, die heute funktioniert, kann morgen versagen, wenn der Angreifer seinen Ansatz nur geringfügig ändert. Darüber hinaus sind die Werkzeuge, die zur Erfolgsmessung verwendet werden, oft veraltet oder nur auf Englisch verfügbar, was bedeutet, dass sie für den Rest der Welt möglicherweise nicht funktionieren.
Letztlich argumentiert die Arbeit, dass wir diese Modelle nicht als einfache Werkzeuge betrachten können, die entweder gut oder schlecht sind. Es handelt sich um Dual-Use-Technologien, bei denen die Grenze zwischen Offensive und Defensive verschwimmt. Die Forscher schlagen vor, dass die wichtigste Arbeit für die Zukunft nicht nur darin besteht, neue Angriffe oder neue Verteidigungen zu erfinden, sondern bessere Wege zu finden, diese zu testen. Wir müssen aufhören anzunehmen, dass eine Verteidigung funktioniert, nur weil sie einen einfachen Test bestanden hat. Stattdessen müssen wir jedes Verteidigungssystem so testen, als wäre es auch ein Ziel, und ständig prüfen, ob es durch die Inhalte getäuscht werden kann, die es eigentlich analysieren soll. Bis die Forschungsgemeinschaft beginnt, diese drei Rollen gemeinsam zu untersuchen, werden wir blind für das vollständige Bild bleiben, wie diese mächtigen Werkzeuge eingesetzt, missbraucht und geschützt werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.