A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications
Dieses Paper präsentiert ein Framework, das aufzeigt, dass LLMs zwar konsistente synthetische Antworten für Sicherheitsumfragen generieren können, jedoch systematische Biases und Homogenisierung aufweisen, die sie zwar für Pilotstudien und Hypothesengenerierung geeignet, aber als Ersatz für tatsächliche Expertenbefragungen unzureichend machen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt der Cybersicherheit ist das Verständnis darüber, wie menschliche Experten denken, von entscheidender Bedeutung. Wenn es zu einer Sicherheitsverletzung kommt, können die Entscheidungen der Analysten in einem Security Operations Centre (SOC) darüber entscheiden, ob eine Bedrohung eingedämmt wird oder sich im gesamten Netzwerk ausbreitet. Um diese Entscheidungsprozesse zu verstehen, verlassen sich Forscher häufig auf Umfragen und Interviews mit diesen Fachleuten. Es erweist sich jedoch als äußerst schwierig, genügend Experten zu finden, die an Umfragen teilnehmen. Diese Spezialisten sind oft überarbeitet, sehen sich mit ständigen Alarmen und der Gefahr eines Burnouts konfrontiert, und viele unterliegen strengen Geheimhaltungsvorschriften, die sie daran hindern, Details über ihre tägliche Arbeit preiszugeben. Infolgedessen leiden Studien oft unter kleinen Stichproben, was die Forscher mit unvollständigen Bildern der Branche zurücklässt.
Kürzlich ist ein neues Werkzeug aufgetaucht, das verspricht, diesen Mangel zu beheben: Large Language Models (große Sprachmodelle). Dies sind fortschrittliche Computerprogramme, die auf riesigen Mengen menschlicher Texte trainiert wurden und in der Lage sind, Texte zu generieren, die verblüffend wie ein Mensch klingen. Einige Forscher haben begonnen, sich zu fragen, ob diese künstlichen Intelligenzen als Stellvertreter für echte Experten fungieren könnten, indem sie die Lücken in den Umfragedaten durch die Generierung tausender synthetischer Antworten füllen. Die Idee ist attraktiv: Wenn ein Computer einen Experten imitieren kann, könnte dies Wissenschaftlern ermöglichen, ihre Fragen zu testen, verschiedene Szenarien zu untersuchen und Daten zu sammeln, ohne mühsam nach beschäftigten Menschen suchen zu müssen. Doch eine kritische Frage bleibt: Kann eine Maschine wirklich wie ein Sicherheitsexperte denken, oder produziert sie lediglich eine überzeugende Imitation, der die Nuancen echter menschlicher Erfahrung fehlt?
Ein Team von Forschern hat sich das Ziel gesetzt, diese Frage zu beantworten, indem es ein strenges Framework entwickelte, um zu testen, ob diese künstlichen Modelle als zuverlässige Ersatz für menschliche Experten in Sicherheitsumfragen dienen können. Sie stellten den Modellen nicht einfach nur ein paar Fragen und schauten zu, was geschah; stattdessen entwarfen sie ein umfassendes Experiment, um zu sehen, ob die computergenerierten Antworten einer genauen Prüfung standhalten. Die Forscher sammelten echte Umfragedaten von sechs Cybersicherheitsexperten, die in verschiedenen Sektoren arbeiteten, die von der Gesundheitsbranche bis zum Finanzwesen reichten. Diese Experten verfügten über unterschiedliche Erfahrungsstufen und besetzten verschiedene Rollen, wie etwa Manager, Analysten und Spezialisten. Die Forscher baten dann sechs verschiedene Large Language Models, diese spezifischen Experten zu simulieren, wobei sie digitale Personas erstellten, die den Hintergründen und Jobtiteln der realen Personen entsprachen.
Das Experiment wurde auf drei verschiedene Arten durchgeführt, um die Modelle aus jeder Perspektive zu testen. Erstens baten die Forscher die Modelle, als einzelne Experten zu agieren, um die spezifischen Meinungen der echten Menschen zu replizieren. Zweitens baten sie die Modelle, die allgemeinen Muster einer gesamten Gruppe zu generieren, um die aggregierten Ergebnisse einer großen Umfrage zu simulieren. Schließlich testeten sie die Modelle im Zeitverlauf, indem sie sie baten, vorherzusagen, wie sich Expertenmeinungen über mehrere Jahre anhand realer Daten verschoben haben. Während dieses gesamten Prozesses ließen die Forscher jede Simulation mehrfach laufen, um zu sehen, ob die Modelle bei wiederholter Fragestellung dieselben Antworten gaben, um Konsistenz und Stabilität zu prüfen.
Die Ergebnisse zeigten eine klare und signifikante Kluft zwischen den künstlichen Simulationen und der menschlichen Realität. Während die Large Language Models bemerkenswert konsistent mit sich selbst waren – sie gaben oft dieselbe Antwort, wenn sie mehrfach dieselbe Frage erhielten –, gelang es ihnen nicht, die wahre Vielfalt des menschlichen Denkens abzubilden. Echte Sicherheitsexperten zeigten ein breites Spektrum an Meinungen; einige waren bei ihren Entscheidungen sicher, während andere unsicher waren, und ihre Antworten variierten je nach ihrer spezifischen Erfahrung und den einzigartigen Anforderungen ihres Arbeitsplatzes. Im Gegensatz dazu neigten die Modelle dazu, zu einer einzigen, sicheren, mittelmäßigen Antwort zu konvergierten. Sie glätteten die Meinungsverschiedenheiten und Unsicherheiten, die für menschliche Experten natürlich sind, und produzierten Antworten, die zu einheitlich und zu höflich waren.
Als die Forscher die Verteilung der Antworten der Modelle mit den Realdaten verglichen, stellten sie fest, dass die Modelle zwar die allgemeine Form der Daten richtig zu erfassen schienen, aber die Details fehlten. Sie neigten dazu, extreme oder seltene Meinungen zu vermeiden und ihre Antworten um den Durchschnitt zu gruppieren. Dieser „Central Tendency Bias“ (Tendenz zur Mitte) bedeutete, dass die Modelle zwar ein plausibel aussehendes Umfrageergebnis generieren konnten, aber effektiv die Variationen auslöschten, die menschliche Expertise wertvoll machen. Wenn sie beispielsweise nach den Herausforderungen bei der Einführung neuer Werkzeuge gefragt wurden, hoben echte Experten spezifische, harte operative Hürden hervor, während die Modelle generische, lehrbuchartige Schwierigkeiten anboten, denen die Textur der tatsächlichen Praxis fehlte.
Die Studie untersuchte auch, ob diese Modelle Veränderungen in der Branche im Zeitverlauf verfolgen können. Die Forscher fanden heraus, dass die Modelle weitgehend zeitunempfindlich waren. Selbst wenn sie gebeten wurden, Antworten aus verschiedenen Jahren zu simulieren, produzierten die Modelle dieselben statischen Muster und konnten die sich entwickelnde Natur von Cybersicherheitsbedrohungen und -praktiken nicht widerspiegeln. Dies deutet darauf hin, dass die Modelle nicht wirklich „lernen“ oder sich an neue Informationen anpassen, wie es ein menschlicher Experte tun würde; stattdessen rufen sie einen festen Satz von Konzepten ab, die sich nicht mit der Zeit verändern. Dieses mangelnde zeitliche Bewusstsein bedeutet, dass man ihnen nicht vertrauen kann, um vorherzusagen, wie sich Expertenmeinungen in der Zukunft ändern könnten, oder um historische Trends akkurat abzubilden.
Letztendlich kamen die Forscher zu dem Schluss, dass diese Large Language Models zwar leistungsstarke Werkzeuge sind, aber nicht bereit sind, menschliche Experten in der Sicherheitsforschung zu ersetzen. Die Modelle sind hervorragend geeignet für die frühen Phasen einer Studie, etwa um Forschern beim Entwerfen von Umfragefragen zu helfen, zu testen, ob eine Frage klar ist, oder um hypothetische Szenarien zu generieren, um Ideen zu explorieren. Sie können als nützliches Sprachtestfeld für Ideen dienen. Sie sollten jedoch niemals dazu verwendet werden, die eigentliche Erhebung von Expertenmeinungen zu ersetzen. Die einzigartige, vielfältige und manchmal widersprüchliche Natur menschlichen Urteilsvermögens ist etwas, das nicht durch einen Algorithmus synthetisiert werden kann. Um die reale Welt der Cybersicherheit zu verstehen, müssen Forscher sich weiterhin auf die chaotischen, komplexen und unschätzbaren Erkenntnisse der Menschen verlassen, die in ihr leben und arbeiten. Die Studie dient als wichtiger Leitfaden, der sicherstellt, dass die Disziplin bei der Nutzung neuer Technologien nicht das Auge für die menschliche Expertise verliert, die das Fundament der Sicherheit bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.