Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
Diese Arbeit bewertet die Effektivität von 11 Open-Weight-Large-Language-Models bei der automatischen Umwandlung unstrukturierter Schwachstellenbeschreibungen für vernetzte und autonome Fahrzeuge (CAV) in strukturierte STIX-Bedrohungsintelligenz und zeigt dabei eine hohe Genauigkeit bei der Identifizierung von Assets und Schwachstellen auf, während gleichzeitig Herausforderungen bei der Abbildung komplexer Angriffstechniken hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, die Welt der Autos bestünde nicht mehr nur aus Metallrädern und Benzinmotoren; sie wäre ein riesiges, rollendes Computernetzwerk. Moderne Fahrzeuge sind vollgepackt mit Sensoren, WLAN und komplexer Software, die miteinander und mit der Außenwelt kommunizieren. Aber genau wie Ihr Smartphone oder Ihr Laptop hat auch diese Software Fehler. Manchmal sind diese Fehler schwerwiegende Sicherheitslücken, die Hacker nutzen könnten, um die Kontrolle über ein Auto zu übernehmen oder Daten zu stehlen. Um alle sicher zu halten, müssen Sicherheitsexperten diese Lücken schnell verstehen. Die Informationen über diese Fehler sind jedoch oft in unordentlichen, einfachen englischen Absätzen geschrieben, die schwer zu scannen sind. Um dies zu beheben, verwenden Experten einen speziellen „Universaltrainer“ für Bedrohungen namens STIX. Denken Sie an STIX als eine strukturierte Rezeptkarte, die eine unordentliche Geschichte in ordentliche Zutaten zerlegt: wer angegriffen wurde, was kaputtging, wie es kaputtging und wer es kaputtgemacht hat. Dieses Papier untersucht, ob eine neue Generation intelligenter KI-Computer, bekannt als Large Language Models (LLMs), als dieser Übersetzer fungieren kann, um unordentliche Fehlerberichte automatisch in perfekte, strukturierte Bedrohungsrezepte zu verwandelt.
Die Forscher hinter dieser Studie, ein Team der University of Alabama, beschlossen, diese KI-Modelle speziell für vernetzte und autonome Fahrzeuge (CAVs) auf die Probe zu stellen. Sie wollten sehen, ob Open-Source-KI-Modelle (die Art von Modellen, die jeder herunterladen und ausführen kann, nicht nur die, die hinter großen Firmentüren verschlossen sind) einen Schwachstellenbericht lesen und sofort das korrekte STIX-„Rezept“ erstellen können. Um dies zu erreichen, mussten sie zuerst ihren eigenen Trainingsplatz bauen. Sie erstellten einen neuen Datensatz namens CAV-STIXGen, der 183 reale Schwachstellenberichte von Autos enthält. Für jeden Bericht schrieben sie manuell das perfekte STIX-Rezept auf, einschließlich der spezifischen Teile des Autos, die betroffen waren, der Art der Schwachstelle und der exakten Hacking-Techniken, die verwendet wurden. Dieser Datensatz wurde zum „Lösungsbuch“, um die KI-Modelle zu bewerten.
Das Team lud dann 11 verschiedene Open-Weight-KI-Modelle zur Party ein, die von kleinen, flinken Modellen bis hin zu massiven, schweren Modellen reichten. Sie testeten diese Modelle mit drei verschiedenen „Lehrstilen“ (oder Prompting-Strategien). Der erste Stil war kontextlos (Contextless), bei dem die KI einfach nur den Fehlerbericht erhielt und den Rest erraten musste. Der zweite war STIX-gesteuert (STIX-guided), wobei der KI eine Checkliste vorgegeben wurde, wonach sie suchen sollte. Der dritte war Dynamic Few-Shot, der hilfreichste Ansatz, bei dem der KI fünf Beispiele für perfekte Antworten gezeigt wurden, bevor sie versucht wurde, das neue Problem zu lösen. Sie testeten auch ein „Multi-Agenten“-Setup, bei dem zwei verschiedene KI-Modelle wie ein Team von Detektiven zusammenarbeiteten, wobei eines sich auf das Finden der Teile konzentrierte und das andere auf das Verknüpfen der Punkte.
Die Ergebnisse waren eine Mischung aus „Wow“ und „Noch nicht ganz“. Wenn es darum ging, die Objekte zu identifizieren (wie das Benennen eines spezifischen Autoteils oder der Art der Schwachstelle), waren die KI-Modelle überraschend gut. Unter dem besten Lehrstil (Dynamic Few-Shot) erreichten die Top-Modelle einen Wert von 0,94 von 1,0, was bedeutet, dass sie fast perfekt darin waren, die Zutaten zu erkennen. Sie waren auch exzellent darin, die Art der Schwachstelle (wie einen spezifischen Kodierungsfehler) zu identifizieren, mit einem Wert von 0,99. Die KI hatte jedoch größere Schwierigkeiten mit den Beziehungen – also herauszufinden, wie genau ein Teil mit einem anderen in einer logischen Kette verbunden ist. Das beste Modell für diese Aufgabe erreichte nur einen Wert von 0,63. Es ist, als könnte die KI perfekt die Zutaten für einen Kuchen auflisten, aber manchmal vergisst sie zu sagen, dass die Eier in den Teig gehören und nicht obenauf.
Die komplexeste Aufgabe war die Zuordnung der Schwachstellen zu MITRE ATT&CK-Techniken, die wie eine Bibliothek bekannter Hacker-Züge sind. Dies blieb die schwierigste Herausforderung. Während die Modelle oft mindestens eine korrekte Hacking-Technik finden konnten (mit Werten von bis zu 0,68 für das Finden einer Technik), übersah sie häufig das vollständige Bild, wenn ein einzelner Fehler mehrere Angriffsmethoden beinhaltete. Die Forscher fanden heraus, dass die Aufteilung der Arbeit auf zwei KI-Agenten zwar bei der Identifizierung von Objekten half, aber die Beziehungsprobleme nicht konsistent löste.
Durch die Analyse der gesammelten Daten entdeckte das Team auch wiederkehrende Muster in der Arbeitsweise von Car-Hackern. Sie fanden heraus, dass die häufigsten Schwachstellen in Autos Speichersicherheitsfehler (wie das Schreiben von Daten an Stellen, an denen sie nicht hingehören) und unangemessene Zugriffskontrollen (das Zulassen von Personen, die nicht hineingehören sollten) betreffen. Die am häufigsten verwendeten Hacking-Techniken beinhalteten Denial of Service (Überlastung der Autosysteme) und das Ausnutzen von Client-seitiger Software. Die Daten deuten darauf hin, dass diese Angriffe oft in Paaren auftreten, wie etwa das Ausnutzen eines Client-Programms und das anschließende Verursachen eines Systemabsturzes.
Kurz gesagt deutet dieses Papier darauf hin, dass KI zwar ein mächtiges Werkzeug zur Automatisierung der Fahrzeugsicherheitsanalyse wird, aber noch keine „Einmal einstellen und vergessen“-Lösung ist. Die KI kann einen fantastischen Job dabei machen, die Teile des Puzzles zu entdecken, aber sie benötigt immer noch menschliche Anleitung und bessere Beispiele, um herauszufinden, wie diese Teile perfekt zusammenpassen. Die Forscher hoffen, dass sie durch die Bereitstellung dieses neuen Datensatzes und die Aufzeigung dessen, worin die KI erfolgreich ist und wo sie scheitert, Sicherheitsteams dabei helfen können, bessere Werkzeuge zu entwickeln, um unsere zukünftigen autonomen Fahrzeuge vor digitalen Bedrohungen zu schützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.