A Cautionary Evaluation of LLMs for TLS Normative Requirement Classification
Diese Arbeit bewertet große Sprachmodelle für die Automatisierung der Klassifizierung von TLS-Normativanforderungen unter Verwendung von NIST SP 800-52 Rev. 2 und stellt fest, dass, obwohl Ensemble-Methoden eine Genauigkeit von 93,75 % erreichen, eine systematische Verwechslung zwischen der Sprache „SHOULD NOT“ (sollte nicht) und „MAY“ (kann/darf) die aktuellen LLMs für eine eigenständige Compliance-Auditierung unzuverlässig macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Internet verlässt sich auf einen digitalen Handschlag namens Transport Layer Security, oder TLS, um unsere privaten Nachrichten, Banktransaktionen und E-Mails vor neugierigen Blicken zu schützen. Dieses System funktioniert, indem es sich auf einen spezifischen Satz von Regeln darüber einigt, wie Daten verschlüsselt und entschlüsselt werden. Diese Regeln werden nicht spontan erfunden; sie sind in massiven, komplexen Dokumenten, den sogenannten technischen Standards, niedergeschrieben. Diese Dokumente sagen Ingenieuren genau, welche Regeln obligatorisch sind, welche lediglich Empfehlungen sind und welche verboten sind. Die verwendete Sprache ist präzise und juristisch geprägt und stützt sich auf spezifische Wörter wie „muss“, „sollte“ oder „kann“, um die Stärke einer Regel zu definieren. Ein „muss“ bedeutet, dass eine Regel nicht verhandelbar ist, während ein „kann“ bedeutet, dass sie optional ist. Der Text ist jedoch oft knifflig, da er diese Wörter mit Bedingungen mischt, etwa indem er sagt, dass eine Regel nicht empfohlen wird, es sei denn, es tritt ein sehr spezifischer Notfall ein. Für Sicherheitsexperten ist es eine Frage der Sicherheit, diese Regeln richtig zu verstehen; eine Empfehlung als Erlaubnis misszuverstehen, könnte ein System für Angriffe weit offen lassen.
Jahrelang war der einzige Weg, diese tausenden Seiten Text in eine Checkliste zu verwandeln, die ein Computer verstehen konnte, darin zu bestehen, dass menschliche Experten jede Zeile lesen und die Regeln manuell übersetzen. Dieser Prozess ist langsam, teuer und anfällig für menschliche Fehler. Vor kurzem ist ein neuer Typ von Computerprogramm namens Large Language Model (großes Sprachmodell) aufgetaucht, das in der Lage ist, menschliche Sprache mit bemerkenswerter Geschicklichkeit zu lesen und zu verstehen. Diese Modelle können Fragen beantworten, Texte zusammenfassen und sogar Code schreiben. Dies warf eine hoffnungsvolle Frage für die Welt der Cybersicherheit auf: Könnten diese intelligenten Programme die Sicherheitsstandards lesen und automatisch herausfinden, welche Regeln für welche digitalen Verbindungen gelten, und so Experten Monate an Arbeit ersparen? Ein Forscherteam der Fondazione Bruno Kessler in Italien unternahm den Versuch, diese Idee zu testen – nicht um zu sehen, ob die Technologie eine Geschichte schreiben kann, sondern um zu prüfen, ob sie eine Aufgabe bewältigen kann, bei der ein einziger Fehler die Sicherheit des gesamten Internets gefährden könnte.
Die Forscher konzentrierten sich auf einen spezifischen Abschnitt eines bedeutenden Sicherheitsstandards namens NIST SP 800-52, der regelt, wie TLS konfiguriert werden sollte. Sie wählten einen Datensatz von 144 spezifischen digitalen Verbindungsmustern, sogenannten Cipher Suites, die die Bausteine sicherer Kommunikation darstellen. Ihr Ziel war es zu sehen, ob Large Language Models korrekt den Status jedes Musters identifizieren konnten: War es eine strikte Anforderung, eine Empfehlung, eine Erlaubnis oder ein Verbot? Um die Aufgabe fair und streng zu gestalten, ließen sie die Modelle nicht einfach nur raten. Stattdessen bauten sie ein System, das die Modelle zwang, Schritt für Schritt zu denken. Sie gaben den Modellen die exakten Definitionen der Schlüsselwörter vor und forderten sie auf, einem sechsstufigen Logikpfad zu folgen, indem sie den Text untersuchten, Schlüsselwörter fanden, Negativwörter prüften und dann eine endgültige Entscheidung trafen. Um sicherzustellen, dass die Ergebnisse robust waren, führten sie diesen Test mit vier verschiedenen Large Language Models durch und kombinierten deren Antworten mithilfe eines Abstimmungssystems, das den Modellen, die am besten abschnitten, mehr Gewicht beimaß.
Die Ergebnisse waren eine Mischung aus beeindruckender Leistungsfähigkeit und ernüchternder Einschränkung. Das System funktionierte gut genug, um in fast 94 Prozent der Fälle die richtige Antwort zu liefern. Dies war eine leichte Verbesserung gegenüber der Verwendung eines einzelnen Modells allein, was bewies, dass die Kombination der „Meinungen“ mehrerer Modelle einige der individuellen Eigenheiten der Modelle glätten kann. Dennoch stellten die Forscher fest, dass dieses Genauigkeitsniveau, obwohl es für viele Aufgaben gut genug ist, für die Sicherheitskonformität nicht ausreicht. In der Welt der Cybersicherheit ist eine Fehlerrate von 6 Prozent katastrophal. Wenn ein Werkzeug zur Prüfung eines Systems eingesetzt wird und auch nur eine einzige verbotene Regel übersieht, könnte dieses System mit einer bekannten Schwachstelle bereitgestellt werden. Die Studie zeigte, dass die Modelle nicht zufällig scheiterten; sie scheiterten auf eine sehr spezifische, vorhersehbare Weise.
Die Schwachstelle war eine subtile, aber kritische Unterscheidung in der Sprache der Standards. Die Modelle hatten Schwierigkeiten, zwischen einer Regel, die besagt „tun Sie dies nicht, es sei denn, Sie müssen es unbedingt tun“, und einer Regel, die besagt „Sie dürfen dies tun“, zu unterscheiden. In der technischen Sprache der Standards ist erstere eine nicht empfohlene Regel, die nur unter strengen Bedingungen erlaubt ist, während letztere eine einfache Erlaubnis darstellt. Die Forscher fanden heraus, dass mehr als die Hälfte der Fehler, die die Modelle machten, darin bestand, diese beiden Kategorien zu verwechseln. Die Modelle lasen einen Satz, der eine bestimmte Praxis entmutigte, sie aber in Notfällen erlaubte, und interpretierten den Teil „erlaubt“ als die Hauptbotschaft, wobei sie die Warnung „entmutigt“ ignorierten. Sie sahen die Erlaubnis, aber übersahen die Bedingung.
Dieser Fehler wurde nicht durch den Schritt-für-Schritt-Denkprozess behoben, den die Forscher in das System eingebaut hatten. Selbst wenn die Modelle gezwungen wurden, ihre Argumentation aufzuschreiben, machten sie denselben Fehler. Sie konnten die Begriffe „nicht empfohlen“ und „kann verwendet werden“ zwar korrekt identifizieren, aber sie konnten sie nicht korrekt gegeneinander abwägen, um zum richtigen Schluss zu gelangen. Die Forscher kamen zu dem Schluss, dass diese Computerprogramme zwar leistungsstarke Werkzeuge zum Lesen von Texten sind, ihnen aber noch nicht das tiefe Verständnis für Nuancen und bedingte Logik fehlt, das erforderlich ist, um menschliche Experten bei der Sicherheitsprüfung zu ersetzen. Die Technologie ist noch nicht bereit, alleine zu arbeiten. Die Studie legt nahe, dass diese Werkzeuge nützlich als erste Instanz sein könnten, um potenzielle Regeln für eine menschliche Überprüfung zu kennzeichnen, aber man kann ihnen nicht vertrauen, die endgültige Entscheidung zu treffen. Bis die Modelle zuverlässig den Unterschied zwischen einer entmutigten Ausnahme und einer einfachen Erlaubnis verstehen können, muss die Aufgabe, die Regeln des Internets zu sichern, in menschlicher Hand bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.