Evaluating the Effectiveness of LLMs in Aiding Compliance Testing of PKCS#1-v1.5
Diese Arbeit bewertet die Wirksamkeit der Kombination von Grammatik-Level-Mutation mit LLM-basierter Codesynthese für das Compliance-Testing von PKCS#1 v1.5-Implementierungen und stellt fest, dass der Ansatz zwar erfolgreich bekannte Schwachstellen reproduziert und neue Diskrepanzen entdeckt, sein Nutzen jedoch durch hohe Raten an LLM-Halluzinationen stark begrenzt wird, die eine signifikante Lücke zwischen operationaler Zuverlässigkeit und semantischer Treue erzeugen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein strenger Bauinspektor. Ihr Job ist es zu prüfen, ob jedes im Stadtgebiet gebaute Haus exakt demselben Bauplan folgt. Der Bauplan (die „Spezifikation“) besagt: „Die Vordertür muss 3 Fuß breit sein, das Dach muss rot sein und der Schornstein muss exakt 10 Fuß hoch sein.“
In der Welt der Computersicherheit sind diese „Häuser“ Softwareprogramme, die verschlüsselte Nachrichten verarbeiten (wie digitale Signaturen). Der „Bauplan“ ist ein komplexer Satz von Regeln, der als PKCS#1 v1.5 bezeichnet wird. Wenn ein Programm ein Haus baut, das nicht perfekt zum Bauplan passt, könnte es eine versteckte Hintertür haben, durch die Hacker einbrechen können.
Das Problem: Das Prüfen ist schwierig
Diese Häuser zu prüfen, ist unglaublich schwierig.
- Raten funktioniert nicht: Wenn man einfach nur zufällige Ziegelsteine auf ein Haus wirft, wird man fast nie zufällig eine Tür bauen, die exakt 3 Fuß breit ist. Man braucht einen sehr spezifischen Plan.
- Experten-Tools sind langsam: Es gibt Werkzeuge, die von menschlichen Experten entwickelt wurden, um jede mögliche Variation des Bauplans zu prüfen, aber der Bau dieser Werkzeuge erfordert jahrelange tiefgehende Studien und manuelle Arbeit. Das ist so, als würde man ein Team von Meisterarchitekten anheuern, um jedes einzelne Haus zu inspizieren.
Die neue Idee: Der „KI-Architekt“
Die Forscher in dieser Arbeit stellten eine einfache Frage: Können wir ein Large Language Model (eine KI) als „Übersetzer“ verwenden, der einen fehlerhaften Bauplan in einen Test verwandelt?
Hier ist ihr Prozess:
- Der ursprüngliche Bauplan: Sie nahmen die offiziellen Regeln für das Haus.
- Der Mutator (Die „Was-wäre-wenn“-Maschine): Sie verwendeten ein Computerprogramm, um den Bauplan absichtlich auf 13 verschiedene Arten zu verändern. Zum Beispiel könnten sie sagen: „Was wäre, wenn die Tür 4 Fuß breit ist?“ oder „Was wäre, wenn das Dach blau ist?“ oder „Was wäre, wenn wir den Schornstein komplett entfernen?“
- Der KI-Übersetzer: Sie übergaben diese fehlerhaften Baupläne an eine KI und sagten: „Schreibe ein Computerprogramm, das ein Haus exakt nach diesem fehlerhaften Bauplan baut.“
- Der Test: Sie ließen das Programm der KI das Haus bauen und versuchten dann, dieses Haus 48 verschiedenen Softwareprogrammen (den „Baustellenteams“) zu füttern, um zu sehen, ob die Baustellenteams das fehlerhafte Haus akzeptierten. Wenn ein Baustellenteam ein fehlerhaftes Haus akzeptierte, hatte dieses Team eine Sicherheitslücke.
Die Ergebnisse: Eine Geschichte von zwei Zahlen
Die Ergebnisse waren eine Mischung aus großartigen Neuigkeiten und einer ernsten Warnung.
Die guten Nachrichten (Operationale Zuverlässigkeit):
Die KI war fantastisch darin, Anweisungen zu folgen, um die Arbeit zu beginnen.
- 99,8 % der Zeit schrieb die KI ein Programm, das ohne Absturz lief. Es war wie ein Architekt, der Ihnen immer einen Bauplan überreicht, der keine Tippfehler oder fehlenden Seiten hat.
Die schlechten Nachrichten (Semantische Treue):
Der KI war es jedoch furchtbar, dem fehlerhaften Bauplan tatsächlich zu folgen.
- Nur 17,5 % der Zeit baute die KI das Haus so, wie es der fehlerhafte Bauplan verlangte.
- In 82,5 % der Fälle „halluzinierte“ die KI. Sie sah den fehlerhaften Bauplan, dachte: „Oh, das sieht falsch aus“, und korrigierte ihn heimlich zurück zum ursprünglichen, perfekten Bauplan, bevor sie das Haus baute.
Die Analogie:
Stellen Sie sich vor, Sie sagen der KI: „Baue ein Haus mit einer blauen Tür.“
- Erfolg: Die KI baut ein Haus mit einer blauen Tür.
- Halluzination: Die KI baut ein Haus mit einer roten Tür, weil sie „weiß“, dass Türen normalerweise rot sind, obwohl Sie explizit nach einer blauen gefragt haben. Sie hat Ihre spezifische Anweisung ignoriert.
Was haben sie herausgefunden?
- Sie fanden die großen Bugs: Der Ansatz konnte 10 von 13 bekannten Sicherheitsfehlern (einschließlich der gefährlichsten, die Hacker ermöglichen, Signaturen zu fälschen) erfolgreich reproduzieren. Dies beweist, dass die Idee funktioniert.
- Sie fanden einen neuen Bug: Sie entdeckten ein neues Sicherheitsproblem in einer Bibliothek namens LibTomCrypt, das noch niemand zuvor gemeldet hatte. Dies geschah, weil die KI erfolgreich ein Haus baute, dem ein spezifischer Teil (das führende Null-Byte) fehlte, und die Bibliothek dieses Haus akzeptierte.
- Der Flaschenhals ist die KI, nicht der Plan: Die Forscher fanden heraus, dass der „Mutator“ (die Maschine, die die Baupläne verändert) einen großartigen Job machte. Das Problem lag ausschließlich in der Unfähigkeit der KI, den fehlerhaften Regeln treu zu bleiben.
Die Arten der „Halluzinationen“
Die Forscher kategorisierten, wie die KI scheiterte, wie ein Arzt, der einen Patienten diagnostiziert:
- Der „Fixer“ (Am häufigsten): Die KI sah eine fehlerhafte Regel (wie „Padding muss weniger als 16 Bytes sein“) und dachte: „Das ist unmöglich“, und korrigierte sie dann lautlos zurück zur normalen Regel.
- Der „Mathe-Genie, der Mathe vergaß“: Die KI versuchte, den Regeln zu folgen, vertuschte aber die einfache Mathematik (wie die Berechnung, wie viel Padding hinzuzufügen ist), was zu einem Haus der falschen Größe führte.
- Das „Ignorieren“: Die KI ignorierte den fehlerhaften Teil des Bauplans komplett und baute ein Standardhaus.
Das Fazit
Dieses Paper zeigt, dass die Verwendung von KI zur Unterstützung dieses Testens vielversprechend, aber derzeit unzuverlässig ist.
Die KI ist gut darin, Code zu schreiben, der läuft (er stürzt nicht ab), aber sie ist sehr schlecht darin, Code zu schreiben, der das bedeutet, was man sagt. Sie hat die Angewohnheit, Ihre absichtlichen Fehler zu „korrigieren“, weil sie denkt, sie wisse es besser.
Die Forscher kommen zu dem Schluss, dass man, wenn man KI für diese Art von Tests verwenden möchte, dem geschriebenen Code nicht einfach vertrauen kann. Man muss eine zweite Kontrollschicht haben, um sicherzustellen, dass die KI tatsächlich Ihren spezifischen, fehlerhaften Anweisungen gefolgt ist und sie nicht einfach wieder auf „normal“ korrigiert hat. Bis dahin ist die KI wie ein sehr eifriger Praktikant, der zwar sehr darauf bedacht ist, zu gefallen, aber oft Ihre spezifischen Befehle ignoriert, die Dinge auf die „richtige“ Weise zu tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.