From obligation to enforcement: mapping EU AI Act and CRA cybersecurity requirements to technical controls for LLM-based autonomous agents
Dieses Paper schließt die Lücke zwischen den ergebnisorientierten Cybersicherheitsverpflichtungen des EU AI Act und des Cyber Resilience Act und der praktischen Umsetzung, indem es deren Bestimmungen auf konkrete technische Kontrollen und Verifizierungsnachweise abbildet, die spezifisch auf LLM-basierte autonome Agenten zugeschnitten sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine neue Art von Computerprogramm vor, das nicht nur Fragen beantwortet, sondern auch handelt. Diese werden autonome Agenten genannt. Sie basieren auf großen Sprachmodellen, derselben Technologie, die Chatbots antreibt, aber mit einer entscheidenden Ergänzung: Sie können sich mit anderer Software verbinden, E-Mails lesen, Code ausführen und Entscheidungen treffen, um ein Ziel mit sehr wenig menschlicher Hilfe zu erreichen. Betrachten Sie sie als digitale Mitarbeiter, die ihre Arbeit selbst planen können. Diese Fähigkeit ist mächtig, führt aber eine einzigartige Gefahr ein. Da diese Agenten Anweisungen und Daten als dasselbe behandeln, kann ein geschickter Trick in einer Nachricht den Agenten dazu verleiten, seine Sicherheitsregeln zu ignorieren und Handlungen auszuführen, die er niemals ausführen sollte, wie etwa Dateien zu löschen oder Passwörter zu stehlen. Während diese Systeme aus Forschungslaboren in reale Unternehmen wandern, greifen Regierungen ein, um sicherzustellen, dass sie sicher sind. Zwei wichtige Gesetze in der Europäischen Union, der AI Act (Gesetz über Künstliche Intelligenz) und der Cyber Resilience Act (Gesetz über die Cybersicherheit von Produkten mit digitalen Elementen), schreiben nun vor, dass diese Systeme sicher sein müssen. Die Gesetze beschreiben jedoch die Ergebnisse, die sie anstreben – wie „Resilienz“ oder „Sicherheit“ – ohne genau zu erklären, wie man sie baut. Dies lässt Ingenieure und Regulierungsbehörden ohne eine gemeinsame Landkarte dafür zurück, was sichere Software eigentlich ausmacht.
Ein Forscher namens Abayomi Ogayemi hat diese Lücke gefüllt, indem er einen detaillierten Leitfaden erstellt hat, der diese rechtlichen Anforderungen in spezifische technische Schritte übersetzt. Das Papier mit dem Titel „From obligation to enforcement“ fungiert als Brücke zwischen den abstrakten Regeln des Gesetzes und dem konkreten Code, den Entwickler schreiben. Der Autor hat den komplexen Rechtstext beider EU-Verordnungen in kleine, handhabbare Teile der Pflichten zerlegt. Für jedes dieser Teile identifizierte er die spezifischen Bedrohungen, die einen autonomen Agenten schädigen könnten, und brachte sie mit einer bewährten technischen Kontrolle zusammen, um diese Bedrohung zu stoppen. Das Ergebnis ist eine klare Checkliste, die einem Unternehmen genau sagt, was es bauen muss, wie es es testen muss und welche Nachweise es führen muss, um zu beweisen, dass es dem Gesetz folgt.
Die Studie konzentriert sich auf zehn spezifische Arten, wie diese Agenten angegriffen werden können. Einige Angriffe beinhalten das Überlisten des Agenten, damit er seine Anweisungen ignoriert, während andere das Vergiften der Daten betreffen, die der Agent zum Lernen verwendet, oder der Werkzeuge, auf die er sich bei seiner Arbeit verlässt. Der Forscher fand heraus, dass die Gesetze diese Gefahren abdecken, aber nur, wenn das Unternehmen weiß, wie es sie interpretiert. Beispielsweise verlangt das Gesetz, dass Systeme „robust“ sein müssen, was das Papier in eine Anforderung für eine „Instruktionshierarchie“ übersetzt. Das bedeutet, dass die Software über einen strengen Satz von Regeln verfügen muss, der verhindert, dass der Agent einem Befehl eines Nutzers folgt, wenn dieser Befehl versucht, seine Kern-Sicherheitseinstellungen zu überschreiben. Ebenso wird die Forderung des Gesetzes nach „Protokollierung“ (Logging) in eine Anforderung übersetzt, ein manipulationssicheres Protokoll jeder Entscheidung des Agenten zu führen, einschließlich der Daten, die er gesehen hat, und der Aktionen, die er unternommen hat, damit Ermittler im Falle eines Fehlers genau sehen können, was passiert ist.
Eine der bedeutendsten Erkenntnisse ist, wie die beiden verschiedenen Gesetze zusammenwirken. Der Cyber Resilience Act behandelt die Software als ein Produkt, das standardmäßig sicher sein muss, während der AI Act sich auf die Risiken konzentriert, die das System für Menschen verursachen könnte. Das Papier zeigt, dass ein Unternehmen seinen Agenten baut, um die strengen Sicherheitsstandards des Cyber Resilience Act zu erfüllen – wie etwa das Besitzen einer Liste aller Softwareteile, die Beschränkung dessen, worauf der Agent zugreifen kann, und das Vorhandensein einer Möglichkeit, ihn sofort abzuschalten –, erfüllt es automatisch auch die Cybersicherheitsanforderungen des AI Act. Dies schafft einen einzigen, einheitlichen Weg, dem Unternehmen folgen können. Der Forscher stellte auch fest, dass die Gesetze strikte Fristen für die Meldung von Problemen setzen. Wenn eine Schwachstelle gefunden wird, die aktiv von Hackern ausgenutzt wird, muss das Unternehmen diese innerhalb von 24 Stunden den Behörden melden. Um dies zu erfüllen, schlägt das Papier vor, Systeme zu bauen, die verdächtige Aktivitäten sofort erkennen und die richtigen Personen ohne Verzögerung alarmieren können.
Das Papier erhebt nicht den Anspruch, jedes Problem gelöst zu haben. Es weist darauf hin, dass die Gesetze noch darauf warten, dass detailliertere technische Standards geschrieben werden, was in den kommenden Jahren geschehen wird. Bis dahin dient der durch diese Forschung bereitgestellte Leitfaden als die beste verfügbare Methode für Unternehmen, um zu beweisen, dass sie sicher sind. Es hebt auch eine schwierige Realität hervor: Wenn ein Unternehmen das „Gehirn“ seines Agenten als Open-Source-Software veröffentlicht, die jeder kopieren und verändern kann, kann es nicht vollständig kontrollieren, wie diese Software später verwendet wird, was einige rechtliche Pflichten unmöglich macht, durchsetzbar zu machen. Trotz dieser Herausforderungen bietet die Arbeit ein solides Fundament. Sie verwandelt vage rechtliche Versprechen in einen greifbaren Engineering-Plan und stellt sicher, dass diese mächtigen digitalen Agenten, während sie in unsere Welt eintreten, mit den Sicherheitsmechanismen ausgestattet sind, die notwendig sind, um uns vor ihrem potenziellen Versagen zu schützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.