Effective Segregation of Duties in Agentic Enterprise Authorization: Evaluating Shared-Dependence Risk in Maker–Checker Controls
Dieses Paper führt das Konzept der effektiven Funktionstrennung (Effective Segregation of Duties, SoD) ein, um zwischen nominaler Identitätstrennung und tatsächlicher unabhängiger Absicherung in der KI-gesteuerten Autorisierung zu differenzieren, und zeigt durch einen groß angelegten P2P-Benchmark auf, dass effektive Risikominderung auf Evidenzvermittlung und heterogenen Prüfmodellen basiert statt auf bloßer prinzipieller Unterscheidbarkeit.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt großer Organisationen, von Banken bis hin zu Regierungsbehörden, gibt es eine grundlegende Regel, um die Dinge sicher zu halten: Keine einzelne Person sollte die Macht haben, eine Transaktion allein einzuleiten und abzuschließen. Dieses Prinzip, bekannt als Funktionstrennung, stellt sicher, dass wenn eine Person einen Fehler macht oder versucht, ungebührlich zu handeln, eine zweite Person dies erkennt, bevor etwas Schädliches geschieht. Jahrzehntelang stützte sich dieses System darauf, dass zwei verschiedene Menschen die Arbeit des jeweils anderen überprüften. Heute werden viele dieser Aufgaben jedoch an KI-Agenten übergeben. Dies sind Softwareprogramme, die Dokumente lesen, Entscheidungen treffen und sogar Finanztransfers ausführen können. Die Frage, vor der Sicherheitsexperten stehen, ist nicht mehr nur, ob man zwei verschiedene KI-Programme hat, sondern ob diese beiden Programme wirklich unabhängig sind. Wenn beide Agenten auf derselben zugrunde liegenden Technologie, denselben Informationsquellen oder derselben Denkweise basieren, könnten sie exakt denselben Fehler zur gleichen Zeit machen, was die Sicherheitsprüfung nutzlos macht.
Eine aktuelle Studie untersuchte genau dieses Szenario. Forscher schufen eine simulierte Umgebung basierend auf realen Beschaffungsregeln, in der ein KI-Agent, der als „Ersteller“ (Maker) fungiert, einen Kauf vorschlägt, und ein zweiter KI-Agent, der als „Prüfer“ (Checker) fungiert, entscheidet, ob er den Vorschlag genehmigt. Das Ziel war es zu sehen, wie oft der Prüfer es versäumt, einen schlechten Vorschlag zu stoppen. Das Team testete verschiedene Möglichkeiten, diese beiden Agenten aufzubauen. In einigen Fällen nutzten beide Agenten denselben Typ eines KI-Modells. In anderen Fällen nutzten sie unterschiedliche Modelle. Sie testeten auch, ob der Prüfer die Begründung des Erstellers sehen durfte oder ob er die Rohfakten direkt prüfen musste, und ob der Prüfer auf die Informationen angewiesen war, die der Ersteller hervorgehoben hatte, oder ob er auf die ursprünglichen, ungefilterten Daten zugreifen konnte.
Die Ergebnisse waren drastisch. Wenn das System mit dem höchsten Grad an gemeinsamer Abhängigkeit konfiguriert war – wobei beide Agenten dasselbe KI-Modell verwendeten, der Prüfer die Begründung des Erstellers sehen konnte und der Prüfer nur die vom Ersteller ausgewählten Informationen erhielt – versagte das Sicherheitssystem in mehr als sechzig Prozent der Fälle. In diesen Situationen stimmte der zweite Agent den Fehlern des ersten Agenten einfach zu, wodurch unsichere Transaktionen ermöglicht wurden. Wenn die Forscher jedoch das Setup änderten, um diese gemeinsamen Abhängigkeiten zu reduzen, verbesserten sich die Ergebnisse dramatisch. Durch die Verwendung eines anderen KI-Modells für den Prüfer, das Verbergen der Begründung des Erstellers und die Gewährung des direkten Zugriffs des Prüfers auf die ursprünglichen Quelldaten sank die Fehlerrate auf etwas mehr als dreizehn Prozent. Dies bedeutet, dass es nicht ausreicht, einfach zwei verschiedene KI-Agenten zu haben; die Art und Weise, wie sie miteinander verbunden sind und welche Informationen sie sehen, ist weita viel wichtiger als ihre Identität.
Die Studie untersuchte auch, wie oft das System gute Arbeit behinderte. Eine Sicherheitsprüfung, die jeden einzelnen Vorschlag ablehnt, selbst die sicheren, ist nutzlos, weil sie das Geschäft am Laufen hält. Die Forscher fanden heraus, dass die verbesserten Setups dieses Problem nicht verursachten. Die Systeme, die mehr schlechte Vorschläge abfing, lehnten nicht signifikant mehr gute Vorschläge ab. Dies deutet darauf hin, dass es möglich ist, KI-Sicherheitsprüfungen zu bauen, die sowohl streng als auch effizient sind, vorausgesetzt, sie werden so konzipiert, dass sie die spezifischen Fallen vermeiden, die zu gemeinsamem Versagen führen.
Eine der bedeutendsten Erkenntnisse betraf den Informationsfluss zwischen den beiden Agenten. Die größte Verbesserung trat ein, als der Prüfer direkten Zugriff auf die ursprünglichen Belege erhielt, anstatt sich auf eine vom Ersteller bereitgestellte Zusammenfassung zu verlassen. Wenn der Ersteller als Vermittler für die Daten fungierte, war die Fehlerrate wesentlich höher. Dies deutet darauf hin, dass der erste Agent unbeabsichtigt oder absichtlich genau jene Details herausfiltern kann, die nötig wären, um einen Fehler zu erkennen. Indem man den Vermittler ausschaltete und dem zweiten Agenten ermöglichte, die Rohfakten zu sehen, wurde das System viel zuverlässiger. Ebenso half das Verbergen der schriftlichen Erklärung des ersten Agenten vor dem zweiten Agenten dabei, Fehler zu reduzieren, was darauf hindeutete, dass der zweite Agent manchmal eher von der Zuversicht oder Logik des ersten Agenten beeinflusst wurde, anstatt sich an die Fakten zu halten.
Die Forscher testeten auch, was passiert, wenn zwei verschiedene Arten von KI-Modellen kombiniert werden. Sie fanden heraus, dass die Verwendung eines anderen Modells für den Prüfer die Wahrscheinlichkeit signifikant verringerte, dass beide bei demselben schlechten Vorschlag versagen. Sie merkten jedoch vorsichtig an, dass dieses Ergebnis spezifisch für das Paar der Modelle war, die sie verwendeten. Es garantiert nicht, dass irgendwelche zwei verschiedenen KI-Modelle immer gut zusammenarbeiten werden, aber es beweist, dass das Mischen von Modellen eine wirkungsvolle Strategie ist, um die Kette gemeinsamer Fehler zu unterbrechen. Die Studie hob auch eine praktische Herausforderung hervor: Eine der Kombinationen verschiedener Modelle war anfälliger für technische Störungen, die ihre Antworten unlesbar machten. Dies erinnerte die Forscher daran, dass Sicherheit nicht nur über Intelligenz, sondern auch über Zuverlässigkeit geht. Wenn eine Sicherheitsprüfung keine klare Antwort produzieren kann, kann sie ihre Aufgabe nicht erfüllen.
Letztendlich verändert diese Arbeit die Art und Weise, wie wir über Sicherheit in automatisierten Systemen denken sollten. Sie zeigt, dass die alte Regel „zwei verschiedene Personen“ sich nicht automatisch in „zwei verschiedene KI-Agenten“ übersetzt. Wenn die beiden Agenten zu ähnlich darin sind, wie sie denken, was sie sehen oder wie sie aufgebaut sind, werden sie wahrscheinlich gemeinsam scheitern. Wahre Sicherheit erfordert ein bewusstes Design, das den zweiten Agenten dazu zwingt, das Problem aus einem anderen Blickwinkel zu betrachten, indem er andere Werkzeuge und andere Informationen nutzt. Die Studie kommt zu dem Schluss, dass Organisationen nicht einfach davon ausgehen können, dass ihre KI-Sicherheitsprüfungen funktionieren, nur weil sie zwei Agenten haben. Sie müssen die tatsächliche Leistung dieser Prüfungen messen und sicherstellen, dass der zweite Agent wirklich unabhängig ist und in der Lage ist, die Fehler des ersten zu erkennen. Nur wenn wir Sicherheit als ein messbares Ergebnis statt als ein strukturelles Etikett behandeln, können wir diesen mächtigen neuen Werkzeugen unsere sensibelsten Entscheidungen anvertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.