Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents
Dieses Paper schlägt die Teleoneutrosophische Logik vor, ein provenzbewusstes Framework, das separate neutrosophische Tripel für Wirkung und Zweck koppelt, um eine dreifache Autorisierung institutioneller KI-Agenten zu ermöglichen und dadurch den direkten Schadensdurchlauf effektiv zu reduzieren, indem es legitime externe Anfragen von bösartigen Anreizen unterscheidet.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt beginnen Regierungsbehörden und große Institutionen, künstliche Intelligenz einzusetzen, um komplexe Aufgaben zu bewältigen, wie etwa die Zusammenfassung von Bürgerpetitionen oder die Verwaltung von Steuerunterlagen. Diese KI-Agenten sind leistungsstarke Werkzeuge, stehen aber vor einem einzigartigen und gefährlichen Problem: Sie können getäuscht werden. Stellen Sie sich vor, ein Bürger reicht eine Petition zu einem Steuerproblem ein, in deren Dokument jedoch eine geheime Anweisung versteckt ist, die die KI dazu veranlasst, Geld auf das Konto eines Fremden zu überweisen. Für die KI sieht diese Anweisung wie ein weiterer Befehl aus, dem sie zu folgen hat. Die Herausforderung für Sicherheitsexperten besteht darin, zwischen einer legitimen Anordnung eines autorisierten Beamten und einem verborgenen Befehl zu unterscheiden, der in einem Dokument vergraben ist, das die KI lediglich liest. Traditionelle Sicherheitssysteme schauen oft nur darauf, was eine Aktion bewirkt – wie etwa eine Geldüberweisung – und haben Schwierigkeiten zu verstehen, wer sie tatsächlich angefordert hat oder warum. Diese Lücke macht Institutionen anfällig für „Prompt Injection“, bei der Angreifer bösartige Anweisungen in den von der KI verarbeiteten Daten verstecken.
Um dies zu lösen, haben die Forscher Selçuk Topal und Buğra Ayan eine neue Methode entwickelt, um zu entscheiden, ob ein KI-Agent eine Anfrage ausführen sollte. Ihr Ansatz, genannt Teleoneurosophische Logik, betrachtet die Entscheidung zur Autorisierung einer Aktion als eine dreifache Wahl: Das System kann die Aktion genehmigen, ablehnen oder innehalten, um eine menschliche Überprüfung anzufordern. Der Kern ihrer Innovation liegt in der Trennung von dem „Was“ und dem „Warum“. Das System bewertet die Aktion selbst (die Wirkung) und die Quelle der Anweisung (den Zweck) als zwei unterschiedliche Beweisstücke. Entscheidend ist, dass das System jedem Quellwert einen Vertrauenswert zuweist. Eine direkte Anordnung eines verifizierten Regierungsbeamten trägt einen hohen Vertrauenswert, während ein von einem Bürger hochgeladenes Dokument oder eine E-Mail eines unbekannten Absenders einen niedrigen Wert trägt. Das System wiegt diese Werte dann gegen den potenziellen Schaden der Aktion ab. Wenn eine Quelle mit geringem Vertrauen versucht, eine Entscheidung mit hoher Tragweite zu beeinflussen, ignoriert das System dies nicht einfach; statlich betrachtet die mangelnde, klare und vertrauenswürdige Absicht als Grund, innezuhalten und die Entscheidung an einen Menschen zu eskalieren.
Die Forscher testeten dieses System anhand einer großen Sammlung simulierter Angriffe und realistischer Regierungsszenarien. Sie erstellten über tausend Szenarien, in denen Angreifer versuchten, KI-Agenten dazu zu bringen, Daten zu stehlen oder unbefugte Rückerstattungen zu tätigen. In diesen Tests erwies sich das neue System als äußerst effektiv darin, Angriffe aus nicht vertrauenswürdigen Quellen zu stoppen. Wenn das System korrekt identifizierte, dass eine Anfrage aus einem Kanal mit geringem Vertrauen kam, verhinderte es, dass die KI handelte, selbst wenn die versteckte Anweisung sehr überzeugend aussah. Die Studie fand heraus, dass das System durch die Trennung des „Zwecks“ einer Anfrage von ihrer „Wirkung“ die Rate erfolgreicher Angriffe von einem gefährlichen Niveau auf einen sehr kleinen Bruchteil reduzieren konnte. Beispielsweise reduzierte das System in einem Testlauf mit direktem Schaden die Anzahl der erfolgreichen Angriffe von über 36 Prozent auf weniger als 2 Prozent, wenn die Labels korrekt waren. Selbst wenn das System getäuscht wurde, ein gefährliches Quellverzeichnis fälschlicherweise als vertrauenswürdig einzustufen, gelang es ihm dennoch, die Mehrheit der Angriffe zu blockieren, wodurch die Erfolgsrate von über 80 Prozent auf etwa 35 Prozent sank.
Die Forscher entdeckten jedoch auch die Grenzen dieses Ansatzes. Das System verlässt sich stark auf die Genauigkeit der Vertrauenslabels, die verschiedenen Kanälen zugewiesen werden. Wenn ein Angreifer es schafft, das System zu täuschen, sodass eine bösartige Quelle als vertrauenswürdig gilt, schwächt dies den Schutz. Darüber hinaus zeigte die Studie, dass das System kein magischer Schutzschild ist, der in jeder Situation perfekt funktioniert. In einigen Fällen, insbesondere wenn die KI gebeten wurde, allgemeine Anfragen von Bürgern ohne spezifische Anweisungen zu bearbeiten, war das System vorsichtig und hielt oft für eine menschliche Überprüfung inne. Diese Vorsicht ist ein Feature, kein Bug; sie stellt sicher, dass die KI nicht versehentlich schädliche Handlungen genehmigt. Die Forscher stellten fest, dass das System zwar exzellent darin ist, offensichtliche Angriffe zu stoppen, aber dennoch menschliche Aufsicht für komplexe oder mehrdeutige Situationen benötigt. Sie merkten auch an, dass das System, um zu lernen und sich zu verbessern, Beispiele für legitime Anfragen aus nicht vertrauenswürdigen Kanälen benötigt, die in den Trainingsdaten derzeit selten sind. Ohne diese Beispiele könnte das System fälschlicherweise gültige Anfragen von Bürgern blockieren.
Die Studie kommt zu dem Schluss, dass diese neue Logik zwar einen bedeutenden Schritt nach vorn bei der Sicherung von KI-Agenten darstellt, aber keine eigenständige Lösung ist. Sie funktioniert am besten in Kombination mit strengen Regeln darüber, wie Daten etikettiert und verfolgt werden. Die Forscher zeigten, dass eine einfachere, starre Regel, die jeden nicht vertrauenswürdigen Input als verdächtig behandelt, ebenso sicher sein kann wie ihr komplexes System, sofern die Labels korrekt sind. Der wahre Wert ihrer Arbeit liegt darin, aufzuzeigen, wie man mit Unsicherheit umgeht. Indem sie es dem System ermöglichen, „Ambivalenz“ auszudrücken – einen Zustand, in dem es unsicher ist, ob eine Anfrage sicher oder unsicher ist –, kann es klügere Entscheidungen treffen als ein einfacher Ja-Nein-Filter. Dieser Ansatz stellt sicher, dass, wenn ein KI-Agent gebeten wird, eine sensible Aufgabe auszuführen, er nicht nur prüft, ob die Aufgabe möglich ist, sondern auch, ob die Person, die darum bittet, dazu berechtigt ist. Die Ergebnisse legen nahe, dass für den sicheren Einsatz von KI in Regierungen und kritischen Infrastrukturen Systeme gebaut werden müssen, die den Unterschied zwischen einem Befehl und einem Vorschlag verstehen und die wissen, wann sie einen Schritt zurücktreten und den Menschen das Steuer übernehmen lassen müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.