Testing and Evaluation of Agentic AI Systems In Military Command and Control
Dieses Papier argumentiert, dass die inhärenten Eigenschaften agentischer KI-Systeme acht grundlegende Annahmen aktueller militärischer Test- und Evaluierungsmethoden untergraben, wodurch die logische Verbindung zwischen Testnachweisen und im Einsatz gezeigtem Verhalten unterbrochen wird, was einen Übergang hin zu enger gefassten, rückverfolgbaren Zusicherungsansprüchen und einem Governance-Modell erfordert, das den Einsatz als einen fortlaufenden Akt des Risikomanagements behandelt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt des militärischen Kommandos verlassen sich Führungskräfte auf ein System, um Informationen zu sammeln, sie zu verstehen und Handlungsempfehlungen vorzuschlagen. Dieses System, bekannt als Führung und Kontrolle (Command and Control), ist das Nervensystem einer Operation, das Sensoren am Boden und in der Luft mit den Kommandanten verbindet, die entscheiden müssen, wohin sie Truppen oder Schiffe entsenden. Jahrzehntelang waren die in diesen Systemen verwendeten Werkzeuge berechenbare Maschinen: Sie folgen strengen Regeln, und wenn man ihnen dieselben Informationen zweimal füttert, liefern sie dieselbe Antwort. Doch eine neue Art von Technologie betritt nun diese Räume. Dies sind nicht nur Werkzeuge, die Befehle befolgen; es sind Agenten. Im Gegensatz zu einem einfachen Taschenrechner kann ein Agent eine Situation analysieren, entscheiden, welche Informationen er benötigt, diese selbstständig beschaffen und dieses neue Wissen nutzen, um seinen eigenen Plan zu ändern. Er kann sich an vergangene Ereignisse erinnern, mit anderen ähnlichen Systemen kommunizieren und sich an Überraschungen anpassen, ohne dass ein Mensch ihm genau sagen muss, was als Nächstes zu tun ist. Diese Flexibilität macht sie unglaublich leistungsstark, aber sie macht sie auch schwer verständlich. Die zentrale Frage für das Militär ist nicht mehr nur, ob diese Agenten funktionieren, sondern wie wir sicher sein können, dass sie auch dann sicher funktionieren, wenn der Einsatz am kritischsten ist.
Ein Team von Forschern hat sich auf die Beantwortung dieser Frage konzentriert, indem es untersuchte, wie wir diese neuen, flexiblen Systeme derzeit testen. Sie untersuchten 240 verschiedene Methoden, die Experten aus Militär und Industrie zur Prüfung von Software und autonomen Systemen anwenden. Ihr Ziel war es herauszufinden, ob diese alten Methoden in der Lage sind, die neue Realität von Agenten zu bewältigen, die lernen, sich erinnern und sich im laufenden Betrieb verändern. Sie fanden ein grundlegendes Problem: Die Art und Weise, wie wir diese Systeme derzeit testen, beruht auf Annahmen, die für Agenten schlichtweg nicht mehr gelten. Das traditionelle Testen geht davon aus, dass ein System ein festes Objekt ist, wie etwa ein Auto, bei dem die Teile sich nicht verändern und das Verhalten vorhersehbar ist. Es setzt voraus, dass, wenn man das Auto heute testet, die Ergebnisse auch morgen noch gültig sind und dass man jedes Teil des Autos separat testen kann, um zu wissen, wie das gesamte Auto sich verhalten wird.
Die Forscher entdeckten, dass agentische Systeme jede eine dieser Annahmen brechen. Erstens sind diese Systeme nicht statisch. Ein Agent ebnet sich seinen eigenen Weg, indem er entscheidet, welche Werkzeuge er nutzt und welche Informationen er sammelt. Da er diese Entscheidungen während des Betriebs trifft, unterscheidet sich das zu testende System von dem System, das ursprünglich entworfen wurde. Es ist, als würde man versuchen, ein Auto zu testen, während der Fahrer gleichzeitig den Motor und die Reifen austauscht. Zweitens ist das System nicht stabil. Ein Agent erinnert sich daran, was in früheren Aufgaben passiert ist, und dieses Gedächtnis verändert, wie er in der nächsten Aufgabe handelt. Selbst wenn der Softwarecode unverändert bleibt, ändert sich das Verhalten des Agenten, weil sich sein interner Zustand verschoben hat. Das bedeutet, dass ein Testergebnis von letzter Woche heute möglicherweise nicht mehr anwendbar ist. Drittens bestehen diese Systeme oft aus vielen kleineren Agenten, die zusammenarbeiten. Wenn dies der Fall ist, können neue Verhaltensweisen auftreten, die in keinem der einzelnen Teile vorhanden waren. Eine Gruppe von Agenten kann ein Problem auf eine Weise lösen, die keiner von ihnen allein hätte vorhersehen können, was zu einem Ergebnis führt, das durch das isolierte Testen der Einzelteile unmöglich zu erahnen war.
Aufgrund dieser Veränderungen stellten die Forscher fest, dass aktuelle Testmethoden einen Bericht erstellen können, der auf dem Papier perfekt aussieht und alle offiziellen Regeln erfüllt, während er dennoch nicht beweisen kann, dass das System im realen Leben sicher sein wird. Die Tests mögen zeigen, dass das System unter spezifischen, kontrollierten Bedingungen funktioniert, aber sie können nicht garantieren, dass das System unter denselben Bedingungen agiert, wenn es draußen im Feld mit einer chaotischen und sich verändernden Umgebung konfrontiert wird. Die Verbindung zwischen den Testergebnissen und der Leistung in der realen Welt ist unterbrochen. Die Beweise existieren, aber das Argument, das diese Beweise mit einem Versprechen von Sicherheit verknüpft, ist nicht mehr stark genug.
Das Papier sagt nicht, dass wir die Nutzung dieser Systeme einstellen sollten oder dass sie unmöglich zu testen seien. Stattdessen schlägt es vor, dass wir die Art und Weise ändern müssen, wie wir unsere Argumentation für die Sicherheit aufbauen. Wir können uns nicht auf allgemeine Versprechen verlassen, dass das System in allen Situationen sicher ist. Stattdessen müssen wir viel engere, spezifischere Ansprüche formulieren. Wir können zum Beispiel testen, ob das System innerhalb eines bestimmten, begrenzten Satz von Handlungen bleibt oder ob es einem korrekten Pfad von Schritten folgt, selbst wenn das Endergebnis variiert. Wir können auch akzeptieren, dass einige Beweise erst erhoben werden können, während das System tatsächlich im Einsatz ist. Das bedeutet, dass die Entscheidung, einen Agenten in den Dienst zu stellen, kein einmaliges Ereignis ist. Es ist ein kontinuierlicher Prozess, bei dem wir das System ständig überwachen, sein Gedächtnis prüfen und verifizieren, ob es sich weiterhin wie erwartet verhält. Wenn das System driftet oder sich auf eine Weise verändert, die wir nicht vorhergesehen haben, müssen wir bereit sein, es zu stoppen oder anzupassen.
Die Forscher untersuchten auch, wie Menschen diese Agenten beaufsichtigen können. Sie fanden heraus, dass es nicht ausreicht, lediglich einen Menschen im Raum zu haben. Wenn der Agent zu schnell, zu komplex oder zu undurchsichtig ist, kann der Mensch nicht schnell genug verstehen, was geschieht, um einzugreifen. Das System muss so gestaltet sein, dass der Mensch weiß, was der Agent tut, warum er es tut, und genügend Zeit hat, um einzugreifen, falls etwas schiefgeht. Ohne dies wird der Mensch eher zum Zuschauer als zum Aufseher.
Letztlich kommt die Studie zu dem Schluss, dass wir zwar noch nicht beweisen können, dass diese komplexen, sich verändernden Systeme in jedem denkbaren Szenario perfekt sicher sind, wir das Risiko aber dennoch managen können. Wir tun dies, indem wir ehrlich mit dem sind, was wir nicht wissen. Wir definieren die Grenzen dessen, was das System tun darf, wir überwachen es engmaschig während seines Einsatzes und wir akzeptieren, dass unser Vertrauen in es immer vorläufig ist. Die Entscheidung, diese Agenten einzusetzen, ist kein endgültiger Segen mehr; es ist ein fortlaufender Akt der Governance, bei dem wir ständig die Beweise abwägen, die Ungewissheit managen und sicherstellen, dass das menschliche Urteilsvermögen die Kontrolle behält. Der Weg nach vorn besteht nicht darin, einen perfekten Test zu finden, der die Sicherheit einmal für alle beweist, sondern darin, ein System von Kontrollen und Gegengewichten aufzubauen, das es uns ermöglicht, diese mächtigen Werkzeuge zu nutzen und gleichzeitig die Risiken in einem beherrschbaren Rahmen zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.