Testing and Evaluation of Agentic AI Systems In Military Command and Control
Dit artikel betoogt dat de inherente eigenschappen van agentische AI-systemen acht fundamentele aannames van huidige militaire test- en evaluatiemethoden ondermijnen, waardoor de logische link tussen testbewijs en operationeel gedrag wordt doorbroken, hetgeen een verschuiving noodzakelijk maakt naar nauwer afbegaafde, herstelbare zekerheidsclaims en een governance-model dat inzet behandelt als een voortdurende handeling van risicobeheer.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hoogst inzetende wereld van militair bevel vertrouwen leiders op een systeem om informatie te verzamelen, deze te begrijpen en handelingsperspectieven voor te stellen. Dit systeem, bekend als command and control, is het zenuwstelsel van een operatie, dat sensoren op de grond en in de lucht verbindt met de commandanten die moeten beslissen waar ze troepen of schepen naartoe sturen. Decennialang waren de instrumenten die in deze systemen werden gebruikt voorspelbare machines: ze volgen strikte regels, en als je ze twee keer dezelfde informatie voert, geven ze je hetzelfde antwoord. Maar een nieuw soort technologie betreedt nu deze kamers. Dit zijn niet alleen hulpmiddelen die bevelen opvolgen; het zijn agenten. In tegenstelling tot een eenvoudige rekenmachine kan een agent een situatie beoordelen, beslissen welke informatie hij nodig heeft om te vinden, op pad gaan om die te verkrijgen, en vervolgens die nieuwe informatie gebruiken om zijn eigen plan te wijzigen. Het kan zich eerdere gebeurtenissen herinneren, praten met andere soortgelijke systemen en zich aanpassen aan verrassingen zonder dat een mens het precies vertelt wat de volgende stap moet zijn. Deze flexibiliteit maakt ze ongelooflijk krachtig, maar ook moeilijk te begrijpen. De centrale vraag voor het leger is niet langer alleen of deze agenten werken, maar hoe we er zeker van kunnen zijn dat ze veilig zullen werken wanneer de inzet het hoogst is.
Een team van onderzoekers zette zich in om deze vraag te beantwoorden door te onderzoeken hoe we deze nieuwe, flexibele systemen momenteel testen. Ze bekeken 240 verschillende methoden die militaire en industriële experts gebruiken om software en autonome systemen te testen. Hun doel was om te zien of deze oude methoden de nieuwe realiteit van agenten die leren, onthouden en on the fly veranderen, aankunnen. Ze stuitten op een fundamenteel probleem: de manier waarop we deze systemen momenteel testen, berust op aannames die simpelweg niet opgaan voor agenten. Traditioneel testen gaat ervan uit dat een systeem een vast object is, zoals een auto, waarbij de onderdelen niet veranderen en de manier waarop het zich gedraagt voorspelbaar is. Het gaat ervan uit dat als je de auto vandaag test, de resultaten morgen nog steeds geldig zullen zijn, en dat je elk onderdeel van de auto afzonderlijk kunt testen en dan weet hoe de hele auto zal reageren.
De onderzoekers ontdekten dat agentische systemen al deze aannames doorbreken. Ten eerste zijn deze systemen niet vaststaand. Een agent creëert zijn eigen pad door te kiezen welke instrumenten hij gebruikt en welke informatie hij verzamelt. Omdat de agent deze keuzes maakt terwijl hij werkt, is het systeem dat wordt getest anders dan het systeem dat oorspronkelijk is ontworpen. Het is alsof je een auto test terwijl de bestuurder tegelijkertijd de motor en de banden aan het veranderen is. Ten tweede is het systeem niet stabiel. Een agent onthoudt wat er in eerdere taken is gebeurd, en dit geheugen verandert hoe hij in de volgende taak handelt. Zelfs als de softwarecode nooit verandert, verandert het gedrag van de agent omdat zijn interne staat is verschoven. Dit betekent dat een testresultaat van vorige week vandaag mogelijk niet meer van toepassing is. Ten derde bestaan deze systemen vaak uit veel kleinere agenten die samenwerken. Wanneer zij dat doen, kunnen er nieuwe gedragingen verschijnen die niet aanwezig waren in de afzonderlijke delen. Een groep agenten kan een probleem oplossen op een manier die geen van hen alleen had kunnen voorspellen, wat resulteert in een resultaat dat onmogelijk te voorzien is door de delen in isolatie te testen.
Vanwege deze veranderingen ontdekten de onderzoekers dat huidige testmethoden een rapport kunnen produceren dat op papier perfect lijkt en aan alle officiële regels voldoet, terwijl het nog steeds niet heeft bewezen dat het systeem in het echte leven veilig zal zijn. De tests kunnen aantonen dat het systeem onder specifieke, gecontroleerde omstandigheden werkt, maar ze kunnen niet garanderen dat het systeem op dezelfde manier zal reageren wanneer het in het veld is, geconfronteerd met een chaotische en veranderende omgeving. De link tussen de testresultaten en de prestaties in de echte wereld is verbroken. Het bewijs is er wel, maar het argument dat dat bewijs verbindt aan een belofte van veiligheid is niet langer sterk genoeg.
Het artikel zegt niet dat we deze systemen niet moeten gebruiken of dat ze onmogelijk te testen zijn. In plaats daarvan suggereert het dat we onze argumentatie voor veiligheid moeten veranderen. We kunnen niet vertrouwen op brede beloften dat het systeem in alle situaties veilig is. In plaats daarvan moeten we veel nauwer gedefinieerde, specifieke claims maken. We kunnen bijvoorbeeld testen of het systeem binnen een specifieke, beperkte reeks acties blijft, of of het een correct pad van stappen volgt, zelfs als het uiteindelijke antwoord varieert. We kunnen ook accepteren dat sommige bewijzen alleen kunnen worden verzameld terwijl het systeem daadwerkelijk in gebruik is. Dit betekent dat de beslissing om een agent in gebruik te nemen geen eenmalige gebeurtenis is. Het is een continu proces waarbij we het systeem constant monitoren, het geheugen controleren en verifiëren of het nog steeds zich gedraagt zoals verwacht. Als het systeem afwijkt of verandert op een manier die we niet hebben voorspeld, moeten we bereid zijn het te stoppen of aan te passen.
De onderzoekers keken ook naar hoe mensen deze agenten kunnen superviseren. Ze ontdekten dat het louter hebben van een mens in de kamer niet genoeg is. Als de agent te snel, te complex of te opaak is, kan de mens niet snel genoeg begrijpen wat er gebeurt om in te grijpen. Het systeem moet zo ontworpen zijn dat de mens begrijpt wat de agent doet, waarom hij het doet, en voldoende tijd heeft om het te stoppen als het misgaat. Zonder dit wordt de mens een toeschouwer in plaats van een supervisor.
Uiteindelijk concludeert de studie dat hoewel we nog niet kunnen bewijzen dat deze complexe, veranderende systemen in elk mogelijk scenario perfect veilig zijn, we het risico nog steeds kunnen beheersen. Dat doen we door eerlijk te zijn over wat we niet weten. We definiëren de grenzen van wat het systeem mag doen, we monitoren het nauwlettend terwijl het werkt, en we accepteren dat ons vertrouwen erin altijd voorwaardelijk is. De beslissing om deze agenten te gebruiken is niet langer een definitief stempel van goedkeuring; het is een voortdurende daad van bestuur, waarbij we constant de bewijslast wegen, de onzekerheid beheren en ervoor zorgen dat het menselijk oordeel de controle behoudt. De weg vooruit is niet het vinden van een perfecte test die veiligheid een voor alle tijden bewijst, maar het bouwen van een systeem van checks and balances waarmee we deze krachtige instrumenten kunnen gebruiken terwijl we de risico's binnen ons beheersvermogen houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.