Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
Dit artikel introduceert een kostenbewust evaluatiekader voor beveiligingsagenten dat onderscheidende schaalgedragingen tussen offensieve en defensieve taken onthult, waarbij wordt aangetoond dat terwijl offensieve prestaties verbeteren met toegenomen rekenkracht, defensief succes meer afhankelijk is van gedisciplineerd instrumentgebruik en operationele efficiëntie dan van een ruw redeneerbudget.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin kunstmatige intelligentie niet alleen een chatbot is die gedichten schrijft, maar een digitale detective en een digitale inbreker ineen. Dit is de grens van cybersecurity, een gebied waar computers worden getraind om ofwel in te breken in systemen om zwakheden te vinden (de "offensieve" kant) of om digitale plaats delicten te onderzoeken om aanvallen te stoften (de "defensieve" kant). Lange tijd hebben wetenschappers die deze AI-agenten testen een simpele vraag gesteld: "Hoe goed is deze AI in het oplossen van de moeilijkste puzzels als we haar onbeperkte tijd en geld geven?" Het is als het testen van een racewagen door hem te laten rijden tot de tank leeg is, waarbij de kosten van de brandstof worden genegeerd. Maar in de echte wereld kost elke stap die een AI zet — elke vraag die ze stelt, elke database die ze controleert — echt geld. Als een AI te duur is om te draaien, is ze nutteloos voor een echt beveiligingsteam, hoe slim ze ook is. Dit artikel stelt een praktischere vraag: "Wat kan deze AI daadwerkelijk doen voor een specifiek budget?"
De onderzoekers, Paul Kassianik, Blaine Nelson en Yaron Singer, besloten te stoppen met alleen het tellen van hoeveel puzzels een AI oploste en te beginnen met het tellen van het prijskaartje. Ze stuurden hun AI-agenten door twee zeer verschillende soorten uitdagingen. Eerst stuurden ze ze op "Capture the Flag" (CTF) missies, die lijken op digitale speurtochten waarbij de AI een gesandboxed computer moet hacken om een geheime code te vinden. Ten tweede stuurden ze ze op "Security Operations Center" (SOC) missen, die lijken op detectivewerk waarbij de AI door enorme bergen beveiligingslogs moet ploeteren om te achterhalen wie er in een bedrijf is ingebroken en hoe.
Hier is de wending die ze ontdekten: Offensief en defensief schalen op compleet verschillende manieren. Wanneer de AI de hacker speelde (de offensieve rol), hielp het geven van meer geld om na te denken en het opnieuw te proberen meestal. Het was alsof je een detective meer tijd gaf om een aanwijzing opnieuw te lezen; hoe meer middelen ze hadden, hoe groter de kans dat ze de zaak kraakten. Sommige open-source modellen konden, wanneer ze een redelijk budget kregen, zelfs de meest dure, topdrukkende commerciële modellen inhalen.
Echter, wanneer de AI de detective speelde (de defensieve rol), maakte het meer geld op het probleem gooien het niet noodzakelijkerwijs slimmer. Sterker nog, de beste presteerders waren degenen die gedisciplineerd waren. Zij wisten precies wanneer ze moesten stoppen, wanneer ze hulp moesten vragen en wanneer ze hun budget moesten sparen. Het artikel vond dat voor deze onderzoeken succes niet ging over hoeveel gereedschappen de AI gebruikte of hoe lang ze nadacht; het ging over het gebruik van de juiste gereedschappen op het juiste moment. Een AI die paniekerig elke database ter wereld aanriep, simpelweg omdat ze een groot budget had, deed het vaak slechter dan een AI die zorgvuldig een paar belangrijke bewijsstukken koos.
De auteurs waarschuwden ook dat sommige van de "perfecte" scores op deze tests misleidend kunnen zijn. Omdat de puzzels publiek en oud zijn, kunnen sommige AI's de antwoorden simpelweg tijdens hun training hebben gememoriseerd, zoals een student die het antwoordmodel heeft uit het hoofd geleerd in plaats van de wiskunde te leren. Wanneer de onderzoekers de AI's testten zonder hen toe te staan hulpmiddelen te gebruiken of de aanwijzingen te bekijken, daalden de scores aanzienlijk voor sommige modellen, wat bewees dat "het antwoord weten" niet hetzelfde is als "het probleem oplossen".
Uiteindelijk betogen de auteurs dat we moeten stoppen met het beoordelen van beveiligings-AI's enkel op hun piekprestaties in een vacuüm. In plaats daarvan moeten we kijken naar hun "economische efficiëntie". Een model dat 90% van de problemen oplost voor $5, is een beter hulpmiddel voor een echt beveiligingsteam dan een model dat 95% van de problemen oplost voor $500. De studie suggereert dat voor hacktaken meer rekenkracht helpt, maar dat voor het verdedigen van systemen, slim en gedisciplineerd gereedschapsgebruik de echte superkracht is. Ze hebben zelfs een website gebouwd om deze kosten-versus-succes-curves te tonen, waarmee ze bewijzen dat in de wereld van AI-beveiliging, goedkoop en slim zijn vaak beter is dan rijk en roekeloos zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.