In de moderne digitale wereld zijn krachtige kunstmatige intelligentiesystemen verschoven van onderzoekslaboratoria naar de dagelijkse hulpmiddelen die we gebruiken voor schrijven, coderen en het creëren van afbeeldingen. Deze systemen, bekend als large language en vision-language modellen, worden vaak beschreven door hun interne "brein"—de enorme collectie getallen en patronen die ze tijdens de training hebben geleerd. Jarenlang hebben beveiligingsexperts hun aandacht gericht op het beschermen van dit brein, door te waarborgen dat de trainingsdata niet vergiftigd was en dat het model zelf niet geheimzinnig was gewijzigd. Ze hebben sterke verdedigingen gebouwd om de gewichten van het model te verifiëren en om gevaarlijke instructies die rechtstreeks naar het model worden gestuurd te filteren. Echter, deze systemen opereren niet in een vacuüm. Voordat de vraag van een gebruiker het model bereikt, en nadat het model een antwoord heeft gegenereerd, is er een softwarelaag die fungeert als een vertaler en een beheerder. Deze laag, vaak een "wrapper" genoemd, neemt de invoer van de gebruiker, formatteert deze in een specifieke structuur die het model begrijpt, en verwerkt vervolgens het ruwe antwoord tot een definitieve, gepolijste reactie. Naast deze software bevinden zich configuratiebestanden, die fungeren als instructiehandleidingen die de wrapper vertellen hoe deze moet handelen. Terwijl het brein van het model zwaar wordt bewaakt, is deze omliggende software en de bijbehorende instructiehandleidingen grotendeels onbeschermd gebleven, behandeld als eenvoudige, bewerkbare tekst in plaats van kritieke beveiligingscomponenten.

Een team van onderzoekers aan de University of Central Florida heeft een verborgen kwetsbaarheid ontdekt in deze over het hoofd geziene laag. Zij demonstreerden dat een kwaadwillende ontwikkelaar een misleidend pakket kan creëren waarbij het model zelf perfect veilig en onveranderd is, maar de wrapper en de configuratiebestanden zijn gemanipuleerd om het gedrag van het systeem te wijzigen. De onderzoekers toonden aan dat door een onschuldig lijkende softwarewrapper te koppelen aan een zorgvuldig vervaardigd configuratiebestand, een aanvaller het systeem kan dwingen de output op een specifieke, voorspelbare manier te veranderen zonder ooit de kerncode van het model aan te raken. Deze aanval berust op een "conjunctief" mechanisme, wat betekent dat twee afzonderlijke voorwaarden tegelijkertijd moeten worden vervuld voor de truc om te werken. Eén voorwaarde is een verborgen marker die onzichtbaar in de code van de wrapper is ingebed, en de andere is een cryptografische handtekening die in het configuratiebestand is opgeslagen. Geen van beide stukken alleen is voldoende om de verandering te triggeren; ze moeten samen aanwezig zijn. Dit ontwerp maakt de aanval extreem moeilijk te ontdekken, omdat een beveiligingsscan die alleen naar de code kijkt niets verdachts zal zien, en een scan die alleen naar het configuratiebestand kijkt slechts een reeks willekeurig uitziende getallen zal zien.

Om te testen hoe wijdverspreid deze kwetsbaarheid zou kunnen zijn, bouwden de onderzoekers een gecontroleerd experiment met vijftien verschillende kunstmatige intelligentiesystemen, variërend van open-source modellen die iedereen kan downloaden tot gesloten systemen die via commerciële API's worden geraadpleegd. Ze implementeerden deze modellen met de gemanipuleerde wrapper en configuratiebestanden en observeerden wat er gebeurde wanneer gebruikers vragen stelden. De resultaten waren consistent en precies: in elk geval, wanneer de twee voorwaarden werden vervuld, voerde het systeem de verborgen instructie uit. De wrapper nam het normale, correcte antwoord van het model en plaatste daar een banner voor of wijzigde de tekst voordat deze aan de gebruiker werd getend. Het model zelf had niet van mening of kennis veranderd; het was simpelweg door de wrapper geïnstrueerd om het antwoord anders weer te geven. De onderzoekers ontdekten dat deze manipulatie werkte bij tekstgebaseerde taken, complexe redeneerproblemen en zelfs bij vision-language taken waarbij het model naar afbeeldingen kijkt. De aanval was zo effectief dat deze ongedetecteerd bleef door standaard beveiligingstools die zoeken naar kwaadaardige code of bekende slechte patronen, omdat de trigger niet een stuk slechte code was, maar een logische combinatie van een verborgen marker en een bijpassend bestandssignatuur.

De studie onderzocht ook hoe goed huidige verdedigingsmechanismen deze aanval konden stoppen. De onderzoekers testten verschillende bestaande veiligheidsmaatregelen, waaronder tools die metadata bestanden scannen, systemen die gebruikersprompts filteren, en methoden die digitale artefacten ondertekenen om hun authenticiteit te bewijzen. Ze kwamen tot de conclusie dat de meeste van deze verdedigingen faalden om de conjunctieve vergiftiging te vangen. Scanners die alleen naar de configuratiebestanden keken, misten de verborgen marker in de code, en scanners die alleen naar de code keken, misten de cryptografische handtekening in de bestanden. Zelfs tools die de gewichten van het model ondertekenden, hielpen niet, omdat de aanval plaatsvond in de wrapper en de configuratiebestanden, die vaak ongetekend waren of als apart van het hoofdmodelpakket werden behandeld. De enige manier om de aanval volledig te stoppen in hun tests, was door het gehele pakket te ondertekenen—het model, de wrapper en de configuratiebestanden samen—en te verifiëren dat geen van hen was gewijzigd sinds ze waren ondertekend. Zonder deze volledige verificatie bleef het systeem kwetsbaar voor deze subtiele vorm van manipulatie.

Om dit gat te dichten, stelden de onderzoekers een nieuw verdedigingsmechanisme voor genaamd de Template Integrity Filter met Behavioral Attestation Header. Dit systeem fungeert als een poortwachter die naast het model werkt tijdens de uitvoering. Voordat de wrapper een antwoord mag verwerken, controleert het systeem de code van de wrapper tegen een vertrouwde, vooraf goedgekeurde versie om te garanderen dat deze niet is aangepast. Als de code overeenkomt met de vertrouwde versie, staat het systeem het proces toe; als het niet overeenkomt, blokkeert het systeem de actie en schakelt het over naar een veilige, ongewijzigde output. Daarnaast registreert dit systeem voor elke interactie een kleine log-entry, waarbij exact wordt genoteerd welke versie van de wrapper werd gebruikt en welke beslissing is genomen. Dit creëert een permanent verslag dat later kan worden geaudit om te zien of er ongeautoriseerde wijzigingen zijn aangebracht. De onderzoekers vonden dat het toevoegen van deze beschermingslaag bijna geen vertraging veroorzaakte in de snelheid van het systeem, waarbij minder dan een half procent werd toegevoegd aan de tijd die nodig was om een reactie te genereren, wat het een praktische oplossing maakt voor real-world toepassingen.

De implicaties van dit werk reiken verder dan alleen het vinden van een nieuwe bug; het verandert fundamenteel hoe we de beveiliging van kunstmatige intelligentie moeten benaderen. Lange tijd heeft de industrie ervan uitgegaan dat als het brein van het model veilig is, het systeem veilig is. Dit onderzoek laat zien dat het "lichaam" van het systeem—de software die het model inkapselt en de bestanden die het vertellen hoe het moet handelen—net zo cruciaal is. Een aanvaller hoeft niet in te breken in de trainingsdata van het model of de interne logica te herschrijven om de inhoud te veranderen die een gebruiker ziet. Ze hoeven alleen maar een verborgen instructie in de wrapper te glippen en een bijpassende sleutel in het configuratiebestand te plaatsen. Dit is vergelijkbaar met hoe een vertrouwde chef een recept kan krijgen dat er normaal uitziet, maar een geheime instructie bevat om een specifieke kruid toe te voegen alleen als een bepaald ingrediënt in de voorraadkast aanwezig is; de chef volgt het recept perfect, maar het uiteindelijke gerecht wordt gewijzigd door de instructies, niet door de eigen keuzes van de chef. De onderzoekers benadrukken dat hoewel hun experimenten onschadelijke wijzigingen gebruikten, zoals het toevoegen van een banner of een disclaimer, hetzelfde mechanisme gebruikt kan worden om gevaarlijke instructies te verbergen, aanbevelingen te wijzigen of citaties te manipuleren op manieren die onzichtbaar zijn voor de gebruiker.

De studie concludeert dat de template-laag, waar wrappers en configuratiebestanden zich bevinden, een kritiek maar onderbeschermd deel is van de supply chain van kunstmatige intelligentie. Nu deze systemen steeds meer geïntegreerd raken in ons dagelijks leven en we erop vertrouwen voor alles van klantenservice tot medisch advies, moet de integriteit van het gehele deployment-pakket worden geverifieerd, en niet alleen het model zelf. De onderzoekers hebben hun code en tools beschikbaar gesteld om andere ontwikkelaars te helpen hun eigen systemen op deze kwetsbaarheid te testen. Door deze specifieke zwakte te belichten, hopen zij de ontwikkeling van nieuwe standaarden te stimuleren die de wrapper-code en configuratiebestanden met hetzelfde niveau van nauwkeurigheid en bescherming behandelen als de modelgewichten zelf, om te garanderen dat het gedrag dat gebruikers zien, ook echt is wat het model beoogde te produceren.