Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents
Dit artikel stelt Teleoneutrosophic Logic voor, een herkomstbewust kader dat afzonderlijke neutrosophische triples koppelt voor effect en doel om driewegautorisatie van institutionele AI-agenten mogelijk te maken, waardoor directe schade door doorloop effectief wordt verminderd door legitieme externe verzoeken te onderscheiden van kwaadwillige verleidingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld beginnen overheidsinstanties en grote instellingen kunstmatige intelligentie te gebruiken voor het afhandelen van complexe taken, zoals het samenvatten van burgerpetities of het beheren van belastinggegevens. Deze AI-agenten zijn krachtige hulpmiddelen, maar ze worden geconfronteerd met een uniek en gevaarlijk probleem: ze kunnen worden misleid. Stel je voor dat een burger een petitie indient over een belastingkwestie, maar dat er in dat document een verborgen instructie zit die de AI vertelt om geld over te maken naar een rekening van een vreemde. Voor de AI ziet de instructie eruit als een gewone opdracht die moet worden opgevolgd. De uitdaging voor beveiligingsexperts is om onderscheid te maken tussen een legitiem bevel van een geautoriseerde functionaris en een verborgen commando dat begraven ligt in een document dat de AI slechts leest. Traditionele beveiligingssystemen kijken vaak alleen naar wat een actie doet — zoals een geldoverboeking — en hebben moeite om te begrijpen wie er werkelijk om heeft gevraagd of waarom. Deze kloof laat instellingen kwetsbaar voor "prompt injection", waarbij aanvallers kwaadaardige instructies verbergen in de data die de AI verwerkt.
Om dit op te lossen, hebben onderzoekers Selçuk Topal en Buğra Ayan een nieuwe methode ontwikkeld om te beslissen of een AI-agent een verzoek moet uitvoeren. Hun benadering, genaamd Teleoneutrosophische Logica, behandelt de beslissing om een actie te autoriseren als een drievoudige keuze: het systeem kan de actie goedkeuren, weigeren, of pauzeren om een mens om beoordeling te vragen. De kern van hun innovatie is het scheiden van het "wat" van het "waarom". Het systeem evalueert de actie zelf (het effect) en de bron van de instructie (het doel) als twee afzonderlijke bewijsstukken. Cruciaal is dat het systeem een betrouwbaarheidsscore toekent aan elke bron. Een direct bevel van een geverifieerde overheidsfunctionaris draagt een hoge betrouwbaarheidsscore, terwijl een document dat door een burger is geüpload of een e-mail van een onbekende afzender een lage score draagt. Het systeem weegt deze scores vervolgens af tegen de potentiële schade van de actie. Als een bron met een laag vertrouwen probeert een beslissing met een hoge impact te beïnvloeden, negeert het systeem dit niet simpelweg; in plaats daarvan wordt het gebrek aan een duidelijke, vertrouwde bron gebruikt als reden om te pauzeren en de beslissing te escaleren naar een mens.
De onderzoekers testten dit systeem met behulp van een grote collectie gesimuleerde aanvallen en realistische scenario's vanuit de overheid. Ze creëerden meer dan duizend scenario's waarin aanvallers probeerden AI-agenten te misleiden om gegevens te stelen of ongeautoriseerde terugbetalingen uit te voeren. In deze tests bleek het nieuwe systeem zeer effectief in het stoppen van aanvallen die afkomstig waren van onbetrouwbare bronnen. Wanneer het systeem correct identificeerde dat een verzoek uit een kanaal met een laag vertrouwen kwam, voorkwam het dat de AI actie ondernam, zelfs als de verborgen instructie er zeer overtuigend uitzag. De studie toonde aan dat door het "doel" van een verzoek gescheiden te houden van het "effect", het systeem het percentage succesvolle aanvallen kon verminderen van een gevaarlijk niveau naar een zeer klein deel. In één reeks tests betreffende directe schade verminderde het systeem bijvoorbeeld het aantal succesvolle aanvallen van meer dan 36 procent naar minder dan 2 procent wanneer de labels correct waren. Zelfs wanneer het systeem werd misleid om een gevaarlijke bron als betrouwbaar te labelen, wist het nog steeds de meerderheid van de aanvallen te blokkeren, waardoor het succespercentage daalde van meer dan 80 procent naar ongeveer 35 procent.
De onderzoekers ontdekten echter ook de beperkingen van deze aanpak. Het systeem leunt zwaar op de nauwkeurigheid van de betrouwbaarheidlabels die aan verschillende kanalen worden toegewezen. Als een aanvaller erin slaagt het systeem te misleiden door een kwaadaardige bron als betrouwbaar te laten geloven, verzwakt de bescherming. Bovendien toonde de studie aan dat het systeem geen magisch schild is dat in elke situatie perfect werkt. In sommige gevallen, met name wanneer de AI werd gevraagd algemene verzoeken van burgers te verwerken zonder specifieke instructies, was het systeem voorzichtig en pauzeerde het vaak voor menselijke beoordeling. Deze voorzichtigheid is een kenmerk, geen fout; het zorgt ervoor dat de AI niet per ongeluk schadelijke acties goedkeurt. De onderzoekers ontdekten dat hoewel het systeem uitstekend is in het stoppen van evidente aanvallen, het nog steeds menselijk toezicht vereist voor complexe of ambigue situaties. Ze merkten ook op dat voor het systeem om te leren en te verbeteren, het voorbeelden moet zien van legitieme verzoeken die afkomstig zijn van onbetrouwbare kanalen, die momenteel zeldzaam zijn in de trainingsdata. Zonder deze voorbeelden zou het systeem mogelijk geldige verzoeken van burgers onterecht blokkeren.
De studie concludeert dat hoewel deze nieuwe logica een belangrijke stap voorwaarts is bij het beveiligen van AI-agenten, het geen op zichzelf staande oplossing is. Het werkt het best wanneer het wordt gecombineerd met strikte regels over hoe data wordt gelabeld en gevolgd. De onderzoekers toonden aan dat een eenvoudigere, rigide regel die elke onbetrouwbare input als verdacht behandelt, net zo veilig kan zijn als hun complexe systeem, mits de labels correct zijn. De echte waarde van hun werk ligt in het tonen van hoe men met onzekerheid om moet gaan. Door het systeem toe te staan "ambivalentie" uit te drukken — een staat waarin het onzeker is of een verzoek veilig of onveilig is — kan het slimmere beslissingen nemen dan een simpele ja-of-nee-filter. Deze benadering zorgt ervoor dat wanneer een AI-agent wordt gevraagd een gevoelige taak uit te voeren, het niet alleen controleert of de taak mogelijk is, maar ook of de persoon die erom vraagt daar wel het recht toe heeft. De bevindingen suggereren dat voor het veilig gebruiken van AI in de overheid en kritieke infrastructuur, we systemen moeten bouwen die het verschil begrijpen tussen een commando en een suggestie, en die weten wanneer ze een stap terug moeten doen en het stuur aan een mens moeten overdragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.