APrivacy-Preserving Architecture for On-Device Intelligent Computing Using a Small Language Model with Input and Output Guardrails: Prototype Implementation and Preliminary Evaluation

In de moderne wereld vragen we computers vaak om voor ons te denken, waarbij we krachtige kunstmatige intelligentie gebruiken om e-mails te schrijven, problemen op te lossen of vragen te beantwoorden. De meeste van deze slimme systemen leven in de cloud, wat betekent dat jouw woorden via het internet naar een verre server reizen om verwerkt te worden. Hoewel dit goed werkt, roept het een stille zorg op: elke keer dat je een persoonlijk detail typt, zoals een e-mailadres of een telefoonnummer, verlaat die informatie je apparaat en komt ze terecht in het systeem van iemand anders. Om dit op te lossen, hebben onderzoekers kleinere, meer compacte versies van deze denkende machines ontwikkeld die direct op je eigen computer of telefoon kunnen draaien. Dit houdt je gegevens precies waar ze horen: op je eigen apparaat. Echter, alleen omdat een computer lokaal is, betekent dat nog niet dat hij veilig is. Een slimme truc, bekend als een "prompt injection", kan de machine nog steeds misleiden om haar regels te negeren of geheimen te onthullen, en de machine kan per ongeluk privéinformatie uitspugen die ze geheim had moeten houden. De uitdaging is dan om een systeem te bouken dat lokaal blijft, maar ook fungeert als een waakzame bewaker die controleert wat erin gaat en wat eruit komt.

Een onderzoeker genaamd Harshal Gadekar van de Sanjivani University in India heeft een werkend prototype gebouwd om precies dit idee te testen. Hij creëerde een privacy-gerichte assistent die een klein taalmodel genaamd Phi-3 Mini volledig op een lokale computer laat draaien, met behulp van een tool genaamd Ollama om het proces te beheren. Het systeem is ontworpen met een dubbele beveiligingslaag, zoals een beveiligingscontrole die passagiers scant voordat ze aan boord gaan en opnieuw nadat ze zijn aangekomen. Voordat de computer zelfs maar over een antwoord nadenkt, scant een "input guardrail" het bericht van de gebruiker. Het zoekt naar tekenen dat iemand het systeem probeert te misleiden, zoals commando's om eerdere instructies te negeren of om de verborgen regels van de machine te onthullen. Als het zo'n truc vindt, stopt het de aanvraag onmiddellijk. Het scant ook op gevoelige persoonlijke details, zoals e-mailadressen, en verbergt deze voordat de computer ze leest. Zodra de lokale computer een reactie genereert, scant een tweede "output guardrail" het antwoord om er zeker van te zijn dat er geen privéinformatie per ongeluk doorheen is geglipt.

De onderzoeker testte dit systeem met een kleine set zorgvuldig gekozen vragen om te zien hoe het zich in de echte wereld zou gedragen. Wanneer gevraagd werd een eenvoudige, onschuldige vraag zoals "Wat is kunstmatige intelligentie?", werkte het systeem perfect. Het verwerkte de aanvraag lokaal, passeerde alle beveiligingscontroles en gaf in iets meer dan drie seconden een antwoord terug. Het scherm toonde dat de input schoon was, dat er geen trucs werden gedetecteerd en dat het uiteindelijke antwoord veilig was om weer te geven. Het systeem werd vervolgens geconfronteerd met een reeks van vier verschillende pogingen om het te misleien, waarbij gebruikers de machine probeerden te bevelen haar geheime instructies te onthullen of haar veiligheidsregels te negeren. In al deze gevallen onderschepte de input guardrail de poging. Het systeem identificeerde de truc, blokkeerde de aanvraag en toonde een waarschuwing in plaats van de computer een reactie te laten genereren. Dit bewees dat zelfs wanneer de computer op je eigen bureau draait, er nog steeds een bewaker nodig is om te voorkomen dat hij wordt gemanipuleerd.

De test bevatte ook een vraag met fictieve persoonlijke gegevens, specifiek een verzonnen e-mailadres en een telefoonnummer. Hier toonde het systeem zowel zijn kracht als een duidelijke zwakte. Wanneer de gebruiker het e-mailadres typde, herkende het systeem dit, verving de tekst door een placeholder die "email redacted" zei, en gaf het bericht door aan de computer. Het uiteindelijke antwoord toonde de geredigeerde tekst, wat betekende dat de e-mail succesvol beschermd was. Het systeem faalde echter in het detecteren van het achttallige telefoonnummer. Het liet het nummer ongewijzigd door, en de uiteindelijke output toonde het volledige telefoonnummer alsof er niets aan de hand was. De output guardrail miste het ook en rapporteerde dat er geen gevoelige gegevens in het antwoord werden gevonden. Dit resultaat benadrukt dat hoewel het idee van lokaal, veilig computergebruik levensvatbaar is, de huidige regels voor het opsporen van persoonlijke informatie nog niet perfect zijn. Het systeem blokkeerde de listigheid succesvol en ving de e-mail op, maar liet het telefoonnummer onbeschermd.

De studie concludeert dat het mogelijk is om lokaal computergebruik te combineren met beveiligingscontroles in één enkele, lichtgewicht pijplijn. Het systeem demonstreerde dat het op een persoonlijk apparaat kan draaien, veelvoorkomende pogingen om het te misleiden kan blokkeren en sommige soorten persoonlijke gegevens kan verbergen. Toch merkt de onderzoeker voorzichtig op dat deze bevindingen voorlopig zijn. De testset was zeer klein en bestond slechts uit een handvol vragen, en de resultaten werden geobserveerd op één enkele machine zonder te meten hoe vaak het systeem fouten zou maken of hoe snel het zou zijn onder zware belasting. Het falen om het telefoonnummer te vangen suggereert dat de detectieregels uitgebreid moeten worden om meer formaten van persoonlijke gegevens te dekken. Voordat deze aanpak als volledig betrouwbaar voor dagelijks gebruik kan worden beschouwd, moet het systeem getest worden op een veel grotere variëteit aan inputs, inclusief complexere trucs en verschillende soorten persoonlijke informatie. Voor nu staat het werk als een veelbelovend bewijs van concept, dat laat zien dat een veilige, privé AI-assistent binnen handbereik ligt, mits de beveiligingsbewakers constant worden verbeterd.