APrivacy-Preserving Architecture for On-Device Intelligent Computing Using a Small Language Model with Input and Output Guardrails: Prototype Implementation and Preliminary Evaluation

In der modernen Welt lassen wir Computer oft für uns denken, indem wir leistungsstarke künstliche Intelligenz nutzen, um E-Mails zu schreiben, Probleme zu lösen oder Fragen zu beantworten. Die meisten dieser intelligenten Systeme leben in der Cloud, was bedeutet, dass Ihre Worte über das Internet zu einem entfernten Server reisen, um dort verarbeitet zu werden. Während dies gut funktioniert, schürt es eine stille Sorge: Jedes Mal, wenn Sie ein persönliches Detail wie eine E-Mail-Adresse oder eine Telefonnummer eingeben, verlässt diese Information Ihr Gerät und gelangt in das System eines anderen. Um dies zu lösen, haben Forscher kleinere, kompaktere Versionen dieser denkenden Maschinen entwickelt, die direkt auf Ihrem eigenen Computer oder Telefon laufen können. Dies hält Ihre Daten genau dort, wo sie hingehören: auf Ihrem Gerät. Doch nur weil ein Computer lokal läuft, bedeutet das noch lange nicht, dass er sicher ist. Ein kluger Trick, bekannt als „Prompt Injection“, kann die Maschine immer noch dazu bringen, ihre Regeln zu ignorieren oder Geheimnisse preiszugeben, und die Maschine könnte versehentlich private Informationen ausspucken, die sie eigentlich verborgen halten sollte. Die Herausforderung besteht also darin, ein System zu bauen, das zwar lokal bleibt, aber auch wie ein wachsamer Wächter agiert, der kontrolliert, was hineingeht und was herauskommt.

Ein Forscher namens Harshal Gadekar von der Sanjivani University in Indien hat einen funktionierenden Prototypen entwickelt, um genau diese Idee zu testen. Er hat einen auf Privatsphäre ausgerichteten Assistenten geschaffen, der ein kleines Sprachmodell namens Phi-3 Mini vollständig auf einem lokalen Computer ausführt, wobei er ein Tool namens Ollama zur Verwaltung des Prozesses nutzt. Das System ist mit einer doppelten Sicherheitsebene ausgestattet, vergleichbar mit einer Sicherheitskontrolle, die Passagiere vor dem Boarding scannt und erneut, sobald sie angekommen sind. Noch bevor der Computer über eine Antwort nachdenkt, scannt eine „Input-Guardrail“ (Eingangskontrolle) die Nachricht des Nutzers. Sie sucht nach Anzeichen dafür, dass jemand versucht, das System zu täuschen, wie etwa Befehle, frühere Anweisungen zu ignorieren oder die verborgenen Regeln der Maschine offenzulegen. Wenn sie einen solchen Trick findet, stoppt sie die Anfrage sofort. Sie scannt zudem nach sensiblen persönlichen Details, wie E-Mail-Adressen, und verbirgt diese, bevor der Computer sie liest. Sobald der lokale Computer eine Antwort generiert, scannt eine zweite „Output-Guardrail“ (Ausgangskontrolle) die Antwort, um sicherzustellen, dass keine privaten Informationen versehentlich durchgeschlüpft sind.

Der Forscher testete dieses System mit einem kleinen Satz sorgfältig ausgewählter Fragen, um zu sehen, wie es sich in der realen Welt verhält. Als er nach einer einfachen, harmlosen Frage wie „Was ist künstliche Intelligenz?“ gefragt wurde, arbeitete das System perfekt. Es verarbeitete die Anfrage lokal, passierte alle Sicherheitskontrollen und lieferte in etwas mehr als drei Sekunden eine Antwort zurück. Der Bildschirm zeigte, dass die Eingabe sauber war, keine Tricks entdeckt wurden und die endgültige Antwort sicher anzuzeigen war. Das System sah sich dann einer Serie von vier verschiedenen Versuchen gegenüber, das System zu täuschen, bei denen Nutzer versuchten, die Maschine anzuweisen, ihre geheimen Anweisungen preiszugeben oder ihre Sicherheitsregeln zu ignorieren. In jedem dieser Fälle hat die Input-Guardrail den Versuch abgefangen. Das System identifizierte den Trick, blockierte die Anfrage und zeigte eine Warnmeldung an, anstatt den Computer eine Antwort generieren zu lassen. Dies bewies, dass selbst wenn der Computer auf dem eigenen Schreibtisch läuft, er dennoch einen Wächter benötigt, um zu verhindern, dass er manipuliert wird.

Der Test beinhaltete auch eine Frage, die falsche persönliche Daten enthielt, speziell eine erfundene E-Mail-Adresse und eine Telefonnummer. Hier zeigte das System sowohl seine Stärke als als auch eine klare Schwäche. Als der Nutzer die E-Mail-Adresse eingab, erkannte das System diese, ersetzte den Text durch einen Platzhalter mit der Aufschrift „E-Mail geschwärzt“ (email redacted) und leitete die Nachricht an den Computer weiter. Die endgültige Antwort zeigte den geschwärzten Text, was bedeutete, dass die E-Mail erfolgreich geschützt wurde. Das System versäumte es jedoch, die achtstellige Telefonnummer zu erfassen. Es ließ die Nummer unverändert passieren, und die endgültige Ausgabe zeigte die vollständige Telefonnummer an, als wäre nichts geschehen. Auch die Output-Guardrail übersah sie und meldete, dass keine sensiblen Daten in der Antwort gefunden wurden. Dieses Ergebnis verdeutlicht, dass während die Idee des lokalen Rechnens praktikabel ist, die aktuellen Regeln zum Erkennen privater Informationen noch nicht perfekt sind. Das System blockierte die Täuschung erfolgreich und fing die E-Mail ab, ließ aber die Telefonnummer ungeschützt.

Die Studie kommt zu dem Schluss, dass es möglich ist, lokales Computing mit Sicherheitsprüfungen in einer einzigen, leichtgewichtigen Pipeline zu kombinieren. Das System demonstrierte, dass es auf einem persönlichen Gerät laufen, gängige Versuche zur Täuschung blockieren und einige Arten privater Daten verbergen kann. Dennoch merkt der Forscher vorsichtig an, dass diese Ergebnisse vorläufig sind. Der Testsatz war sehr klein und bestand nur aus einer Handvoll Fragen, und die Ergebnisse wurden auf einem einzelnen Rechner beobachtet, ohne zu messen, wie oft das System Fehler machen könnte oder wie schnell es unter hoher Last wäre. Das Versagen beim Auffangen der Telefonnummer deutet darauf hin, dass die Erkennungsregeln erweitert werden müssen, um mehr Formate persönlicher Daten abzudecken. Bevor dieser Ansatz als vollkommen zuverlässig für den alltäglichen Gebrauch betrachtet werden kann, muss das System mit einer viel größeren Vielfalt an Eingaben getestet werden, einschließlich komplexerer Täuschungen und anderer Arten persönlicher Informationen. Für den Moment stellt die Arbeit einen vielversprechenden Proof of Concept dar, der zeigt, dass ein sicherer, privater KI-Assistent in Reichweite liegt, vorausgesetzt, die Sicherheitswächter werden ständig verbessert.