APrivacy-Preserving Architecture for On-Device Intelligent Computing Using a Small Language Model with Input and Output Guardrails: Prototype Implementation and Preliminary Evaluation

Nel mondo moderno, spesso chiediamo ai computer di pensare al posto nostro, usando un'intelligenza artificiale potente per scrivere email, risolvere problemi o rispondere a domande. La maggior parte di questi sistemi intelligenti vive nel cloud, il che significa che le tue parole viaggiano attraverso internet verso un server distante per essere elaborate. Sebbene questo funzioni bene, solleva una preoccupazione silenziosa: ogni volta che digiti un dettaglio personale come un indirizzo email o un numero di telefono, quell'informazione lascia il tuo dispositivo ed entra nel sistema di qualcun altro. Per risolvere questo problema, i ricercatori hanno sviluppato versioni più piccole e compatte di queste macchine pensanti che possono girare direttamente sul proprio computer o telefono. Questo mantiene i tuoi dati esattamente dove dovrebbero essere, sul tuo dispositivo. Tuttavia, il fatto che un computer sia locale non significa che sia sicuro. Un trucco astuto noto come "prompt injection" può comunque ingannare la macchina portandola a ignorare le proprie regole o a rivelare segreti, e la macchina potrebbe accidentalmente sputare fuori informazioni private che avrebbe dovuto tenere nascoste. La sfida, quindi, è costruire un sistema che rimanga locale ma che agisca anche come una guardia vigile, controllando ciò che entra e ciò che esce.

Un ricercatore di nome Harshal Gadekar della Sanjivani University in India ha costruito un prototipo funzionante per testare esattamente questa idea. Ha creato un assistente focalizzato sulla privacy che esegue un piccolo modello linguistico chiamato Phi-3 Mini interamente su un computer locale, utilizzando uno strumento chiamato Ollama per gestire il processo. Il sistema è progettato con un doppio strato di sicurezza, come un posto di controllo che scansiona i passeggeri prima che salgano a bordo e di nuovo dopo il loro arrivo. Prima ancora che il computer pensi a una risposta, un "guardrail di input" scansiona il messaggio dell'utente. Cerca segni che qualcuno stia cercando di ingannare il sistema, come comandi per ignorare le istruzioni precedenti o per rivelare le regole nascoste della macchina. Se trova un simile trucco, interrompe immediatamente la richiesta. Scansiona anche la presenza di dettagli personali sensibili, come gli indirizzi email, e li nasconde prima che il computer li legga. Una volta che il computer locale genera una risposta, un secondo "guardrail di output" scansiona la risposta per assicurarsi che nessuna informazione privata sia scivolata accidentalmente fuori.

Il ricercatore ha testato questo sistema con un piccolo insieme di domande accuratamente scelte per vedere come si comportava nel mondo reale. Quando gli è stata posta una domanda semplice e innocua come "Che cos'è l'intelligenza artificiale?", il sistema ha funzionato perfettamente. Ha elaborato la richiesta localmente, ha superato tutti i controlli di sicurezza e ha restituito una risposta in poco più di tre secondi. Lo schermo mostrava che l'input era pulito, nessun trucco era stato rilevato e la risposta finale era sicura da visualizzare. Il sistema ha poi affrontato una serie di quattro diversi tentativi di inganno, in cui gli utenti cercavano di ordinare alla macchina di rivelare le sue istruzioni segrete o di ignorare le sue regole di sicurezza. In ognuno di questi casi, il guardrail di input ha colto il tentativo. Il sistema ha identificato il trucco, ha bloccato la richiesta e ha mostrato un messaggio di avviso invece di lasciare che il computer generasse una risposta. Questo ha dimostrato che anche quando il computer è in funzione sulla propria scrivania, ha comunque bisogno di una guardia per evitare di essere manipolato.

Il test includeva anche una domanda contenente dati personali finti, nello specifico un indirizzo email inventato e un numero di telefono. In questo caso, il sistema ha mostrato sia la sua forza che una chiara debolezza. Quando l'utente ha digitato l'indirizzo email, il sistema lo ha individuato, ha sostituito il testo con un segnaposto che diceva "email oscurata" (email redacted) e ha passato il messaggio al computer. La risposta finale mostrava il testo oscurato, il che significa che l'email era stata protetta con successo. Tuttavia, il sistema non è riuscito a rilevare il numero di telefono di otto cifre. Ha lasciato passare il numero invariato e l'output finale visualizzava il numero di telefono completo come se nulla fosse accaduto. Anche il guardrail di output ha mancato il colpo, riportando che non erano stati trovati dati sensibili nella risposta. Questo risultato evidenzia che, sebbene l'idea del calcolo locale e sicuro sia percorribile, le regole attuali per individuare le informazioni private non sono ancora perfette. Il sistema ha bloccato con successo l'inganno e ha catturato l'email, ma ha lasciato esposto il numero di telefono. Il sistema ha bloccato il trucchetto e ha catturato l'email, ma ha lasciato scoperto il numero di telefono.

Lo studio conclude che è possibile combinare il calcolo locale con i controlli di sicurezza in una singola pipeline leggera. Il sistema ha dimostrato di poter girare su un dispositivo personale, bloccare i comuni tentativi di inganno e nascondere alcuni tipi di dati privati. Tuttavia, il ricercatore tiene a precisare che queste scoperte sono preliminari. Il set di test era molto piccolo, composto da solo poche domande, e i risultati sono stati osservati su una singola macchina senza misurare quanto spesso il sistema potesse commettere errori o quanto sarebbe stato veloce sotto un carico pesante. Il fallimento nel rilevare il numero di telefono suggerisce che le regole di rilevamento devono essere ampliate per coprire più formati di dati personali. Prima che questo approccio possa essere considerato pienamente affidabile per l'uso quotidiano, il sistema deve essere testato su una varietà molto più ampia di input, inclusi trucchi più complessi e diversi tipi di informazioni personali. Per ora, il lavoro rappresenta una promettente prova di concetto, mostrando che un assistente IA locale e sicuro è a portata di mano, a patto che le guardie di sicurezza vengano costantemente migliorate.