💻 informatica

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

Questo articolo propone la Logica Teleoneutrosofica, un framework consapevole della provenienza che accoppia triple neutrosofiche distinte per effetto e scopo al fine di abilitare l'autorizzazione tripartita degli agenti IA istituzionali, riducendo efficacementamente il passaggio di danni diretti distinguendo le richieste esterne legittime dagli induciamenti malevoli.

Autori originali: Selçuk Topal, Buğra Ayan

Pubblicato 2026-10-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Selçuk Topal, Buğra Ayan

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel moderno mondo digitale, le agenzie governative e le grandi istituzioni stanno iniziando a utilizzare l'intelligenza artificiale per gestire compiti complessi, come riassumere le petizioni dei cittadini o gestire i registri fiscali. Questi agenti IA sono strumenti potenti, ma affrontano un problema unico e pericoloso: possono essere ingannati. Immaginate che un cittadino presenti una petizione su un problema fiscale, ma che all'interno di quel documento sia nascosta un'istruzione segreta che ordina all'IA di trasferire denaro su un conto di uno sconosciuto. Per l'IA, l'istruzione appare come un semplice comando da seguire. La sfida per gli esperti di sicurezza è distinguere tra un ordine legittimo di un funzionario autorizzato e un comando nascosto sepolto in un documento che l'IA sta semplicemente leggendo. I sistemi di sicurezza tradizionali guardano spesso solo a ciò che un'azione fa — come un trasferimento di denaro — e faticano a comprendere chi l'abbia effettivamente richiesta o perché. Questo vuoto lascia le istituzioni vulnerabili al "prompt injection", in cui gli attaccanti nascondono istruzioni malevole all'interno dei dati che l'IA elabora.

Per risolvere questo problema, i ricercatori Selçuk Topal e Buğra Ayan hanno sviluppato un nuovo metodo per decidere se un agente IA debba eseguire una richiesta. Il loro approccio, chiamato Logica Teleoneutrosofica, tratta la decisione di autorizzare un'azione come una scelta a tre vie: il sistema può approvare l'azione, negarla o mettersi in pausa per richiedere una revisione umana. Il cuore della loro innovazione è la separazione del "cosa" dal "perché". Il sistema valuta l'azione stessa (l'effetto) e la fonte dell'istruzione (lo scopo) come due prove distinte. Fondamentalmente, assegna un punteggio di fiducia a ogni fonte. Un ordine diretto da un funzionario governativo verificato ha un punteggio di fiducia elevato, mentre un documento caricato da un cittadino o un'e-mail da un mittente sconosciuto hanno un punteggio basso. Il sistema pesa quindi questi punteggi rispetto al potenziale danno dell'azione. Se una fonte a bassa fiducia tenta di influenzare una decisione ad alto rischio, il sistema non si limita a ignorarla; al contrario, considera la mancanza di uno scopo chiaro e affidabile come un motivo per mettersi in pausa ed elevare la decisione a un essere umano.

I ricercatori hanno testato questo sistema utilizzando una vasta collezione di attacchi simulati e scenari governativi realistici. Hanno creato oltre mille scenari in cui gli attaccanti cercavano di ingannare gli agenti IA per rubare dati o emettere rimborsi non autorizzati. In questi test, il nuovo sistema si è dimostrato altamente efficace nel bloccare attacchi provenienti da fonti non attendibili. Quando il sistema identificava correttamente che una richiesta proveniva da un canale a bassa fiducia, impediva all'IA di agire, anche se l'istruzione nascosta appariva molto convincente. Lo studio ha rilevato che, mantenendo il "proposito" di una richiesta separato dal suo "effetto", il sistema poteva ridurre il tasso di attacchi riusciti da un livello pericoloso a una frazione molto piccola. Ad esempio, in un insieme di test riguardanti danni diretti, il sistema ha ridotto il numero di attacchi riusciti da oltre il 3 de 36 percento a meno del 2 percento quando le etichette erano corrette. Anche quando il sistema veniva ingannato nel classificare erroneamente una fonte pericolosa come attendibile, riusciva comunque a bloccare la maggior parte degli attacchi, facendo scendere il tasso di successo da oltre l'80 percento a circa il 35 percento.

Tuttavia, i ricercatori hanno anche scoperto i limiti di questo approccio. Il sistema si basa fortemente sull'accuratezza delle etichette di fiducia assegnate ai diversi canali. Se un attaccante riesce a ingannare il sistema facendogli credere che una fonte malevola sia affidabile, la protezione si indebolisce. Inoltre, lo studio ha dimostrato che il sistema non è uno scudo magico che funziona perfettamente in ogni situazione. In alcuni casi, in particolare quando l'IA veniva interrogata per elaborare richieste generiche dai cittadini senza istruzioni specifiche, il sistema era cauto e spesso si fermava per una revisione umana. Questa cautela è una caratteristica, non un errore; assicura che l'IA non approvi accidentalmente azioni dannose. I ricercatori hanno scoperto che, sebbene il sistema sia eccellente nel fermare attacchi ovvi, richiede ancora la supervisione umana per situazioni complesse o ambigue. Hanno inoltre notato che, affinché il sistema possa imparare e migliorare, ha bisogno di vedere esempi di richieste legittime provenienti da canali non attendibili, che sono attualmente rari nei dati di addestramento. Senza questi esempi, il sistema potrebbe bloccare erroneamente richieste valide dai cittadini.

Lo studio conclude che, sebbene questa nuova logica rappresenti un passo avanti significativo nella messa in sicurezza degli agenti IA, non è una soluzione autonoma. Funziona meglio quando combinata con regole rigide su come i dati vengono etichettati e tracciati. I ricercatori hanno dimostrato che una regola più semplice e rigida che tratta qualsiasi input non attendibile come sospetto può essere sicura quanto il loro complesso sistema, a patto che le etichette siano corrette. Il vero valore del loro lavoro risiede nello dimostrare come gestire l'incertezza. Consentendo al sistema di esprimere l' "ambivalenza" — uno stato in cui non è sicuro se una richiesta sia sicura o meno sicura — esso può prendere decisioni più intelligenti rispetto a un semplice filtro sì-o-no. Questo approccio assicura che, quando un agente IA gli viene chiesto di eseguire un compito sensibile, controlli non solo se il compito è possibile, ma se la persona che lo richiede ne abbia il diritto. I risultati suggeriscono che, affinché l'IA possa essere utilizzata in sicurezza nel governo e nelle infrastrutture critiche, dobbiamo costruire sistemi che comprendano la differenza tra un comando e un suggerimento, e che sappiano quando fare un passo indietro e lasciare che un essere umano prenda il comando.

Sintesi Tecnica: Logica Teleoneutrosofica per l'Autorizzazione Tripartita di Agenti IA Istituzionali

Definizione del Problema
Gli agenti IA istituzionali che operano in flussi di lavoro del settore pubblico affrontano una vulnerabilità critica: l'iniezione indiretta di prompt (indirect prompt injection). Un agente può essere incaricato di riassumere una petizione di un cittadino che contiene un'istruzione nascosta per eseguire un'azione sensibile, come l'emissione di un rimborso o la modifica di registri. Sebbene l'effetto immediato di tale azione (ad esempio, il trasferimento di fondi) possa essere identico a una richiesta legittima di un funzionario autorizzato, l'autorità e lo scopo differiscono fondamentalmente. I sistemi di monitoraggio esistenti, che valutano solo la sicurezza o l'effetto di un'azione, non possono distinguere tra il comando di un funzionario legittimo e un'iniezione malevola incorporata in dati non attendibili. Inoltre, gli approcci standard fuzzy o neutrosofici che raffinano la scala della "sicurezza" non riescono a recuperare informazioni riguardanti la fonte dell'istruzione, lasciando il problema dell'autorizzazione irrisolto.

Metodologia
Gli autori propongono la Logica Teleoneutrosofica (TNL), un calcolo decisionale che accoppia due separati tripli neutrosofici per valutare una proposta di chiamata di strumento (tool call):

Triplo dell'Effetto ( $T, I, F$ ): Rappresenta Verità (esecuzione sicura), Indeterminazione e Falsità (danno) riguardo alle conseguenze immediate dell'azione.
Triplo Telico ( $P, A, H$ ): Rappresenta Verità (allineamento dello scopo con il principale), Ambivalenza (mancanza di supporto) e Ostilità (scopo avverso) riguardo all'origine e all'intento dell'istruzione.

Il framework opera attraverso i seguenti meccanismi:

Struttura Algebrica: Il sistema forma un prodotto di due algebre neutrosofiche a valore singolo, creando uno spazio di valori a sei coordinate. Questa struttura supporta la paraconsistenza (permettendo la coesistenza di $P$ e $H$ ) e definisce condizioni specifiche per l'adiunzione.
Sconto della Provenienza (Provenance Discounting): L'evidenza è pesata in base al livello di fiducia del suo canale ( $t \in [0, 1]$ ). Un operatore di "sconto conservativo della cautela" riduce il supporto ( $T$ o $P$ ) delle fonti non attendibili, pur mantenendo e accumulando i rapporti di incertezza e di danno/ostilità.
Fusione Scettica: L'evidenza da molteplici fonti viene fusa prendendo il massimo dei supporti scontati e la somma probabilistica delle indeterminazioni, garantendo che le fonti non attendibili non possano gonfiare artificialmente il supporto oltre il loro limite di fiducia.
Guardia a Tre Vie (Three-Way Guard): Una funzione decisionale $G(\omega, \omega_0)$ $G (ω, ω_{0})$ valuta l'insieme completo dell'evidenza ( $\omega$ $ω$ ) e il sottoinsieme di evidenza attendibile ( $\omega_0$ $ω_{0}$ ).
- Nega (Deny): Innescato se l'evidenza attendibile da sola indica un alto rischio ( $\rho(\omega_0) \ge \theta_d$ ). L'evidenza non attendibile non può innescare un diniego.
- Autorizza (Auth): Concesso solo se l'insieme completo dell'evidenza soddisfa le soglie di sicurezza, scopo e danno ( $\rho(\omega) \le \theta_a$ , $T \ge \tau_T$ , $P \ge \tau_P$ ).
- Escala (Escalate): Il risultato predefinito per i casi che non sono negati ma che falliscono le soglie di autorizzazione.

Gli autori dimostrano che, sotto specifiche condizioni di parametro, l'evidenza non attendibile può solo forzare un'escalation (revisione), ma non può causare un diniego o un'autorizzazione non autorizzata se l'evidenza attendibile è insufficiente.

Contributi Chiave

Rappresentazione a Doppio Triplo: L'introduzione di un valore teleoneutrosofico che scinde la valutazione dell'effetto dalla valutazione dello scopo, permettendo al sistema di rilevare scenari di "doppio uso" in cui un'azione è sicura ma non autorizzata.
Fusione Consapevole della Provenienza: Un meccanismo formale in cui le etichette di fiducia pongono un limite al supporto positivo che una fonte non attendibile può fornire, pur preservando gli avvisi (ostilità/danno) da qualsiasi fonte.
Garanzie Teoriche: Dimostrazioni che stabiliscono che la guardia è paraconsistente e che, sotto definiti termini di supporto, l'evidenza non attendibile è limitata nella sua capacità di alterare le decisioni (specificamente, non può giustificare un diniego o aggirare le soglie di scopo).
Protezione della Traiettoria: Estensione della logica a traiettorie multi-step utilizzando kernel di flusso per rilevare attacchi di decomposizione in cui una lettura sensibile è seguita da un'azione di routine.

Risultati Sperimentali
Il framework è stato valutato su 1.054 casi del benchmark InjecAgent e su scenari sintetici di e-government riguardanti strumenti fiscali, sanitari e di registro.

Etichette Corrette: Quando le etichette di provenienza sono accurate, le regole "crisp" basate sul contagio (taint-and-escalate) e la TNL si comportano in modo simile, con la TNL che offre una gestione leggermente più sfumata dei canali a fiducia intermedia.
Canali Erroneamente Etichettati (T2): Quando il contenuto non attendibile è erroneamente etichettato come attendibile, la TNL supera significativamente le regole crisp dipendenti dall'etichetta.
- Su InjecAgent, la TNL ha ridotto il passaggio di danni diretti dall'82,3% (regola del contagio) al 36,7%.
- Con l'ambivalenza "consapevole dell'ignoranza" (mantenendo il fatto che una chiamata non era stata originariamente richiesta), il passaggio è sceso ulteriormente al 16,9%.
- Su benchmark sintetici, la TNL ha ridotto il passaggio dal 100% (regole crisp) al 12,5% per attacchi a singolo step sotto errata etichettatura.
Stimatori Appresi: Sostituire le regole fisse con stimatori appresi per scopo/ostilità ha ridotto il passaggio sotto errata etichettatura dal 36,7% all'1,6% su InjecAgent. Tuttavia, ciò ha richiesto dati di addestramento contenenti richieste legittime da canali non attendibili; senza tali dati, i modelli non riuscivano a generalizzare alle richieste esterne legittime.
Limitazioni: Il sistema fatica con gli attacchi "Arg0" (manipolazione degli argomenti senza nuovi identificatori) e negli scenari peggiori in cui l'attaccante imita perfettamente l'allineamento (T1*).

Significatività e Rivendicazioni
Il documento afferma che la TNL fornisce una semantica decisionale formale per separare il cosa un agente fa dal perché lo fa, affrontando il "dilemma del doppio uso" nell'autorizzazione dell'IA.

Ambivalenza Indipendente: Una scoperta chiave è che mantenere l'ambivalenza riguardo a una chiamata non richiesta impedisce al supporto dello scopo successivo di cancellare la necessità di una revisione, riducendo il passaggio di danno diretto nel caso peggiore dal 100% al 34,5% (InjecAgent) e dal 25,0% (sintetico) sotto errata etichettatura.
Ruolo dell'Automazione: Gli autori concludono con modestia che, sebbene la TNL migliori la sicurezza sotto errori di etichettatura, le regole "crisp" basate sull'attribuzione (che scalano qualsiasi chiamata proposta da dati non attendibili indipendentemente dal contenuto) sono almeno altrettanto sicure e spesso più semplici.
Necessità di Dati di Addestramento: Lo studio evidenzia che i miglioramenti basati sull'apprendimento sono subordinati alla presenza di richieste esterne legittime nei dati di addestramento; senza di esse, l'automazione delle richieste esterne rimane insicura.
Human-in-the-Loop: Gli autori sottolineano che la guardia è un controllo tecnico che sposta l'onere verso le code di revisione umana. Notano che alti tassi di escalation (ad esempio, 326 revisioni ogni 1.000 richieste) sono un costo necessario per la sicurezza, e che il sistema non garantisce la conformità a regolamenti come il GDPR o la Legge Turca 6698 senza un appropriato monitoraggio umano.

Il documento non pretende di risolvere tutti i problemi di sicurezza degli agenti, notando che esclude la sovversione intenzionale da parte del modello stesso e si basa sull'integrità delle etichette di provenienza, che, se violate (T2*), permettono comunque il passaggio degli attacchi.

Articoli simili