💻 ciência da computação

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

Este artigo propõe a Lógica Teleoneutrosófica, uma estrutura consciente de proveniência que associa triplas neutrosóficas separadas para efeito e propósito para permitir a autorização tripartite de agentes de IA institucionais, reduzindo efetivamente a passagem de danos diretos ao distinguir solicitações externas legítimas de induções maliciosas.

Autores originais: Selçuk Topal, Buğra Ayan

Publicado 2026-10-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Selçuk Topal, Buğra Ayan

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital moderno, agências governamentais e grandes instituições estão começando a usar inteligência artificial para lidar com tarefas complexas, como resumir petições de cidadãos ou gerenciar registros fiscais. Esses agentes de IA são ferramentas poderosas, mas enfrentam um problema único e perigoso: eles podem ser enganados. Imagine um cidadão enviando uma petição sobre um problema fiscal, mas escondida dentro desse documento há uma instrução secreta dizendo à IA para transferir dinheiro para a conta de um estranho. Para a IA, a instrução parece apenas mais um comando a ser seguido. O desafio para os especialistas em segurança é distinguir entre uma ordem legítima de um funcionário autorizado e um comando oculto enterrado em um documento que a IA está apenas lendo. Os sistemas de segurança tradicionais frequentemente olham apenas para o que uma ação faz — como uma transferência de dinheiro — e têm dificuldade em entender quem realmente a solicitou ou por quê. Essa lacuna deixa as instituições vulneráveis à "injeção de prompt", onde atacantes escondem instruções maliciosas dentro dos dados que a IA processa.

Para resolver isso, os pesquisadores Selçuk Topal e Buğra Ayan desenvolveram um novo método para decidir se um agente de IA deve realizar uma solicitação. A abordagem deles, chamada Lógica Teleoneutrosófica, trata a decisão de autorizar uma ação como uma escolha de três vias: o sistema pode aprovar a ação, negá-la ou pausar para pedir uma revisão humana. O cerne de sua inovação é separar o "quê" do "porquê". O sistema avalia a ação em si (o efeito) e a origem da instrução (o propósito) como duas evidências distintas. Crucialmente, o sistema atribui uma pontuação de confiança a cada fonte. Uma ordem direta de um funcionário governamental verificado carrega uma pontuação de confiança alta, enquanto um documento enviado por um cidadão ou um e-mail de um remetente desconhecido carrega uma pontuação baixa. O sistema então pondera essas pontuações contra o potencial dano da ação. Se uma fonte de baixa confiança tenta influenciar uma decisão de alto risco, o sistema não simplesmente ignora a instrução; em vez disso, ele trata a falta de um propósito claro e confiável como um motivo para pausar e escalar a decisão para um humano.

Os pesquisadores testaram esse sistema usando uma grande coleção de ataques simulados e cenários governamentais realistas. Eles criaram mais de mil cenários onde atacantes tentaram enganar agentes de IA para roubar dados ou emitir reembolsos não autorizados. Nesses testes, o novo sistema provou ser altamente eficaz em deter ataques vindos de fontes não confiáveis. Quando o sistema identificava corretamente que uma solicitação vinha de um canal de baixa confiança, ele impedia a IA de agir, mesmo que a instrução oculta parecesse muito convincente. O estudo descobriu que, ao manter o "propósito" de uma solicitação separado de seu "efeito", o sistema conseguia reduzir a taxa de ataques bem-sucedidos de um nível perigoso para uma fração muito pequena. Por exemplo, em um conjunto de testes envolvendo dano direto, o sistema reduziu o número de ataques bem-sucedidos de mais de 36% para menos de 2% quando os rótulos estavam corretos. Mesmo quando o sistema era enganado para rotular incorretamente uma fonte perigosa como confiável, ele ainda conseguia bloquear a maioria dos ataques, reduzindo a taxa de sucesso de mais de 80% para cerca de 35%.

No entanto, os pesquisadores também descobriram os limites dessa abordagem. O sistema depende fortemente da precisão dos rótulos de confiança atribuídos aos diferentes canais. Se um atacante conseguir enganar o sistema para acreditar que uma fonte maliciosa é confiável, a proteção enfraquece. Além disso, o estudo mostrou que o sistema não é um escudo mágico que funciona perfeitamente em todas as situações. Em alguns casos, particularmente quando a IA era solicitada a processar pedidos genéricos de cidadãos sem instruções específicas, o sistema era cauteloso e frequentemente pausava para revisão humana. Essa cautela é um recurso, não um erro; ela garante que a IA não aprove acidentalmente ações prejudiciais. Os pesquisadores descobriram que, embora o sistema seja excelente em deter ataques óbvios, ele ainda requer supervisão humana para situações complexas ou ambíguas. Eles também observaram que, para o sistema aprender e melhorar, ele precisa ver exemplos de solicitações legítimas vindas de canais não confiáveis, que são atualmente raros nos dados de treinamento. Sem esses exemplos, o sistema pode bloquear erroneamente solicitações válidas de cidadãos.

O estudo conclui que, embora essa nova lógica represente um passo significativo para a segurança de agentes de IA, ela não é uma solução autônoma. Ela funciona melhor quando combinada com regras rígidas sobre como os dados são rotulados e rastreados. Os pesquisadores demonstraram que uma regra simples e rígida que trata qualquer entrada não confiável como suspeita pode ser tão segura quanto seu sistema complexo, desde que os rótulos estejam corretos. O real valor de seu trabalho reside em mostrar como lidar com a incerteza. Ao permitir que o sistema expresse "ambivalência" — um estado onde ele não tem certeza se uma solicitação é segura ou insegura — ele pode tomar decisões mais inteligentes do que um simples filtro de sim ou não. Essa abordagem garante que, quando um agente de IA é solicitado a realizar uma tarefa sensível, ele verifica não apenas se a tarefa é possível, mas se a pessoa que a solicita tem o direito de fazê-lo. As descobertas sugerem que, para que a IA seja usada com segurança em governos e infraestruturas críticas, devemos construir sistemas que entendam a diferença entre um comando e uma sugestão, e que saibam quando recuar e deixar um humano assumir o controle.

Resumo Técnico: Lógica Teleoneutrosófica para Autorização de Três Vias de Agentes de IA Institucionais

Definição do Problema
Agentes de IA institucionais que operam em fluxos de trabalho do setor público enfrentam uma vulnerabilidade crítica: a injeção indireta de prompts (indirect prompt injection). Um agente pode ser incumbido de resumir uma petição de um cidadão que contém uma instrução oculta para executar uma ação sensível, como emitir um reembolso ou alterar registros. Embora o efeito imediato dessa ação (ex: transferir fundos) possa ser idêntico ao de uma solicitação legítima de um oficial autorizado, a autoridade e o propósito diferem fundamentalmente. Os sistemas de monitoramento existentes, que avaliam apenas a segurança ou o efeito de uma ação, não conseguem distinguir entre o comando de um oficial legítimo e uma injeção maliciosa incorporada em dados não confiáveis. Além disso, abordagens difusas (fuzzy) ou neutrosóficas padrão que refinam a escala de "segurança" falham em recuperar informações sobre a origem da instrução, deixando o problema da autorização sem resolução.

Metodologia
Os autores propõem a Lógica Teleoneutrosófica (TNL), um cálculo de decisão que pareia dois triplos neutrosóficos distintos para avaliar uma chamada de ferramenta proposta:

Triplo de Efeito ( $T, I, F$ ): Representa Verdade (execução segura), Indeterminação e Falsidade (dano) em relação às consequências imediatas da ação.
Triplo Télico ( $P, A, H$ ): Representa Verdade (alinhamento de propósito com o principal), Ambivalência (falta de suporte) e Hostilidade (propósito adverso) em relação à origem e intenção da instrução.

O framework opera através dos seguintes mecanismos:

Estrutura Algébrica: O sistema forma um produto de duas álgebras neutrosóficas de valor único, criando um espaço de valores de seis coordenadas. Esta estrutura suporta paraconsistência (permitindo que $P$ e $H$ coexistam) e define condições específicas para adjunção.
Desconto de Proveniência: A evidência é ponderada pelo nível de confiança de seu canal ( $t \in [0, 1]$ ). Um operador de "desconto de preservação de cautela" reduz o suporte ( $T$ ou $P$ ) de fontes não confiáveis, enquanto retém e acumula relatórios de incerteza e dano/hostilidade.
Fusão Cética: A evidência de múltiplas fontes é fundida através da tomada do máximo dos suportes descontados e da soma probabilística das indeterminações, garantindo que fontes não confiáveis não possam inflar artificialmente o suporte além de seu limite de confiança.
Guarda de Três Vias: Uma função de decisão $G(\omega, \omega_0)$ $G (ω, ω_{0})$ avalia o conjunto completo de evidências ( $\omega$ $ω$ ) e o subconjunto de evidências confiáveis ( $\omega_0$ $ω_{0}$ ).
- Negar (Deny): Acionado se a evidência confiável sozinha indicar alto risco ( $\rho(\omega_0) \ge \theta_d$ ). A evidência não confiável não pode causar negação.
- Autorizar (Auth): Concedida apenas se o conjunto de evidências completo satisfizer os limiares de segurança, propósito e dano ( $\rho(\omega) \le \theta_a$ , $T \ge \tau_T$ , $P \ge \tau_P$ ).
- Escalar (Escalate): O resultado padrão para casos que não são negados, mas falham nos limiares de autorização.

Os autores provam que, sob condições de parâmetros específicas, a evidência não confiável só pode forçar uma escalada (revisão), mas não pode causar uma negação ou uma autorização não autorizada se a evidência confiável for insuficiente.

Principais Contribuições

Representação de Triplo Duplo: A introdução de um valor teleoneutrosófico que desacopla a avaliação do efeito do alinhamento do propósito, permitindo que o sistema detecte cenários de "duplo uso" onde uma ação é segura, mas não autorizada.
Fusão Consciente de Proveniência: Um mecanismo formal onde rótulos de confiança limitam o suporte positivo que uma fonte não confiável pode fornecer, enquanto preservam avisos (hostilidade/dano) de qualquer fonte.
Garantias Teóricas: Provas estabelecendo que a guarda é paraconsistente e que, sob definidas condições de suporte, a evidência não confiável é limitada em sua capacidade de alterar decisões (especificamente, ela não pode justificar a negação ou contornar limiares de propósito).
Proteção de Trajetória: Extensão da lógica para trajetórias de múltiplas etapas usando núcleos de fluxo (flow kernels) para detectar ataques de decomposição, onde uma leitura sensível é seguida por uma ação rotineira.

Resultados Experimentais
O framework foi avaliado em 1.054 casos do benchmark InjecAgent e cenários sintéticos de e-governo envolvendo ferramentas de impostos, saúde e registro.

Rótulos Corretos: Quando os rótulos de proveniência são precisos, regras nítidas (crisp) de "mancha e escala" (taint-and-escalate) e a TNL apresentam desempenho semelhante, com a TNL ofereção um tratamento ligeiramente mais matizado para canais de confiança intermediária.
Canais Mal Rotulados (T2): Quando o conteúdo não confiável é incorretamente rotulado como confiável, a TNL supera significativamente as regras nítidas dependentes de rótulo.
- No InjecAgent, a TNL reduziu a passagem de danos diretos de 82,3% (regra de mancha) para 36,7%.
- Com a "ambivalência consciente da ignorância" (retendo o fato de que uma chamada não foi originalmente solicitada), a passagem caiu ainda mais para 16,9%.
- Em benchmarks sintéticos, a TNL reduziu a passagem de 100% (regras nítidas) para 12,5% para ataques de etapa única sob erro de rotulagem.
Estimadores Aprendidos: Substituir regras fixas por estimadores aprendidos para propósito/hostilidade reduziu a passagem sob erro de rotulagem de 36,7% para 1,6% no InjecAgent. No entanto, isso exigiu dados de treinamento contendo solicitações legítimas de canais não confiáveis; sem esses dados, os modelos falharam em generalizar para solicitações externas legítimas.
Limitações: O sistema tem dificuldades com ataques "Arg0" (manipulação de argumentos sem novos identificadores) e cenários de pior caso onde o atacante mimetiza perfeitamente o alinhamento (T1*).

Significância e Alegações
O artigo alega que a TNL fornece uma semântica de decisão formal para separar o que um agente faz do porquê ele o faz, abordando o "dilema do duplo uso" na autorização de IA.

Ambivalência Independente: Uma descoberta fundamental é que reter a ambivalência sobre uma chamada não solicitada impede que o suporte de propósito posterior apague a necessidade de revisão, reduzindo a passagem de dano direto no pior caso de 100% para 34,5% (InjecAgent) e 25,0% (sintético) sob erro de rotulagem.
Papel da Automação: Os autores concluem modestamente que, embora a TNL melhore a segurança sob erros de rótulo, as regras baseadas em atribuição "nítidas" (que escalam qualquer chamada proposta por dados não confiáveis, independentemente do conteúdo) são pelo menos tão seguras e frequentemente mais simples.
Necessidade de Dados de Treinamento: O estudo destaca que as melhorias baseadas em aprendizado são contingentes à presença de solicitações externas legítimas nos dados de treinamento; sem elas, a automação de solicitações externas permanece insegura.
Humano no Ciclo (Human-in-the-Loop): Os autores enfatizam que a guarda é um controle técnico que transfere o ônus para filas de revisão humana. Eles observam que altas taxas de escalada (ex: 326 revisões por 1.000 solicitações) são um custo necessário para a segurança, e que o sistema não garante conformidade com regulamentações como o GDPR ou a Lei Turca 6698 sem a supervisão humana apropriada.

O artigo não pretende resolver todos os problemas de segurança de agentes, observando que exclui a subversão intencional pelo próprio modelo e depende da integridade dos rótulos de proveniência, que, se violados (T2*), ainda permitem a passagem de ataques.

Mais como este