💻 ciencias de la computación

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

Este artículo propone la Lógica Teleoneutrosófica, un marco de trabajo consciente de la procedencia que empareja triples neutrosóficos separados para el efecto y el propósito con el fin de permitir la autorización tripartita de agentes de IA institucionales, reduciendo eficazmente el traspaso de daños directos al distinguir las solicitudes externas legítimas de los inducimientos maliciosos.

Autores originales: Selçuk Topal, Buğra Ayan

Publicado 2026-10-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Selçuk Topal, Buğra Ayan

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo digital moderno, las agencias gubernamentales y las grandes instituciones están comenzando a utilizar la inteligencia artificial para gestionar tareas complejas, como resumir peticiones ciudadanas o gestionar registros fiscales. Estos agentes de IA son herramientas poderosas, pero enfrentan un problema único y peligroso: pueden ser engañados. Imagine que un ciudadano presenta una petición sobre un asunto fiscal, pero dentro de ese documento se esconde una instrucción secreta que ordena a la IA transferir dinero a la cuenta de un extraño. Para la IA, la instrucción parece simplemente otra orden que seguir. El desafío para los expertos en seguridad es distinguir entre una orden legítima de un funcionario autorizado y un comando oculto enterrado en un documento que la IA solo está leyendo. Los sistemas de seguridad tradicionales suelen fijarse únicamente en lo que hace una acción —como una transferencia de dinero— y tienen dificultades para comprender quién la solicitó o por qué. Esta brecha deja a las instituciones vulnerables a la "inyección de prompts", donde los atacantes ocultan instrucciones maliciosas dentro de los datos que la IA procesa.

Para resolver esto, los investigadores Selçuk Topal y Buğra Ayan han desarrollado un nuevo método para decidir si un agente de IA debe llevar a cabo una solicitud. Su enfoque, llamado Lógica Teleoneutrosófica, trata la decisión de autorizar una acción como una elección de tres vías: el sistema puede aprobar la acción, denegarla o hacer una pausa para solicitar la revisión de un humano. La esencia de su innovación es separar el "qué" del "por qué". El sistema evalúa la acción en sí misma (el efecto) y la fuente de la instrucción (el propósito) como dos piezas distintas de evidencia. Crucialmente, asigna una puntuación de confianza a cada fuente. Una orden directa de un funcionario gubernamental verificado conlleva una puntuación de confianza alta, mientras que un documento cargado por un ciudadano o un correo electrónico de un remitente desconocido conlleva una puntuación baja. El sistema sopesa entonces estas puntuaciones frente al daño potencial de la acción. Si una fuente de baja confianza intenta influir en una decisión de alto riesgo, el sistema no se limita a ignorarla; en su lugar, trata la falta de un propósito claro y confiable como una razón para hacer una pausa y escalar la decisión a un humano.

Los investigadores probaron este sistema utilizando una gran colección de ataques simulados y escenarios gubernamentales realistas. Crearon más de mil escenarios donde los atacantes intentaban engañar a los agentes de IA para robar datos o emitir reembolsos no autorizados. En estas pruebas, el nuevo sistema demostró ser altamente efectivo para detener ataques provenientes de fuentes no confiables. Cuando el sistema identificaba correctamente que una solicitud provenía de un canal de baja confianza, evitaba que la IA actuara, incluso si la instrucción oculta parecía muy convincente. El estudio encontró que, al mantener el "propósito" de una solicitud separado de su "efecto", el sistema podía reducir la tasa de ataques exitosos de un nivel peligroso a una fracción muy pequeña. Por ejemplo, en un conjunto de pruebas que involucraban daño directo, el sistema redujo el número de ataques exitosos de más del 36 por ciento a menos del 2 por ciento cuando las etiquetas eran correctas. Incluso cuando el sistema era engañado para etiquar erróneamente una fuente peligrosa como confiable, aun así lograba bloquear la mayoría de los ataques, reduciendo la tasa de éxito de más del 80 por ciento a aproximadamente el 35 por ciento.

Sin embargo, los investigadores también descubrieron los límites de este enfoque. El sistema depende en gran medida de la precisión de las etiquetas de confianza asignadas a los diferentes canales. Si un atacante logra engañar al sistema para que crea que una fuente maliciosa es digna de confianza, la protección se debilita. Además, el estudio mostró que el sistema no es un escudo mágico que funciona perfectamente en todas las situaciones. En algunos casos, particularmente cuando se le pedía a la IA procesar solicitudes genéricas de ciudadanos sin instrucciones específicas, el sistema era cauteloso y a menudo hacía una pausa para la revisión humana. Esta cautela es una característica, no un error; asegura que la IA no apruebe accidentalmente acciones perjudicialas. Los investigadores encontraron que, si bien el sistema es excelente para detener ataques obvios, todavía requiere supervisión humana para situaciones complejas o ambiguas. También señalaron que, para que el sistema aprenda y mejore, necesita ver ejemplos de solicitudes legítimas provenientes de canales no confiables, los cuales son actualmente raros en los datos de entrenamiento. Sin estos ejemplos, el sistema podría bloquear erróneamente solicitudes válidas de los ciudadanos.

El estudio concluye que, si bien esta nueva lógica representa un paso significativo hacia la seguridad de los agentes de IA, no es una solución independiente. Funciona mejor cuando se combina con reglas estrictas sobre cómo se etiquetan y rastrean los datos. Los investigadores demostraron que una regla más simple y rígida que trate cualquier entrada no confiable como sospechosa puede ser tan segura como su complejo sistema, siempre que las etiquetas sean correctas. El verdadero valor de su trabajo reside en mostrar cómo manejar la incertidumbre. Al permitir que el sistema exprese "ambivalencia" —un estado en el que no está seguro de si una solicitud es segura o insegura—, puede tomar decisiones más inteligentes que un simple filtro de sí o no. Este enfoque asegura que, cuando se le pide a un agente de IA que realice una tarea sensible, este verifique no solo si la tarea es posible, sino si la persona que la solicita tiene el derecho de hacerlo. Los hallazgos sugieren que, para que la IA se utilice de forma segura en el gobierno y en infraestructuras críticas, debemos construir sistemas que entiendan la diferencia entre un comando y una sugerencia, y que sepan cuándo dar un paso atrás y dejar que un humano tome el mando.

Resumen Técnico: Lógica Teleoneutrosófica para la Autorización de Tres Vías de Agentes de IA Institucionales

Planteamiento del Problema
Los agentes de IA institucionales que operan en flujos de trabajo del sector público enfrentan una vulnerabilidad crítica: la inyección de prompts indirecta. Un agente puede tener la tarea de resumir una petición ciudadana que contiene una instrucción oculta para ejecutar una acción sensible, como emitir un reembolso o alterar registros. Mientras que el efecto inmediato de esta acción (por ejemplo, transferir fondos) puede ser idéntico al de una solicitud legítima de un funcionario autorizado, la autoridad y el propósito difieren fundamentalmente. Los sistemas de monitorización existentes que evalúan únicamente la seguridad o el efecto de una acción no pueden distinguir entre el comando de un funcionario legítimo y una inyección maliciosa incrustada en datos no fiables. Además, los enfoques difusos o neutrosóficos estándar que refinan la escala de "seguridad" no logran recuperar la información relativa al origen de la instrucción, dejando el problema de la autorización sin resolver.

Metodología
Los autores proponen la Lógica Teleoneutrosófica (TNL), un cálculo de decisión que empareja dos tríos neutrosoficos separados para evaluar una llamada a una herramienta propuesta:

Trío de Efecto ( $T, I, F$ ): Representa la Verdad (ejecución segura), la Indeterminación y la Falsedad (daño) respecto a las consecuencias inmediatas de la acción.
Trío Télico ( $P, A, H$ ): Representa la Verdad (alineación del propósito con el principal), la Ambivalencia (falta de apoyo) y la Hostilidad (propósito adverso) respecto al origen y la intención de la instrucción.

El marco opera a través de los siguientes mecanismos:

Estructura Algebraica: El sistema forma un producto de dos álgebras neutrosóficas de valor único, creando un espacio de valores de seis coordenadas. Esta estructura soporta la paraconsistencia (permitiendo que $P$ y $H$ coexistan) y define condiciones específicas de adjunción.
Descuento de Procedencia: La evidencia se pondera mediante el nivel de confianza de su canal ( $t \in [0, 1]$ ). Un operador de "descuento de preservación de la cautela" reduce el soporte ( $T$ o $P$ ) de las fuentes no fiables, mientras retiene y acumula los informes de incertidumbre y daño/hostilidad.
Fusión Escéptica: La evidencia de múltiples fuentes se fusiona tomando el máximo de los soportes descontados y la suma probabilística de las indeterminaciones, asegurando que las fuentes no fiables no puedan inflar artificialmente el soporte más allá de su tope de confianza.
Guardia de Tres Vías: Una función de decisión $G(\omega, \omega_0)$ $G (ω, ω_{0})$ evalúa el conjunto completo de evidencia ( $\omega$ $ω$ ) y el subconjunto de evidencia de confianza ( $\omega_0$ $ω_{0}$ ).
- Denegar (Deny): Se activa si la evidencia de confianza por sí sola indica un alto riesgo ( $\rho(\omega_0) \ge \theta_d$ ). La evidencia no fiable no puede provocar una denegación.
- Autorizar (Auth): Se concede solo si el conjunto completo de evidencia satisface los umbrales de seguridad, propósito y daño ( $\rho(\omega) \le \theta_a$ , $T \ge \tau_T$ , $P \ge \tau_P$ ).
- Escalar (Escalate): El resultado por defecto para los casos que no son denegados pero fallan en los umbrales de autorización.

Los autores demuestran que, bajo condiciones de parámetros específicos, la evidencia no fiable solo puede forzar una escalada (revisión), pero no puede causar una denegación o una autorización no autorizada si la evidencia de confianza es insuficiente.

Contribuciones Clave

Representación de Doble Trío: La introducción de un valor teleoneutrosófico que desacopla la evaluación del efecto de la alineación del propósito, permitiendo al sistema detectar escenarios de "doble uso" donde una acción es segura pero no autorizada.
Fusión Consciente de la Procedencia: Un mecanismo formal donde las etiquetas de confianza limitan el soporte positivo que una fuente no fiable puede proporcionar, mientras se preservan las advertencias (hostilidad/daño) de cualquier fuente.
Garantías Teóricas: Pruebas que establecen que la guardia es paraconsistente y que, bajo condiciones de soporte definidas, la evidencia no fiable está acotada en su capacidad para alterar decisiones (específicamente, no puede justificar la denegación ni eludir los umbrales de propósito).
Protección de Trayectoria: Extensión de la lógica a trayectorias de múltiples pasos utilizando núcleos de flujo para detectar ataques de descomposición donde una lectura sensible es seguida por una acción rutinaria.

Resultados Experimentales
El marco fue evaluado en 1,054 casos del benchmark InjecAgent y escenarios sintéticos de e-government que involucran herramientas de impuestos, salud y registro.

Etiquetas Correctas: Cuando las etiquetas de procedencia son precisas, las reglas nítidas (crisp) de "marcar y escalar" y la TNL se comportan de manera similar, aunque la TNL ofrece un manejo ligeramente más matizado de los canales de confianza intermedia.
Canales Mal Etiquetados (T2): Cuando el contenido no fiable es etiquetado incorrectamente como fiable, la TNL supera significativamente a las reglas nítidas dependientes de etiquetas.
- En InjecAgent, la TNL redujo el paso de daño directo del 82.3% (regla de marcado) al 36.7%.
- Con la "ambivalencia consciente de la ignorancia" (retener el hecho de que una llamada no fue solicitada originalmente), el paso de daño cayó aún más al 16.9%.
- En los benchmarks sintéticos, la TNL redujo el paso de 100% (reglas nítidas) al 12.5% para ataques de un solo paso bajo mal etiquetado.
Estimadores Aprendidos: Reemplazar las reglas fijas con estimadores aprendidos para el propósito/hostilidad redujo el paso de daño bajo mal etiquetado del 36.7% al 1.6% en InjecAgent. Sin embargo, esto requirió datos de entrenamiento que contuvieran solicitudes legítimas de canales no fiables; sin tales datos, los modelos no pudieron generalizar a solicitudes externas legítimas.
Limitaciones: El sistema tiene dificultades con los ataques "Arg0" (manipulación de argumentos sin nuevos identificadores) y los escenarios de peor caso donde el atacante imita perfectamente la alineación (T1*).

Significancia y Reivindicaciones
El artículo afirma que la TNL proporciona una semántica de decisión formal para separar qué hace un agente de por qué lo hace, abordando el "dilema del doble uso" en la autorización de IA.

Ambivalencia Independiente: Un hallazgo clave es que retener la ambivalencia sobre una llamada no solicitada evita que el soporte de propósito posterior borre la necesidad de revisión, reduciendo el paso de daño directo en el peor de los casos del 100% al 34.5% (InjecAgent) y del 25.0% (sintético) bajo mal etiquetado.
Rol de la Automatización: Los autores concluyen modestamente que, si bien la TNL mejora la seguridad bajo errores de etiqueta, las reglas basadas en atribución "nítidas" (que escalan cualquier llamada propuesta por datos no fiables independientemente de su contenido) son al menos tan seguras y a menudo más simples.
Necesidad de Datos de Entrenamiento: El estudio destaca que las mejoras basadas en el aprendizaje dependen de la presencia de solicitudes externas legítimas en los datos de entrenamiento; sin ellas, la automatización de las solicitudes externas sigue siendo insegura.
Humano en el Bucle (Human-in-the-Loop): Los autores enfatizan que la guardia es un control técnico que traslada la carga a las colas de revisión humana. Señalan que las altas tasas de escalada (por ejemplo, 326 revisiones por cada 1,000 solicitudes) son un costo necesario para la seguridad, y que el sistema no garantiza el cumplimiento de regulaciones como el GDPR o la Ley Turca 6698 sin la supervisión humana adecuada.

El documento no pretende resolver todos los problemas de seguridad de los agentes, señalando que excluye la subversión intencionada por parte del propio modelo y depende de la integridad de las etiquetas de procedencia, las cuales, si se violan (T2*), permiten que los ataques pasen.

Más como este