Verifiable Delegated Authority for LLM Agents in Banking: A Formal Architecture, Capability Protocol, and Audit Guarantees
Este artículo propone una arquitectura formal para agentes de LLM seguros en la banca que desacopla la autorización del modelo mediante tokens de capacidad atenuados y motores de política deterministas, proporcionando garantías demostrables de contención de autoridad, pérdida financiera limitada e integridad de auditoría contra actores adversarios.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de alto riesgo de la banca, la confianza se ha construido tradicionalmente sobre reglas rígidas y actores predecibles. Durante décadas, los bancos han asegurado sus puertas digitales garantizando que cada acción provenga de un humano conocido o de un servicio informático fiable y preprogramado. Estos sistemas operan bajo una premisa sencilla: si una solicitud está firmada por la persona adecuada y sigue los pasos correctos, es segura para su ejecución. Sin embargo, un nuevo tipo de trabajador ha entrado en escena: el agente de inteligencia artificial. A diferencia de un humano o de un programa informático estándar, estos agentes están impulsados por modelos de lenguaje extensos que pueden razonar a través de información compleja y no estructurada, como correos electrónicos o informes. Pueden decidir por sí mismos qué pasos dar a continuación. Esta flexibilidad los hace increíblemente útiles para gestionar tareas administrativas desordenadas, pero también introduce una profunda incertidumbre. Debido a que estos agentes no siempre toman la misma decisión dos veces, incluso ante la misma información, los viejos modelos de seguridad que asumen un actor predecible ya no funcionan. Si a un agente de IA se le dan las llaves para mover dinero, ¿cómo puede un banco estar seguro de que no transferirá fondos que no debería, ya sea por accidente o de forma maliciosa?
Neeraj Aggarwal, un investigador de Infosys, aborda este problema exacto con un nuevo marco diseñado específicamente para la banca. La idea central es dejar de intentar que la propia IA sea perfectamente segura y, en su lugar, construir una jaula segura a su alrededor. En esta nueva arquitectura, la IA se trata no como un tomador de decisiones confiable, sino como un proponente no confiable. Se le permite sugerir acciones, pero nunca se le permite ejecutarlas directamente. En su lugar, cada sugerencia debe pasar por un motor de políticas determinista independiente que actúa como un estricto guardián. Este motor verifica la sugerencia contra un conjunto de reglas y un "token de capacidad" específico que limita exactamente qué puede hacer el agente, cuánto dinero puede mover y durante cuánto tiempo. El sistema está diseñado de tal manera que, incluso si la IA es engañada por un prompt malicioso o confundida por datos erróneos, no puede romper los límites asignados. Los investigadores demuestran matemáticamente que, bajo este diseño, el agente nunca podrá escalar sus propios privilegios para hacer algo para lo que no estaba autorizado, y calculan un límite superior preciso sobre cuánto dinero podría perderse si el sistema es atacado sin intervención humana.
Para asegurar que todo haya ocurrido correctamente, los investigadores también construyeron un sistema de evidencia verificable. Cada paso que el agente da, desde la idea inicial hasta la ejecución final, se registra en un registro seguro e inalterable que está firmado y vinculado entre sí como una cadena. Esto permite que un auditor, o incluso otro ordenador, pueda revisar el registro meses después y verificar que el agente se mantuvo dentro de sus reglas, sin necesidad de ver el proceso de pensamiento interno de la IA o volver a ejecutar la IA misma. El sistema también introduce un método para utilizar múltiples agentes de IA que revisen el trabajo de los demás. Los investigadores descubrieron que simplemente añadir más revisores no garantiza la seguridad; en cambio, la clave es tener revisores que sean diversos, es decir, que estén construidos sobre modelos diferentes o entrenados de forma distinta. Si todos los revisores comparten el mismo punto ciego, todos cometerán el mismo error. Al cuantificar este riesgo, el sistema puede decidir cuándo una segunda opinión realmente vale la pena el coste y cuándo es necesario detenerse y pedir ayuda a un humano.
El equipo probó estas ideas construyendo un prototipo funcional y sometiéndolo a miles de ataques simulados. En estas pruebas, un ordenador adversario —actuando como un agente malicioso, sin un modelo de lenguaje real en el bucle— intentó engañar al sistema para realizar acciones no autorizadas, tales como falsificar tokens, repetir comandos antiguos o manipular los registros. A través de 700.000 intentos, el sistema bloqueó con éxito cada ejecución no autorizada. Las simulaciones, que se basaron en datos sintéticos y utilizaron HMAC-SHA256 para suplantar a las firmas digitales reales, confirmaron que los límites matemáticos de las pérdidas financieras eran precisos; cuando los atacantes intentaron llevar el sistema a su límite absoluto, las pérdidas coincidieron exactamente con el máximo predicho, demostrando que la red de seguridad era hermética. Las pruebas también revelaron dos debilidades específicas en el diseño inicial: una relacionada con cuánto tiempo permanecían válidos los tokens y otra respecto a la capacidad de revertir los registros a un estado anterior. El diseño final cerró estas brechas, asegurando que, incluso si un atacante lograra robar un token, este solo pudiera usarse una vez y dentro de un intervalo de tiempo muy breve.
Este enfoque representa un cambio en la forma en que pensamos sobre la seguridad de los sistemas inteligentes en infraestructuras críticas. En lugar de esperar que la IA siempre se comporte, el sistema asume que podría no hacerlo y construye una capa de ejecución que es independiente del razonamiento de la IA. El resultado es un flujo de trabajo donde la IA puede realizar su trabajo de clasificar información compleja y proponer soluciones, mientras que el banco mantiene el control absoluto sobre la acción final. Los investigadores demostraron que es posible tener agentes potentes y automatizados en un entorno bancario sin crear un riesgo no auditable. Al tratar a la IA como un proponente y a la capa de ejecución como el ejecutor, y al mantener un registro a prueba de manipulaciones de cada decisión, los bancos pueden empezar a utilizar estas herramientas con un nivel de seguridad y responsabilidad que antes era imposible. El trabajo sigue siendo un modelo formal y una simulación, pero proporciona un camino claro y probado para trasladar los agentes de IA de las herramientas experimentales al núcleo de las operaciones financieras reguladas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.