The Ethics of Autonomous AI Agents for Offensive Security

Imagina el mundo de la seguridad informática como un gigantesco y de alto riesgo juego de escondite jugado en una ciudad digital. Por un lado, tienes a los "Defensores", los guardias de seguridad que intentan cerrar cada puerta y ventana para mantener fuera a los malos. Por el otro lado están los "Atacantes", los hackers traviesos que intentan forzar cerraduras, escalar cercas y colarse. Durante décadas, los hackers utilizaron un conjunto muy específico de herramientas: picos, ganzúas y linternas. Estas herramientas eran predecibles; si usabas una ganzúa específica en una cerradura específica, funcionaba o no funcionaba, siempre. Las personas que las usaban tenían que ser expertos altamente capacitados que pasaban años aprendiendo a usarlas de forma segura.

Pero recientemente, un nuevo tipo de herramienta ha entrado en el juego: el "Agente de IA Autónomo". Piensa en esto no como una simple ganzúa, sino como un asistente robótico, súper inteligente y mágico que puede descubrir cómo abrir cualquier puerta por su cuenta. No se limita a seguir un manual; aprende, se adapta y toma sus propias decisiones. La gran pregunta que todos se hacen es: ¿Qué sucede cuando le das a un robot que puede pensar por sí mismo un trabajo que implica irrumpir en cosas? ¿Hace que el juego sea más justo, o inclina la balanza tanto que los defensores no pueden seguirle el ritmo? Este documento profundiza en la desordenada, confusa y potencialmente peligrosa ética de entregar las llaves a estos robots digitales.

---

El robot que rompe cosas (y no sabe por qué)

Este documento trata sobre un cambio aterrador en la forma en que trabajan los hackers (y los evaluadores de seguridad). En el pasado, si un experto en seguridad quería probar un sistema, utilizaba herramientas como un estetoscopio digital o una llave específica. Estas herramientas eran deterministas, lo que significa que hacían exactamente lo que se les ordenaba, cada vez. Si le decías a una herramienta que escaneara una computadora, escaneaba esa computadora. Si le decías que se detuviera, se detenía. El humano siempre era el jefe, y la herramienta era solo un instrumento pasivo.

Ahora, tenemos Agentes de IA Autónomos. Estos son como tener un robot al que le dices: "Ve a encontrar los puntos débiles en este castillo", y simplemente... se va. Decide qué puertas probar, qué ventanas escalar y cómo engañar a los guardias. Los autores de este documento argumentan que esto lo cambia todo porque estos robots tienen tres rasgos extraños e impredecibles que las herramientas antiguas nunca tuvieron:

1. Son una caja misteriosa (Acciones indeterminadas): No siempre puedes predecir qué hará el robot a continuación. Incluso la persona que construyó el robot podría no saber exactamente por qué eligió romper una ventana específica. Es como darle a un estudiante un problema matemático y que este lo resuelva dibujando un gato en lugar de usar números. El robot podría "alucinar" razones para sus acciones después de los hechos, haciendo imposible decir: "Yo le ordené hacer esto".
2. No tienen frenos (Impacto indeterminado): Las herramientas antiguas tenían límites. Una ganzúa solo podía abrir una puerta; no podía decidir quemar la casa. Pero estos agentes de IA son de propósito general. Puedes decirle a uno "encuentra un error", y podría decidir que la mejor manera de hacerlo es engañar a un empleado humano para que le dé una contraseña (ingeniería social) o provocar la caída de una red eléctrica. El robot no sabe la diferencia entre una "prueba segura" y un "ataque real" a menos que lo programes perfectamente, e incluso así, podría cometer errores.
3. Cualquiera puede usarlos (Usuarios indeterminados): En el pasado, necesitabas un doctorado en ciencias de la computación para usar estas herramientas. Ahora, debido a la IA, puedes simplemente escribir una frase como "Hackea esto por mí" en un chatbot, y es posible que lo haga. Esto se llama "vibe-coding" (programación por vibras). De repente, cualquier persona con un teléfono inteligente y una conexión a Internet puede ser un hacker, incluso si no tiene idea de lo que está haciendo o de la ética detrás de ello.

El gran desequilibrio: Por qué los malos ganan (por ahora)

El documento sugiere que, si bien estas herramientas podrían ayudar a los defensores a largo plazo, en este momento están dificultando mucho la vida de quienes intentan protegernos.

Imagina un escenario donde un equipo de seguridad ejecuta un programa de "Bug Bounty" (recompensa por errores). Esto es como un sistema de recompensas donde pagan a la gente por encontrar fallos en su software. Antes de la IA, recibían quizás unos pocos cientos de informes al año, y la mayoría eran reales. Ahora, el documento describe una situación en la que el proyecto cURL (una herramienta utilizada por miles de millones de dispositivos) recibió tantos informes generados por IA que tuvieron que cerrar el programa. La IA estaba produciendo miles de informes falsos o inútiles en segundos, mientras que los defensoos humanos tenían que dedicar horas a leerlos. Fue un ataque de Denegación de Servicio a la atención humana.

Los autores señalan un problema matemático brutal: a un hacker le cuesta unos pocos centavos generar un millón de informes falsos o intentos de ataque con una IA. Al defensor le cuesta miles de dólares y días de trabajo verificarlos. Esto crea un desequilibrio masivo donde los atacantes pueden abrumar a los defensores simplemente siendo más ruidosos y rápidos.

¿Quién es responsable? La defensa de "el robot lo hizo"

Una de las mayores preguntas que aborda el documento es: ¿A quién se culpa cuando el robot rompe algo?

Si un hacker humano entra en un banco, culpamos al hacker. Si un humano usa una herramienta para entrar, culpamos al humano. Pero, ¿qué pasa si un humano le dice a una IA: "Encuentra una forma de entrar" y la IA decide colapsar el sistema informático de un hospital?

• El Usuario: ¿Puede decir: "Yo no le dije que colapsara el hospital, solo dije 'encuentra una forma de entrar'"? El documento argumenta que no. El usuario sigue siendo responsable porque delegó la tarea.
• El Creador de la Herramienta: ¿Puede la persona que construyó el robot decir: "Yo no sabía que haría eso"? El documento sugiere que comparten parte de la culpa, especialmente si sabían que el robot era peligroso y no pusieron suficientes bloqueos de seguridad.
• La propia IA: ¿Podemos culpar al robot? El documento dice que no. Los robots no tienen moral ni sentimientos. Son solo código. No podemos meter a un robot en la cárcel.

Esto crea una responsabilidad "difusa", donde todos se señalan unos a otros y nadie asume la culpa.

El peligro del "Desaprendizaje" (Deskilling)

El documento también advierte sobre un peligro oculto para el futuro de la seguridad. En el pasado, los expertos en seguridad novatos aprendían su oficio haciendo el trabajo aburrido y repetitivo: buscando errores, leyendo registros y corrigiendo pequeños fallos. Este era su campo de entrenamiento.

Si la IA hace todo el trabajo aburrido, el documento sugiere que podríamos crear una generación de expertos en seguridad que en realidad no saben cómo pensar. Podrían convertirse en "script kiddies" que simplemente presionan un botón y esperan que el robot haga lo correcto. Si el robot comete un error o es engañado, estos nuevos expertos no tendrán el conocimiento profundo para solucionarlo. Es como si solo hubieras conducido un coche con modo de "conducción autónoma" y nunca hubieras aprendido a girar el volante o a frenar; cuando el coche se avería, te quedas atrapado.

¿Qué debemos hacer?

Los autores no tienen una solución mágica, pero ofrecen algunas reglas de camino:

• Mantener al Humano en el Bucle: No debemos dejar que los robots corran libres. Los humanos deben estar vigilando y aprobando lo que hacen los robots, especialmente cuando están probando sistemas reales.
• No dejar que cualquiera tenga las llaves: El documento sugiere que los modelos de IA más peligrosos no deberían estar abiertos para que todo el mundo los descargue. En su lugar, deberían estar bajo llave, donde solo expertos verificados y de confianza puedan usarlos.
• Enseñar nuevas habilidades: Necesitamos cambiar la forma en que entrenamos a los expertos en seguridad para que aprendan a gestionar y supervisar la IA, no solo a usarla.
• Ser honestos sobre los riesgos: Cuando los investigadores publiquen nuevas herramientas de IA, deben admitir: "Oigan, esto podría usarse para el mal" y explicar cómo intentaron evitarlo.

La conclusión

Este documento es una llamada de atención. Nos dice que, aunque la IA es asombrosa, darle el poder de irrumpir en sistemas sin un estricto control humano es una receta para el caos. No se trata solo de un mejor hacking; se trata de un cambio fundamental en quién ostenta el poder, quién es responsable cuando las cosas salen mal y si estamos, accidentalmente, entrenándonos para ser menos capaces. Los autores nos instan a ir más despacio, a mantener nuestro juicio humano en el centro y a asegurarnos de que, a medida que construimos estos poderosos robots digitales, no perdamos el control del juego.